JP6371662B2 - 文字認識支援装置、文字認識支援プログラム及び文字認識支援方法 - Google Patents

Description

本発明は、文字認識支援装置、文字認識支援プログラム及び文字認識支援方法に関する。

従来、金融業界等では、口座開設等を行う際に、例えば、口座開設者の本人確認を行うための情報として、運転免許証、保険証といった帳票を用いている。運転免許証等の帳票は、例えば、受け付け窓口等の店舗内の固定位置に据付けられたスキャン装置やＯＣＲ（Optical Character Reader）等でデータの読取りが行われ、読取られた帳票のデータに基づいて本人確認等が行われていた。

近年、ＩＣＴ（情報通信技術：Information and Communication Technology）の普及に伴い、カメラ機能等を備えた携帯端末等を使用して、上述の運転免許証等の帳票の認識を行いたいという、ニーズがある。カメラ機能等を備えた携帯端末等を用いることで、例えば、自由な場所で帳票の認識を行うことが可能となる。なお、カメラ機能等を備えた携帯端末等として、例えば、携帯電話、スマートフォン、タブレットＰＣ（ＰＣ：Personal Computer）、ＰＤＡ（Personal Data Assistance）、ノートＰＣ等が例示できる。

携帯端末等で撮影した画像を帳票認識に用いる場合、例えば、帳票撮像時の手ブレや位置決めの粗さへの対処が課題となる。例えば、手ブレを撮像画像から除去する方法として、手ブレ補正やベストショット抽出といった画像補正技術が提案されている。また、位置決めの粗さへの対処法として、例えば、ＱＲコード（登録商標）等に代表されるように、所定のシンボルマークを用いる、または、位置決め用のガイド枠を設けることなどが考えられる。

なお、本明細書で説明する技術に関連する技術が記載されている先行技術文献としては、以下の特許文献が存在している。

特開２０１２−２４４２５２号公報 特許第４９５２６２５号 特開平７−２５４０３７号公報

帳票撮像時の手ブレ対処として、上述の画像補正技術を採用する場合、例えば、補正後の画像が、帳票内の文字認識を行う上で適切な画像であるか否かは、補正前の、帳票を撮影中の時点では判断ができない。このため、補正後の画像が文字認識の困難な場合では、撮像画像に対する補正処理を再び行うこととなり、例えば、撮像者が携帯端末等を構えなおしてシャッターを押下するといった撮影行為の繰返しが生じる虞があった。

また、ＱＲコード（登録商標）等のように所定のシンボルマークを位置決めに採用した場合では、二次元コードであれば、読取りデータに誤り訂正情報を持たせることができる。このため、データ部分の検出精度は、シンボルマークの検出精度以上の関係となる。例えば、読取りデータを含む撮像画像に不鮮明な部分が存在しても、誤り訂正情報を用いて不鮮明な画像部分の読取りデータの訂正が可能となる。しかし、運転免許証等の帳票では
、帳票内の文字には誤り訂正コードは存在しない。このため、携帯端末等を傾けてしまった場合のように、撮像画像に文字認識が困難な不鮮明な部分が存在するケースでは、文字認識が可能な画像を撮像するための撮影行為が繰返されることとなる。

位置決め用のガイド枠を設けた場合でも、被写体の帳票がガイド枠内に収まっている状態で携帯端末等を傾けてしまった場合のように、被写体が奥行き方向に傾いて撮像されるケースを想定できる。奥行き方向に傾いて被写体が撮像された場合では、例えば、台形補正による画像補正が可能である。しかし、台形補正後の画像が文字認識の可能な画像であるか否かは、補正処理後でなければ判別できない。このため、適切な画像が得られなかった場合には、再び文字認識が可能な画像の撮影行為が繰返されることとなる。また、台形補正処理が行われた帳票内の文字部分が誤って補正されるという虞がある。

1つの側面では、本発明は、撮像画像の確定前に認識対象の文字認識ができるか否かを
予め判断する技術を提供する。

上記技術は、次の文字認識支援装置の構成によって例示できる。すなわち、文字認識支援装置は、文字認識の対象となる矩形の認識対象体を含む撮像画像を受け付ける手段と、記憶部に登録された認識対象体中の複数の評価文字列の座標情報に基づいて、認識対象体を含む撮像画像内での３隅以上の所定領域を特定する手段と、所定領域内の部分画像について文字認識を行い、所定領域内で文字認識された文字列と認識対象体中の評価文字列との関係を判定する手段と、関係から矩形の認識対象体の姿勢を示す複数の軸のうち、少なくとも１軸について文字認識できるか否かを、利用者が識別可能な様態で表示する表示制御手段と、を備える。

上記の文字認識支援装置によれば、撮像画像の確定前に認識対象の文字認識ができるか否かを予め判断する技術が提供できる。

実施例１の、帳票の画質評価処理を説明する説明図である。 実施例１の、帳票の画質評価処理を説明する説明図である。 実施例１の文字認識支援装置のハードウェア構成例を示す図である。 評価用文字列ＤＢの一例を示す図である。 実施例１の、文字認識処理の全体処理を例示するフローチャートである。 図４Ａに例示の、Ｓ１の画質評価処理を例示するフローチャートである。 図４Ａに例示の、Ｓ１の画質評価処理を例示するフローチャートである。 撮影中の帳票の撮像画像の表示例を示す図である。 実施例２の文字認識支援装置のハードウェア構成例を示す図である。 評価用文字列に対する重心座標の算出を説明する説明図である。 ３隅の評価用文字列の全体的な重心座標を説明する説明図である。 重心位置を中心とした、３隅の評価用文字列の重心位置に対する角度を説明する説明図である。 並進移動に係る位置決め支援を説明する説明図である。 回転移動に係る位置決め支援を説明する説明図である。 奥行き方向の前後移動に係る位置決め支援を説明する説明図である。 歪み補正に係る位置決め支援を説明する説明図である。 実施例２の、文字認識処理の全体処理を例示するフローチャートである。 図７Ａに例示の、Ｓ２１の画質評価処理を例示するフローチャートである。 図７Ａに例示の、Ｓ２３の帳票状態推定処理を例示するフローチャートである。 図７Ｃに例示の、Ｓ４３の２隅推定処理を例示するフローチャートである。 図７Ｃに例示の、Ｓ４２の３隅推定処理を例示するフローチャートである。 図７Ｄ，７Ｅに例示の、Ｓ５１の並進推定処理を例示するフローチャートである。 図７Ｄ，７Ｅに例示の、Ｓ５３の回転推定処理を例示するフローチャートである。 図７Ｄ，７Ｅに例示の、Ｓ５５の前後推定処理を例示するフローチャートである。 図７Ｅに例示の、Ｓ５７の歪み推定処理を例示するフローチャートである。 図７Ａに例示の、Ｓ２４の状態表示処理を例示するフローチャートである。 図８Ａに例示の、Ｓ１０２の並進表示処理を例示するフローチャートである。 図８Ａに例示の、Ｓ１０４の回転表示処理を例示するフローチャートである。 図８Ａに例示の、Ｓ１０６の前後表示処理を例示するフローチャートである。 図８Ａに例示の、Ｓ１０８の歪み表示処理を例示するフローチャートである。

以下、図面を参照して、一実施形態に係る文字認識支援装置について説明する。以下の実施形態の構成は例示であり、文字認識支援装置は実施形態の構成には限定されない。
以下、図１から図８の図面に基づいて、文字認識支援装置を説明する。

＜実施例１＞
図１Ａ、１Ｂに、実施例１の文字認識支援装置による、認識対象となる帳票の画質評価処理についての説明図を例示する。本実施形態の文字認識支援装置は、例えば、認識対象となる帳票を撮像画像として取得するカメラ機能を備えた情報処理装置である。カメラ機能を備えた情報処理装置として、例えば、スマートフォン、タブレットＰＣ（ＰＣ：Personal Computer）、ＰＤＡ（Personal Data Assistance）、ノートＰＣ等が例示できる。
なお、認識対象の帳票を撮像画像として取得するカメラ機能を備え、撮像画像から文字認識が可能な情報処理装置であれば、例えば、携帯電話、デジタルカメラ、ゲーム機等であってもよい。

本実施形態の文字認識支援装置は、例えば、認識対象の帳票内の所定領域に記述された特定の文字列（文字をも含む）を、該帳票内に記述された文字認識の可否を判断するための評価用文字列とする。評価用文字列として特定される文字列には、例えば、帳票内の記述位置に対応する画像領域内の位置情報（座標情報）、文字列に含まれる文字情報が対応付けて定義される。文字認識支援装置は、例えば、評価用文字列として特定された文字列の記述位置に対応する画像領域内の位置情報（座標情報）、文字情報に基づいて、撮影中の認識対象となる帳票の画像データの画質評価を行う。撮影中の画像データに対する画質評価は、例えば、１０ｍｓ等の一定の周期間隔で撮像された時系列の画像データ毎に行われる。本実施形態の文字認識支援装置の画質評価では、撮影中の帳票の画像データについて、例えば、帳票内の文字を正しく認識できるための画質であることが判定される。

本実施形態の文字認識支援装置は、例えば、撮影中の帳票画像が含まれる画像領域内の、評価用文字列として特定した文字列が含まれる部分領域に、特定された文字列が読み取り可能な画像データとして撮像されていることを判定する。文字認識装置は、例えば、撮影中の帳票画像が含まれる時系列の撮像画像毎に、上述の評価用文字列として特定された文字列が含まれる部分領域の画像データの読取り可能（文字認識可能）の可否を判定する。

本実施形態の文字認識支援装置は、例えば、画像領域内における部分領域の画像データが読取り可能と判定できる場合には、判定対象となった時系列の撮像画像が、帳票内に記述された文字等の文字認識を行うために十分な画質であると判定する。そして、文字認識支援装置は、例えば、文字認識を行うための十分な画質であると判定した判定対象の撮影中の撮像画像を、帳票内の文字を正しく認識できる認識対象の画像データとして確定する。文字認識支援装置は、例えば、帳票内の文字を正しく認識できる画像データとして確定された認識対象の撮像画像に対し、帳票領域内の画像データの文字認識を行い、文字認識により検出された帳票内の文字列を検出データ文字列として出力する。

図１Ａに例示の説明図は、認識対象の帳票として矩形の運転免許証を採用した場合の説明図である。図１Ａの説明図において、領域Ａ１は、対象者の免許に係る情報が記述される、運転免許証の全体領域を表す。

金融業界等で口座開設等のための本人確認等に使用される運転免許証、保険証、パスポート等の帳票では、帳票の種別毎に、例えば、帳票内に記述される情報を特定するための項目名といった予め帳票に記述される定型化された文字列パターンが含まれる。また、定型化された文字列パターンを有する帳票では、該文字列パターンが記述される帳票上の記述位置が予め定められている傾向にある。

例えば、図１Ａの運転免許証の例では、領域Ａ１には、帳票に記述される情報を表す項目名を表す“氏名”、“住所”、“交付”、“番号”等の定型化された文字列が含まれる。定型化された文字列は、文字列となる文字情報（単語等）を含み、予め定められた帳票上の位置領域に記述される。なお、領域Ａ１には、上述した文字列の他に、生誕日を表す“日生”といった定型化された文字列や単位を表す“号”といった文字が含まれる。

例えば、図１Ａの運転免許証の例では、“氏名”といった文字列は、領域Ａ１の左上端部の領域Ａ１１に記述され、“日生”といった文字列は、領域Ａ１の右上端部の領域Ａ１２に記述されている。また、図１Ａの運転免許証の例において、“番号”といった文字列は、例えば、領域Ａ１の左下端部の領域Ａ１３に記述され、“号”といった文字は、領域Ａ１の中央下側の領域Ａ１４に記述されている。

平面視状態での領域Ａ１１，領域Ａ１２は、文字列が記述される左右方向に（矩形の長手方向に平行な方向）略同じ高さ位置に配置されている。また、領域Ａ１３，領域Ａ１４は、文字列が記述される左右方向に略同じ高さ位置に配置されている。そして、領域Ａ１１，領域Ａ１３は、文字列が記述される方向に直交する上下方向（矩形の短手方向に平行な方向）に略同じ幅位置に配置されている。

図１Ａに例示のように、認識対象となる帳票内では、帳票内に記述される文字列の文字情報と文字列の記述位置が予め定められることとなる。例えば、“氏名”といった文字列は、“氏”および“名”という文字情報を含み、帳票の左上端部の領域Ａ１１に記述される。また、例えば、“番号”といった文字列は、“番”および“号”という文字情報を含み、帳票の左下端部の領域Ａ１３に記述される。

例えば、複数の、帳票内の記述位置が予め定められた文字列の記述領域に対応する撮像画像の部分領域を、帳票撮像時の位置基準として採用することにより、撮影中の画像領域内における帳票の位置決めを行うことが可能となる。例えば、帳票等の平面体を撮像する場合、平面上の３箇所の位置を特定することで、撮像対象となる平面体の幾何学的な置かれ方は一意に決定することができる。

なお、撮影対象となる帳票等が矩形の平面体である場合、例えば、特定する平面上の３箇所の位置として帳票等の４隅の内、少なくとも３隅部分を含む３箇所の領域を採用することができる。撮影対象となる帳票等の４隅の内、少なくとも３隅部分を含む３箇所の領域に記述された文字・文字列等が認識される場合には、帳票の全体領域に対して撮像時の、カメラ等の焦点が合っていると判断できるからである。

つまり、矩形の平面体である帳票の３隅部分を含む３箇所の領域に記述された文字列を評価用文字列として採用し、各文字列に含まれる文字情報の認識評価を行うことで、撮影対象となる帳票全体の合焦状態の判定が可能となる。合焦状態で撮影された帳票の画像データは、帳票内の文字を正しく認識できるための画質を有することとなる。撮影対象となる矩形の帳票に対し、３隅部分を含む３箇所以上の領域に記述された文字列（評価用文字列）の認識評価を行うことにより、適正な撮影対象の位置決め、及び、撮影対象の合焦を同時に行うことが可能となる。

図１Ａの例では、例えば、帳票の４隅の内、左上端部の領域Ａ１１に記述された“氏名”、右上端部の領域Ａ１２に記述された“日生”、左下端部の領域Ａ１３に記述された“番号”等の文字列が評価用文字列として採用される。各文字列の記述領域である領域Ａ１１，Ａ１２，Ａ１３に対応する撮像画像の部分領域が、帳票撮像時の位置決めの位置基準となる。そして、例えば、帳票撮像時に、撮影中の画像領域内の、領域Ａ１１，Ａ１２，Ａ１３に対応する部分領域の、“氏名”，“日生”，“番号”といった評価用文字列の文字認識の評価を行うことで、帳票の位置決めの適正さ、帳票全体の合焦状態の判定が可能となる。

図１Ｂに、画像領域内における図１Ａに例示の運転免許証の撮像画像の説明図を例示する。図１Ｂの画像例において、画像領域Ｚ０は、カメラ機能を備えた文字認識支援装置の画像領域を表し、画像領域Ｚ０には、撮像対象となる帳票の撮像画像（画像データ）の部分領域Ｚ１が含まれる。

図１Ｂに例示の撮像画像は、例えば、撮影対象となる帳票の位置決めが適正に行われた場合の画像例である。帳票の適正な位置決めとして、例えば、図１Ｂのように、帳票の撮像画像の部分領域Ｚ１の縁辺Ｚ１ａ−Ｚ１ｄと文字認識支援装置の画像領域Ｚ０の縁辺Ｚ０ａ−Ｚ０ｄとが、それぞれ平行となり、且つ、部分領域Ｚ１と画像領域Ｚ０との中心位置が重畳する状態が例示できる。なお、撮像された帳票の撮像画像の領域Ｚ１の画像サイズは、例えば、帳票内に記述された文字を正しく読取り（文字認識）できる大きさである。

図１Ｂに例示のように、撮影対象となる帳票の位置決めが適正に行われた場合では、画像領域Ｚ０には、例えば、図１Ａに例示の領域Ａ１１，Ａ１２，Ａ１３，Ａ１４のそれぞれに対応する部分領域Ｚ１１，Ｚ１２，Ｚ１３，Ｚ１４が含まれることとなる。部分領域Ｚ１１は、図１Ａの帳票例での文字列“氏名”が記述された領域Ａ１１に対応する画像の領域であり、同様に、部分領域Ｚ１２は、文字列“日生”が記述された領域Ａ１２に対応する画像の領域である。また、部分領域Ｚ１３は、図１Ａの帳票例での文字列“番号”が記述された領域Ａ１３に対応する画像の領域であり、同様に、部分領域Ｚ１４は、文字“
号”が記述された領域Ａ１４に対応する画像の領域である。

部分領域Ｚ１１では、例えば、領域Ａ１１で記述された文字列“氏名”に含まれる“氏”および“名”といった文字情報が認識可能となる。同様に、例えば、部分領域Ｚ１２では、領域Ａ１２で記述された文字列“日生”に含まれる“日”および“生”といった文字情報が認識可能となる。また、部分領域Ｚ１３では、領域Ａ１３で記述された文字列“番号”に含まれる“番”および“号”といった文字情報が認識可能となり、部分領域Ｚ１４では、領域Ａ１４で記述された文字“号”といった文字情報が認識可能となる。

このように、撮影対象となる帳票の位置決めが適正に行われ、帳票内に記述された文字が正しく認識できる合焦状態では、画像領域Ｚ０には、評価用文字列として採用した帳票内の文字列を認識可能な部分領域が複数に含まれることとなる。そして、画像領域Ｚ０内での各部分領域は、評価用文字列として採用した文字列の帳票内の記述位置（領域）に対応する所定の画像領域に位置することとなる。

従って、予め撮影対象の帳票に対する画像領域Ｚ０内の各部分領域の座標を位置決めのための位置基準として特定し、特定した各部分領域の画像データについて文字認識を行うことにより、帳票の位置決めの適正さ、帳票全体の合焦状態の同時判定が可能となる。

例えば、撮影対象となる帳票の適正な撮影位置に対する画像領域Ｚ０内の各部分領域の位置情報（座標情報）を予め実験的に特定し、特定した画像領域Ｚ０内の各部分領域の位置情報をデータベース（DB:Data Base、以下“ＤＢ”と称す）として保持する。ここで、適正な撮影位置とは、例えば、画像領域Ｚ０内の撮像された帳票の画像と画像領域Ｚ０との関係が、図１Ｂで説明した関係を有する場合をいう。

画像領域Ｚ０内の各部分領域の位置情報は、例えば、画像領域Ｚ０内での２次元の座標情報として表すことができる。例えば、図１Ｂの例では、画像領域Ｚ０における上下方向をＹ軸方向とし、左右方向をＸ軸方向とし、評価用文字列に対応する部分領域の左上の画素位置、及び右下の画素位置を指定することができる。なお、部分領域の位置情報は、評価用文字列に含まれる文字毎に指定するとしてもよい。また、ＤＢに保持される画像領域Ｚ０内の各部分領域の位置情報には、例えば、撮影対象となる帳票において評価用文字列として採用された文字列の文字情報が対応付けられる。

そして、帳票の撮影時に、例えば、ＤＢに保持された各部分領域の位置情報および文字列の文字情報を参照し、受け付けた撮影中の撮像画像に対して部分領域毎の文字認識を行う。部分領域毎の文字認識は、各部分領域の位置情報に対応付けられた、帳票内の評価用文字列に含まれる文字情報により行う。

受け付けた撮影中の撮像画像に対して、３箇所以上の部分領域に対応する文字・文字列の文字認識の評価を行うことで、撮影対象となる帳票の位置決めの適正さ、帳票内の文字を正しく認識するための画質を判定することが可能となる。

なお、図１Ａ、１Ｂでは、定型化された文字・文字列を評価用文字列として採用したが、評価用文字列は、例えば、撮影対象となる帳票毎に、４隅の部分領域に記述された文字・文字列から特定するとしてもよい。

例えば、撮影対象となる帳票のサイズが共通する場合では、撮影対象となる帳票の適正な撮影位置に対する画像領域Ｚ０内の各部分領域の位置情報（座標情報）を共有することが可能である。帳票撮影前に、サイズが共通する帳票毎に適正な撮影位置に対する、４隅の評価文字列が記述された、画像領域Ｚ０内の各部分領域の位置情報を指定することが可
能である。

例えば、帳票撮影前に、帳票のサイズに応じた画像領域内の部分領域Ｚ１１−Ｚ１４に対応する帳票内の領域Ａ１１−Ａ１４を特定する。そして、特定された帳票内の領域Ａ１１−Ａ１４に記述された文字・文字列を評価用文字列として採用し、メモリ等に一時的に記憶する。そして、記憶された文字・文字列と、サイズが共通する帳票毎の各部分領域の位置情報に基づいて、３箇所以上の部分領域での文字認識の評価を行い、撮影対象となる帳票の位置決めの適正さ、帳票内の文字を正しく認識するための画質を判定するとすればよい。撮影対象となる帳票のサイズ毎に、撮影時の位置決めの適正さ、帳票内の文字を正しく認識するための画質を判定できる。

また、３箇所以上の部分領域の内、１箇所、または、２箇所の部分領域の文字・文字列が正しく認識できた場合には、例えば、撮影中の帳票画像が表示されるＬＣＤ等の表示画面に重畳して、認識された部分領域を提示するとしてもよい。撮影中の帳票画像に対し、部分的に認識された部分領域を提示することにより、撮影中の帳票に対する位置決めのためのカメラ等の傾き、動かし方等を補佐することができる。

なお、図１Ａ、１Ｂの説明では４隅の領域としたが、本実施形態の文字認識装置の処理が、４隅に限定されるわけではない。例えば、矩形の帳票の撮像画像においては、４隅に相当する領域の画質が最も劣化し易く、言い換えれば、４隅に相当する領域の画質が文字認識可能な画質の場合には、帳票の撮像画像全体が文字認識可能な画質である傾向にある。

しかし、例えば、３隅以上の領域を選択する場合には、文字のサイズ、寸法、帳票内の配置位置に応じて、４隅の中から対象となる領域を適宜、選択することができる。但し、評価の対象となる文字列位置は、帳票画像内に分散されることが望ましく、相互に近接しないことが望ましい。

〔装置構成〕
図２に、本実施形態の文字認識支援装置１０のハードウェアの構成の一例を例示する。図２に例示する文字認識支援装置１０は、いわゆる一般的なコンピュータの構成を有している。図２に例示の、文字認識支援装置１０は、接続バスＢ１によって相互に接続されたＣＰＵ（Central Processing Unit）１１、主記憶部１２、補助記憶部１３、入力部１４
、出力部１５、通信部１６を有する。主記憶部１２及び補助記憶部１３は、文字認識支援装置１０が読み取り可能な記録媒体である。

文字認識支援装置１０は、ＣＰＵ１１が補助記憶部１３に記憶されたプログラムを主記憶部１２の作業領域に実行可能に展開し、プログラムの実行を通じて周辺機器の制御を行う。これにより、文字認識支援装置１０は、所定の目的に合致した機能を実現することができる。

図２に例示の文字認識支援装置１０では、ＣＰＵ１１は、文字認識支援装置１０全体の制御を行う中央処理演算装置である。ＣＰＵ１１は、補助記憶部１３に格納されたプログラムに従って処理を行う。主記憶部１２は、ＣＰＵ１１がプログラムやデータをキャッシュしたり、作業領域を展開したりする記憶媒体である。主記憶部１２は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。

補助記憶部１３は、各種のプログラム及び各種のデータを読み書き自在に記録媒体に格納する。補助記憶部１３は、外部記憶装置とも呼ばれる。補助記憶部１３には、オペレーティングシステム（Operating System :ＯＳ）、各種プログラム、各種テーブル等が格納
される。ＯＳは、通信部１６を介して接続される外部装置等とのデータの受け渡しを行う通信インターフェースプログラムを含む。外部装置等には、例えば、接続されたネットワーク上の、他の情報処理装置、外部記憶装置等が含まれる。

補助記憶部１３は、例えば、ＥＰＲＯＭ（Erasable Programmable ROM）、ソリッドス
テートドライブ装置、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）装置等であ
る。また、補助記憶部１３としては、例えば、ＣＤドライブ装置、ＤＶＤドライブ装置、ＢＤ（Blu-ray（登録商標） Disc）ドライブ装置等が提示できる。記録媒体としては、例えば、不揮発性半導体メモリ（フラッシュメモリ）を含むシリコンディスク、ハードディスク、ＣＤ、ＤＶＤ、ＢＤ、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード等がある。

入力部１４は、ユーザ等からの操作指示等を受け付ける。入力部１４は、入力ボタン、キーボード、タッチパネル等のポインティングデバイス、ワイヤレスリモコン、マイクロフォン等の入力デバイスである。また、入力部１４には、カメラ１４ａ等の撮影対象となる帳票の画像情報を取得する入力デバイスが含まれる。入力部１４から入力された情報は、接続バスＢ１を介してＣＰＵ１１に通知される。

出力部１５は、ＣＰＵ１１で処理されるデータや主記憶部１２に記憶されるデータを出力する。出力部１５は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＬＣＤ（Liquid Crystal Display）１５ａ、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence
）パネル、有機ＥＬパネル、プリンタ、スピーカ等の出力デバイスである。通信部１６は、例えば、ネットワーク等とのインターフェースである。

文字認識支援装置１０は、例えば、ＣＰＵ１１が補助記憶部１３に記憶されているＯＳ、各種プログラムや各種データを主記憶部１２に読み出して実行することにより、対象プログラムの実行と共に、図２に例示のが各処理手段を実現する。文字認識支援装置１０は、対象プログラムの実行と共に、図２に例示の画質評価部１０１、検出データ処理部１０２を実現する。但し、図２に例示の各処理手段のいずれか、あるいは、これらの一部がハードウェア回路によって動作するものであってもよい。なお、文字認識支援装置１０は、以上の各処理手段が参照し、或いは、管理するデータの格納先として、例えば、評価用文字列ＤＢ２０１を記憶部１３に備える。

図２に例示の各処理手段のうち、いずれかが、他の情報処理装置等に含まれてもよい。例えば、画質評価部１０１を含む情報処理装置と、検出データ処理部１０２を含む情報処理装置と、外部記憶装置に格納された評価用文字列ＤＢ２０１がネットワークを介して接続し、文字認識支援装置１０として機能するとしてもよい。文字認識支援装置１０は、例えば、ネットワークＮ上のコンピュータ群であるクラウドとして実現できる。

〔処理ブロック構成〕
図２に例示の説明図において、文字認識支援装置１０は、ＣＰＵ１１が実行する画質評価部１０１、検出データ処理部１０２の各処理手段を有する。また、文字認識支援装置１０は、以上の各処理手段が参照し、或いは、管理するデータの格納先として、例えば、評価用文字列ＤＢ２０１を補助記憶部１３に備える。

画質評価部１０１は、例えば、評価用文字列ＤＢ２０１に登録された評価用文字列に基づいて、撮影中の帳票の撮像画像（画像データ）について、帳票内に記述された文字を正しく認識できる画質であるかの画質評価を行う。

文字認識支援装置１０は、例えば、入力部１４のカメラ１４ａ等を介して撮影中の帳票
の撮像画像を受け付ける。撮影中の撮像画像の画像データは、例えば、１０ｍｓといった一定の周期間隔の時系列で文字認識装置１０に受け付けられ、主記憶部１２のバッファメモリ等に一時的に記憶される。バッファメモリ等に記憶された撮影中の撮像画像の画像データは、時系列順に読み出され、例えば、文字認識支援装置１０のＬＣＤ１５ａ等の表示画面に、撮影中の帳票の撮影状態を表すモニタ画像として表示される。文字認識支援装置１０では、例えば、ＬＣＤ１５ａ等の表示画面に表示された撮影中の撮像画像を参照した利用者の操作により、撮影対象の帳票の位置決め、シャッター操作等が行われる。ＬＣＤ１５ａ等に表示された撮影中の帳票の撮像画像は、例えば、利用者のシャッター操作により確定される。

画質評価部１０１は、例えば、評価用文字列に対応付けられた各部分領域の位置情報（座標情報）を参照し、バッファメモり等に記憶された撮影中の帳票の画像データの、各部分領域を特定する。そして、画質評価部１０１は、例えば、特定された各部分領域の画像データについて、登録された評価用文字列の文字情報に基づいて文字認識を行う。文字認識は、例えば、評価用文字列に含まれる文字の文字情報とのパターンマッチング等の照合により行われる。登録された評価用文字列の文字情報に基づく文字認識は、部分領域毎に行われる。

画質評価部１０１は、例えば、各部分領域の文字認識の結果、全ての部分領域、或いは、所定数以上の部分領域で評価用文字列の文字情報の文字認識ができた場合には、撮影中の評価対象となる撮像画像が十分な画質であると判定する。画質評価部１０１は、例えば、撮影中の評価対象となる撮像画像が、帳票内に記述された文字等の文字認識を行うために十分な画質であると判定する。

画質評価部１０１は、例えば、撮影中の撮像画像が帳票内に記述された文字等の文字認識を行うために十分な画質であると判定する場合には、例えば、撮像画像の画像データを主記憶部１２の所定の領域に一時的に記憶する。画質評価部１０１により、文字認識を行うために十分な画質であると判定された撮像画像は、例えば、検出データ処理部１０２に引き渡される。

検出データ処理部１０２は、例えば、画質評価部１０１から引き渡された撮像画像に基づいて、帳票の画像データ領域の文字認識を行い、文字認識により検出された帳票内の文字列を検出データ文字列として出力する。文字認識により検出された帳票内の文字列は、例えば、文字認識支援装置１０の備える出力部１５に出力される。

なお、画質評価部１０１は、例えば、各部分領域の文字認識において、評価用文字列に含まれる認識文字の一致の度合いを表す評価値によって、撮影中の撮像画像の画質を評価するとしてもよい。

例えば、図１Ａの領域Ａ１１の文字列“氏名”において、“名”との文字については、“名”と認識する文字候補、“タ”と認識する文字候補、“口”と認識する文字候補が想定される。例えば、部分領域での文字認識の結果、文字候補“名”の評価値、文字候補“タ”の評価値、文字候補“口”の評価値がそれぞれに得られた場合、真の文字“名”に対する確信度を以下の数式（１）で表すことができる。

数式（１）で求められる確信度は、例えば、認識対象となる文字が文字候補として採用された文字であるか否かを示す指標である。

確信度＝（最も高い文字候補の評価値）／（２番目に高い文字候補の評価値）…数式（１）
例えば、認識対象となる文字と候補文字との一致の度合いを表す評価値が“０−１００”の範囲で求められる場合、最も高い文字候補の評価値が“１００”，２番目に高い文字候補の評価値が“３０”として求められたと想定する。このときの確信度は、数式（１）より、“（１００）／（３０）＝３．３”と求められる。確信度が“３．３”として得られた場合には、例えば、最も高い文字候補の認識結果が２番目に高い文字候補の認識結果よりも３倍以上も大きいことを示しており、２番目に評価値の高い文字候補が採用される確率は相対的に小さいことを示している。

従って、数式（１）で求められる確信度に対し、閾値：Ｔｈを設定し、例えば、“確信度≧Ｔｈ”との関係を満たす場合に、撮影中の評価対象となる撮像画像が帳票内に記述された文字等の文字認識を行うために十分な画質であると判定するとしてもよい。
〔データベース構成〕
図３に、評価用文字列ＤＢ２０１に登録されるデータの一例を例示する。図３に例示の評価用文字列のデータは、例えば、図１Ａに例示の運転免許証を認識対象の帳票とした場合の例である。図１Ａで説明したように、帳票内の４隅の領域Ａ１−Ａ４に記述される文字列である、“氏名”、“日生”、“番号”、“号”が評価用文字列として採用されている。評価用文字列ＤＢ２０１には、例えば、文字認識の対象となる帳票毎に、図３に例示の評価用文字列のデータが登録される。

図３に例示の評価用文字列ＤＢ２０１は、「Ｎｏ」、「Ｃｈａｒ＃」、「ｃｈａｒ」、「ｓｘ」、「ｓｙ」、「ｅｘ」、「ｅｙ」、「文字」の各カラムを有する。評価用文字列ＤＢ２０１は「Ｎｏ」毎のレコードを有し、「Ｎｏ」毎のレコードは、さらに評価用文字列に含まれる文字毎のサブレコードを有する。

「Ｎｏ」カラムには、評価用文字列が記述された帳票内の領域Ａ１−Ａ４に対応する撮像画像内の画像領域での部分領域を一意に識別する識別番号が格納される。「Ｃｈａｒ＃」カラムには、評価用文字列に含まれる文字の個数が格納される。「ｃｈａｒ」カラムには、評価用文字列に含まれる文字の識別番号が格納される。

「ｓｘ」カラムには、評価用文字列に含まれる文字の画像領域内の左上画素の位置を示す左右方向の座標情報が格納される。「ｓｙ」カラムには、評価用文字列に含まれる文字の画像領域内の左上画素の位置を示す上下方向の座標情報が格納される。「ｅｘ」カラムには、評価用文字列に含まれる文字の画像領域内の右下画素の位置を示す左右方向の座標情報が格納される。「ｅｙ」カラムには、評価用文字列に含まれる文字の画像領域内の右下画素の位置を示す上下方向の座標情報が格納される。「文字」カラムには、評価用文字列に含まれる単語等の文字情報が含まれる。

図３に例示の評価用文字列ＤＢ２０１において、例えば、図１Ａに例示の、左上端部の領域Ａ１１に記述された評価用文字列“氏名”は、「Ｎｏ」カラムに“０”が格納された部分領域のレコードに対応付けられている。評価用文字列“氏名”に含まれる文字情報は、“氏”および“名”であるため、「Ｃｈａｒ＃」カラムには文字の個数である“２”が格納されている。評価用文字列“氏名”に対応する部分領域のレコードは、「Ｃｈａｒ＃」カラムに格納された文字個数に対応するサブレコードを有する。評価用文字列“氏名”に対応する部分領域のレコードは、「ｃｈａｒ」カラムに“０”、“１”が格納されたサブレコードを有する。

例えば、帳票等に記述される評価用文字列“氏名”は、左側から順に“氏”，“名”と記述される。評価用文字列ＤＢ２０１では、例えば、評価用文字列の左側から順に「ｃｈａｒ」カラムに格納される識別番号が付与される。図３の例では、評価用文字列の“氏”に対応するサブレコードの「ｃｈａｒ」カラムには“０”が格納され、評価用文字列の“
名”に対応するサブレコードの「ｃｈａｒ」カラムには“１”が格納される。

評価用文字列の“氏”に対応するサブレコードの「ｓｘ」、「ｓｙ」、「ｅｘ」、「ｅｙ」カラムには、それぞれに、評価用文字列の“氏”に対応する画像領域内の部分領域の位置情報を示す座標が格納される。例えば、「ｓｘ」カラムには、“氏”に対応する部分領域の左上画素の位置を示す左右方向の座標情報“１０”が格納されている。例えば、「ｓｙ」カラムには、“氏”に対応する部分領域の左上画素の位置を示す上下方向の座標情報“１０”が格納されている。また、例えば、「ｅｘ」カラムには、“氏”に対応する部分領域の右下画素の位置を示す左右方向の座標情報“２０”が格納されている。例えば、「ｅｙ」カラムには、“氏”に対応する部分領域の右下画素の位置を示す上下方向の座標情報“２０”が格納されている。

評価用文字列の“名”についても同様にして、評価用文字列の“名”に対応する画像領域内の部分領域の位置情報を示す座標が、サブレコードの「ｓｘ」、「ｓｙ」、「ｅｘ」、「ｅｙ」カラムに格納される。例えば、「ｓｘ」カラムには、“名”に対応する部分領域の左上画素の位置を示す左右方向の座標情報“２０”が格納されている。例えば、「ｓｙ」カラムには、“名”に対応する部分領域の左上画素の位置を示す上下方向の座標情報“１０”が格納されている。また、例えば、「ｅｘ」カラムには、“名”に対応する部分領域の右下画素の位置を示す左右方向の座標情報“３０”が格納されている。例えば、「ｅｙ」カラムには、“名”に対応する部分領域の右下画素の位置を示す上下方向の座標情報“２０”が格納されている。

評価用文字列としての“氏名”は、帳票内では同一の記述行に記述される。このため、評価用文字列ＤＢ２０１の登録時には、帳票内で同一の記述行に記述される評価用文字列は、それぞれの文字に対応する部分領域の上下方向の画素位置を示す座標情報は同じ座標値が格納されることとなる。

図３の例では、例えば、「Ｎｏ」カラムに“０”、“１”が格納されたレコードの「ｓｙ」カラムには同一の座標値である“１０”が格納され、「ｅｙ」カラムには同一の座標値である“２０”が格納されている。また、例えば、「Ｎｏ」カラムに“２”、“３”が格納されたレコードの「ｓｙ」カラムには同一の座標値である“１００”が格納され、「ｅｙ」カラムには同一の座標値である“１１０”が格納されている。「Ｎｏ」カラムに“０”が格納されたレコードの評価用文字列と、“１”が格納されたレコードの評価用文字列とは、文字認識の対象となる帳票において、同一の記述行に記載されていることがわかる。同様に、「Ｎｏ」カラムに“２”が格納されたレコードの評価用文字列と、“３”が格納されたレコードの評価用文字列とは、文字認識の対象となる帳票において、同一の記述行に記載されていることがわかる。

なお、図３の例では、評価用文字列ＤＢ２０１には、帳票内の４隅の領域の文字列に対応付けられた部分領域の評価用文字列のデータが登録されるとして説明した。図１Ｂで説明したように、画像領域内での撮像画像の位置決めは３箇所以上の部分領域の特定により可能である。このため、評価用文字列ＤＢ２０１に登録される評価用文字列のデータ数は、帳票内の４隅の内、任意に選択した３隅のデータを登録するとしてもよい。例えば、図３の例では、評価用文字列として採用された“氏名”、“日生”、“番号”、“号”の内、複数の文字を含む“氏名”、“日生”、“番号”を選択し、評価用文字列ＤＢ２０１に登録するとしてもよい。

また、評価用文字列ＤＢ２０１に登録される部分領域の位置情報（座標情報）は、あそび領域（マージン領域）を含むように設定されるとしてもよい。評価用文字列ＤＢ２０１に登録される部分領域の位置情報に余裕を持たせることにより、例えば、微細（数画素）
な位置ズレを含む文字を認識することが可能となる。

〔処理フロー〕
以下、図４Ａ−４Ｃに例示のフローチャートを参照し、本実施形態の文字認識支援装置１０の文字認識処理を説明する。図４Ａは、文字認識処理の全体処理を示すフローチャートの例示である。図４Ａに例示のフローチャートにおいて、文字認識処理の開始は、例えば、文字認識処理の対象となる帳票の、撮像画像の受け付けのときが例示できる。

文字認支援識装置１０は、例えば、入力部１４のカメラ１４ａ等を介して撮影中の帳票の撮像画像を受け付ける。文字認識支援装置１０は、例えば、１０ｍｓといった一定の周期間隔の時系列で撮影中の撮像画像の画像データを受け付ける。受け付けられた撮影中の撮像画像の画像データは、時系列順に主記憶部１２のバッファメモリ等に一時的に記憶される。バッファメモリ等に記憶された撮影中の撮像画像の画像データは、時系列順に読み出され、例えば、文字認識支援装置１０のＬＣＤ１５ａ等の表示画面に、撮影中の帳票の撮影状態を表すモニタ画像として表示される。文字認識支援装置１０は、例えば、時系列順にバッファメモリ等から読み出された撮影中の撮像画像の画像データに対し、図４Ａに例示の文字認識処理を行う。

図４Ａに例示のフローチャートにおいて、文字認識支援装置１０は、例えば、バッファメモリ等から読み出された撮影中の撮像画像の画像データについて画質評価処理を行う（Ｓ１）。画質評価処理は、例えば、評価用文字列ＤＢ２０１に登録された撮影中の帳票の評価用文字列のデータ（画質評価用文字列テーブルとも称す）に基づいて行われる。画質評価処理では、例えば、撮影中の撮像画像の画像データが画像領域内において適正な位置に位置決めが行われ、且つ、撮影中の撮像画像の画像データが帳票内の文字を正しく認識するための十分な画質であるかが判定される。文字認識支援装置１０は、例えば、Ｓ１の画質評価処理の判定結果をＳ２の処理に引き渡す。なお、Ｓ１の画質評価処理は、図４Ｂ，４Ｃで説明する。

文字認識支援装置１０は、例えば、Ｓ１の画質評価処理から引き渡された判定結果に基づいて、処理中の撮像画像の画像データが帳票内の文字を正しく認識するための十分な画質を有するか否かを判定する（Ｓ２）。処理中の撮像画像の画像データに対する十分な画質であるか否かの判定は、例えば、処理中の撮像画像の画像データに付加されたフラグ情報により行われる。

文字認識支援装置１０は、例えば、処理中の撮像画像の画像データに、フラグ値“１”のフラグ情報が付加されている場合には（Ｓ２，“Ｙ”）、Ｓ３の処理に移行する。Ｓ３の処理では、文字認識支援装置１０は、例えば、処理中の撮像画像の画像データを主記憶部１２の所定の領域に一時的に記憶する。そして、文字認識支援装置１０は、例えば、撮像画像の帳票が撮像された、図１Ｂに例示の画像領域Ｚ１のデータ領域について文字認識を行う。画像領域Ｚ１内のデータ領域の文字認識は、例えば、検出データ処理部１０２により行われる。文字認識支援装置１０は、例えば、文字認識により検出された帳票内の文字情報を検出データ文字列として、文字認識支援装置１０の出力部１５に出力し、処理中の撮像画像に対する文字認識処理を終了する。

一方、文字認識支援装置１０は、例えば、処理中の撮影画像の画像データに、フラグ値“１”のフラグ情報が付加されていない場合には（Ｓ２，“Ｎ”）、Ｓ３の処理をスキップし、処理中の撮像画像に対する文字認識処理を終了する。文字認識支援装置１０は、例えば、時系列順にバッファメモリ等から読み出された次の撮影中の撮像画像の画像データを対象として文字認識処理を継続する。文字認識処理は、例えば、帳票内に記述された文字認識が行われるまで繰り返し実行される。

次に、図４Ｂに例示のフローチャートを参照し、図４Ａに例示のＳ１の画質評価処理の詳細を説明する。図４Ｂに例示にフローチャートにおいて、文字認識支援装置１０は、例えば、処理中の撮像画像の画像データに対し、“画質フラグ”を“０”とするフラグ情報を付与する（Ｓ１１）。フラグ情報は、例えば、２値状態を“０”、“１”等の単一ビットで識別する情報である。Ｓ１１の処理では、文字認識支援装置１０は、処理中の撮像画像の画像データに対し、初期値として“画質フラグ”を“０”とするフラグ情報の設定を行う。

Ｓ１２の処理では、文字認識支援装置１０は、例えば、評価用文字列ＤＢ２０１を参照し、撮影中の帳票に対応する評価用文字列のデータ（画質評価用文字列テーブル）の読み込みを行う。読み込まれた評価用文字列のデータは、例えば、主記憶部１２の所定の領域に一時的に記憶される。

Ｓ１３の処理では、文字認識支援装置１０は、例えば、Ｓ１２の処理で読み込んだ評価用文字列のデータに基づいて、処理中の撮像画像の部分領域についての文字認識を行う。

文字認識支援装置１０は、例えば、評価用文字列に対応付けられた各部分領域の座標情報から、画像領域内の評価用文字列に対応する座標領域を特定する。そして、文字認識支援装置１０は、例えば、特定した座標領域の画像データについて、該座標領域と対応付けられた文字とのパターンマッチング等の照合により文字認識を行う。文字認識支援装置１０は、例えば、文字認識処理の対象となる帳票の、３隅以上の記述領域に対応する画像領域内の各部分領域について、評価用文字列に含まれる文字毎に文字認識を実行する。

Ｓ１４の処理では、文字認識支援装置１０は、例えば、処理中の画像領域内における帳票の３隅以上の記述領域に対応する各部分領域について、評価用文字列に含まれる全ての文字が認識できたかを判定する。

文字認識支援装置１０は、例えば、帳票の３隅以上の記述領域に対応する各部分領域について、評価用文字列に含まれる全ての文字が認識できた場合には（Ｓ１４，“Ｙ”）、Ｓ１５の処理に移行する。Ｓ１５の処理では、文字認識支援装置１０は、例えば、処理中の撮像画像の画像データに対し、帳票内の文字を正しく認識するための十分な画質であると判断し、Ｓ１１の処理で付与された“画質フラグ”のフラグ値に“１”を設定する。処理中の撮像画像の画像データに対し、“画質フラグ”のフラグ値に“１”を設定した文字認識支援装置１０は、処理中の画質評価処理を終了する。

一方、文字認識支援装置１０は、例えば、帳票の３隅以上の記述領域に対応する各部分領域について、評価用文字列に含まれる全ての文字が認識できない場合には（Ｓ１４，“Ｎ”）、処理中の画質評価処理を終了する。

なお、Ｓ１４の処理において、例えば、３箇所以上の部分領域の内、１箇所、または、２箇所の部分領域に対する評価用文字列の全ての文字が認識できた場合を想定する。この場合には、文字認識支援装置１０は、例えば、該当箇所の座標情報を主記憶部１２の所定の領域に一時的に記憶し、処理中の画質評価処理を終了するとしてもよい。文字認識支援装置１０は、例えば、評価用文字列の全ての文字が認識できた部分領域について、該当箇所の座標情報に基づいて、認識された部分領域を撮影中の帳票画像が表示されるＬＣＤ等の表示画面に重畳して提示するとしてもよい。

図４Ｄに、ＬＣＤ等に表示される、文字認識された部分領域についての表示例を例示する。図４Ｄの表示例において、領域Ｚ１は、撮影中の帳票の撮像画像を表し、領域Ｚ１１
−Ｚ１４は、評価用文字列として採用された各文字列に対応する画像領域内の部分領域である。撮影中の帳票の撮像画像において、領域Ｚ１１は左上端部、領域Ｚ１２は右上端部、領域Ｚ１３は左下端部、領域Ｚ１４は右下端部に対応する。

図４Ｂに例示の画質評価処理により、例えば、領域Ｚ１２に対応する評価用文字列“日生”に含まれる全ての文字が文字認識されたと想定する。文字認識支援装置１０は、例えば、図４ＢのＳ１４の処理で記憶された部分領域の座標情報から、評価用文字列に含まれる全ての文字の文字認識が行われた部分領域を特定する。そして、文字認識支援装置１０は、例えば、撮影中の帳票の撮像画像の、文字認識が行われた部分領域に重畳させて、帳票の撮影位置が固定されたことを示すマーカー等のガイド枠を表示する。

図４Ｄの表示例において、例えば、マーカーＧ１２は、撮影中の撮像画像の、文字認識が行われた部分領域に対応する帳票の隅位置を囲む２つの縁辺を強調するガイド枠である。文字認識支援装置１０は、例えば、撮影中の帳票の撮像画像に対し、文字認識が行われた部分領域に対応する帳票の隅位置を囲む２つの縁辺に対するガイド枠としてマーカーＧ１２を表示する。例えば、領域Ｚ１２は、右上端部の隅に対応するため、撮影中の帳票の右上端部の隅を囲む上側縁辺及び右側縁辺に帳票の撮影位置が固定されたことを示すマーカーＧ１２が重畳されて表示される。

なお、帳票の撮影位置が固定されたことを示すマーカーＧ１２の表示時において、他の隅位置を囲む２つの縁辺に、帳票の撮影位置が固定されていないことを示すマーカーが表示されるとしてもよい。例えば、図４Ｄの表示例では、マーカーＧ１２とは異なる表示形態のマーカーＧ１１，Ｇ１３，Ｇ１４が、帳票の撮影位置が固定されていない他の隅位置を囲む２つの縁辺にガイド枠として重畳されて表示されている。

図４Ｄの表示例では、例えば、マーカーＧ１２の表示形態は、隅位置を囲む２つの縁辺に重畳された実線として表示されるのに対し、他のマーカーＧ１１，Ｇ１３，Ｇ１４の表示形態は、隅位置を囲む２つの縁辺に重畳された破線として表示されている。マーカーＧ１１は、撮影中の帳票の左上端部の隅を囲む上側縁辺及び左側縁辺に重畳して表示されている。同様にして、マーカーＧ１３は、撮影中の帳票の左下端部の隅を囲む下側縁辺及び左側縁辺に重畳して表示されている。マーカーＧ１４は、撮影中の帳票の右下端部の隅を囲む下側縁辺及び右側縁辺に重畳して表示されている。

図４Ｄに例示のように、文字認識支援装置１０は、撮影中の帳票画像に対し、部分的に文字認識された部分領域を提示することにより、撮影中の帳票に対する位置決めのためのカメラ等の傾き、動かし方等を補佐することが可能となる。文字認識支援装置１０の利用者（ユーザ）は、例えば、ＬＣＤ１５ａ等の表示画面に表示された、撮影中の帳票のモニタ画像に対するマーカーＧ１２等を参照し、撮影位置が固定された部分領域を基準として位置決め操作を行うことが可能となる。

図４Ｃに例示のフローチャートは、評価用文字列に含まれる文字に対する文字認識の一致の度合いを示す評価値を使用し、撮影中の撮像画像についての画質評価処理を行う場合の処理例である。図４Ｃに例示のフローチャートにおいて、Ｓ１１，Ｓ１２，Ｓ１５の処理では、例えば、図４Ｂに例示のフローチャートの同番号の処理が行われる。

図４Ｃに例示のフローチャートにおいて、Ｓ１６の処理では、文字認識支援装置１０は、例えば、処理中の撮像画像の部分領域についての文字認識を行うと共に、評価用文字列の真の文字に対する文字毎の評価値を求める。Ｓ１６の処理では、例えば、評価用文字列の真の文字に対する複数の文字候補が、真の文字との一致の度合いを示す評価値と共に求められる。

ここで、真の文字に対する文字候補の評価値は、例えば、“０−１００”の範囲の一致の度合いで表すことができる。そして、文字認識支援装置１０は、例えば、評価用文字列に含まれる真の文字に対する複数の文字候補について、数式（１）で説明した確信度を算出する。確信度は、例えば、評価用文字列に含まれる文字毎に求められる。

Ｓ１７の処理では、文字認識支援装置１０は、例えば、Ｓ１６の処理で求められた全ての文字毎の確信度が予め設定された閾値：Ｔｈ以上であるかを判定する。文字認識支援装置１０は、例えば、評価用文字列ＤＢ２０１に登録された３隅以上の帳票の記述領域に対応する全ての部分領域について、評価用文字列に含まれる文字に対する確信度が全て、予め設定された閾値：Ｔｈ以上であるかを判定する。

文字認識支援装置１０は、例えば、帳票の３隅以上の記述領域に対応する各部分領域の、評価用文字列に含まれる全ての文字の確信度が閾値：Ｔｈ以上である場合には（Ｓ１７，“Ｙ”）、Ｓ１５の処理に移行する。一方、文字認識支援装置１０は、例えば、帳票の３隅以上の記述領域に対応する各部分領域の、評価用文字列に含まれる全ての文字の確信度が閾値：Ｔｈ以上でない場合には（Ｓ１７，“Ｎ”）、処理中の画質評価処理を終了する。

なお、Ｓ１７の処理において、例えば、３箇所以上の部分領域の内、１箇所、または、２箇所の部分領域に含まれる全ての文字の確信度が閾値：Ｔｈ以上である場合を想定する。この場合には、文字認識支援装置１０は、例えば、該当箇所の座標情報を主記憶部１２の所定の領域に一時的に記憶し、処理中の画質評価処理を終了するとしてもよい。文字認識支援装置１０は、例えば、確信度が閾値：Ｔｈ以上である部分領域について、図４Ｄに例示のように、該当箇所の座標情報に基づいて撮影中の帳票画像が表示されるＬＣＤ１５ａ等の表示画面に重畳して、文字認識された部分領域を提示することができる。

以上、説明したように、本実施形態の文字認識支援装置１０では、カメラ１４ａ等を介して受け付けた撮影中の帳票の撮像画像に対し、評価用文字列ＤＢ２０１に登録された評価用文字列および画像領域内の座標情報に基づいて画質評価を行うことができる。画質評価は、撮影中の帳票の画像領域内の３隅以上の部分領域を対象として行うことができる。画質評価は、撮影中の帳票の３隅以上の部分領域における、評価用文字列として登録された文字・文字列の文字認識の可否により行われる。このため、文字認識支援装置１０は、撮影中の帳票の画像領域内の３隅以上の部分領域を対象として画質評価を行うことにより、例えば、撮影中の帳票に対する画像領域内の適正な位置決め、及び、撮像画像の帳票内の文字を正しく認識できるか否かを判定できる。本実施形態の文字認識支援装置１０は、画像の確定前に撮影中の撮像画像に対し、文字を正しく認識できる認識対象の画像が撮れるかを予め判断することができる。

＜実施例２＞
実施例２の文字認識支援装置（以下、本実施形態の文字認識装置と称す）は、例えば、画質評価部での文字認識の結果に基づいて、撮影中の帳票に対する位置決めの支援を行う。実施例２の文字認識支援装置では、例えば、撮影中の帳票の評価用文字列に対応する画像領域内の３隅の部分領域の内、少なくとも２隅以上の部分領域について文字認識が行われることを条件として、撮影中の帳票に対する位置決めの支援が行われる。

実施例２の文字認識支援装置は、例えば、少なくとも文字認識が行われた２隅以上の部分領域から撮影中の帳票の状態を推定する。そして文字認識支援装置は、例えば、推定した撮影中の帳票の状態に基づいて、画像領域内の撮像画像に対して並進移動、回転移動、奥行き方向の前後移動、歪み補正等についての位置決めの支援を行う。文字認識支援装置
の撮影中の帳票に対する位置決めの支援は、例えば、撮影中の撮像画像に重畳するマーカー等のガイド枠として表示される。本実施形態の文字認識支援装置は、画像の確定前に撮影中の撮像画像に対し、文字を正しく認識できる撮影位置への移動を指示することが可能となる。

〔処理ブロック構成〕
図５に、本実施形態の文字認識支援装置のハードウェアの構成の一例を例示する。本実施形態の文字認識支援装置２０は、実施例１の文字認識支援装置１０と同様のハードウェアの構成を有する。但し、図５に例示のように、文字認識支援装置２０では、ＣＰＵ１１が実行する処理手段として、画質評価部２１０、帳票状態推定部２１１、状態表示部２１２、検出データ処理部２１３の各処理手段を有する。なお、検出データ処理部２１３は、例えば、図２に例示の検出データ処理部１０２に相当する処理手段である。

[画質評価処理]
画質評価部２１０は、例えば、評価用文字列ＤＢ２０１に登録された評価用文字列に対応付けられた座標情報に基づいて、撮影中の帳票の撮像画像（画像データ）が含まれる画像領域内に、３隅以上の位置決めの支援を行うための“評価用領域”の設定を行う。そして、画質評価部２１０は、例えば、設定した２隅以上の“評価用領域”について文字認識を行い、帳票内に記述された文字を正しく認識できる画質であるかの画質評価を行う。画質評価部２１０は、例えば、少なくとも２隅以上の“評価用領域”において評価用文字列の文字認識が行われたことを判定し、撮影中の帳票の撮像画像に対する画質評価を行う。

画像領域内の評価用領域は、例えば、評価用文字列ＤＢ２０１に登録された評価用文字列の“ｓｘ”、“ｓｙ”、“ｅｘ”、“ｅｙ”の各座標情報に基づいて、以下の数式（２）、（３）の関係を満たすように設定することができる。なお、数式（２）における（ｓｘ´，ｓｙ´）は、評価用領域の左上画素の座標位置を表し、数式（３）における（ｅｘ´，ｅｙ´）は、評価用領域の右下画素の座標位置を表す。

（ｓｘ´，ｓｙ´）＝（２ｓｘ−ｅｘ，２ｓｙ−ｅｙ） …数式（２）
（ｅｘ´，ｅｙ´）＝（２ｅｘ−ｓｘ，２ｅｙ−ｓｙ） …数式（３）
数式（２）、（３）により、左上画素および右下画素の座標位置が求められた評価用領域では、例えば、評価用文字列の文字認識の対象となる領域範囲は、登録された座標情報に対し、９倍に拡張されることとなる。画質評価部２１０は、例えば、撮影中の画像領域内において、領域範囲が拡張された評価用領域を対象として、評価用文字列に含まれる文字毎の文字認識を行い、撮影中の帳票の撮像画像に対する画質評価を行う。画質評価部２１０の撮影中の撮像画像についての画質評価の結果は、例えば、帳票状態推定部２１１に引き渡される。

なお、領域範囲が拡張された評価用領域内には、例えば、左右方向、上下方向に傾いて歪みを伴った評価用文字列が、文字認識対象の文字列として検出される。左右方向、上下方向に傾いて歪みを伴った文字列では、評価用文字列として登録された真の文字に対し複数の文字候補が得られることが想定できる。このため、画質評価部２１０は、帳票の位置決めを適切に支援するため、例えば、実施例１で説明したように、数式（１）で算出される文字毎の確信度を用いて評価用領域の文字認識を行うとしてもよい。本実施形態の文字認識支援装置２０の画質評価部２１０では、文字毎の確信度を用いて評価用領域の文字認識が行われることにより、例えば、評価用文字列に含まれる文字についての文字認識の信頼性を高めることができる。

[帳票状態推定処理]
帳票状態推定部２１１は、例えば、画質評価部２１０の画質の判定結果に基づいて撮影
中の帳票の状態を推定し、撮影中の撮像画像に対する、画像領域内の適正な撮影位置に位置決めを行うためのフラグ情報の付与を行う。本実施形態の文字認識支援装置２０では、例えば、帳票状態推定部２１１により付与されたフラグ情報に基づいて、撮影中の撮像画像についての位置決めの支援が行われる。

帳票状態推定部２１１は、例えば、撮影中の撮像画像に対し、２隅の評価用領域について文字認識が行われた場合には、文字認識が行われた２隅の評価用領域の座標情報に基づいて、撮像画像の並進移動、回転移動、奥行き方向の前後移動の要否を判定する。

例えば、帳票状態推定部２１１は、撮影中の撮像画像の画像領域内の座標位置が、適正な撮影位置に対して並進移動を要する場合には、処理中の撮像画像に対し、３ビットのビット値で識別されるフラグ情報を、“並進フラグ”として付与する。また、例えば、帳票状態推定部２１１は、適正な撮影位置に対して回転移動、奥行き方向の前後移動を要する場合には、処理中の撮像画像に対し、２ビットのビット値で識別されるフラグ情報を、“回転フラグ”、“前後フラグ”として付与する。

また、帳票状態推定部２１１は、例えば、撮影中の撮像画像に対し、３隅の評価用領域について文字認識が行われた場合には、文字認識が行われた３隅の評価用領域の座標情報に基づいて、画像領域内の撮像画像の適正位置に対する移動の要否を判定する。

３隅の評価用領域について文字認識が行われた場合には、帳票状態推定部２１１は、例えば、画像領域内の撮像画像の適正位置に対する、並進移動、回転移動、奥行き方向の前後移動に加え、歪み補正の要否を判定する。歪み補正の要否判定は、例えば、上下方向、或いは、左右方向に並ぶ評価用領域で検出された評価用文字列間の距離と、評価用文字列ＤＢ２０１に登録された評価用文字列間の距離との比較により行われる。

帳票状態推定部２１１は、例えば、撮影中の撮像画像の画像領域内の座標位置が、適正な撮影位置に対して並進移動、回転移動、奥行き方向の前後移動を要する場合には、各移動の種別を表す各種フラグに、上述したフラグ情報を付与する。また、帳票状態推定部２１１は、例えば、歪み補正を要する場合には、３ビットのビット値で識別されるフラグ情報を、“歪みフラグ”として付与する。帳票状態推定部２１１で付与された各種フラグ情報は、例えば、状態表示部２１２に引き渡される。

帳票状態推定部２１１における、帳票の撮影状態の推定は、例えば、各評価用領域内で認識された文字列の重心座標と、各評価用領域に対応する評価用文字列の重心座標との比較により行われる。例えば、評価用文字列ＤＢ２０１に登録された評価用文字列を、図１Ｂ等に例示の“氏名”、“日生”、“番号”といった帳票の３隅の領域Ａ１１，Ａ１２，Ａ１３に記述された文字列と想定する。なお、以下の説明では、評価用文字列“氏名”は“評価文字列１”、“日生”は“評価文字列２”、“番号”は“評価文字列３”とも称する。

帳票状態推定部２１１は、例えば、評価用文字列ＤＢ２０１に登録された評価用文字列の各レコードに格納された文字毎の画像領域内の座標情報（ｓｘ，ｓｙ，ｅｘ，ｅｙ）から、該評価用文字列の重心座標を算出する。なお、評価用文字列の重心座標は、例えば、評価用文字列を囲む外接矩形の重心座標として表すことができる。

図６Ａに、評価用文字列に対する重心座標の算出についての説明図を例示する。図６Ａに例示の説明図において、評価用文字列は“氏名”であり、“氏（図６Ａでは「文字１」）”および“名（図６Ａでは「文字２」）”といった文字（単語）が含まれる。また、評価用文字列に含まれる“氏”および“名”のそれぞれを囲む外接矩形は実線で表され、“
氏名”といった評価用文字列の外接矩形は破線で表されている。

評価用文字列に含まれる各文字の、画像領域内の左上の画素位置は座標（ｓｘ，ｓｙ）で表され、同様にして右下の画素位置は座標（ｅｘ，ｅｙ）で表される。なお、文字毎の各座標位置は、例えば、図３に例示のように、評価用文字列ＤＢ２０１のレコードの「ｓｘ」、「ｓｙ」、「ｅｘ」、「ｅｙ」カラムに格納される。

帳票状態推定部２１１は、例えば、評価用文字列ＤＢ２０１を参照し、以下に示す数式（４）、（５）に基づいて、評価用文字列を囲む外接矩形の重心座標を算出する。なお、評価文字列１の重心座標は（Ｘchar1，Ｙchar1）、評価文字列２の重心座標は（Ｘchar2
，Ｙchar2）、評価文字列３の重心座標は（Ｘchar3，Ｙchar3）とする。

Ｘchar＝（ｍｉｎ（評価用文字列の各文字のｓｘ）＋ｍａｘ（評価用文字列の各文字
のｅｘ）） …数式（４）
Ｙchar＝（ｍｉｎ（評価用文字列の各文字のｓｙ）＋ｍａｘ（評価用文字列の各文字
のｅｙ）） …数式（５）
帳票状態推定部２１１は、数式（４）、（５）に基づいて、評価用文字列ＤＢ２０１に登録された３隅以上の評価用文字列についての各重心座標（Ｘchar1，Ｙchar1）、（Ｘchar2，Ｙchar2）、（Ｘchar3，Ｙchar3）を算出する。算出された、画像領域内の３隅以上の評価用文字列の各重心座標（Ｘchar1，Ｙchar1）、（Ｘchar2，Ｙchar2）、（Ｘchar3
，Ｙchar3）は、例えば、主記憶部１２の所定の領域に一時的に記憶される。

なお、文字認識支援装置２０は、評価用文字列ＤＢ２０１に登録された各評価用文字列の画素位置の座標に基づいて、予め評価文字列毎の重心座標を算出し、算出した重心座標を該評価文字列に対応付けて評価用文字列ＤＢ２０１に登録するとしてもよい。

また、帳票状態推定部２１１は、例えば、撮影中の帳票の撮像画像について、画質評価部２１０で設定した評価用領域内の部分画像から認識された“文字列１”、“文字列２”、“文字列３”の重心座標を同様にして算出する。なお、“文字列１”は、評価文字列１に対応する評価用領域内の部分画像から認識された文字列に対応し、“文字列２”は、評価文字列２に対応する評価用領域内の部分画像から認識された文字列に対応する。同様に、“文字列３”は、評価文字列３に対応する評価用領域内の部分画像から認識された文字列に対応する。算出された“文字列１”の重心座標は（Ｘ´char1，Ｙ´char1）、“文字列２”の重心座標は（Ｘ´char2，Ｙ´char2）、“文字列３”の重心座標は（Ｘ´char3
，Ｙ´char3）とする。

帳票状態推定部２１１は、例えば、評価文字列１に対応する評価用領域内の部分画像から認識された“文字列１”に含まれる文字毎の左上画素位置、右下画素位置を特定する。そして、帳票状態推定部２１１は、例えば、特定した文字毎の左上画素位置、右下画素位置の左右方向の座標から、“文字列１”の重心座標の“Ｘ´char1”を数式（４）により
算出する。

また、帳票状態推定部２１１は、例えば、特定した文字毎の左上画素位置、右下画素位置の上下方向の座標から、“文字列１”の重心座標の“Ｙ´char1”を数式（５）により
算出する。帳票状態推定部２１１は、“文字列２”、“文字列３”についても同様にして重心座標を求め、求めた各文字列の重心座標（Ｘ´char1，Ｙ´char1）、（Ｘ´char2，
Ｙ´char2）、（Ｘ´char3，Ｙ´char3）を、例えば、主記憶部１２の所定の領域に一時
的に記憶する。

帳票状態推定部２１１は、例えば、評価文字列毎に算出された重心座標と評価用領域内
の部分画像の文字列毎に算出された重心座標とに基づいて、並進移動、回転移動、奥行き方向の前後移動、歪み補正の要否の判定を行う。

例えば、帳票状態推定部２１１は、評価用文字列ＤＢ２０１の２隅以上の評価用文字列に対し、評価用文字列毎に算出された各重心座標に基づいて、２隅以上の評価用文字列の全体的な重心座標を算出する。

図６Ｂに、３隅の評価用文字列に対する全体的な重心座標の説明図を例示する。図６Ｂに例示の説明図において、丸囲みハッチングの領域Ｚ１１ａは、左上隅の評価文字列１の重心座標（Ｘchar1，Ｙchar1）を表す。同様に、丸囲みハッチングの領域Ｚ１２ａ、Ｚ１３ａは、それぞれ評価文字列２の重心座標（Ｘchar2，Ｙchar2）、評価文字列３の重心座標（Ｘchar3，Ｙchar3）を表す。また、３隅の各評価用文字列の重心座標から算出される全体的な重心座標Ｇ１は、例えば、（Ｘgrav，Ｙgrav）で表されている。

例えば、帳票状態推定部２１１は、以下に示す数式（６）、（７）に基づいて、２隅以上の評価用文字列に対する全体的な重心座標Ｇ１の（Ｘgrav，Ｙgrav）を算出する。

Ｘgrav＝（１／ｎ）×ΣＸcharｎ´ …数式（６）
ｎ´
Ｙgrav＝（１／ｎ）×ΣＹcharｎ´ …数式（７）
ｎ´
なお、数式（６）、（７）において、“ｎ”は、画質評価部２１０により文字認識された評価用領域の箇所数を表し、“ｎ´”は、文字認識された評価用領域に対応付けられた“評価文字列”の識別番号を表す。

例えば、画質評価部２１０において、文字認識された評価用領域の箇所数が“２”の場合には、“ｎ＝２”となり、文字認識された評価用領域に対応する評価用文字列が“評価文字列１”、“評価文字列３”の場合には、“ｎ´＝１、３”となる。帳票状態推定部２１１は、例えば、文字認識された評価用領域に対応する評価文字列１、３の各重心座標から数式（６）、（７）に基づいて、評価文字列１、３に対する全体的な重心座標Ｇ１を算出する。

同様にして、帳票状態推定部２１１は、例えば、画質評価部２１０で文字認識された２隅以上の評価用領域内の“文字列”に対する全体的な重心座標（Ｘ´grav，Ｙ´grav）を算出する。画質評価部２１０で文字認識された２隅以上の評価用領域内の“文字列”に対する全体的な重心座標（Ｘ´grav，Ｙ´grav）は、例えば、以下の数式（６ａ）、（７ａ）で表すことができる。

Ｘ´grav＝（１／ｎ）×ΣＸ´charｎ´ …数式（６ａ）
ｎ´
Ｙ´grav＝（１／ｎ）×ΣＹ´charｎ´ …数式（７ａ）
ｎ´
帳票状態推定部２１１は、例えば、数式（６）、（７）より算出された重心座標（Ｘgrav，Ｙgrav）と、数式（６ａ）、（７ａ）より算出された重心座標（Ｘ´grav，Ｙ´grav）との座標位置の比較を行い、各種移動、歪み補正の要否の判定を行う。判定の結果は、例えば、処理中の撮像画像に対して付加される、各種移動、歪み補正の要否を表す各種フラグのフラグ情報として反映される。各種フラグには、各種移動、歪み補正が“否”と判定される場合には、フラグ情報として“０”が設定される。一方、各種移動、歪み補正が“要”と判定される場合には、フラグ情報として“０”を除く、２−３ビットのビット値で識別されるフラグ情報が付与される。

なお、帳票状態推定部２１１は、例えば、撮影中の撮像画像に対し、２隅の評価用領域について文字認識が行われた場合には、並進移動、回転移動、奥行き方向の前後移動の順で各種移動の要否を判定する。なお、並進移動が“要”と判定される場合には、回転移動、奥行き方向の前後移動の判定は行われない。同様に、回転移動が“要”と判定される場合には、奥行き方向の前後移動の判定は行われない。

また、帳票状態推定部２１１は、例えば、撮影中の撮像画像に対し、３隅の評価用領域について文字認識が行われた場合には、並進移動、回転移動、奥行き方向の前後移動、歪み補正の順で各種移動、歪み補正の要否を判定する。並進移動が“要”と判定される場合には、回転移動、奥行き方向の前後移動、歪み補正の判定は行われない。同様に、回転移動が“要”と判定される場合には、奥行き方向の前後移動、歪み補正の判定は行われない。帳票状態推定部２１１は、例えば、並進移動、回転移動、奥行き方向の前後移動について“否”と判定された場合に、歪み補正の要否を判定する。

（並進移動）
帳票状態推定部２１１は、例えば、数式（６）、（７）より算出された重心座標（Ｘgrav，Ｙgrav）と、数式（６ａ）、（７ａ）より算出された重心座標（Ｘ´grav，Ｙ´grav）との位置関係が、所定の範囲内であることの判定を行う。例えば、画像領域内の左右方向の範囲幅を閾値：Ｔｈｘ、上下方向の範囲幅を閾値：Ｔｈｙとする。なお、画像領域内の左右方向の範囲幅、上下方向の範囲幅を表す各閾値は、文字認識支援装置２０の画素密度等の性能、処理対象となる帳票に記述された文字のサイズ等に応じて任意に設定することができる。

帳票状態推定部２１１は、例えば、各重心座標の左右方向、上下方向の位置関係が、以下に示す、数式（８）、（９）の位置関係を満たすか否かを判定する。

（Ｘgrav−Ｔｈｘ）＜Ｘ´grav＜（Ｘgrav＋Ｔｈｘ） …数式（８）
（Ｙgrav−Ｔｈｙ）＜Ｙ´grav＜（Ｙgrav＋Ｔｈｙ） …数式（９）
帳票状態推定部２１１は、例えば、各重心座標の左右方向、上下方向の位置関係が数式（８）、（９）を満たす場合には、“並進フラグ”に“０”のフラグ情報を設定する。一方、例えば、帳票状態推定部２１１は、各重心座標の左右方向、上下方向の位置関係が、数式（８）、（９）を満たさない場合には、それぞれの状態に応じて“並進フラグ”に“１”−“４”のフラグ情報を設定する。帳票状態推定部２１１は、例えば、“並進フラグ”に設定されたフラグ情報を主記憶部１２の所定の領域に一時的に記憶する。“並進フラグ”に設定されたフラグ情報は、例えば、状態表示部２１２に引き渡される。

（回転移動）
帳票状態推定部２１１は、例えば、並進移動が“否”と判定される場合に、回転移動の要否の判定を行う。回転移動の判定では、例えば、文字認識支援装置２０の備えるカメラ１４ａの光軸方向に対する回転の要否が判定される。回転移動の判定では、例えば、撮影中の帳票の撮像画像に対する回転移動の方向（時計回り、反時計回り）が判定される。

図６Ｃに、数式（６）、（７）で算出された重心位置を中心とした、３隅の評価用文字列の重心位置に対する角度の説明図を例示する。図６Ｃに例示の説明図において、丸囲みハッチングの領域Ｚ１１ａは、左上隅の評価文字列１の重心座標（Ｘchar1，Ｙchar1）を表す。同様に、丸囲みハッチングの領域Ｚ１２ａ、Ｚ１３ａは、それぞれ評価文字列２の重心座標（Ｘchar2，Ｙchar2）、評価文字列３の重心座標（Ｘchar3，Ｙchar3）を表す。また、３隅の各評価用文字列の重心座標から数式（６）、（７）で算出される全体的な重心座標Ｇ１は、例えば、（Ｘgrav，Ｙgrav）で表されている。なお、基準線Ｌ１は、例え
ば、重心座標Ｇ１を通り、文字認識支援装置２０の画像領域の左右方向の縁辺に平行する基準線である。

また、図６Ｃに例示の説明図において、θchar3は、重心座標Ｇ１を中心として時計回
り方向に、基準線Ｌ１と評価文字列３の重心座標（Ｘchar3，Ｙchar3）方向との角度を表す。同様に、θchar2は、重心座標Ｇ１を中心として時計回り方向に、基準線Ｌ１と評価
文字列２の重心座標（Ｘchar2，Ｙchar2）方向との角度を表す。θchar1は、重心座標Ｇ
１を中心として時計回り方向に、基準線Ｌ１と評価文字列１の重心座標（Ｘchar1，Ｙchar1）方向との角度を表す。基準線Ｌ１と各評価文字列の重心位置方向との角度の大小関係は、θchar3＜θchar2＜θchar1の関係にある。

帳票状態推定部２１１は、例えば、三角関数の関係式により、重心座標（Ｘgrav，Ｙgrav）と評価文字列１の重心座標（Ｘchar1，Ｙchar1）から、θchar1を算出する。同様に
して、帳票状態推定部２１１は、重心座標（Ｘgrav，Ｙgrav）と評価文字列２の重心座標（Ｘchar2，Ｙchar2）からθchar2を、重心座標（Ｘgrav，Ｙgrav）と評価文字列３の重
心座標（Ｘchar3，Ｙchar3）からθchar3を算出する。

同様にして、帳票状態推定部２１１は、例えば、文字認識された３隅の評価用領域内の“文字列”に対する全体的な重心座標（Ｘ´grav，Ｙ´grav）と、“文字列”毎の重心座標から、“文字列”毎の角度を算出する。帳票状態推定部２１１は、例えば、三角関数の関係式により、重心座標（Ｘ´grav，Ｙ´grav）と“文字列１”の重心座標（Ｘ´char1
，Ｙ´char1）から、θ´char1を算出する。同様にして、帳票状態推定部２１１は、重心座標（Ｘ´grav，Ｙ´grav）と“文字列２”の重心座標（Ｘ´char2，Ｙ´char2）からθ´char2を、重心座標（Ｘ´grav，Ｙ´grav）と“文字列３”の重心座標（Ｘ´char3，Ｙ´char3）からθ´char3を算出する。

そして、帳票状態推定部２１１は、例えば、各評価文字列の角度（θchar1，θchar2，θchar3）と評価用領域内で文字認識された各“文字列”の角度（θ´char1，θ´char2
，θ´char3）との関係が、所定の範囲内であることの判定を行う。例えば、範囲幅を閾
値：Ｔｈθとする。閾値：Ｔｈθは、文字認識支援装置２０の画素密度等の性能、処理対象となる帳票に記述された文字のサイズ等に応じて任意に設定することができる。

帳票状態推定部２１１は、例えば、各評価文字列の角度（θchar1，θchar2，θchar3
）と各“文字列”の角度（θ´char1，θ´char2，θ´char3）との関係が、以下に示す
数式（１０）の関係を満たすか否かを判定する。

（θchar1＋θchar2＋θchar3−Ｔｈθ）＜（θ´char1＋θ´char2＋θ´char3）＜
（θchar1＋θchar2＋θchar3＋Ｔｈθ） …数式（１０）
帳票状態推定部２１１は、例えば、各評価文字列の角度（θchar1，θchar2，θchar3
）と各“文字列”の角度（θ´char1，θ´char2，θ´char3）との関係が、数式（１０
）を満たす場合には、“回転フラグ”に“０”のフラグ情報を設定する。一方、例えば、帳票状態推定部２１１は、各評価文字列の角度と各“文字列”の角度との関係が、数式（１０）を満たさない場合には、それぞれの状態に応じて“回転フラグ”に“１”−“２”のフラグ情報を設定する。帳票状態推定部２１１は、例えば、“回転フラグ”に設定されたフラグ情報を主記憶部１２の所定の領域に一時的に記憶する。“回転フラグ”に設定されたフラグ情報は、例えば、状態表示部２１２に引き渡される。

なお、数式（１０）は、３隅の評価用領域内で各“文字列”の文字認識が行われた場合の関係式である。例えば、２隅の評価用領域内において、各“文字列”の文字認識が行われた場合には、帳票状態推定部２１１は、以下に示す数式（１０ａ）の関係により、回転
移動の要否を判定するとすればよい。なお、数式（１０ａ）は、“文字列１”、“文字列２”の文字認識が行われた場合の関係例である。

（θchar1＋θchar2−Ｔｈθ）＜（θ´char1＋θ´char2）＜
（θchar1＋θchar2＋Ｔｈθ） …数式（１０ａ）
他の“文字列１”と“文字列３”、“文字列２”と“文字列３”の文字認識が行われた場合には、数式（１０ａ）の“θchar”の識別番号を、文字認識が行われた“文字列”の識別番号に替えればよい。帳票状態推定部２１１は、例えば、文字認識が行われた各“文字列”の角度と、各“文字列”に対応する“評価文字列”の角度との関係が、数式（１０ａ）を満たす場合には、“回転フラグ”に“０”のフラグ情報を設定する。一方、例えば、帳票状態推定部２１１は、各“文字列”の角度と、各“文字列”に対応する“評価文字列”の角度との関係が、数式（１０ａ）を満たさない場合には、それぞれの状態に応じて“回転フラグ”に“１”−“２”のフラグ情報を設定する。２隅の場合についても、３隅の場合と同様に、“回転フラグ”に設定されたフラグ情報は、例えば、状態表示部２１２に引き渡される。

（奥行き方向の前後移動）
帳票状態推定部２１１は、例えば、並進移動、回転移動が“否”と判定される場合に、奥行き方向の前後移動の要否の判定を行う。奥行き方向の前後移動の判定では、例えば、文字認識支援装置２０の備えるカメラ１４ａと帳票との間の、奥行き方向の前後移動の要否が判定される。前後移動の判定では、例えば、撮影中の撮像画像に対する奥行き方向の前後移動の方向が判定される。

図６Ｃの説明図において、例えば、重心座標（Ｘgrav，Ｙgrav）と、３隅の各評価文字列の重心座標（Ｘchar1，Ｙchar1）、（Ｘchar2，Ｙchar2）、（Ｘchar3，Ｙchar3）との距離を、それぞれ“Ｄchar1”、“Ｄchar2”、“Ｄchar3”とする。同様に、評価用領域
内で文字認識された３隅の“文字列”に対する重心座標（Ｘ´grav，Ｙ´grav）と、各“文字列”の重心座標（Ｘ´char1，Ｙ´char1）、（Ｘ´char2，Ｙ´char2）、（Ｘ´char3，Ｙ´char3）との距離を、それぞれ“Ｄ´char1”、“Ｄ´char2”、“Ｄ´char3”と
する。

帳票状態推定部２１１は、例えば、各評価文字列に対する距離（Ｄchar1，Ｄchar2，Ｄchar3）と評価用領域内で文字認識された各“文字列”に対する距離（Ｄ´char1，Ｄ´char2，Ｄ´char3）との関係が、所定の範囲内であることの判定を行う。例えば、範囲幅を閾値：Ｔｈｄとする。閾値：Ｔｈｄは、文字認識支援装置２０の画素密度等の性能、処理対象となる帳票に記述された文字のサイズ等に応じて任意に設定することができる。

帳票状態推定部２１１は、例えば、各評価文字列に対する距離（Ｄchar1，Ｄchar2，Ｄchar3）と各“文字列”に対する距離（Ｄ´char1，Ｄ´char2，Ｄ´char3）との関係が、が、以下に示す数式（１１）の関係を満たすか否かを判定する。

（Ｄchar1＋Ｄchar2＋Ｄchar3−Ｔｈｄ）＜（Ｄ´char1＋Ｄ´char2＋Ｄ´char3）＜
（Ｄchar1＋Ｄchar2＋Ｄchar3＋Ｔｈｄ） …数式（１１）
帳票状態推定部２１１は、例えば、各評価文字列に対する距離（Ｄchar1，Ｄchar2，Ｄchar3）と各“文字列”に対する距離（Ｄ´char1，Ｄ´char2，Ｄ´char3）との関係が、数式（１１）を満たす場合には、“前後フラグ”に“０”のフラグ情報を設定する。一方、例えば、帳票状態推定部２１１は、各評価文字列に対する距離と各“文字列”に対する距離との関係が、数式（１１）を満たさない場合には、それぞれの状態に応じて“前後フラグ”に“１”−“２”のフラグ情報を設定する。帳票状態推定部２１１は、例えば、“前後フラグ”に設定されたフラグ情報を主記憶部１２の所定の領域に一時的に記憶する。
“前後フラグ”に設定されたフラグ情報は、例えば、状態表示部２１２に引き渡される。

なお、数式（１１）は、３隅の評価用領域内で各“文字列”の文字認識が行われた場合の関係式である。例えば、２隅の評価用領域内において、各“文字列”の文字認識が行われた場合には、帳票状態推定部２１１は、以下に示す数式（１１ａ）の関係により、奥行き方向の前後移動の要否を判定するとすればよい。なお、数式（１１ａ）は、“文字列１”、“文字列２”の文字認識が行われた場合の関係例である。

（Ｄchar1＋Ｄchar2−Ｔｈｄ）＜（Ｄ´char1＋Ｄ´char2）＜
（Ｄchar1＋Ｄchar2＋Ｔｈｄ） …数式（１１ａ）
他の“文字列１”と“文字列３”、“文字列２”と“文字列３”の文字認識が行われた場合には、数式（１１ａ）の“Ｄchar”の識別番号を、文字認識が行われた“文字列”の識別番号に替えればよい。帳票状態推定部２１１は、例えば、文字認識が行われた各“文字列”に対する距離と、各“文字列”に対応する“評価文字列”の距離との関係が、数式（１１ａ）を満たす場合には、“前後フラグ”に“０”のフラグ情報を設定する。一方、例えば、帳票状態推定部２１１は、各“文字列”に対する距離と、各“文字列”に対応する“評価文字列”の距離との関係が、数式（１１ａ）を満たさない場合には、それぞれの状態に応じて“前後フラグ”に“１”−“２”のフラグ情報を設定する。２隅の場合についても、３隅の場合と同様に、“前後フラグ”に設定されたフラグ情報は、例えば、状態表示部２１２に引き渡される。

（歪み補正）
帳票状態推定部２１１は、例えば、３隅の評価用領域について文字認識が行われた状態で、並進移動、回転移動、奥行き方向の前後移動の要否が“否”と判定される場合に、歪み補正の要否の判定を行う。歪み補正の判定では、例えば、撮影中の帳票の上下方向、或いは、左右方向の辺に対する歪み補正の要否が判定される。

図６Ｃに例示の説明図において、例えば、帳票の左右方向の辺と平行する評価文字列１と評価文字列２との重心座標間の距離を“Ｃ12”とする。また、帳票の上下方向の辺と平行する評価文字列１と評価文字列３の重心座標間の距離を“Ｃ13”とする。同様に、評価用領域内で文字認識された、帳票の左右方向の辺と平行する“文字列１”と“文字列２”との重心座標間の距離を“Ｃ´12”とし、帳票の上下方向の辺と平行する“文字列１”と“文字列３”との重心座標間の距離を“Ｃ´13”とする。

帳票状態推定部２１１は、例えば、帳票の左右方向の辺と平行する評価文字列１，２の重心座標間の距離“Ｃ12”と“文字列１”，“文字列２”の重心座標間の距離“Ｃ´12”との比である“Ｃ´12／Ｃ12”を求める。また、帳票状態推定部２１１は、例えば、帳票の上下方向の辺と平行する評価文字列１，３の重心座標間の距離“Ｃ13”と“文字列１”，“文字列３”の重心座標間の距離“Ｃ´13”との比である“Ｃ´13／Ｃ13”を求める。

歪み補正の要否の判定は、例えば、帳票の左右方向における評価文字列間の距離と“文字列”間の距離との距離比（Ｃ´12／Ｃ12）、帳票の上下方向における評価文字列間の距離と“文字列”間の距離との距離比（Ｃ´13／Ｃ13）に基づいて行われる。

例えば、帳票状態推定部２１１は、｜１−（Ｃ´12／Ｃ12）｜、及び、｜１−（Ｃ´13／Ｃ13）｜を求め、｜１−（Ｃ´12／Ｃ12）｜と｜１−（Ｃ´13／Ｃ13）｜との大小関係を判定する。そして、帳票状態推定部２１１は、例えば、｜１−（Ｃ´12／Ｃ12）｜或いは｜１−（Ｃ´13／Ｃ13）｜の大きな方について、所定の閾値：Ｔｈｃとの大小関係を判定する。なお、閾値：Ｔｈｄは、文字認識支援装置２０の画素密度等の性能、処理対象となる帳票に記述された文字のサイズ等に応じて任意に設定することができる。

帳票状態推定部２１１は、例えば、｜１−（Ｃ´12／Ｃ12）｜或いは｜１−（Ｃ´13／Ｃ13）｜の大きな方について、以下に示す数式（１２）、（１３）の関係を満たすか否かを判定する。

−Ｔｈｃ＜１−（Ｃ´12／Ｃ12）＜Ｔｈｃ …数式（１２）
−Ｔｈｃ＜１−（Ｃ´13／Ｃ13）＜Ｔｈｃ …数式（１３）
帳票状態推定部２１１は、例えば、｜１−（Ｃ´12／Ｃ12）｜或いは｜１−（Ｃ´13／Ｃ13）｜の大きな方について、数式（１２）、（１３）の関係を満たす場合には、“歪みフラグ”に“０”のフラグ情報を設定する。また、帳票状態推定部２１１は、例えば、｜１−（Ｃ´12／Ｃ12）｜と｜１−（Ｃ´13／Ｃ13）｜とが等しい場合についても、“歪みフラグ”に“０”のフラグ情報を設定する。

一方、帳票状態推定部２１１は、例えば、｜１−（Ｃ´12／Ｃ12）｜＞｜１−（Ｃ´13／Ｃ13）｜の場合であり、（１−（Ｃ´12／Ｃ12））が数式（１２）の関係を満たさない場合には、“歪みフラグ”に“１”−“２”のフラグ情報を設定する。また、帳票状態推定部２１１は、例えば、｜１−（Ｃ´12／Ｃ12）｜＜｜１−（Ｃ´13／Ｃ13）｜の場合であり、（１−（Ｃ´13／Ｃ13））が数式（１３）の関係を満たさない場合には、“歪みフラグ”に“３”−“４”のフラグ情報を設定する。

帳票状態推定部２１１は、例えば、“歪みフラグ”に設定されたフラグ情報を主記憶部１２の所定の領域に一時的に記憶する。“歪みフラグ”に設定されたフラグ情報は、例えば、状態表示部２１２に引き渡される。

[状態表示処理]
状態表示部２１２は、例えば、帳票状態推定部２１１から引き渡された並進移動、回転移動、奥行き方向の前後移動、歪み補正の各種フラグ情報に基づいて、撮影中の撮像画像に対する、適正な撮影位置への位置決め支援を行う。

状態表示部２１２は、例えば、適正な撮影位置を示す矩形状のガイド枠等を撮影中の撮像画像に重畳させ、文字認識支援装置２０のＬＣＤ１５ａ等のモニタ表示が行われる表示画面に表示する。そして、状態表示部２１２は、例えば、各種フラグ情報に基づいて、帳票の撮像画像についての画像領域内での移動方向の指示を行う。撮像画像に対する画像領域内の移動方向の指示は、例えば、移動方向を示す矢印、マーカー等の表示部品を用いることができる。状態表示部２１２は、例えば、適正な撮影位置を示す矩形状のガイド枠、及び、撮像画像の画像領域内の移動方向を示す矢印等の表示部品を、撮影中の撮像画像に重畳させ、モニタ表示が行われるＬＣＤ１５ａ等の表示画面に表示する。

（並進移動）
図６Ｄに、並進移動に係る位置決め支援の説明図を例示する。図６Ｄの説明図は、画像領域内の帳票の撮像画像の位置が右方向に並進移動するよう、位置決め支援を行う場合の表示例である。なお、撮影対象となる帳票位置が固定されていると想定すると、画像領域内の帳票の撮像画像の位置が右方向に並進移動する場合では、文字認識支援装置２０のカメラ１４ａは、相対的に左方向に移動することとなる。

図６Ｄの説明図において、縁辺Ｚ０ａ−Ｚ０ｄに囲まれた矩形の画像領域Ｚ０は文字認識支援装置２０の画像領域を表し、領域Ｚ１は撮影中の帳票の撮像画像（画像データ）の画像領域を表す。また、破線矩形で示されるガイド枠Ｇ１５は、撮影中の帳票の適正な撮影位置を示す表示部品であり、矢先が右方向に向いた矢印Ｇ１６は、画像領域内の撮像画像の移動方向を指示する表示部品である。

図６Ｄに例示の説明図では、画像領域Ｚ０内における撮影中の帳票の撮像画像の領域Ｚ１は、相対的に左側に位置している。また、適正な撮影位置を示すガイド枠１５Ｇは、撮影中の帳票の撮像画像の領域Ｚ１の一部に重畳し、相対的に右側寄りに表示されている。そして、右向き矢印Ｇ１６は、画像領域Ｚ０内の帳票の撮像画像をガイド枠１５Ｇの方向に移動するよう、撮影中の帳票の撮像画像の領域Ｚ１の一部に重畳して表示されている。

状態表示部２１２は、例えば、帳票状態推定部２１１により、（Ｘgrav−Ｔｈｘ）＞Ｘ´gravと判定される場合には、図６Ｄの説明図に例示のように、画像領域Ｚ０内の帳票の撮像画像（領域Ｚ１）の位置が右方向に並進移動するよう位置決め支援を行う。帳票状態推定部２１１では、（Ｘgrav−Ｔｈｘ）＞Ｘ´gravと判定される場合には、例えば、“並進フラグ”に“１”のフラグ情報が設定される。状態表示部２１２は、例えば、撮影中の帳票の撮像画像（領域Ｚ１）の一部に適正な撮影位置を示すガイド枠１５Ｇ、及び、右向き矢印Ｇ１６を重畳させて表示し、画像領域Ｚ０内の帳票の撮像画像の位置が右方向に並進移動するよう指示を行う。

また、状態表示部２１２は、例えば、帳票状態推定部２１１により、（Ｘgrav＋Ｔｈｘ）＜Ｘ´gravと判定される場合には、画像領域Ｚ０内の帳票の撮像画像（領域Ｚ１）の位置が左方向に並進移動するよう位置決め支援を行う。帳票状態推定部２１１では、（Ｘgrav＋Ｔｈｘ）＜Ｘ´gravと判定される場合には、例えば、“並進フラグ”に“２”のフラグ情報が設定される。状態表示部２１２は、例えば、撮影中の帳票の撮像画像（領域Ｚ１）の一部に適正な撮影位置を示すガイド枠１５Ｇ、及び、左向き矢印Ｇ１６を重畳させて表示し、画像領域Ｚ０内の帳票の撮像画像の位置が左方向に並進移動するよう指示を行う。

状態表示部２１２は、例えば、帳票状態推定部２１１により、（Ｙgrav−Ｔｈｙ）＞Ｙ´gravと判定される場合には、画像領域Ｚ０内の帳票の撮像画像（領域Ｚ１）の位置が下方向に並進移動するよう位置決め支援を行う。帳票状態推定部２１１では、（Ｙgrav−Ｔｈｙ）＞Ｙ´gravと判定される場合には、例えば、“並進フラグ”に“３”のフラグ情報が設定される。状態表示部２１２は、例えば、撮影中の帳票の撮像画像（領域Ｚ１）の一部に適正な撮影位置を示すガイド枠１５Ｇ、及び、下向き矢印Ｇ１６を重畳させて表示し、画像領域Ｚ０内の帳票の撮像画像の位置が下方向に並進移動するよう指示を行う。

また、状態表示部２１２は、例えば、帳票状態推定部２１１により、（Ｙgrav＋Ｔｈｙ）＜Ｙ´gravと判定される場合には、画像領域Ｚ０内の帳票の撮像画像（領域Ｚ１）の位置が上方向に並進移動するよう位置決め支援を行う。帳票状態推定部２１１では、（Ｙgrav＋Ｔｈｙ）＜Ｙ´gravと判定される場合には、例えば、“並進フラグ”に“４”のフラグ情報が設定される。状態表示部２１２は、例えば、撮影中の帳票の撮像画像（領域Ｚ１）の一部に適正な撮影位置を示すガイド枠１５Ｇ、及び、上向き矢印Ｇ１６を重畳させて表示し、画像領域Ｚ０内の帳票の撮像画像の位置が上方向に並進移動するよう指示を行う。

（回転移動）
図６Ｅに、回転移動に係る位置決め支援の説明図を例示する。図６Ｅの説明図は、画像領域内の帳票の撮像画像が、“文字列”に対する全体的な重心座標（Ｘ´grav，Ｙ´grav）を中心として時計回りに回転移動するよう、位置決め支援を行う場合の表示例である。なお、撮影対象となる帳票位置が固定されていると想定すると、画像領域内の帳票の撮像画像が時計回りに回転する場合では、文字認識支援装置２０のカメラ１４ａは、相対的に反時計回りに回転することとなる。

図６Ｅの説明図において、縁辺Ｚ０ａ−Ｚ０ｄに囲まれた矩形の画像領域Ｚ０は文字認識支援装置２０の画像領域を表し、領域Ｚ１は撮影中の帳票の撮像画像（画像データ）の画像領域を表す。また、破線矩形で示されるガイド枠Ｇ１５は、撮影中の帳票の適正な撮影位置を示す表示部品であり、湾曲した右回り（時計回り）矢印Ｇ１７は、画像領域内の撮像画像の移動方向を指示する表示部品である。

図６Ｅに例示の説明図では、画像領域Ｚ０内における撮影中の帳票の撮像画像の領域Ｚ１は、右上がり斜めに傾斜して位置している。適正な撮影位置を示すガイド枠１５Ｇは、撮影中の帳票の撮像画像の領域Ｚ１の一部に重畳し、ガイド枠１５Ｇの上下左右の縁辺は、画像領域Ｚ０の縁辺Ｚ０ａ−Ｚ０ｄと並行するように表示されている。湾曲した右回り（時計回り）矢印Ｇ１７は、領域Ｚ１の撮像画像の上下左右の縁辺が、ガイド枠１５Ｇの上下左右の縁辺と並行となるよう、撮影中の帳票の撮像画像の領域Ｚ１の一部に重畳して表示されている。湾曲した右回り（時計回り）矢印Ｇ１７は、“文字列”に対する全体的な重心座標（Ｘ´grav，Ｙ´grav）を中心として、撮影中の帳票の撮像画像の領域Ｚ１が時計回りに回転移動するよう、表示されている。

状態表示部２１２は、例えば、帳票状態推定部２１１により、（θchar1＋θchar2−Ｔｈθ）＞（θ´char1＋θ´char2）と判定される場合には、図６Ｅに例示のように、画像領域Ｚ０内の帳票の撮像画像の領域Ｚ１が時計回りに回転するよう、支援を行う。帳票状態推定部２１１では、（θchar1＋θchar2−Ｔｈθ）＞（θ´char1＋θ´char2）と判定される場合には、例えば、“回転フラグ”に“１”のフラグ情報が設定される。

状態表示部２１２は、例えば、撮影中の帳票の撮像画像（領域Ｚ１）の一部に適正な撮影位置を示すガイド枠１５Ｇ、及び、湾曲した右回り（時計回り）矢印Ｇ１７を重畳させて表示する。そして、状態表示部２１２は、例えば、撮影中の帳票の撮像画像の領域Ｚ１が重心座標（Ｘ´grav，Ｙ´grav）を中心として、時計回りに回転移動するよう指示を行う。状態表示部２１２は、例えば、重心座標（Ｘ´grav，Ｙ´grav）を中心として、時計回りに回転された、右上がり斜めに傾斜した撮像画像の上下左右の縁辺が、ガイド枠１５Ｇの上下左右の縁辺と並行となるように、位置決め支援を行う。

また、状態表示部２１２は、例えば、帳票状態推定部２１１により、（θchar1＋θchar2＋Ｔｈθ）＜（θ´char1＋θ´char2）と判定される場合には、画像領域Ｚ０内の帳票の撮像画像の領域Ｚ１が反時計回りに回転するよう、支援を行う。帳票状態推定部２１１では、（θchar1＋θchar2＋Ｔｈθ）＜（θ´char1＋θ´char2）と判定される場合には、例えば、“回転フラグ”に“２”のフラグ情報が設定される。

状態表示部２１２は、例えば、撮影中の帳票の撮像画像（領域Ｚ１）の一部に適正な撮影位置を示すガイド枠１５Ｇ、及び、湾曲した左回り（反時計回り）矢印Ｇ１７を重畳させて表示する。そして、状態表示部２１２は、例えば、撮影中の帳票の撮像画像の領域Ｚ１が重心座標（Ｘ´grav，Ｙ´grav）を中心として、反時計回りに回転移動するよう指示を行う。状態表示部２１２は、例えば、重心座標（Ｘ´grav，Ｙ´grav）を中心として、反時計回りに回転された、左上がり斜めに傾斜した撮像画像の上下左右の縁辺が、ガイド枠１５Ｇの上下左右の縁辺と並行となるように、位置決め支援を行う。

（奥行き方向の前後移動）
図６Ｆに、奥行き方向の前後移動に係る位置決め支援の説明図を例示する。図６Ｆの説明図は、画像領域内の帳票の撮像画像のサイズが拡大するように、帳票方向に移動するよう（奥行き方向の前方向に移動）、位置決め支援を行う場合の表示例である。なお、帳票位置が固定されていると想定すると、画像領域内の帳票の撮像画像のサイズが拡大するように、帳票方向に移動する場合では、帳票と文字認識支援装置２０のカメラ１４ａとの間
の距離が縮小するよう、奥行き方向の前方向に移動することとなる。

図６Ｆの説明図において、縁辺Ｚ０ａ−Ｚ０ｄに囲まれた矩形の画像領域Ｚ０は文字認識支援装置２０の画像領域を表し、領域Ｚ１は撮影中の帳票の撮像画像（画像データ）の画像領域を表す。破線矩形で示されるガイド枠Ｇ１５は、撮影中の帳票の適正な撮影位置を示す表示部品である。縁辺Ｚ０ｂに向かう右向き矢印Ｇ１８ａ、及び、縁辺Ｚ０ｄに向かう左向き矢印Ｇ１８ｂは、画像領域内の撮像画像の拡大・縮小を指示する一対の表示部品である。

図６Ｆに例示の説明図では、画像領域Ｚ０内における撮影中の帳票の撮像画像の領域Ｚ１は、相対的に領域サイズが縮小された状態で位置している。適正な撮影位置を示すガイド枠１５Ｇは、撮影中の帳票の撮像画像の領域Ｚ１を囲むように重畳し、ガイド枠１５Ｇの上下左右の縁辺は、画像領域Ｚ０の縁辺Ｚ０ａ−Ｚ０ｄと並行するように表示されている。右向き矢印Ｇ１８ａは、領域Ｚ１の撮像画像が領域サイズを縁辺Ｚ０ｂに向かって拡大するよう、撮影中の帳票の撮像画像の領域Ｚ１の右端側に重畳して表示されている。また、左向き矢印Ｇ１８ｂは、領域Ｚ１の撮像画像が領域サイズを縁辺Ｚ０ｄに向かって拡大するよう、撮影中の帳票の撮像画像の領域Ｚ１の左端側に重畳して表示されている。右向き矢印Ｇ１８ａ、左向き矢印Ｇ１８ｂは、撮像画像の領域Ｚ１の左右方向に対を成して表示されている。

状態表示部２１２は、例えば、帳票状態推定部２１１により、（Ｄchar1＋Ｄchar2＋Ｄchar3−Ｔｈｄ）＞（Ｄ´char1＋Ｄ´char2＋Ｄ´char3）と判定される場合には、図６Ｆに例示のように、画像領域Ｚ０内の帳票の撮像画像の領域Ｚ１が拡大するよう支援を行う。帳票状態推定部２１１では、（Ｄchar1＋Ｄchar2＋Ｄchar3−Ｔｈｄ）＞（Ｄ´char1＋Ｄ´char2＋Ｄ´char3）と判定される場合には、例えば、“前後フラグ”に“１”のフラグ情報が設定される。

状態表示部２１２は、例えば、撮影中の帳票の撮像画像（領域Ｚ１）を囲む適正な撮影位置を示すガイド枠１５Ｇ、及び、撮像画像の領域Ｚ１の左右方向に対を成す右向き矢印Ｇ１８ａ、左向き矢印Ｇ１８ｂを重畳させて表示する。そして、状態表示部２１２は、例えば、撮影中の帳票の撮像画像の領域Ｚ１が、領域サイズを拡大する方向に移動するよう、指示を行う。状態表示部２１２は、例えば、領域サイズを拡大する方向に移動させた帳票の撮像画像の領域Ｚ１が、ガイド枠Ｇ１５と合致するように、位置決め支援を行う。

また、状態表示部２１２は、例えば、帳票状態推定部２１１により、（Ｄ´char1＋Ｄ
´char2＋Ｄ´char3）＞（Ｄchar1＋Ｄchar2＋Ｄchar3＋Ｔｈｄ）と判定される場合には
、画像領域Ｚ０内の帳票の撮像画像の領域Ｚ１が縮小するよう支援を行う。帳票状態推定部２１１では、（Ｄ´char1＋Ｄ´char2＋Ｄ´char3）＞（Ｄchar1＋Ｄchar2＋Ｄchar3＋Ｔｈｄ）と判定される場合には、例えば、“前後フラグ”に“２”のフラグ情報が設定される。

状態表示部２１２は、例えば、撮影中の帳票の撮像画像（領域Ｚ１）に適正な撮影位置を示すガイド枠１５Ｇを重畳させて表示する。また、状態表示部２１２は、例えば、撮像画像の領域Ｚ１の左右方向に対を成す左向き矢印Ｇ１８ａ、右向き矢印Ｇ１８ｂを重畳させて表示する。左向き矢印Ｇ１８ａは、撮像画像の領域Ｚ１の右端側に表示され、右向き矢印Ｇ１８ｂは、撮像画像の領域Ｚ１の左端側に表示される。

状態表示部２１２は、例えば、帳票と文字認識支援装置２０のカメラ１４ａとの間の距離が離間し、撮影中の帳票の撮像画像の領域Ｚ１が、領域サイズを縮小する方向（奥行き方向の後方向）に移動するよう、指示を行う。状態表示部２１２は、例えば、領域サイズ
を縮小する方向に移動させた帳票の撮像画像の領域Ｚ１が、ガイド枠Ｇ１５と合致するように、位置決め支援を行う。

（歪み補正）
図６Ｇに、歪み補正に係る位置決め支援の説明図を例示する。図６Ｇの説明図は、画像領域内の帳票の撮像画像について、左端側の上下方向の縁辺のサイズが縮小するように、歪み補正の支援を行う場合の表示例である。

図６Ｇの説明図では、縁辺Ｚ０ａ−Ｚ０ｄに囲まれた矩形の画像領域Ｚ０は文字認識支援装置２０の画像領域を表し、領域Ｚ１は撮影中の帳票の撮像画像（画像データ）の画像領域を表す。また、破線矩形で示されるガイド枠Ｇ１５は、撮影中の帳票の適正な撮影位置を示す表示部品である。左方向にくの字状に折れた矢印群Ｇ１９は、画像領域Ｚ０内の帳票の撮像画像の歪み補正を支持する表示部品である。図６Ｇの例では、矢印群Ｇ１９は、３個の左方向にくの字状に折れた矢印Ｇ１９ａ、Ｇ１９ｂ、Ｇ１９ｃを有し、各矢印の表示サイズは、右端側の矢印Ｇ１９ａから左端側の矢印Ｇ１９ｃに向かって、順に拡大している。

図６Ｇの説明図において、画像領域Ｚ０内における撮影中の帳票の撮像画像の左右の縁辺は、ガイド枠Ｇ１５の左右の縁辺と並行する状態で表示されている。帳票の撮像画像の左端側の縁辺の上下方向のサイズは、右端側の縁辺の上下方向のサイズより大きく表示されている。また、帳票の撮像画像の上下の縁辺は、ガイド枠Ｇ１５の上下の縁辺に対し傾斜した状態で表示されている。帳票の撮像画像の上下の縁辺は、左端側から右端側に掛けて窄むように傾斜して表示されている。

例えば、撮影時の帳票位置が固定されていると想定すると、図６Ｇの例では、帳票と文字認識支援装置２０のカメラ１４ａは、相対的に左側の距離が右側の距離に比べて短くなるよう、帳票側に近づいて傾いた状態で撮影されていることが判る。このため、左端側の上下方向の縁辺のサイズが縮小するように歪み補正の支援を行う場合では、文字認識支援装置２０は、帳票の左側に近づいて傾いていたカメラ１４ａの距離を遠ざける方向に、移動することとなる。

図６Ｇの例では、例えば、帳票状態推定部２１１により、｜１−（Ｃ´12／Ｃ12）｜＜｜１−（Ｃ´13／Ｃ13）｜であり、−Ｔｈｃ＞１−（Ｃ´13／Ｃ13）と判定され、“歪みフラグ”に“３”のフラグ情報が設定される。状態表示部２１２は、｜１−（Ｃ´12／Ｃ12）｜＜｜１−（Ｃ´13／Ｃ13）｜であり、−Ｔｈｃ＞１−（Ｃ´13／Ｃ13）と判定される場合には、例えば、画像領域Ｚ０内の帳票の撮像画像の左端側の上下方向の縁辺のサイズが縮小するように、歪み補正の支援を行う。

状態表示部２１２は、例えば、撮影中の帳票の撮像画像（領域Ｚ１）に適正な撮影位置を示すガイド枠１５Ｇを重畳させて表示する。そして、状態表示部２１２は、例えば、左方向にくの字状に折れた矢印群Ｇ１９を、帳票の撮像画像の右端側の縁辺に重畳させて表示する。

状態表示部２１２は、例えば、撮影中の帳票の左側に近づいて傾いていた、文字認識支援装置２０のカメラ１４ａを遠ざける方向に移動させ、撮影中の帳票の撮像画像（領域Ｚ１）の左端側の上下方向の縁辺のサイズが縮小するように、歪み補正の指示を行う。状態表示部２１２は、例えば、左端側の上下方向の縁辺のサイズが縮小する方向に移動させた帳票の撮像画像の領域Ｚ１が、ガイド枠Ｇ１５と合致するように、位置決め支援を行う。

次に、例えば、帳票状態推定部２１１により、｜１−（Ｃ´12／Ｃ12）｜＜｜１−（Ｃ
´13／Ｃ13）｜であり、Ｔｈｃ＜１−（Ｃ´13／Ｃ13）と判定される場合を想定する。｜１−（Ｃ´12／Ｃ12）｜＜｜１−（Ｃ´13／Ｃ13）｜であり、Ｔｈｃ＜１−（Ｃ´13／Ｃ13）と判定される場合には、例えば、“歪みフラグ”に“４”のフラグ情報が設定される。

状態表示部２１２は、｜１−（Ｃ´12／Ｃ12）｜＜｜１−（Ｃ´13／Ｃ13）｜であり、Ｔｈｃ＜１−（Ｃ´13／Ｃ13）と判定される場合には、例えば、画像領域Ｚ０内の帳票の撮像画像の右端側の上下方向の縁辺のサイズが縮小するように、歪み補正の支援を行う。

状態表示部２１２は、例えば、撮影中の帳票の撮像画像（領域Ｚ１）に適正な撮影位置を示すガイド枠１５Ｇを重畳させて表示する。そして、状態表示部２１２は、例えば、右方向にくの字状に折れた矢印群Ｇ１９を、帳票の撮像画像の左端側の縁辺に重畳させて表示する。なお、矢印群Ｇ１９に含まれる各矢印の表示サイズは、左端側の矢印Ｇ１９ａから右端側の矢印Ｇ１９ｃに向かって、順に拡大するよう表示される。

状態表示部２１２は、例えば、撮影中の帳票の右側に近づいて傾いていた、文字認識支援装置２０のカメラ１４ａを遠ざける方向に移動させ、撮影中の帳票の撮像画像（領域Ｚ１）の右端側の上下方向の縁辺のサイズが縮小するように、歪み補正の指示を行う。状態表示部２１２は、例えば、右端側の上下方向の縁辺のサイズが縮小する方向に移動させた帳票の撮像画像の領域Ｚ１が、ガイド枠Ｇ１５と合致するように、位置決め支援を行う。

また、例えば、帳票状態推定部２１１により、｜１−（Ｃ´12／Ｃ12）｜＞｜１−（Ｃ´13／Ｃ13）｜であり、−Ｔｈｃ＞１−（Ｃ´12／Ｃ12）と判定される場合を想定する。｜１−（Ｃ´12／Ｃ12）｜＞｜１−（Ｃ´13／Ｃ13）｜であり、−Ｔｈｃ＞１−（Ｃ´12／Ｃ12）と判定される場合には、例えば、“歪みフラグ”に“１”のフラグ情報が設定される。

状態表示部２１２は、｜１−（Ｃ´12／Ｃ12）｜＞｜１−（Ｃ´13／Ｃ13）｜であり、−Ｔｈｃ＞１−（Ｃ´12／Ｃ12）と判定される場合には、例えば、画像領域Ｚ０内の帳票の撮像画像の上端側の左右方向の縁辺のサイズが縮小するように、歪み補正の支援を行う。

状態表示部２１２は、例えば、撮影中の帳票の撮像画像（領域Ｚ１）に適正な撮影位置を示すガイド枠１５Ｇを重畳させて表示する。そして、状態表示部２１２は、例えば、上方向にくの字状に折れた矢印群Ｇ１９を、帳票の撮像画像の下端側の縁辺に重畳させて表示する。なお、矢印群Ｇ１９に含まれる各矢印の表示サイズは、最下側の矢印Ｇ１９ａから最上側の矢印Ｇ１９ｃに向かって、順に拡大するよう表示される。

状態表示部２１２は、例えば、撮影中の帳票の上側に近づいて傾いていた、文字認識支援装置２０のカメラ１４ａを遠ざける方向に移動させ、撮影中の帳票の撮像画像（領域Ｚ１）の上端側の左右方向の縁辺のサイズが縮小するように、歪み補正の指示を行う。状態表示部２１２は、例えば、上端側の左右方向の縁辺のサイズが縮小する方向に移動させた帳票の撮像画像の領域Ｚ１が、ガイド枠Ｇ１５と合致するように、位置決め支援を行う。

また、例えば、帳票状態推定部２１１により、｜１−（Ｃ´12／Ｃ12）｜＞｜１−（Ｃ´13／Ｃ13）｜であり、Ｔｈｃ＜１−（Ｃ´12／Ｃ12）と判定される場合を想定する。｜１−（Ｃ´12／Ｃ12）｜＞｜１−（Ｃ´13／Ｃ13）｜であり、Ｔｈｃ＜１−（Ｃ´12／Ｃ12）と判定される場合には、例えば、“歪みフラグ”に“２”のフラグ情報が設定される。

状態表示部２１２は、｜１−（Ｃ´12／Ｃ12）｜＞｜１−（Ｃ´13／Ｃ13）｜であり、Ｔｈｃ＜１−（Ｃ´12／Ｃ12）と判定される場合には、例えば、画像領域Ｚ０内の帳票の撮像画像の下端側の左右方向の縁辺のサイズが縮小するように、歪み補正の支援を行う。

状態表示部２１２は、例えば、撮影中の帳票の撮像画像（領域Ｚ１）に適正な撮影位置を示すガイド枠１５Ｇを重畳させて表示する。そして、状態表示部２１２は、例えば、下方向にくの字状に折れた矢印群Ｇ１９を、帳票の撮像画像の上端側の縁辺に重畳させて表示する。なお、矢印群Ｇ１９に含まれる各矢印の表示サイズは、最上側の矢印Ｇ１９ａから最下側の矢印Ｇ１９ｃに向かって、順に拡大するよう表示される。

状態表示部２１２は、例えば、撮影中の帳票の下側に近づいて傾いていた、文字認識支援装置２０のカメラ１４ａを遠ざける方向に移動させ、撮影中の帳票の撮像画像（領域Ｚ１）の下端側の左右方向の縁辺のサイズが縮小するように、歪み補正の指示を行う。状態表示部２１２は、例えば、下端側の左右方向の縁辺のサイズが縮小する方向に移動させた帳票の撮像画像の領域Ｚ１が、ガイド枠Ｇ１５と合致するように、位置決め支援を行う。

〔処理フロー〕
以下、図７Ａ−７Ｈ、７Ｊ、８Ａ−８Ｅに例示のフローチャートを参照し、本実施形態の文字認識支援装置２０の文字認識処理を説明する。図７Ａは、文字認識支援装置２０の文字認識処理の全体処理を示すフローチャートの例示である。図７Ａに例示のフローチャートにおいて、文字認識処理の開始は、例えば、文字認識処理の対象となる帳票の、撮像画像の受け付けのときが例示できる。

文字認支援識装置２０は、例えば、入力部１４のカメラ１４ａ等を介して、１０ｍｓといった一定の周期間隔の時系列で撮影中の撮像画像の画像データを受け付ける。受け付けられた撮影中の撮像画像の画像データは、例えば、時系列順に主記憶部１２のバッファメモリ等に一時的に記憶される。バッファメモリ等に記憶された撮影中の撮像画像の画像データは、時系列順に読み出され、例えば、文字認識支援装置２０のＬＣＤ１５ａ等の表示画面に、撮影中の帳票の撮影状態を表すモニタ画像として表示される。文字認識支援装置２０は、例えば、時系列順にバッファメモリ等から読み出された撮影中の撮像画像の画像データに対し、図７Ａに例示の文字認識処理を行う。

図７Ａに例示のフローチャートにおいて、文字認識支援装置２０は、例えば、バッファメモリ等から読み出された撮影中の撮像画像の画像データについて画質評価処理を行う（Ｓ２１）。画質評価処理は、例えば、評価用文字列ＤＢ２０１に登録された撮影中の帳票の評価用文字列のデータに基づいて行われる。画質評価処理では、例えば、画像領域内の撮影中の撮像画像の画像データが、少なくとも２隅以上の評価用領域において適正な位置に位置決めが行われていることが判定される。同時に、例えば、少なくとも２隅以上の評価用領域の文字認識の可否に基づいて、画像領域内の撮影中の撮像画像の画像データが、文字を認識するための十分な画質であるかが判定される。

文字認識支援装置２０は、例えば、Ｓ２１の画質評価処理の判定結果をＳ２２の処理に引き渡す。なお、Ｓ２１の画質評価処理は、図７Ｂで説明する。

文字認識支援装置２０は、例えば、Ｓ２１の画質評価処理から引き渡された判定結果に基づいて、処理中の撮像画像の画像データに帳票内の文字を認識するための十分な画質を有するか否かを判定する（Ｓ２２）。処理中の撮像画像の画像データに対する十分な画質であるかの判定は、例えば、処理中の撮像画像の画像データに付加された“画質フラグ”のフラグ情報により行われる。

文字認識支援装置２０は、例えば、処理中の撮像画像の“画質フラグ”に“１”のフラグ情報が付加されていない場合には（Ｓ２２，“Ｎ”）、Ｓ２３−Ｓ２６の処理をスキップし、処理中の撮像画像に対する文字認識処理を終了する。文字認識支援装置２０は、例えば、時系列順にバッファメモリ等から読み出された次の撮影中の撮像画像の画像データを対象として文字認識処理を継続する。図７Ａに例示の文字認識処理は、例えば、帳票内に記述された文字認識が行われるまで繰り返し実行される。

一方、文字認識支援装置２０は、例えば、処理中の撮像画像の“画質フラグ”に“１”のフラグ情報が付加されている場合には（Ｓ２２，“Ｙ”）、Ｓ２３の帳票状態推定処理に移行する。

Ｓ２３の帳票状態推定処理では、文字認識支援装置２０は、例えば、２隅以上の評価用領域で文字認識された“文字列”と“評価文字列”との位置関係に基づいて、処理中の帳票の位置決めを行うための各種移動判定、歪み補正判定を行う。なお、歪み補正判定は、例えば、３隅以上の評価用領域で“評価文字列”が文字認識された場合に行われる。

文字認識支援装置２０は、例えば、Ｓ２３の帳票状態推定処理の各種移動判定、歪み補正判定の結果をフラグ情報として主記憶部１２の所定の領域に一時的に記憶し、Ｓ２４の状態表示処理に引き渡す。なお、Ｓ２３の帳票状態推定処理は、図７Ｃ−７Ｈ、７Ｊで説明する。

Ｓ２４の状態表示処理では、文字認識支援装置２０は、例えば、Ｓ２３の帳票状態推定処理で判定された並進移動、回転移動、奥行き方向の前後移動、歪み補正の要否を示す各種フラグ情報に基づいて、処理中の撮像画像に対する適正な撮影位置への支援表示を行う。

文字認識支援装置２０は、例えば、適正な撮影位置を示す矩形状のガイド枠等を撮影中の撮像画像に重畳させ、文字認識支援装置２０のＬＣＤ１５ａ等のモニタ表示が行われる表示画面に表示する。また、文字認識支援装置２０は、例えば、各種フラグ情報に対応した、画像領域内での撮像画像の移動方向を示す矢印等の表示部品を撮影中の撮像画像に重畳させ、モニタ表示が行われるＬＣＤ１５ａ等の表示画面に表示する。なお、Ｓ２４の状態表示処理は、図８Ａ−８Ｅで説明する。

Ｓ２５の処理では、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像の撮影位置が、画像領域内において適正な撮影位置に位置決めされた状態であるかを判定する。

文字認識支援装置２０は、例えば、Ｓ２３の帳票状態推定処理の結果、処理中の帳票の撮像画像の撮影位置が、画像領域内において適正な撮影位置に位置決めされた状態でない場合には（Ｓ２５，“Ｎ”）、処理中の撮像画像に対する文字認識処理を終了する。文字認識支援装置２０は、例えば、時系列順にバッファメモリ等から読み出された次の撮影中の撮像画像の画像データを対象として文字認識処理を継続する。図７Ａに例示の文字認識処理は、例えば、帳票内に記述された文字認識が行われるまで繰り返し実行される。

一方、文字認識支援装置２０は、例えば、Ｓ２３の帳票状態推定処理の結果、処理中の帳票の撮像画像の撮影位置が、画像領域内において適正な撮影位置に位置決めされた状態である場合には（Ｓ２５，“Ｙ”）、Ｓ２６の処理に移行する。

Ｓ２６の処理では、文字認識支援装置２０は、例えば、処理中の撮像画像の画像データを主記憶部１２の所定の領域に一時的に記憶する。そして、文字認識支援装置２０は、例えば、帳票が撮像された、図１Ｂに例示の画像領域Ｚ１のデータ領域について文字認識を
行う。画像領域Ｚ１内のデータ領域の文字認識は、例えば、検出データ処理部２１３により行われる。文字認識支援装置２０は、例えば、文字認識により検出された帳票内の文字情報を検出データ文字列として、文字認識支援装置２０の出力部１５に出力し、処理中の撮像画像に対する文字認識処理を終了する。

ここで、文字認識支援装置２０で実行されるＳ２１の処理は、文字認識の対象となる矩形の認識対象体を含む撮像画像を受け付けるステップの一例である。また、文字認識支援装置２０のＣＰＵ１１等は、文字認識の対象となる矩形の認識対象体を含む撮像画像を受け付ける手段の一例としてＳ２１の処理を実行する。

また、文字認識支援装置２０で実行されるＳ２３の処理は、前記所定領域内の部分画像について文字認識を行い、前記所定領域内で文字認識された文字列と前記認識対象体中の前記評価文字列との関係を判定するステップの一例である。また、文字認識支援装置２０のＣＰＵ１１等は、前記所定領域内の部分画像について文字認識を行い、前記所定領域内で文字認識された文字列と前記認識対象体中の前記評価文字列との関係を判定する手段の一例としてＳ２３の処理を実行する。

また、文字認識支援装置２０で実行されるＳ２３の処理は、前記評価文字列の座標情報と、前記評価文字列に対応する前記所定領域内で文字認識された文字列との位置関係に基づいて、前記認識対象体の撮像画像の適正な撮影位置に対する複数の軸方向の補正移動の要否を判定する補正移動判定ステップの一例である。また、文字認識支援装置２０のＣＰＵ１１等は、前記評価文字列の座標情報と、前記評価文字列に対応する前記所定領域内で文字認識された文字列との位置関係に基づいて、前記認識対象体の撮像画像の適正な撮影位置に対する複数の軸方向の補正移動の要否を判定する補正移動判定手段の一例としてＳ２３の処理を実行する。

また、文字認識支援装置２０で実行されるＳ２４の処理は、前記関係から前記矩形の認識対象体の姿勢を示す複数の軸のうち、少なくとも１軸について文字認識できるか否かを、利用者が識別可能な様態で表示する表示制御ステップの一例である。また、文字認識支援装置２０のＣＰＵ１１等は、前記関係から前記矩形の認識対象体の姿勢を示す複数の軸のうち、少なくとも１軸について文字認識できるか否かを、利用者が識別可能な様態で表示する表示制御手段の一例としてＳ２４の処理を実行する。

［画質評価処理］
次に、図７Ｂに例示のフローチャートを参照し、図７Ａに例示のＳ２１の画質評価処理の詳細を説明する。図７Ｂに例示にフローチャートにおいて、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像の画像データに対し、“画質フラグ”を“０”とするフラグ情報を付与する（Ｓ３１）。“画質フラグ”に設定されるフラグ情報は、例えば、２値状態を“０”、“１”等の単一ビットで識別する情報である。Ｓ３１の処理では、文字認識支援装置２０は、処理中の撮像画像の画像データに対し、初期値として“画質フラグ”を“０”とするフラグ情報の設定を行う。

Ｓ３２の処理では、文字認識支援装置２０は、例えば、評価用文字列ＤＢ２０１を参照し、撮影中の帳票に対応する評価用文字列のデータ（画質評価用文字列テーブル）の読み込みを行う。読み込まれた評価用文字列のデータは、例えば、主記憶部１２の所定の領域に一時的に記憶される。

Ｓ３３の処理では、文字認識支援装置２０は、例えば、Ｓ３２の処理で読み込んだ評価用文字列の画像領域内の座標データ“ｓｘ”、“ｓｙ”、“ｅｘ”、“ｅｙ”に基づいて、評価用領域の設定を行う。評価用領域の設定は、例えば、数式（２）、（３）に基づい
て行われる。文字認識支援装置２０は、例えば、画像領域内の評価用領域について文字認識を行い、２隅以上の評価用領域における評価用文字列の文字認識が行われたかを判定する（Ｓ３４）。

文字認識支援装置２０は、例えば、２隅以上の評価用領域における評価用文字列の文字認識が行われた場合には（Ｓ３４，“Ｙ”）、Ｓ３５の処理に移行する。Ｓ３５の処理では、文字認識支援装置２０は、例えば、処理中の撮像画像の画像データに対し、帳票内の文字を認識するための十分な画質であると判断し、“画質フラグ”のフラグ値に“１”を設定する。文字認識支援装置２０は、処理中の画質評価処理を終了する。また、文字認識支援装置２０は、例えば、２隅以上の評価用領域における評価用文字列の文字認識が行われない場合には（Ｓ３４，“Ｎ”）、処理中の画質評価処理を終了する。

ここで、文字認識支援装置２０で実行されるＳ３２−Ｓ３３の処理は、記憶部に登録された前記認識対象体中の複数の評価文字列の座標情報に基づいて、前記認識対象体を含む撮像画像内での３隅以上の所定領域を特定するステップの一例である。また、文字認識支援装置２０のＣＰＵ１１等は、記憶部に登録された前記認識対象体中の複数の評価文字列の座標情報に基づいて、前記認識対象体を含む撮像画像内での３隅以上の所定領域を特定する手段の一例としてＳ３２−Ｓ３３の処理を実行する。

また、文字認識支援装置２０で実行されるＳ３４の処理は、前記所定領域内の部分画像について文字認識を行い、前記所定領域内で文字認識された文字列と前記認識対象体中の前記評価文字列との関係を判定するステップの一例である。また、文字認識支援装置２０のＣＰＵ１１等は、前記所定領域内の部分画像について文字認識を行い、前記所定領域内で文字認識された文字列と前記認識対象体中の前記評価文字列との関係を判定する手段の一例としてＳ３４の処理を実行する。

［帳票状態推定処理］
次に、図７Ｃ−７Ｈ、７Ｊに例示のフローチャートを参照し、図７Ａに例示のＳ２３の帳票状態推定処理の詳細を説明する。図７Ｃは、帳票状態推定処理の全体処理を示すフローチャートの例示である。

文字認識支援装置２０は、例えば、２隅の評価用領域について文字認識が行われた場合には、該２隅の評価用領域で文字認識された“文字列”と“評価文字列”との位置関係に基づいて、処理中の帳票の位置決めを行うための各種移動判定を行う。また、文字認識支援装置２０は、例えば、３隅の評価用領域について文字認識が行われた場合には、該２隅の評価用領域で文字認識された“文字列”と“評価文字列”との位置関係に基づいて、処理中の帳票の位置決めを行うための各種移動判定、歪み補正判定を行う。

図７Ｃに例示のフローチャートにおいて、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像（画像データ）について文字認識が行われた評価用領域の箇所が３隅であるか否かを判定する（Ｓ４１）。

文字認識支援装置２０は、例えば、処理中の帳票の撮像画像（画像データ）について文字認識が行われた評価用領域の箇所が３隅である場合には（Ｓ４１，“Ｙ”）、Ｓ４２の３隅推定処理に移行する。一方、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像（画像データ）について文字認識が行われた評価用領域の箇所が２隅である場合には（Ｓ４１，“Ｎ”）、Ｓ４３の２隅推定処理に移行する。

文字認識支援装置２０は、例えば、Ｓ４２の３隅推定処理、或いは、Ｓ４３の２隅推定処理により、処理中の帳票の位置決めを行うための各種移動、歪み補正の要否を判定し、
処理中の撮像画像に対する帳票状態推定処理を終了する。なお、Ｓ４２の３隅推定処理は図７Ｅで説明し、Ｓ４３の２隅推定処理は図７Ｄで説明する。

次に、図７Ｄに例示のフローチャートを参照し、図７Ｃに例示のＳ４３の２隅推定処理の詳細を説明する。図７Ｄは、２隅推定処理の全体処理を示すフローチャートの例示である。２隅推定処理では、２隅の評価用領域で文字認識された“文字列”と“評価文字列”との位置関係に基づいて、処理中の帳票の位置決めを行うための並進移動、回転移動、奥行き方向の前後移動の要否の判定が行われる。なお、各種移動の要否判定は、並進移動、回転移動、奥行き方向の前後移動の順に行われる。

図７Ｄに例示のフローチャートにおいて、文字認識支援装置２０は、例えば、２隅の評価用領域で文字認識された“文字列”についての重心座標（Ｘ´grav，Ｙ´grav）と、“評価文字列”についての重心座標（Ｘgrav，Ｙgrav）を求める。そして、文字認識支援装置２０は、例えば、“文字列”についての重心座標（Ｘ´grav，Ｙ´grav）と“評価文字列”についての重心座標（Ｘgrav，Ｙgrav）との位置関係に基づいて、処理中の帳票の位置決めを行うための並進移動の要否を判定する（Ｓ５１）。なお、Ｓ５１の並進推定処理は、図７Ｆで説明する。

Ｓ５１の並進推定処理では、例えば、処理中の帳票の撮像画像について、画像領域内の並進移動が求められる場合には、上下左右方向の各並進移動方向に応じて“並進フラグ”に“１”−“４”のフラグ情報が設定される。なお、処理中の帳票の撮像画像について、画像領域内の並進移動が求められない場合には、例えば、“並進フラグ”に“０”のフラグ情報が設定される。

Ｓ５２の処理では、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“並進フラグ”のフラグ情報が“０”であるか否かの判定を行う。文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“並進フラグ”のフラグ情報が“０”である場合には（Ｓ５２，“Ｎ”）、Ｓ５３の回転推定処理に移行する。一方、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“並進フラグ”のフラグ情報が“０”でない場合には（Ｓ５２，“Ｙ”）、Ｓ５３−Ｓ５６の処理をスキップし、処理中の２隅推定処理を終了する。

Ｓ５３の回転推定処理では、文字認識支援装置２０は、例えば、２隅の評価用領域で文字認識された“文字列”についての重心座標（Ｘ´grav，Ｙ´grav）を中心とした、“文字列”毎の重心座標（Ｘ´char，Ｙ´char）方向への時計回りの角度を求める。また、文字認識支援装置２０は、例えば、文字認識された２隅の評価用領域に対応する“評価文字列”についての重心座標（Ｘgrav，Ｙgrav）を中心とした、“評価文字列”毎の重心座標（Ｘchar，Ｙchar）方向への時計回りの角度を求める。そして、文字認識支援装置２０は、例えば、“文字列”毎の重心座標（Ｘ´char，Ｙ´char）方向への時計回りの角度、“評価文字列” 毎の重心座標（Ｘchar，Ｙchar）方向への時計回りの角度に基づいて、処
理中の帳票の位置決めを行うための回転移動の要否を判定する。なお、Ｓ５３の回転推定処理は、図７Ｇで説明する。

Ｓ５３の回転推定処理では、例えば、処理中の帳票の撮像画像について、画像領域内の回転移動が求められる場合には、時計回り、反時計回りの各回転移動方向に応じて“回転フラグ”に“１”−“２”のフラグ情報が設定される。なお、処理中の帳票の撮像画像について、画像領域内の回転移動が求められない場合には、例えば、“回転フラグ”に“０”のフラグ情報が設定される。

Ｓ５４の処理では、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像につい
て設定された“回転フラグ”のフラグ情報が“０”であるか否かの判定を行う。文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“回転フラグ”のフラグ情報が“０”である場合には（Ｓ５４，“Ｎ”）、Ｓ５５の前後推定処理に移行する。一方、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“回転フラグ”のフラグ情報が“０”でない場合には（Ｓ５４，“Ｙ”）、Ｓ５５−Ｓ５６の処理をスキップし、処理中の２隅推定処理を終了する。

Ｓ５５の前後推定処理では、文字認識支援装置２０は、例えば、２隅の評価用領域で文字認識された“文字列”についての重心座標（Ｘ´grav，Ｙ´grav）と、各“文字列”の重心座標（Ｘ´char，Ｙ´char）との距離を求める。また、文字認識支援装置２０は、例えば、文字認識された２隅の評価用領域に対応する“評価文字列”についての重心座標（Ｘgrav，Ｙgrav）と、各“評価文字列”の重心座標（Ｘchar，Ｙchar）との距離を求める。そして、文字認識支援装置２０は、例えば、各“文字列”の重心座標（Ｘ´char，Ｙ´char）への距離、各“評価文字列”の重心座標（Ｘchar，Ｙchar）への距離に基づいて、処理中の帳票の位置決めを行うための奥行き方向への前後移動の要否を判定する。なお、Ｓ５５の前後推定処理は、図７Ｈで説明する。

Ｓ５５の前後推定処理では、例えば、処理中の帳票の撮像画像について、奥行き方向への前後移動が求められる場合には、奥行き前方向、奥行き後方向の各移動方向に応じて“前後フラグ”に“１”−“２”のフラグ情報が設定される。なお、処理中の帳票の撮像画像について、奥行き方向への前後移動が求められない場合には、例えば、“前後フラグ”に“０”のフラグ情報が設定される。

Ｓ５６の処理では、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“前後フラグ”のフラグ情報が“０”であるか否かの判定を行う。文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“前後フラグ”のフラグ情報が“０”である場合には（Ｓ５６，“Ｎ”）、フラグ情報を主記憶部１２の所定の領域に一時的に記憶し、処理中の２隅推定処理を終了する。また、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“前後フラグ”のフラグ情報が“０”でない場合には（Ｓ５６，“Ｙ”）、処理中の２隅推定処理を終了する。

次に、図７Ｅに例示のフローチャートを参照し、図７Ｃに例示のＳ４２の３隅推定処理の詳細を説明する。図７Ｅは、３隅推定処理の全体処理を示すフローチャートの例示である。３隅推定処理では、３隅の評価用領域で文字認識された“文字列”と“評価文字列”との位置関係に基づいて、処理中の帳票の位置決めを行うための並進移動、回転移動、奥行き方向の前後移動、歪み補正の要否の判定が行われる。なお、各種移動の要否判定は、並進移動、回転移動、奥行き方向の前後移動の順に行われる。また、歪み補正の要否判定は、奥行き方向の前後移動の要否の判定後に行われる。

図７Ｅに例示の３隅推定処理において、Ｓ５１−Ｓ５５の処理では、文字認識支援装置２０は、例えば、３隅の評価用領域で文字認識された“文字列”と“評価文字列”について、図７Ｄに例示のＳ５１−Ｓ５５の処理を実行する。なお、Ｓ５６ａの処理では、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“前後フラグ”のフラグ情報が“０”であるか否かの判定を行う。

文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“回転フラグ”のフラグ情報が“０”でない場合には（Ｓ５６ａ，“Ｙ”）、Ｓ５７−Ｓ５８の処理をスキップし、処理中の３隅推定処理を終了する。一方、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“前後回転フラグ”のフラグ情報が“０”である場合には（Ｓ５６ａ，“Ｎ”）、Ｓ５７の歪み推定処理に移行する。

Ｓ５７の歪み推定処理では、文字認識支援装置２０は、例えば、３隅の評価用領域で文字認識された“文字列１”と“文字列２”との重心座標間の距離“Ｃ´12”を求める。また、文字認識支援装置２０は、例えば、“文字列１”と“文字列３”との重心座標間の距離“Ｃ´13”を求める。同様に、文字認識支援装置２０は、例えば、３隅の評価用文字列に内、“評価文字列１”と“評価文字列２”との重心座標間の距離“Ｃ12”、“評価文字列１”と“評価文字列３”との重心座標間の距離“Ｃ13”との距離を求める。

そして、文字認識支援装置２０は、例えば、評価用領域で文字認識された“Ｃ´12”、“Ｃ´13”とそれぞれの評価用領域に対応する“評価文字列”の“Ｃ12”、“Ｃ13”とのそれぞれの距離比に基づいて、処理中の撮像画像に対する歪み補正の要否を判定する。なお、Ｓ５７の歪み推定処理は、図７Ｊで説明する。

Ｓ５７の歪み推定処理では、例えば、処理中の帳票の撮像画像について、歪み補正を行うための補正移動が求められる場合には、左右方向、上下方向の各補正移動方向に応じて“歪みフラグ”に“１”−“４”のフラグ情報が設定される。なお、処理中の帳票の撮像画像について、歪み補正を行うための補正移動が求められない場合には、例えば、“歪みフラグ”に“０”のフラグ情報が設定される。

Ｓ５８の処理では、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“歪みフラグ”のフラグ情報が“０”であるか否かの判定を行う。文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“歪みフラグ”のフラグ情報が“０”である場合には（Ｓ５８，“Ｎ”）、フラグ情報を主記憶部１２の所定の領域に一時的に記憶し、処理中の３隅推定処理を終了する。また、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“歪みフラグ”のフラグ情報が“０”でない場合には（Ｓ５８，“Ｙ”）、処理中の３隅推定処理を終了する。

（並進推定処理）
図７Ｆに例示のフローチャートを参照し、図７Ｄ，７Ｅに例示のＳ５１の並進推定処理の詳細を説明する。図７Ｆに例示のフローチャートにおいて、文字認識支援装置２０は、例えば、“並進フラグ”に“０”のフラグ情報を設定する（Ｓ６１）。そして、文字認識支援装置２０は、例えば、２隅以上の評価用領域で文字認識された“文字列”についての重心座標（Ｘ´grav，Ｙ´grav）、該評価用領域に対応する“評価文字列”についての重心座標（Ｘgrav，Ｙgrav）を算出する（Ｓ６２）。

文字認識支援装置２０は、例えば、数式（４）−（７）に基づいて、２隅以上の評価用領域に対応する“評価文字列”についての重心座標（Ｘgrav，Ｙgrav）を算出する。また、文字認識支援装置２０は、例えば、数式（４）−（５）、（６ａ）−（７ａ）に基づいて、２隅以上の評価用領域で文字認識された“文字列”についての重心座標（Ｘ´grav，Ｙ´grav）を算出する。なお、重心座標（Ｘgrav，Ｙgrav）、（Ｘ´grav，Ｙ´grav）については、数式（４）−（７）、（６ａ）−（７ａ）で説明した。

Ｓ６３−Ｓ６Ａの処理では、文字認識支援装置２０は、例えば、Ｓ６２の処理で算出した各重心座標の位置関係に基づいて、処理中の帳票の撮像画像に対する上下左右方向の並進移動の要否を判定する。

文字認識支援装置２０は、例えば、Ｓ６２の処理で算出した各重心座標の位置関係について、数式（８）の関係に基づいて処理中の帳票の撮像画像に対する左右方向の並進移動の可否を判定する。また、文字認識支援装置２０は、例えば、Ｓ６２の処理で算出した各重心座標の位置関係について、数式（９）の関係に基づいて処理中の帳票の撮像画像に対
する左右方向の並進移動の可否を判定する。

並進移動の要否の判定の結果は、例えば、“並進フラグ”に設定される“１”−“４”のフラグ情報として反映される。なお、上下左右方向の並進移動の要否の判定については、数式（８）、（９）で説明した。

Ｓ６３の処理では、文字認識支援装置２０は、例えば、Ｓ６２の処理で算出した各重心座標の位置関係について、（Ｘgrav−Ｔｈｘ）＞Ｘ´gravの関係を満たすか否かを判定する。文字認識支援装置２０は、例えば、Ｓ６２の処理で算出した各重心座標の位置関係が（Ｘgrav−Ｔｈｘ）＞Ｘ´gravの関係を満たす場合には（Ｓ６３，“Ｙ”）、“並進フラグ”に“１”のフラグ情報を設定する（Ｓ６７）。一方、文字認識支援装置２０は、例えば、Ｓ６２の処理で算出した各重心座標の位置関係が（Ｘgrav−Ｔｈｘ）＞Ｘ´gravの関係を満たさない場合には（Ｓ６３，“Ｎ”）、Ｓ６４の処理に移行する。

Ｓ６４の処理では、文字認識支援装置２０は、例えば、Ｓ６２の処理で算出した各重心座標の位置関係について、Ｘ´grav＞（Ｘgrav＋Ｔｈｘ）の関係を満たすか否かを判定する。文字認識支援装置２０は、例えば、Ｓ６２の処理で算出した各重心座標の位置関係がＸ´grav＞（Ｘgrav＋Ｔｈｘ）の関係を満たす場合には（Ｓ６４，“Ｙ”）、“並進フラグ”に“２”のフラグ情報を設定する（Ｓ６８）。一方、文字認識支援装置２０は、例えば、Ｓ６２の処理で算出した各重心座標の位置関係がＸ´grav＞（Ｘgrav＋Ｔｈｘ）の関係を満たさない場合には（Ｓ６４，“Ｎ”）、Ｓ６５の処理に移行する。

Ｓ６５の処理では、文字認識支援装置２０は、例えば、Ｓ６２の処理で算出した各重心座標の位置関係について、（Ｙgrav−Ｔｈｙ）＞Ｙ´gravの関係を満たすか否かを判定する。文字認識支援装置２０は、例えば、Ｓ６２の処理で算出した各重心座標の位置関係が（Ｙgrav−Ｔｈｙ）＞Ｙ´gravの関係を満たす場合には（Ｓ６５，“Ｙ”）、“並進フラグ”に“３”のフラグ情報を設定する（Ｓ６９）。一方、文字認識支援装置２０は、例えば、Ｓ６２の処理で算出した各重心座標の位置関係が（Ｙgrav−Ｔｈｙ）＞Ｙ´gravの関係を満たさない場合には（Ｓ６５，“Ｎ”）、Ｓ６６の処理に移行する。

Ｓ６６の処理では、文字認識支援装置２０は、例えば、Ｓ６２の処理で算出した各重心座標の位置関係について、Ｙ´grav＞（Ｙgrav＋Ｔｈｙ）の関係を満たすか否かを判定する。文字認識支援装置２０は、例えば、Ｓ６２の処理で算出した各重心座標の位置関係がＹ´grav＞（Ｙgrav＋Ｔｈｙ）の関係を満たす場合には（Ｓ６６，“Ｙ”）、“並進フラグ”に“３”のフラグ情報を設定する（Ｓ６Ａ）。一方、文字認識支援装置２０は、例えば、Ｓ６２の処理で算出した各重心座標の位置関係がＹ´grav＞（Ｙgrav＋Ｔｈｙ）の関係を満たさない場合には（Ｓ６６，“Ｎ”）、処理中の並進推定処理を終了する。

ここで、文字認識支援装置２０で実行されるＳ６１−Ｓ６Ａの処理は、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心と、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心との位置関係に基づいて、前記認識対象体の撮像画像に対する、上下左右の何れか一の方向についての並進移動の要否を判定する、ステップの一例である。また、文字認識支援装置２０のＣＰＵ１１等は、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心と、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心との位置関係に基づいて、前記認識対象体の撮像画像に対する、上下左右の何れか一の方向についての並進移動の要否を判定する、手段の一例としてＳ６１−Ｓ６Ａの処理を実行する。

（回転推定処理）
図７Ｇに例示のフローチャートを参照し、図７Ｄ，７Ｅに例示のＳ５３の回転推定処理
の詳細を説明する。図７Ｇに例示のフローチャートにおいて、文字認識支援装置２０は、例えば、“回転フラグ”に“０”のフラグ情報を設定する（Ｓ７１）。そして、文字認識支援装置２０は、例えば、２隅以上の評価用領域で文字認識された“文字列”についての重心座標（Ｘ´grav，Ｙ´grav）、該評価用領域に対応する“評価文字列”についての重心座標（Ｘgrav，Ｙgrav）を算出する（Ｓ７２）。Ｓ７２の処理では、例えば、図７Ｆに例示のフローチャートのＳ６２の処理と同様の処理が行われる。

Ｓ７３の処理では、文字認識支援装置２０は、例えば、重心座標（Ｘ´grav，Ｙ´grav）と２隅以上の評価用領域で文字認識された“文字列”毎の重心座標（Ｘ´char，Ｙ´char）との時計回り方向の角度（θ´char）を算出する。また、文字認識支援装置２０は、例えば、重心座標（Ｘgrav，Ｙgrav）と２隅以上の評価用領域に対応する“評価文字列”毎の重心座標（Ｘchar，Ｙchar）との時計回り方向の角度（θchar）を算出する。なお、“文字列”毎の角度（θ´char）、“評価文字列”毎の角度（θchar）については、数式（１０）、（１０ａ）で説明した。

Ｓ７４−Ｓ７７の処理では、文字認識支援装置２０は、例えば、Ｓ７３の処理で算出した“文字列”毎の角度（θ´char）と“評価文字列”毎の角度（θchar）との関係に基づいて、処理中の帳票の撮像画像に対する回転移動の要否を判定する。回転移動の要否の判定は、例えば、３隅の評価用領域で文字認識が行われた場合には、数式（１０）の関係に基づいて行われる。また、例えば、２隅の評価用領域で文字認識が行われた場合には、数式（１０ａ）の関係に基づいて回転移動の要否の判定が行われる。

なお、図７Ｇに例示のＳ７４−Ｓ７７の処理は、“評価文字列１”、“評価文字列２”の２隅の評価用領域で文字認識が行われた場合の処理例である。

Ｓ７４の処理では、文字認識支援装置２０は、例えば、Ｓ７３の処理で算出した“文字列”毎の角度（θ´char）と“評価文字列”毎の角度（θchar）との関係が、（θchar1
＋θchar2−Ｔｈθ）＞（θ´char1＋θ´char2）の関係を満たすか否かを判定する。

文字認識支援装置２０は、例えば、Ｓ７３の処理で算出した各角度の関係が（θchar1
＋θchar2−Ｔｈθ）＞（θ´char1＋θ´char2）の関係を満たす場合には（Ｓ７４，“
Ｙ”）、“回転フラグ”に“１”のフラグ情報を設定する（Ｓ７６）。一方、文字認識支援装置２０は、例えば、Ｓ７３の処理で算出した各角度の関係が（θchar1＋θchar2−Ｔｈθ）＞（θ´char1＋θ´char2）の関係を満たさない場合には（Ｓ７４，“Ｎ”）、Ｓ７５の処理に移行する。

なお、Ｓ７４の処理において、文字認識が行われた２隅の評価用領域が“評価文字列１”、“評価文字列３”の場合には、例えば、文字認識支援装置２０は、（θchar1＋θchar3−Ｔｈθ）＞（θ´char1＋θ´char3）の関係を満たすか否かを判定すればよい。同様にして、文字認識が行われた２隅の評価用領域が“評価文字列２”、“評価文字列３”の場合には、文字認識支援装置２０は、例えば、（θchar2＋θchar3−Ｔｈθ）＞（θ´char2＋θ´char3）の関係を満たすか否かを判定すればよい。

また、Ｓ７４の処理において、３隅の評価用領域で文字認識が行われた場合には、文字認識支援装置２０は、例えば、（θchar1＋θchar2＋θchar3−Ｔｈθ）＞（θ´char1＋θ´char2＋θ´char3）の関係を満たすか否かを判定すればよい。

図７ＧのＳ７５の処理では、文字認識支援装置２０は、例えば、Ｓ７３の処理で算出した文字列”毎の角度（θ´char）と“評価文字列”毎の角度（θchar）との関係が、（θ´char1＋θ´char2）＞（θchar1＋θchar2＋Ｔｈθ）の関係を満たすか否かを判定する
。

文字認識支援装置２０は、例えば、Ｓ７３の処理で算出した各角度の関係が（θ´char1＋θ´char2）＞（θchar1＋θchar2＋Ｔｈθ）の関係を満たす場合には（Ｓ７５，“Ｙ”）、“回転フラグ”に“２”のフラグ情報を設定する（Ｓ７７）。一方、文字認識支援装置２０は、例えば、Ｓ７３の処理で算出した各角度の関係が（θ´char1＋θ´char2）＞（θchar1＋θchar2＋Ｔｈθ）の関係を満たさない場合には（Ｓ７５，“Ｎ”）、処理中の回転推定処理を終了する。

なお、Ｓ７５の処理において、文字認識が行われた２隅の評価用領域が“評価文字列１”、“評価文字列３”の場合には、例えば、文字認識支援装置２０は、（θ´char1＋θ
´char3）＞（θchar1＋θchar3＋Ｔｈθ）の関係を満たすか否かを判定すればよい。同
様にして、文字認識が行われた２隅の評価用領域が“評価文字列２”、“評価文字列３”の場合には、文字認識支援装置２０は、例えば、（θ´char2＋θ´char3）＞（θchar2
＋θchar3＋Ｔｈθ）の関係を満たすか否かを判定すればよい。

また、Ｓ７５の処理において、３隅の評価用領域で文字認識が行われた場合には、文字認識支援装置２０は、例えば、（θ´char1＋θ´char2＋θ´char3）＞（θchar1＋θchar2＋θchar3＋Ｔｈθ）の関係を満たすか否かを判定すればよい。

ここで、文字認識支援装置２０で実行されるＳ７１−Ｓ７７の処理は、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心から該文字認識された文字列毎の重心方向への角度と、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心から該評価文字列毎の重心方向への角度との相対関係に基づいて、前記認識対象体の撮像画像に対する、時計回りまたは反時計回りの回転移動の要否を判定するステップの一例である。また、文字認識支援装置２０のＣＰＵ１１等は、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心から該文字認識された文字列毎の重心方向への角度と、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心から該評価文字列毎の重心方向への角度との相対関係に基づいて、前記認識対象体の撮像画像に対する、時計回りまたは反時計回りの回転移動の要否を判定する手段の一例としてＳ７１−Ｓ７７の処理を実行する。

（前後推定処理）
図７Ｈに例示のフローチャートを参照し、図７Ｄ，７Ｅに例示のＳ５５の前後推定処理の詳細を説明する。図７Ｈに例示のフローチャートにおいて、文字認識支援装置２０は、例えば、“前後フラグ”に“０”のフラグ情報を設定する（Ｓ８１）。そして、文字認識支援装置２０は、例えば、２隅以上の評価用領域で文字認識された“文字列”についての重心座標（Ｘ´grav，Ｙ´grav）、該評価用領域に対応する“評価文字列”についての重心座標（Ｘgrav，Ｙgrav）を算出する（Ｓ８２）。Ｓ８２の処理では、例えば、図７Ｆに例示のフローチャートのＳ６２の処理と同様の処理が行われる。

Ｓ８３の処理では、文字認識支援装置２０は、例えば、重心座標（Ｘ´grav，Ｙ´grav）と２隅以上の評価用領域で文字認識された“文字列”毎の重心座標（Ｘ´char，Ｙ´char）との距離（Ｄ´char）を算出する。また、文字認識支援装置２０は、例えば、重心座標（Ｘgrav，Ｙgrav）と２隅以上の評価用領域に対応する“評価文字列”毎の重心座標（Ｘchar，Ｙchar）との距離（Ｄchar）を算出する。なお、“文字列”毎の重心座標間の距離（Ｄ´char）、“評価文字列”毎の重心座標間の距離（Ｄchar）については、数式（１１）、（１１ａ）で説明した。

Ｓ８４−Ｓ８７の処理では、文字認識支援装置２０は、例えば、Ｓ８３の処理で算出し
た“文字列”毎の距離（Ｄ´char）と“評価文字列”毎の距離（Ｄchar）との関係に基づいて、処理中の帳票の撮像画像に対する奥行き方向の前後移動の要否を判定する。奥行き方向の前後移動の要否の判定は、例えば、３隅の評価用領域で文字認識が行われた場合には、数式（１１）の関係に基づいて行われる。また、例えば、２隅の評価用領域で文字認識が行われた場合には、数式（１１ａ）の関係に基づいて奥行き方向の前後移動の要否の判定が行われる。

なお、図７Ｈに例示のＳ８４−Ｓ８７の処理は、“評価文字列１”、“評価文字列２”の２隅の評価用領域で文字認識が行われた場合の処理例である。

Ｓ８４の処理では、文字認識支援装置２０は、例えば、Ｓ８３の処理で算出した“文字列”毎の距離（Ｄ´char）と“評価文字列”毎の距離（Ｄchar）との関係が、（Ｄchar1
＋Ｄchar2−Ｔｈｄ）＞（Ｄ´char1＋Ｄ´char2）の関係を満たすか否かを判定する。

文字認識支援装置２０は、例えば、Ｓ８３の処理で算出した各距離の関係が（Ｄchar1
＋Ｄchar2−Ｔｈｄ）＞（Ｄ´char1＋Ｄ´char2）の関係を満たす場合には（Ｓ８４，“
Ｙ”）、“前後フラグ”に“１”のフラグ情報を設定する（Ｓ８６）。一方、文字認識支援装置２０は、例えば、Ｓ８３の処理で算出した各距離の関係が（Ｄchar1＋Ｄchar2−Ｔｈｄ）＞（Ｄ´char1＋Ｄ´char2）の関係を満たさない場合には（Ｓ８４，“Ｎ”）、Ｓ８５の処理に移行する。

なお、Ｓ８４の処理において、文字認識が行われた２隅の評価用領域が“評価文字列１”、“評価文字列３”の場合には、例えば、文字認識支援装置２０は、（Ｄchar1＋Ｄchar3−Ｔｈｄ）＞（Ｄ´char1＋Ｄ´char3）の関係を満たすか否かを判定すればよい。同様にして、文字認識が行われた２隅の評価用領域が“評価文字列２”、“評価文字列３”の場合には、文字認識支援装置２０は、例えば、（Ｄchar2＋Ｄchar3−Ｔｈｄ）＞（Ｄ´char2＋Ｄ´char3）の関係を満たすか否かを判定すればよい。

また、Ｓ８４の処理において、３隅の評価用領域で文字認識が行われた場合には、文字認識支援装置２０は、例えば、（Ｄchar1＋Ｄchar2＋Ｄchar3−Ｔｈｄ）＞（Ｄ´char1＋Ｄ´char2＋Ｄ´char3）の関係を満たすか否かを判定すればよい。

図７ＨのＳ８５の処理では、文字認識支援装置２０は、例えば、Ｓ８３の処理で算出した“文字列”毎の距離（Ｄ´char）と“評価文字列”毎の距離（Ｄchar）との関係が、（Ｄ´char1＋Ｄ´char2）＞（Ｄchar1＋Ｄchar2＋Ｔｈｄ）の関係を満たすか否かを判定する。

文字認識支援装置２０は、例えば、Ｓ８３の処理で算出した各距離の関係が（Ｄ´char1＋Ｄ´char2）＞（Ｄchar1＋Ｄchar2＋Ｔｈｄ）の関係を満たす場合には（Ｓ８５，“Ｙ”）、“前後フラグ”に“２”のフラグ情報を設定する（Ｓ８７）。一方、文字認識支援装置２０は、例えば、Ｓ８３の処理で算出した各距離の関係が（Ｄ´char1＋Ｄ´char2）＞（Ｄchar1＋Ｄchar2＋Ｔｈｄ）の関係を満たさない場合には（Ｓ８５，“Ｎ”）、処理中の前後推定処理を終了する。

なお、Ｓ８５の処理において、文字認識が行われた２隅の評価用領域が“評価文字列１”、“評価文字列３”の場合には、例えば、文字認識支援装置２０は、（Ｄ´char1＋Ｄ
´char3）＞（Ｄchar1＋Ｄchar3＋Ｔｈｄ）の関係を満たすか否かを判定すればよい。同
様にして、文字認識が行われた２隅の評価用領域が“評価文字列２”、“評価文字列３”の場合には、文字認識支援装置２０は、例えば、（Ｄ´char2＋Ｄ´char3）＞（Ｄchar2
＋Ｄchar3＋Ｔｈｄ）の関係を満たすか否かを判定すればよい。

また、Ｓ８４の処理において、３隅の評価用領域で文字認識が行われた場合には、文字認識支援装置２０は、例えば、（Ｄ´char1＋Ｄ´char2＋Ｄ´char3）＞（Ｄchar1＋Ｄchar2＋Ｄchar3＋Ｔｈｄ）の関係を満たすか否かを判定すればよい。

ここで、文字認識支援装置２０で実行されるＳ８１−Ｓ８７の処理は、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心と該文字認識された文字列毎の重心との距離、及び、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心と該評価文字列毎の重心との距離の相対関係に基づいて、前記認識対象体の撮像画像の画像サイズの拡大方向または縮小方向についての移動の要否を判定するステップの一例である。また、文字認識支援装置２０のＣＰＵ１１等は、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心と該文字認識された文字列毎の重心との距離、及び、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心と該評価文字列毎の重心との距離の相対関係に基づいて、前記認識対象体の撮像画像の画像サイズの拡大方向または縮小方向についての移動の要否を判定する手段の一例としてＳ８１−Ｓ８７の処理を実行する。

（歪み推定処理）
図７Ｊに例示のフローチャートを参照し、図７Ｅに例示のＳ５７の歪み推定処理の詳細を説明する。文字認識支援装置２０は、例えば、３隅の評価用領域で文字認識された場合に、図７Ｊに例示の、撮影中の帳票の撮像画像についての歪み推定処理を行う。

図７Ｊに例示のフローチャートにおいて、文字認識支援装置２０は、例えば、“歪みフラグ”に“０”のフラグ情報を設定する（Ｓ９１）。

Ｓ９２の処理では、文字認識支援装置２０は、例えば、帳票の左右方向の辺と平行する“評価文字列１”，“評価文字列２”の重心座標間の距離“Ｃ12”、帳票の上下方向の辺と平行する“評価文字列１”，“評価文字列３”の重心座標間の距離“Ｃ13”を算出する。また、文字認識支援装置２０は、３隅の評価用領域で文字認識された“文字列１”、“文字列２”についての重心座標間の距離“Ｃ´12”、“文字列１”、“文字列３”についての重心座標間の距離“Ｃ´13”を算出する。

Ｓ９３の処理では、文字認識支援装置２０は、例えば、Ｓ９２の処理で算出した各距離に基づいて、｜１−（Ｃ´12／Ｃ12）｜、及び、｜１−（Ｃ´13／Ｃ13）｜の距離比を算出する。そして、文字認識支援装置２０は、例えば、算出された｜１−（Ｃ´12／Ｃ12）｜、及び、｜１−（Ｃ´13／Ｃ13）｜の大小関係が、｜１−（Ｃ´12／Ｃ12）｜＞｜１−（Ｃ´13／Ｃ13）｜を満たすことを判定する。

文字認識支援装置２０は、例えば、｜１−（Ｃ´12／Ｃ12）｜＞｜１−（Ｃ´13／Ｃ13）｜の大小関係を満たす場合には（Ｓ９３，“Ｙ”）、Ｓ９４−Ｓ９５，Ｓ９８−Ｓ９９の処理を実行し、処理中の帳票の撮像画像に対する歪み推定処理を終了する。一方、文字認識支援装置２０は、例えば、｜１−（Ｃ´12／Ｃ12）｜＞｜１−（Ｃ´13／Ｃ13）｜の大小関係を満たさない場合には（Ｓ９３，“Ｎ”）、Ｓ９６−Ｓ９７，Ｓ９Ａ−Ｓ９Ｂの処理を実行し、処理中の帳票の撮像画像に対する歪み推定処理を終了する。

図７Ｊに例示のＳ９４−Ｓ９５，Ｓ９８−Ｓ９９の処理では、例えば、処理中の帳票の撮像画像に対する左右方向の歪み補正の要否が判定される。処理中の帳票の撮像画像に対する左右方向の歪み補正の要否の判定は、例えば、数式（１２）の関係に基づいて、それぞれの方向についての歪み補正の要否が判定される。なお、左右方向の歪み補正については、数式（１２）で説明した。

また、図７Ｊに例示のＳ９６−Ｓ９７，Ｓ９Ａ−Ｓ９Ｂの処理では、例えば、処理中の帳票の撮像画像に対する上下方向の歪み補正の要否が判定される。処理中の帳票の撮像画像に対する上下方向の歪み補正の要否の判定は、例えば、数式（１３）の関係に基づいて、それぞれの方向についての歪み補正の要否が判定される。なお、上下方向の歪み補正については、数式（１３）で説明した。

Ｓ９４の処理では、文字認識支援装置２０は、例えば、（１−（Ｃ´12／Ｃ12））が、−Ｔｈｃ＞（１−（Ｃ´12／Ｃ12））の関係を満たすか否かを判定する。文字認識支援装置２０は、例えば、（１−（Ｃ´12／Ｃ12））が、−Ｔｈｃ＞（１−（Ｃ´12／Ｃ12））の関係を満たす場合には（Ｓ９４，“Ｙ”）、“歪みフラグ”に“１”のフラグ情報を設定する（Ｓ９８）。一方、文字認識支援装置２０は、例えば、（１−（Ｃ´12／Ｃ12））が、−Ｔｈｃ＞（１−（Ｃ´12／Ｃ12））の関係を満たさない場合には（Ｓ９４，“Ｎ”）、Ｓ９５の処理に移行する。

Ｓ９５の処理では、文字認識支援装置２０は、例えば、（１−（Ｃ´12／Ｃ12））が、（１−（Ｃ´12／Ｃ12））＞Ｔｈｃの関係を満たすか否かを判定する。文字認識支援装置２０は、例えば、（１−（Ｃ´12／Ｃ12））が、（１−（Ｃ´12／Ｃ12））＞Ｔｈｃの関係を満たす場合には（Ｓ９５，“Ｙ”）、“歪みフラグ”に“２”のフラグ情報を設定する（Ｓ９９）。一方、文字認識支援装置２０は、例えば、（１−（Ｃ´12／Ｃ12））が、（１−（Ｃ´12／Ｃ12））＞Ｔｈｃの関係を満たさない場合には（Ｓ９５，“Ｎ”）、処理中の帳票の撮像画像に対する歪み推定処理を終了する。

Ｓ９６の処理では、文字認識支援装置２０は、例えば、（１−（Ｃ´13／Ｃ13））が、−Ｔｈｃ＞（１−（Ｃ´13／Ｃ13））の関係を満たすか否かを判定する。文字認識支援装置２０は、例えば、（１−（Ｃ´13／Ｃ13））が、−Ｔｈｃ＞（１−（Ｃ´13／Ｃ13））の関係を満たす場合には（Ｓ９６，“Ｙ”）、“歪みフラグ”に“３”のフラグ情報を設定する（Ｓ９Ａ）。一方、文字認識支援装置２０は、例えば、（１−（Ｃ´13／Ｃ13））が、−Ｔｈｃ＞（１−（Ｃ´13／Ｃ13））の関係を満たさない場合には（Ｓ９６，“Ｎ”）、Ｓ９７の処理に移行する。

Ｓ９７の処理では、文字認識支援装置２０は、例えば、（１−（Ｃ´13／Ｃ13））が、（１−（Ｃ´13／Ｃ13））＞Ｔｈｃの関係を満たすか否かを判定する。文字認識支援装置２０は、例えば、（１−（Ｃ´13／Ｃ13））が、（１−（Ｃ´13／Ｃ13））＞Ｔｈｃの関係を満たす場合には（Ｓ９７，“Ｙ”）、“歪みフラグ”に“４”のフラグ情報を設定する（Ｓ９Ｂ）。一方、文字認識支援装置２０は、例えば、（１−（Ｃ´13／Ｃ13））が、（１−（Ｃ´13／Ｃ13））＞Ｔｈｃの関係を満たさない場合には（Ｓ９７，“Ｎ”）、処理中の帳票の撮像画像に対する歪み推定処理を終了する。

ここで、文字認識支援装置２０で実行されるＳ９１−Ｓ９Ｂの処理は、３隅以上の所定領域内の部分画像から文字認識された第１文字列と第２文字列との間の第１文字列間距離と、前記第１文字列と第２文字列とに対応する第１評価文字列と第２評価文字列との間の第１評価文字列間距離との第１距離比、及び、前記部分画像から文字認識された第１文字列と第３文字列との間の第２文字列間距離と、前記第１文字列と第３文字列とに対応する第１評価文字列と第３評価文字列との間の第２評価文字列間距離との第２距離比に基づい
て、前記認識対象体の撮像画像の上下左右の何れか一の方向についての歪みを補正する移動の要否を判定するステップの一例である。また、文字認識支援装置２０のＣＰＵ１１等は、３隅以上の所定領域内の部分画像から文字認識された第１文字列と第２文字列との間の第１文字列間距離と、前記第１文字列と第２文字列とに対応する第１評価文字列と第２評価文字列との間の第１評価文字列間距離との第１距離比、及び、前記部分画像から文字認識された第１文字列と第３文字列との間の第２文字列間距離と、前記第１文字列と第３文字列とに対応する第１評価文字列と第３評価文字列との間の第２評価文字列間距離との第２距離比に基づいて、前記認識対象体の撮像画像の上下左右の何れか一の方向についての歪みを補正する移動の要否を判定する手段の一例としてＳ９１−Ｓ９Ｂの処理を実行する。

［状態表示処理］
次に、図８Ａ−８Ｅに例示のフローチャートを参照し、図７Ａに例示のＳ２４の状態表示処理の詳細を説明する。図８Ａは、状態表示処理の全体処理を示すフローチャートの例示である。

図８Ａに例示の状態表示処理では、例えば、図７Ａに例示のＳ２３の帳票状態推定処理で対応付けられた、並進移動、回転移動、奥行き方向の前後移動、歪み補正の各種フラグ情報に基づいて、処理中の帳票の撮像画像に対する位置決め支援が行われる。処理中の帳票の撮像画像に対する位置決め支援は、例えば、適正な撮影位置を示すガイド枠、画像領域内での撮像画像の移動方向を示す矢印、マーカー等の表示部品により行われる。文字認識支援装置２０は、例えば、適正な撮影位置を示すガイド枠、画像領域内での撮像画像の移動方向を示す矢印等の表示部品を、撮影中の帳票の撮像画像に重畳させ、モニタ表示が行われるＬＣＤ１５ａ等の表示画面に表示する。

図８Ａに例示のフローチャートにおいて、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像（画像データ）について、画像領域内での並進移動の要否の判定を行う（Ｓ１０１）。処理中の帳票の撮像画像についての、画像領域内での並進移動の要否の判定は、例えば、処理中の撮像画像に設定された“並進フラグ”のフラグ情報が“並進フラグ＞０”の関係を満たすか否かにより行われる。

文字認識支援装置２０は、例えば、処理中の帳票の撮像画像についての“並進フラグ”のフラグ情報が“並進フラグ＞０”の関係を満たす場合には（Ｓ１０１，“Ｙ”）、Ｓ１０２の並進表示処理を実行し、処理中の状態表示処理を終了する。一方、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像についての“並進フラグ”のフラグ情報が“並進フラグ＞０”の関係を満たさない場合には（Ｓ１０１，“Ｎ”）、Ｓ１０３に移行する。なお、Ｓ１０２の並進表示処理は、図８Ｂで説明する。

Ｓ１０３の処理では、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“回転フラグ”のフラグ情報が、“回転フラグ＞０”の関係を満たすか否かで、画像領域内での回転移動の要否の判定を行う。

文字認識支援装置２０は、例えば、処理中の帳票の撮像画像についての“回転フラグ”のフラグ情報が“回転フラグ＞０”の関係を満たす場合には（Ｓ１０３，“Ｙ”）、Ｓ１０４の回転表示処理を実行し、処理中の状態表示処理を終了する。一方、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像についての“回転フラグ”のフラグ情報が“回転フラグ＞０”の関係を満たさない場合には（Ｓ１０３，“Ｎ”）、Ｓ１０５に移行する。なお、Ｓ１０４の並進表示処理は、図８Ｃで説明する。

Ｓ１０５の処理では、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“前後フラグ”のフラグ情報が、“前後フラグ＞０”の関係を満たすか否かで、画像領域内における奥行き方向の前後移動の要否の判定を行う。

文字認識支援装置２０は、例えば、処理中の帳票の撮像画像についての“前後フラグ”のフラグ情報が“前後フラグ＞０”の関係を満たす場合には（Ｓ１０５，“Ｙ”）、Ｓ１０６の前後表示処理を実行し、処理中の状態表示処理を終了する。一方、文字認識支援装
置２０は、例えば、処理中の帳票の撮像画像についての“前後フラグ”のフラグ情報が“前後フラグ＞０”の関係を満たさない場合には（Ｓ１０５，“Ｎ”）、Ｓ１０７に移行する。なお、Ｓ１０６の前後表示処理は、図８Ｄで説明する。

Ｓ１０７の処理では、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像について設定された“歪みフラグ”のフラグ情報が、“歪みフラグ＞０”の関係を満たすか否かで、画像領域内における歪み補正の要否の判定を行う。

文字認識支援装置２０は、例えば、処理中の帳票の撮像画像についての“歪みフラグ”のフラグ情報が“歪みフラグ＞０”の関係を満たす場合には（Ｓ１０７，“Ｙ”）、Ｓ１０８の歪み表示処理を実行し、処理中の状態表示処理を終了する。一方、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像についての“歪みフラグ”のフラグ情報が“歪みフラグ＞０”の関係を満たさない場合には（Ｓ１０７，“Ｎ”）、Ｓ１０８の歪み表示処理をスキップし、処理中の状態表示処理を終了する。なお、Ｓ１０８の歪み表示処理は、図８Ｅで説明する。

（並進表示処理）
図８Ｂに例示のフローチャートを参照し、図８Ａに例示のＳ１０２の並進表示処理の詳細を説明する。図８Ｂに例示の並進表示処理では、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像に重畳させて、適正な撮影位置を示すガイド枠を表示する。そして、文字認識支援装置２０は、例えば、画像領域内の帳票の撮像画像がガイド枠方向に並進移動するよう、移動方向を示す矢印等の表示部品を処理中の帳票の撮像画像に重畳させて表示する。移動方向を示す矢印等の表示部品は、例えば、並進移動の方向に対応する。

文字認識支援装置２０では、処理中の帳票の撮像画像に重畳させて表示された、適正な撮影位置を示すガイド枠、画像領域内の帳票の撮像画像の移動方向を示す矢印等の表示部品により、並進移動に係る位置決め支援が行われる。なお、並進移動に係る位置決め支援については、図６Ｄで説明した。

図８Ｂに例示のフローチャートにおいて、文字認識支援装置２０は、例えば、“並進フラグ”に設定されたフラグ情報が、“１”であることを判定する（Ｓ１１１）。文字認識支援装置２０は、例えば、“並進フラグ”に設定されたフラグ情報が“１”である場合には（Ｓ１１１，“Ｙ”）、Ｓ１１２の処理に移行する。Ｓ１１２の処理では、例えば、文字認識支援装置２０は、カメラ１４ａ等を左方向に移動させ画像領域内の帳票の撮像画像が右方向に移動するよう、移動方向を示す矢印等の表示部品をＬＣＤ１５ａ等の表示画面に出力する。

一方、文字認識支援装置２０は、例えば、“並進フラグ”に設定されたフラグ情報が“１”でない場合には（Ｓ１１１，“Ｎ”）、Ｓ１１３の処理に移行し、“並進フラグ”に設定されたフラグ情報が、“２”であることを判定する。

文字認識支援装置２０は、例えば、“並進フラグ”に設定されたフラグ情報が“２”である場合には（Ｓ１１３，“Ｙ”）、Ｓ１１４の処理に移行する。Ｓ１１４の処理では、例えば、文字認識支援装置２０は、カメラ１４ａ等を右方向に移動させ画像領域内の帳票の撮像画像が左方向に移動するよう、移動方向を示す矢印等の表示部品をＬＣＤ１５ａ等の表示画面に出力する。

一方、文字認識支援装置２０は、例えば、“並進フラグ”に設定されたフラグ情報が“２”でない場合には（Ｓ１１３，“Ｎ”）、Ｓ１１５の処理に移行し、“並進フラグ”に設定されたフラグ情報が、“３”であることを判定する。

文字認識支援装置２０は、例えば、“並進フラグ”に設定されたフラグ情報が“３”である場合には（Ｓ１１５，“Ｙ”）、Ｓ１１６の処理に移行する。Ｓ１１６の処理では、例えば、文字認識支援装置２０は、カメラ１４ａ等を上方向に移動させ画像領域内の帳票の撮像画像が下方向に移動するよう、移動方向を示す矢印等の表示部品をＬＣＤ１５ａ等の表示画面に出力する。

一方、文字認識支援装置２０は、例えば、“並進フラグ”に設定されたフラグ情報が“３”でない場合には（Ｓ１１５，“Ｎ”）、Ｓ１１７の処理に移行する。Ｓ１１７の処理では、例えば、文字認識支援装置２０は、カメラ１４ａ等を下方向に移動させ画像領域内の帳票の撮像画像が上方向に移動するよう、移動方向を示す矢印等の表示部品をＬＣＤ１５ａ等の表示画面に出力する。

（回転表示処理）
図８Ｃに例示のフローチャートを参照し、図８Ａに例示のＳ１０４の回転表示処理の詳細を説明する。図８Ｃに例示の回転表示処理では、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像に重畳させて、適正な撮影位置を示すガイド枠を表示する。そして、文字認識支援装置２０は、例えば、画像領域内の帳票の撮像画像がガイド枠方向に回転移動するよう、回転方向を示す矢印等の表示部品を処理中の帳票の撮像画像に重畳させて表示する。回転方向を示す矢印等の表示部品は、例えば、撮像画像の回転方向（時計回り、反時計回り）に対応する。

文字認識支援装置２０では、処理中の帳票の撮像画像に重畳させて表示された、適正な撮影位置を示すガイド枠、画像領域内の帳票の撮像画像の回転方向を示す矢印等の表示部品により、回転移動に係る位置決め支援が行われる。なお、回転移動に係る位置決め支援については、図６Ｅで説明した。

図８Ｃに例示のフローチャートにおいて、文字認識支援装置２０は、例えば、“回転フラグ”に設定されたフラグ情報が、“１”であることを判定する（Ｓ１２１）。文字認識支援装置２０は、例えば、“回転フラグ”に設定されたフラグ情報が“１”である場合には（Ｓ１２１，“Ｙ”）、Ｓ１２２の処理に移行する。Ｓ１２２の処理では、例えば、文字認識支援装置２０は、カメラ１４ａ等を左方向（時計回り）に回転させ画像領域内の帳票の撮像画像がガイド枠に合致するよう、回転方向を示す矢印等の表示部品をＬＣＤ１５ａ等の表示画面に出力する。

一方、文字認識支援装置２０は、例えば、“回転フラグ”に設定されたフラグ情報が“１”でない場合には（Ｓ１２１，“Ｎ”）、Ｓ１２３の処理に移行する。Ｓ１２３の処理では、例えば、文字認識支援装置２０は、カメラ１４ａ等を右方向（反時計回り）に回転させ画像領域内の帳票の撮像画像がガイド枠に合致するよう、回転方向を示す矢印等の表示部品をＬＣＤ１５ａ等の表示画面に出力する。

（前後表示処理）
図８Ｄに例示のフローチャートを参照し、図８Ａに例示のＳ１０６の奥行き方向の前後表示処理の詳細を説明する。図８Ｄに例示の前後表示処理では、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像に重畳させて、適正な撮影位置を示すガイド枠を表示する。そして、文字認識支援装置２０は、例えば、画像領域内の帳票の撮像画像がガイド枠に合致するよう、撮像画像のサイズが拡大・縮小する移動方向を示す矢印等の表示部品を処理中の帳票の撮像画像に重畳させて表示する。移動方向を示す矢印等の表示部品は、例えば、撮像画像のサイズの拡大方向、縮小方向に対応する。

文字認識支援装置２０では、処理中の帳票の撮像画像に重畳させて表示された、適正な撮影位置を示すガイド枠、画像領域内の帳票の撮像画像の拡大・縮小方向を示す矢印等の表示部品により、奥行き方向の前後移動に係る位置決め支援が行われる。なお、奥行き方向の前後移動に係る位置決め支援については、図６Ｆで説明した。

図８Ｄに例示のフローチャートにおいて、文字認識支援装置２０は、例えば、“前後フラグ”に設定されたフラグ情報が、“１”であることを判定する（Ｓ１３１）。文字認識支援装置２０は、例えば、“前後フラグ”に設定されたフラグ情報が“１”である場合には（Ｓ１３１，“Ｙ”）、Ｓ１３２の処理に移行する。Ｓ１３２の処理では、例えば、文字認識支援装置２０は、カメラ１４ａ等を帳票に近づけるよう移動させ、画像領域内の帳票の撮像画像のサイズが拡大しガイド枠に合致するよう、移動方向を示す矢印等の表示部品をＬＣＤ１５ａ等の表示画面に出力する。

一方、文字認識支援装置２０は、例えば、“前後フラグ”に設定されたフラグ情報が“１”でない場合には（Ｓ１３１，“Ｎ”）、Ｓ１３３の処理に移行する。Ｓ１３３の処理では、例えば、文字認識支援装置２０は、カメラ１４ａ等を帳票から遠ざけるよう移動させ、画像領域内の帳票の撮像画像のサイズが縮小しガイド枠に合致するよう、移動方向を示す矢印等の表示部品をＬＣＤ１５ａ等の表示画面に出力する。

（歪み表示処理）
図８Ｅに例示のフローチャートを参照し、図８Ａに例示のＳ１０８の歪み補正を行うための歪み表示処理の詳細を説明する。図８Ｅに例示の歪み表示処理では、文字認識支援装置２０は、例えば、処理中の帳票の撮像画像に重畳させて、適正な撮影位置を示すガイド枠を表示する。そして、文字認識支援装置２０は、例えば、画像領域内の帳票の撮像画像がガイド枠に合致するよう、撮像画像の歪みを補正する移動方向を示す矢印等の表示部品を処理中の帳票の撮像画像に重畳させて表示する。移動方向を示す矢印等の表示部品は、例えば、撮像画像の左右方向の歪み、上下方向の歪みを解消する移動方向に対応する。

文字認識支援装置２０では、処理中の帳票の撮像画像に重畳させて表示された、適正な撮影位置を示すガイド枠、撮像画像の歪みを補正する移動方向を示す矢印等の表示部品により、歪み補正に係る位置決め支援が行われる。なお、歪み補正に係る位置決め支援については、図６Ｇで説明した。

図８Ｅに例示のフローチャートにおいて、文字認識支援装置２０は、例えば、“歪みフラグ”に設定されたフラグ情報が、“１”であることを判定する（Ｓ１４１）。文字認識支援装置２０は、例えば、“歪みフラグ”に設定されたフラグ情報が“１”である場合には（Ｓ１４１，“Ｙ”）、Ｓ１４２の処理に移行する。

Ｓ１４２の処理では、例えば、文字認識支援装置２０は、“文字列１”、“文字列２”の部分画像を含む撮像画像の上側の縁辺を縮小するようカメラ１４ａ等を奥行き後ろ方向に移動させる、矢印等の表示部品を表示する。文字認識支援装置２０は、例えば、画像領域内の帳票の撮像画像の移動方向を示す矢印等の表示部品を、画像領域内の帳票の撮像画像がガイド枠に合致するよう処理中の帳票の撮像画像に重畳させ、ＬＣＤ１５ａ等の表示画面に出力する。

一方、文字認識支援装置２０は、例えば、“歪みフラグ”に設定されたフラグ情報が“１”でない場合には（Ｓ１４１，“Ｎ”）、Ｓ１４３の処理に移行し、“歪みフラグ”に設定されたフラグ情報が、“２”であることを判定する。文字認識支援装置２０は、例えば、“歪みフラグ”に設定されたフラグ情報が“２”である場合には（Ｓ１４３，“Ｙ”）、Ｓ１４４の処理に移行する。

Ｓ１４４の処理では、例えば、文字認識支援装置２０は、“文字列１”、“文字列２”の部分画像を含む撮像画像の上側の縁辺を拡大するようカメラ１４ａ等を手前方向に移動させる、矢印等の表示部品を表示する。文字認識支援装置２０は、例えば、画像領域内の帳票の撮像画像の移動方向を示す矢印等の表示部品を、画像領域内の帳票の撮像画像がガイド枠に合致するよう処理中の帳票の撮像画像に重畳させ、ＬＣＤ１５ａ等の表示画面に出力する。

一方、文字認識支援装置２０は、例えば、“歪みフラグ”に設定されたフラグ情報が“２”でない場合には（Ｓ１４３，“Ｎ”）、Ｓ１４５の処理に移行し、“歪みフラグ”に設定されたフラグ情報が、“３”であることを判定する。文字認識支援装置２０は、例えば、“歪みフラグ”に設定されたフラグ情報が“３”である場合には（Ｓ１４５，“Ｙ”）、Ｓ１４６の処理に移行する。

Ｓ１４６の処理では、例えば、文字認識支援装置２０は、“文字列１”、“文字列３”の部分画像を含む撮像画像の左側の縁辺を縮小するようカメラ１４ａ等を奥行き後ろ方向に移動させる、矢印等の表示部品を表示する。文字認識支援装置２０は、例えば、画像領域内の帳票の撮像画像の移動方向を示す矢印等の表示部品を、画像領域内の帳票の撮像画像がガイド枠に合致するよう処理中の帳票の撮像画像に重畳させ、ＬＣＤ１５ａ等の表示画面に出力する。

一方、文字認識支援装置２０は、例えば、“歪みフラグ”に設定されたフラグ情報が“３”でない場合には（Ｓ１４５，“Ｎ”）、Ｓ１４７の処理に移行する。Ｓ１４７の処理では、例えば、文字認識支援装置２０は、“文字列１”、“文字列３”の部分画像を含む撮像画像の左側の縁辺を拡大するようカメラ１４ａ等を手前方向に移動させる、矢印等の表示部品を表示する。文字認識支援装置２０は、例えば、画像領域内の帳票の撮像画像の移動方向を示す矢印等の表示部品を、画像領域内の帳票の撮像画像がガイド枠に合致するよう処理中の帳票の撮像画像に重畳させ、ＬＣＤ１５ａ等の表示画面に出力する。

以上、説明したように、本実施形態の文字認識支援装置２０は、２隅以上の評価用領域内で認識された“文字列”、及び、該評価用領域に対応する“評価文字列”の位置関係に基づいて、撮影中の帳票の撮像画像に対する位置決め支援を行うことができる。文字認識支援装置２０の位置決め支援では、例えば、撮影中の帳票の撮像画像に重畳させて、画像領域内での適正な撮影位置を示すガイド枠が表示される。また、文字認識支援装置２０の位置決め支援では、画像領域内での、撮影中の帳票の撮像画像の移動方向を示す矢印等の指示部品（表示部品）がガイド枠と共に表示される。文字認識支援装置２０は、利用者に対し、適正な撮影位置を示すガイド枠、及び、画像領域内での、撮影中の帳票の撮像画像の移動方向を示す矢印等の指示部品を撮影中の帳票の撮像画像に重畳させて表示することができる。この結果、本実施形態の文字認識支援装置２０では、撮影中の帳票の姿勢を示す複数の軸のうち、少なくとも１軸について文字認識できるか否かを、利用者が識別可能な様態で表示することができる。本実施形態の文字認識支援装置２０では、例えば、撮像画像の確定前に文字を正しく認識できる撮像画像の取得についての位置決め支援が実現できる。

本実施形態の文字認識支援装置２０は、２隅以上の評価用領域内で認識された“文字列”の重心と、該評価用領域に対応する“評価文字列”の重心との位置関係が、数式（４）−（７）、（６ａ）−（７ａ）の関係を満たすことを判定できる。このため、文字認識支援装置２０は、判定結果に基づいて、撮影中の帳票の撮像画像について、画像領域内の上下左右方向の並進移動を判定することができる。例えば、上下方向をＹ軸方向、左右方向をＸ軸方向とした場合、画像領域内の帳票の撮像画像の並進移動は、帳票の姿勢を示す２
軸（Ｘ，Ｙ）についての移動方向に相当する。

また、本実施形態の文字認識支援装置２０は、２隅以上の評価用領域内で認識された“文字列”の全体的な重心位置と“文字列”毎の重心位置との角度を算出することができる。同様に、文字認識支援装置２０は、文字認識された２隅以上の評価用領域に対応する“評価文字列”の全体的な重心位置と“評価文字列”毎の重心位置との角度を算出することができる。文字認識支援装置２０は、“文字列”毎に算出された角度群と“評価文字列”毎に算出された角度群との関係が、数式（１０）、（１０ａ）の関係を満たすことを判定できる。このため、文字認識支援装置２０は、判定結果に基づいて、撮影中の帳票の撮像画像の、画像領域内での時計回り、反時計回りの回転移動を判定することができる。例えば、上下方向をＹ軸方向、左右方向をＸ軸方向、奥行き方向をＺ軸方向とした場合、画像領域内の帳票の撮像画像の回転移動は、Ｚ軸方向を中心としたＸＹ平面での移動方向に相当する。

また、本実施形態の文字認識支援装置２０は、２隅以上の評価用領域内で認識された“文字列”の全体的な重心位置と“文字列”毎の重心位置との距離を算出することができる。同様に、文字認識支援装置２０は、文字認識された２隅以上の評価用領域に対応する“評価文字列”の全体的な重心位置と“評価文字列”毎の重心位置との距離を算出することができる。文字認識支援装置２０は、“文字列”毎に算出された距離群と“評価文字列”毎に算出された距離群との関係が、数式（１１）、（１１ａ）の関係を満たすことを判定できる。このため、文字認識支援装置２０は、判定結果に基づいて、撮影中の帳票の撮像画像について、画像領域内における画像サイズを拡大する移動方向、縮小する移動方向を判定することができる。例えば、上下方向をＹ軸方向、左右方向をＸ軸方向、奥行き方向をＺ軸方向とした場合、画像領域内の帳票の画像サイズを拡大・縮小する奥行き方向の前後移動は、Ｚ軸についての移動方向に相当する。

また、本実施形態の文字認識支援装置２０は、３隅以上の評価用領域内で認識された“文字列”毎の重心位置から、“文字列１”と“文字列２”の距離“Ｃ´12”、“文字列１”と“文字列３”の距離“Ｃ´13”を算出することができる。なお、“文字列１”と“文字列２”とは、例えば、撮像画像の上側縁辺の２隅であり、“文字列１”と“文字列３”とは、撮像画像の左側縁辺の２隅である。

同様にして、文字認識支援装置２０は、文字認識された３隅以上の評価用領域に対応する“評価文字列１”毎の重心位置から、“評価文字列１”と“評価文字列２”の距離“Ｃ12”、及び、“評価文字列１”と“評価文字列３”の距離の距離“Ｃ13”を算出することができる。

そして、文字認識支援装置２０は、距離“Ｃ´12”と距離“Ｃ12”との距離比（Ｃ´12／Ｃ12）、及び、距離“Ｃ´13”と距離“Ｃ13”との距離比（Ｃ´13／Ｃ13）を求めることができる。文字認識支援装置２０は、距離比（Ｃ´12／Ｃ12）と距離比（Ｃ´13／Ｃ13）との関係が、数式（１２）、（１３）の関係を満たすことを判定できる。このため、文字認識支援装置２０は、判定結果に基づいて、画像領域内の、撮影中の帳票の撮像画像について、左端側の縁辺のサイズが縮小する補正方向、拡大する補正方向を判定することができる。また、文字認識支援装置２０は、判定結果に基づいて、画像領域内の、撮影中の帳票の撮像画像について、上端側の縁辺のサイズが縮小する補正方向、拡大する補正方向を判定することができる。

例えば、上下方向をＹ軸方向、左右方向をＸ軸方向、奥行き方向をＺ軸方向とした場合、画像領域内の帳票の撮像画像の左端側の縁辺のサイズを拡大・縮小する補正移動は、Ｙ軸方向を中心としたＺＸ面内での回転移動に相当する。同様にして、画像領域内の帳票の
撮像画像の上端側の縁辺のサイズを拡大・縮小する補正移動は、Ｘ軸方向を中心としたＹＺ面内での回転移動に相当する。

《コンピュータが読み取り可能な記録媒体》
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ブルーレイディスク、ＤＡＴ、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。

《その他》
以上の実施形態は、さらに以下の付記と呼ぶ態様を含む。以下の各付記に含まれる構成要素は、他の付記に含まれる構成と組み合わせることができる。
（付記１）
文字認識の対象となる矩形の認識対象体を含む撮像画像を受け付ける手段と、
記憶部に登録された前記認識対象体中の複数の評価文字列の座標情報に基づいて、前記認識対象体を含む撮像画像内での３隅以上の所定領域を特定する手段と、
前記所定領域内の部分画像について文字認識を行い、前記所定領域内で文字認識された文字列と前記認識対象体中の前記評価文字列との関係を判定する手段と、
前記関係から前記矩形の認識対象体の姿勢を示す複数の軸のうち、少なくとも１軸について文字認識できるか否かを、利用者が識別可能な様態で表示する表示制御手段と、
を備える文字認識支援装置。
（付記２）
前記評価文字列の座標情報と、前記評価文字列に対応する前記所定領域内で文字認識された文字列との位置関係に基づいて、前記認識対象体の撮像画像の適正な撮影位置に対する補正移動の要否を判定する補正移動判定手段、を備え、
前記表示制御手段は、前記補正移動判定手段で判定された補正移動の要否に基づいて、前記認識対象体の撮像画像に重畳させて、前記認識対象体に対する撮影姿勢の補正方向を表示する、付記１に記載の文字認識支援装置。
（付記３）
前記補正移動判定手段は、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心と、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心との位置関係に基づいて、前記認識対象体の撮像画像に対する、上下左右の何れか一の方向についての並進移動の要否を判定する、付記２に記載の文字認識支援装置。
（付記４）
前記補正移動判定手段は、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心から該文字認識された文字列毎の重心方向への角度と、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心から該評価文字列毎の重心方向への角度との相対関係に基づいて、前記認識対象体の撮像画像に対する、時計回りまたは反時計回りの回転移動の要否を判定する、付記２または３に記載の文字認識支援装置。
（付記５）
前記補正移動判定手段は、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心と該文字認識された文字列毎の重心との距離、及び、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心と該評価文字列毎の重心との距離の相対関係に基づいて、前記認識対象体の撮像画像の画像サイズの拡大方向または縮小方向についての移動の要否を判定する、付記２から４の何れか一の付記に記載の文字認識支援装置。
（付記６）
前記補正移動判定手段は、３隅以上の所定領域内の部分画像から文字認識された第１文字列と第２文字列との間の第１文字列間距離と、前記所定領域に対応する第１評価文字列と第２評価文字列との間の第１評価文字列間距離との第１距離比、及び、第１文字列と第３文字列との間の第２文字列間距離と、前記所定領域に対応する第１評価文字列と第３評価文字列との間の第２評価文字列間距離との第２距離比の相対関係に基づいて、前記画像領域内での、前記認識対象体の撮像画像の上下左右の何れか一の方向についての歪みを補正する移動の要否を判定する、付記２から５の何れか一の付記に記載の文字認識支援装置。
（付記７）
コンピュータに、
文字認識の対象となる矩形の認識対象体を含む撮像画像を受け付けるステップと、
記憶部に登録された前記認識対象体中の複数の評価文字列の座標情報に基づいて、前記認識対象体を含む撮像画像内での３隅以上の所定領域を特定するステップと、
前記所定領域内の部分画像について文字認識を行い、前記所定領域内で文字認識された文字列と前記認識対象体中の前記評価文字列との関係を判定するステップと、
前記関係から前記矩形の認識対象体の姿勢を示す複数の軸のうち、少なくとも１軸について文字認識できるか否かを、利用者が識別可能な様態で表示する表示制御ステップと、
を実行させるための文字認識支援プログラム。
（付記８）
前記評価文字列の座標情報と、前記評価文字列に対応する前記所定領域内で文字認識された文字列との位置関係に基づいて、前記認識対象体の撮像画像の適正な撮影位置に対する複数の軸方向の補正移動の要否を判定する補正移動判定ステップ、を備え、
前記表示制御ステップは、前記補正移動判定ステップで判定された複数の軸方向の補正移動の要否に基づいて、前記認識対象体の撮像画像に重畳させて、前記認識対象体に対する撮影姿勢の補正方向を表示する、付記７に記載の文字認識支援プログラム。
（付記９）
前記補正移動判定ステップは、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心と、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心との位置関係に基づいて、前記認識対象体の撮像画像に対する、上下左右の何れか一の方向についての並進移動の要否を判定する、付記８に記載の文字認識支援プログラム。
（付記１０）
前記補正移動判定ステップは、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心から該文字認識された文字列毎の重心方向への角度と、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心から該評価文字列毎の重心方向への角度との相対関係に基づいて、前記認識対象体の撮像画像に対する、時計回りまたは反時計回りの回転移動の要否を判定する、付記８または９に記載の文字認識支援プログラム。
（付記１１）
前記補正移動判定ステップは、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心と該文字認識された文字列毎の重心との距離、及び、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心と該評価文字列毎の重心との距離の相対関係に基づいて、前記認識対象体の撮像画像の画像サイズの拡大方
向または縮小方向についての移動の要否を判定する、付記８から１０の何れか一の付記に記載の文字認識支援プログラム。
（付記１２）
前記補正移動判定ステップは、３隅以上の所定領域内の部分画像から文字認識された第１文字列と第２文字列との間の第１文字列間距離と、前記所定領域に対応する第１評価文字列と第２評価文字列との間の第１評価文字列間距離との第１距離比、及び、第１文字列と第３文字列との間の第２文字列間距離と、前記所定領域に対応する第１評価文字列と第３評価文字列との間の第２評価文字列間距離との第２距離比の相対関係に基づいて、前記画像領域内での、前記認識対象体の撮像画像の上下左右の何れか一の方向についての歪みを補正する移動の要否を判定する、付記８から１１の何れか一の付記に記載の文字認識支援プログラム。
（付記１３）
コンピュータが、
文字認識の対象となる矩形の認識対象体を含む撮像画像を受け付けるステップと、
記憶部に登録された前記認識対象体中の複数の評価文字列の座標情報に基づいて、前記認識対象体の撮像画像内での３隅以上の所定領域を特定するステップと、
前記所定領域内の部分画像について文字認識を行い、前記所定領域内で文字認識された文字列と前記認識対象体中の前記評価文字列との関係を判定するステップと、
前記関係から前記矩形の認識対象体の姿勢を示す複数の軸のうち、少なくとも１軸について文字認識できるか否かを、利用者が識別可能な様態で表示する表示制御ステップと、
を実行する文字認識支援方法。
（付記１４）
前記評価文字列の座標情報と、前記評価文字列に対応する前記所定領域内で文字認識された文字列との位置関係に基づいて、前記認識対象体の撮像画像の適正な撮影位置に対する複数の軸方向の補正移動の要否を判定する補正移動判定ステップ、を備え、
前記表示制御ステップは、前記補正移動判定ステップで判定された複数の軸方向の補正移動の要否に基づいて、前記認識対象体の撮像画像に重畳させて、前記認識対象体に対する撮影姿勢の補正方向を表示する、付記１３に記載の文字認識支援方法。
（付記１５）
前記補正移動判定ステップは、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心と、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心との位置関係に基づいて、前記認識対象体の撮像画像に対する、上下左右の何れか一の方向についての並進移動の要否を判定する、付記１４に記載の文字認識支援方法。
（付記１６）
前記補正移動判定ステップは、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心から該文字認識された文字列毎の重心方向への角度と、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心から該評価文字列毎の重心方向への角度との相対関係に基づいて、前記認識対象体の撮像画像に対する、時計回りまたは反時計回りの回転移動の要否を判定する、付記１４または１５に記載の文字認識支援方法。
（付記１７）
前記補正移動判定ステップは、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心と該文字認識された文字列毎の重心との距離、及び、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心と該評価文字列毎の重心との距離の相対関係に基づいて、前記認識対象体の撮像画像の画像サイズの拡大方向または縮小方向についての移動の要否を判定する、付記１４から１６の何れか一の付記に記載の文字認識支援方法。
（付記１８）
前記補正移動判定ステップは、３隅以上の所定領域内の部分画像から文字認識された第
１文字列と第２文字列との間の第１文字列間距離と、前記所定領域に対応する第１評価文字列と第２評価文字列との間の第１評価文字列間距離との第１距離比、及び、第１文字列と第３文字列との間の第２文字列間距離と、前記所定領域に対応する第１評価文字列と第３評価文字列との間の第２評価文字列間距離との第２距離比の相対関係に基づいて、前記画像領域内での、前記認識対象体の撮像画像の上下左右の何れか一の方向についての歪みを補正する移動の要否を判定する、付記１４から１７の何れか一の付記に記載の文字認識支援方法。

１０、２０ 文字認識支援装置
１１ ＣＰＵ
１２ 主記憶部
１３ 補助記憶部
１４ 入力部
１４ａ カメラ
１５ 出力部
１５ａ ＬＣＤ
１６ 通信部
１０１、２１０ 画質評価部
１０２、２１３ 検出データ処理部
２０１ 評価用文字列ＤＢ
２１１ 帳票状態推定部
２１２ 状態表示部

Claims (8)

1. 文字認識の対象となる矩形の認識対象体を含む撮像画像を受け付ける手段と、
   記憶部に登録された前記認識対象体中の複数の評価文字列の座標情報に基づいて、前記認識対象体を含む撮像画像内での３隅以上の所定領域を特定する手段と、
   前記所定領域内の部分画像について文字認識を行い、前記所定領域内で文字認識された文字列と前記認識対象体中の前記評価文字列との関係を判定する手段と、
   前記関係から前記矩形の認識対象体の姿勢を示す複数の軸のうち、少なくとも１軸について文字認識できるか否かを、利用者が識別可能な様態で表示する表示制御手段と、
   を備える文字認識支援装置。
2. 前記評価文字列の座標情報と、前記評価文字列に対応する前記所定領域内で文字認識された文字列との位置関係に基づいて、前記認識対象体の撮像画像の適正な撮影位置に対する複数の軸方向の補正移動の要否を判定する補正移動判定手段、を備え、
   前記表示制御手段は、前記補正移動判定手段で判定された複数の軸方向の補正移動の要否に基づいて、前記認識対象体の撮像画像に重畳させて、前記認識対象体に対する撮影姿勢の補正方向を表示する、請求項１に記載の文字認識支援装置。
3. 前記補正移動判定手段は、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心と、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心との位置関係に基づいて、前記認識対象体の撮像画像に対する、上下左右の何れか一の方向についての並進移動の要否を判定する、請求項２に記載の文字認識支援装置。
4. 前記補正移動判定手段は、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心から該文字認識された文字列毎の重心方向への角度と、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心から該評価文字列毎の重心方向への角度との相対関係に基づいて、前記認識対象体の撮像画像に対する、時計回りまたは反時計回りの回転移動の要否を判定する、請求項２または３に記載の文字認識
   支援装置。
5. 前記補正移動判定手段は、２隅以上の所定領域内の部分画像から文字認識された２以上の文字列を含む組合せ領域の重心と該文字認識された文字列毎の重心との距離、及び、前記所定領域に対応する２以上の評価文字列を含む組合せ領域の重心と該評価文字列毎の重心との距離の相対関係に基づいて、前記認識対象体の撮像画像の画像サイズの拡大方向または縮小方向についての移動の要否を判定する、請求項２から４の何れか一項に記載の文字認識支援装置。
6. 前記補正移動判定手段は、３隅以上の所定領域内の部分画像から文字認識された第１文字列と第２文字列との間の第１文字列間距離と、前記第１文字列と第２文字列とに対応する第１評価文字列と第２評価文字列との間の第１評価文字列間距離との第１距離比、及び、前記部分画像から文字認識された第１文字列と第３文字列との間の第２文字列間距離と、前記第１文字列と第３文字列とに対応する第１評価文字列と第３評価文字列との間の第２評価文字列間距離との第２距離比に基づいて、前記認識対象体の撮像画像の上下左右の何れか一の方向についての歪みを補正する移動の要否を判定する、請求項２から５の何れか一項に記載の文字認識支援装置。
7. コンピュータに、
   文字認識の対象となる矩形の認識対象体を含む撮像画像を受け付けるステップと、
   記憶部に登録された前記認識対象体中の複数の評価文字列の座標情報に基づいて、前記認識対象体を含む撮像画像内での３隅以上の所定領域を特定するステップと、
   前記所定領域内の部分画像について文字認識を行い、前記所定領域内で文字認識された文字列と前記認識対象体中の前記評価文字列との関係を判定するステップと、
   前記関係から前記矩形の認識対象体の姿勢を示す複数の軸のうち、少なくとも１軸について文字認識できるか否かを、利用者が識別可能な様態で表示する表示制御ステップと、
   を実行させるための文字認識支援プログラム。
8. コンピュータが、
   文字認識の対象となる矩形の認識対象体を含む撮像画像を受け付けるステップと、
   記憶部に登録された前記認識対象体中の複数の評価文字列の座標情報に基づいて、前記認識対象体の撮像画像内での３隅以上の所定領域を特定するステップと、
   前記所定領域内の部分画像について文字認識を行い、前記所定領域内で文字認識された文字列と前記認識対象体中の前記評価文字列との関係を判定するステップと、
   前記関係から前記矩形の認識対象体の姿勢を示す複数の軸のうち、少なくとも１軸について文字認識できるか否かを、利用者が識別可能な様態で表示する表示制御ステップと、
   を実行する文字認識支援方法。

Images