JP6127685B2 - 情報処理装置、プログラム、及び形状認識方法 - Google Patents

Description

本発明は、情報処理装置、プログラム、及び形状認識方法に関する。

近年、撮像装置を文書や図面などの記録に活用する利用形態が普及しつつある。撮像画像を情報の記録に利用するという利用形態が普及した理由には、携帯電話機やスマートフォンなどの情報機器が広く普及したことや、その情報機器に搭載された撮像素子が高解像度化したことなどがある。こうした情報機器にインストール可能なアプリケーションソフトウェアには、撮像画像から文字を認識する所謂ＯＣＲ（Optical Character Reader）機能を搭載した画像処理ソフトウェアがある。このような画像処理ソフトウェアを利用することで、撮像画像に含まれる文字を画像情報ではなく、文字コードなどで識別される文字情報として扱えるようになる。

ＯＣＲ機能を含む画像処理ソフトウェアは、予め用意した文字の画像（以下、辞書画像）を撮像画像の一部と比較し、類似度が高い辞書画像を抽出する。このとき、画像処理ソフトウェアは、撮像画像の二値化やラベリングといった画像処理を実行し、文字の一部又は全部を含む可能性の高い矩形領域の画像（以下、セグメント）を切り出す。そして、画像処理ソフトウェアは、セグメントと辞書画像、或いは、セグメントの組み合わせと辞書画像を比較し、類似度の高いセグメントを検出する。類似度の高いセグメント及びこれに対応する辞書画像が文字認識結果として出力される。

文字には様々な種類がある。日常的に使われる文字としては、例えば、平仮名、アルファベット、アラビア数字、漢字、ギリシャ文字などがある。平仮名や漢字の場合、１つの文字が複数の部分を含むことがある。この場合、１つの文字から複数のセグメントが切り出される。

１つの文字から複数のセグメントが切り出される文字を扱う画像処理ソフトウェアは、複数のセグメントを様々に組み合わせ、セグメントの組み合わせと辞書画像とを比較する。その際、画像処理ソフトウェアは、どのセグメントの組み合わせが文字として適当であるかを事前に判断しないため、あらゆる組み合わせについて比較処理を実行する。そのため、比較処理の回数が多くなり、文字認識の処理負荷が大きくなる。

ところで、セグメントの切り出し処理については、例えば、文字列の並ぶ方向に画素値の分布を求め、分布の谷間となる部分をセグメントの境界と判断して各セグメントを切り出す技術が提案されている。また、セグメントの組み合わせと辞書画像との比較処理については、全角文字や半角文字の幅を有するセグメントを予め辞書画像と比較し、その比較結果を確定させた後で他のセグメントについて辞書画像との比較処理を実行する技術が提案されている。この技術を適用することで、組み合わせ処理の対象となるセグメントの数を予め減らすことが可能になり、文字認識の処理負荷を低減することができる。

特開昭６２−１９０５７４号公報 特開平０５−１６６００９号公報

しかしながら、上記技術を適用した場合でも、あるセグメントの左右（或いは上下）に位置する全ての他のセグメントとの組み合わせを画像処理ソフトウェアが選択し、各組み合わせについて比較処理を実行しているため、依然として文字認識の処理負荷が高い。

例えば、あるセグメントが右隣のセグメント１つと組み合わせることで文字となる場合でも、上記の画像処理ソフトウェアは、右隣、左隣、上側、下側に存在する１つ又は複数のセグメントを様々に組み合わせ、最も類似度の高い組み合わせを選択する。そのため、組み合わせ数の分だけ類似度の計算処理や比較処理が発生し、全体として処理負荷が高くなってしまう。なお、ここでは文字認識の場合を例に挙げたが、文字や図形の形状を含むパターンの認識に応用しようとする場合にも同様の問題が生じる。

１つの側面では、本発明は、形状認識にかかる処理負荷をより低減することが可能な情報処理装置、プログラム、及び形状認識方法を提供することを目的とする。

１つの案では、第１の形状、当該第１の形状の一部と類似し、かつ、第１の形状とは異なる第２の形状、及び、第１の形状の中で第２の形状に類似する部分と他の部分との位置関係を対応付けて記憶する記憶部と、入力画像から第２の形状を抽出する抽出部と、抽出部により第２の形状が抽出された範囲を、位置関係に基づいて類似する部分から他の部分へと向かう方向に拡張し、拡張した範囲に対応する第１の部分画像と第１の形状との類否を判定する判定部と、を備える、情報処理装置が提供される。

また、上記課題を解決するために、別の観点によれば、コンピュータに、第１の形状、当該第１の形状の一部と類似し、かつ、第１の形状とは異なる第２の形状、及び、第１の形状の中で第２の形状に類似する部分と他の部分との位置関係を対応付けた情報を参照させ、入力画像から第２の形状を抽出し、第２の形状が抽出された範囲を、位置関係に基づいて類似する部分から他の部分へと向かう方向に拡張し、拡張した範囲に対応する部分画像と第１の形状との類否を判定する処理を実行させるプログラムが提供される。

また、上記課題を解決するために、別の観点によれば、コンピュータが、第１の形状、当該第１の形状の一部と類似し、かつ、第１の形状とは異なる第２の形状、及び、第１の形状の中で第２の形状に類似する部分と他の部分との位置関係を対応付けた情報を参照し、入力画像から第２の形状を抽出し、第２の形状が抽出された範囲を、位置関係に基づいて類似する部分から他の部分へと向かう方向に拡張し、拡張した範囲に対応する部分画像と第１の形状との類否を判定する工程を含む、形状認識方法が提供される。

一側面によれば、形状認識にかかる処理負荷をより低減することが可能になる。

第１実施形態に係る情報処理装置の例を示した図である。 第２実施形態に係る文字認識方法の例を示した第１の図である。 第２実施形態に係る文字認識方法の例を示した第２の図である。 第２実施形態に係る文字認識方法の例を示した第３の図である。 第２実施形態に係る情報処理装置のハードウェアの例を示した図である。 第２実施形態に係る情報処理装置の機能を示したブロック図である。 第２実施形態に係る辞書画像テーブルの例を示した図である。 第２実施形態に係る拡張情報テーブルの例を示した図である。 第２実施形態に係る画像処理方法の例を示した図である。 第２実施形態に係る文字認識処理方法の例を示した第１の図である。 第２実施形態に係る文字認識処理方法の例を示した第２の図である。 第２実施形態の一変形例（変形例＃１）に係る文字認識処理方法の例を示した第１の図である。 第２実施形態の一変形例（変形例＃１）に係る文字認識処理方法の例を示した第２の図である。 第２実施形態の一変形例（変形例＃２）に係る文字認識処理方法の例を示した図である。 第３実施形態に係る情報処理装置の機能を示したブロック図である。 第３実施形態に係る拡張情報テーブルの生成方法の例を示した第１の図である。 第３実施形態に係る拡張情報テーブルの生成方法の例を示した第２の図である。 第４実施形態に係る拡張情報テーブルの例を示した第１の図である。 第４実施形態に係る拡張情報テーブルの例を示した第２の図である。

以下に添付図面を参照しながら実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。

＜１．第１実施形態＞
第１実施形態について説明する。
まず、図１を参照しながら、第１実施形態に係る情報処理装置１０について説明する。図１は、第１実施形態に係る情報処理装置の例を示した図である。

図１に示すように、情報処理装置１０は、記憶部１１、抽出部１２、及び判定部１３を有する。なお、記憶部１１の機能は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶デバイス、ＳＳＤ（Solid State Drive）やＲＡＭ（Random Access Memory）ディスクなどの半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどを用いて実現可能である。抽出部１２及び判定部１３の機能は、例えば、ＣＰＵ（Central Processing Unit）などを用いて実現可能である。

記憶部１１は、第１の形状、当該第１の形状の一部と類似し、かつ、第１の形状とは異なる第２の形状、及び、第１の形状の中で第２の形状に類似する部分と他の部分との位置関係を対応付けて記憶する。また、記憶部１１は、第１及び第２の形状を含む所定の形状群Ｃｒを記憶する。上記の形状は文字や図形などの形状を含む。文字には、例えば、平仮名、アルファベット、アラビア数字、漢字、ギリシャ文字などが含まれる。図形には、例えば、道路標識、案内標識、警戒標識、地図記号、商標などが含まれる。もちろん、ここで例示した以外の文字や図形に対しても第１実施形態の技術を適用可能である。

図１には、所定の形状群Ｃｒがアルファベットの場合を例示している。また、第１の形状の一例として「Ｅ」「Ｗ」「Ｙ」を示している。例えば、「Ｅ」の一部には「Ｆ」と類似する部分Ｐ１１（及び他の部分Ｐ１２）が含まれる。そのため、第１の形状「Ｅ」に対応する第２の形状の１つは「Ｆ」となる。記憶部１１は、第１の形状「Ｅ」及び第２の形状「Ｆ」に対応付けて、類似する部分Ｐ１１から他の部分Ｐ１２へと向かう方向を示す位置情報（下向き矢印）を記憶する。同様に、記憶部１１は、第１の形状「Ｅ」、第２の形状「Ｌ」に対応付けて、類似する部分Ｐ２２から他の部分Ｐ２１へと向かう方向を示す位置情報（上向き矢印）を記憶する。第１の形状「Ｗ」及び「Ｙ」についても同様である（符号Ｐ３１、Ｐ３２、Ｐ４１、Ｐ４２の部分を参照）。

抽出部１２は、入力画像Ｐｔから第２の形状を抽出する。第２の形状が抽出された範囲Ａ１は、例えば、画像の二値化やラベリングなどの画像処理を実行し、同じラベルが付与された画素群を抽出する方法などを利用して検出することが可能である。範囲Ａ１に対応する画像（第２の部分画像）は、例えば、ラベリングによりラベルが付与された画素群を有する画像である。図１には、範囲Ａ１に「Ｆ」に類似する第２の部分画像が含まれている。この場合、抽出部１２は、第２の部分画像に類似する形状として、所定の形状群Ｃｒ（この例ではアルファベット）から「Ｆ」を抽出する。

判定部１３は、抽出部１２により第２の形状が抽出された範囲Ａ１を、位置関係に基づいて類似する部分から他の部分へと向かう方向に拡張し、拡張した範囲Ａ２に対応する第１の部分画像と第１の形状との類否を判定する。図１の例では、範囲Ａ１に対応する第２の部分画像として「Ｆ」が抽出されている。「Ｆ」は、記憶部１１が記憶している第２の形状に含まれる。そのため、判定部１３は、記憶部１１が記憶している第２の形状「Ｆ」に対応する位置関係（下向き矢印）を確認し、その位置関係が示す方向に範囲Ａ１を拡張する。そして、判定部１３は、範囲Ａ１を下向きに拡張した範囲Ａ２に対応する第１の部分画像が、第２の形状「Ｆ」に対応する第１の形状「Ｅ」に類似するか否かを判定する。

上記のように、記憶部１１が記憶している位置関係に基づいて範囲を拡張する方向が決まる。つまり、組み合わせるセグメントを探索する際に、あらゆる方向に探索を試みるのではなく、位置関係が示す方向に対象を絞り込んで探索を行うことができる。図１の例では、範囲Ａ１の上下左右に範囲を拡張するのではなく、位置関係が示す下方向に範囲を拡張するだけで、適当なセグメントの組み合わせに相当する第１の部分画像が得られている。また、範囲を拡張した際に検出されると予測される第１の形状が記憶部１１により記憶されているため、所定の形状群Ｃｒに含まれる全ての形状について類否を判定せずに済む分、処理負荷の更なる低減が実現される。

なお、図１の例では、１つの文字（「Ｅ」）が途中で分断され、その一部に含まれる第２の形状が検出された場合を例に挙げたが、複数のセグメントを含む１つの文字の文字認識を行う場合や、複数の文字を含む文字列の認識を行う場合についても同様である。

第１実施形態に係る技術は、ドキュメントスキャナなどの専用の読み取り装置で読み取られた文字列の認識にも適用可能であるし、撮像画像に含まれる１つ又は複数の文字を認識する場合にも適用可能である。後者の場合、撮影環境に起因するノイズや画像処理の過程で生じるノイズなどの影響で文字の一部が欠損し、図１に示すように本来１つのセグメントで表現される文字が複数のセグメントに分断されてしまうことがある。さらに、分断される位置によっては他の文字との間で高い類似度が得られ、他の文字として誤認識されてしまう可能性がある。しかし、第１実施形態に係る技術を適用すれば、第２の形状が検出された場合に、位置関係が示す方向に拡張して第１の形状との類否判断が行われるため、そのような誤検出が生じにくくなり、文字認識の検出精度が向上する。

以上説明したように、第１実施形態によれば、組み合わせるセグメントの方向を絞り込んで類否判定を実行するため、文字認識の処理負荷を低減することができる。さらに、ある形状の一部に対応するセグメントが他の形状に類似する場合でも、両形状の位置関係を考慮して組み合わせるセグメントを探索する範囲を拡張して類似度を再判定することで、誤認識が生じるリスクを低減することができる。

＜２．第２実施形態（文字認識方法）＞
次に、第２実施形態について説明する。
［２−１．文字認識方法の一例］
図２〜図４を参照しながら、第２実施形態に係る文字認識方法について説明する。ここで説明する内容は、撮像装置で撮像された画像を取得し、その画像（以下、取得画像）に含まれる１つ又は複数の文字を認識する際に実行される処理の一部に関する。図２は、第２実施形態に係る文字認識方法の例を示した第１の図である。図３は、第２実施形態に係る文字認識方法の例を示した第２の図である。図４は、第２実施形態に係る文字認識方法の例を示した第３の図である。

まず、図２を参照する。図２に示すように、文字認識処理Ｒの前段に実行される処理として、画像の取得（Ｓ１１）、画像の二値化（Ｓ１２）、ラベリング（Ｓ１３）、及び矩形領域の切り出し（Ｓ１４）などの処理が実行される。つまり、文字認識処理Ｒの準備として、上述したセグメントに相当する切り出し画像を生成する処理が実行される。切り出し画像が生成された後、切り出し画像の選択（Ｓ１５）、類似度の計算（Ｓ１６）、及び認識結果の出力（Ｓ１７）などの処理が実行される。

（Ｓ１２、Ｓ１３の処理について）
以下、Ｓ１２及びＳ１３の処理について、さらに説明する。
（Ｓ１２）取得画像の二値化処理は、例えば、取得画像に含まれる各画素の画素値と所定の閾値とを比較し、画素値が所定の閾値を上回る画素に１を、それ以外の画素に０を対応付ける処理である。図２の例では、１に対応付けられた画素が黒で表現され、０に対応付けられた画素が白で表現されている。なお、二値化処理が施された取得画像を二値化画像と呼ぶ場合がある。所定の閾値は、画素値がとり得る範囲の中間に位置する値（例えば、１２７など）に設定される。

（Ｓ１３）ラベリング処理は、二値化画像の中で黒の部分（白の部分でもよいが、ここでは黒の部分を例に説明する。）が連続した画素に同じ番号（以下、ラベル）を割り振る処理である。ラベリング処理には、例えば、縦方向又は横方向に黒の部分が連続している画素に同じラベルを割り振る４連結と呼ばれる方式や、縦方向、横方向、又は斜め方向に連続している画素に同じラベルを割り振る８連結と呼ばれる方式がある。ここでは８連結の方式を例に説明を進める。

ラベリング処理の開始時に全ての画素のラベルが０に設定される。次に、二値化画像の左上からラスタスキャンを実行して黒の画素を探索する処理が実行される。黒の画素が発見されると、その画素（以下、対象画素）の左上、上、右上、左に位置する画素のラベルが参照され、全てのラベルが０の場合には最後に割り振ったラベルの番号に１を加えた番号が対象画素のラベルに設定される。参照した画素に０以外のラベルが割り振られた画素が存在する場合には、その画素に割り振られたラベルの最小番号が対象画素のラベルに設定される。

このとき、対象画素のラベルを割り振る前に最後に割り振ったラベルの番号ＮＡと、対象画素に割り振ったラベルの番号ＮＢとが対応付けて保持される。二値化画像に含まれる全ての画素に対してラベルが割り振られた後、保持された番号（ＮＡ及びＮＢ）に基づいてラベルの番号が調整される。つまり、番号ＮＡが割り振られた画素のラベルが番号ＮＢに変更される。上記のような処理を実行することで、縦方向、横方向、又は斜め方向に連続している画素に同じラベルを割り振ることができる。なお、上記の方法は一例であり、二値化画像に含まれる黒の部分の輪郭を追跡し、閉じた領域を抽出して同じラベルを割り振る方法などもある。

（Ｓ１５、Ｓ１６の処理について）
以下、Ｓ１５及びＳ１６の処理について、さらに説明する。
（Ｓ１５）切り出し画像の選択処理は、例えば、同じラベルが割り振られた画素群を１つのブロックとして扱い、１つ又は複数のブロックを含む矩形領域を選択する処理である。一例として、同じ高さの矩形領域を用意し、幅及び位置を横方向に変更しながら１つ又は複数のブロックを含む矩形領域を選択する方法を考える。図２の例では、二値化画像からラベル１、２、３を割り振られた３つの画素群が得られている。この場合、ラベル２、３に対応するブロックを含む切り出し画像＃１、及びラベル１に対応するブロックを含む切り出し画像＃２が得られる。

なお、矩形領域の選択方法は図２の例に限定されない。例えば、同じラベルが割り振られた画素群を囲む最小の矩形領域を選択して切り出し画像とする方法も考えられる。この場合、図２の例ではラベル１、２、３にそれぞれ対応する矩形領域が選択され、それぞれ対応する３つの切り出し画像が得られる。以下の説明においては、矩形領域の切り出し方法を特定の方法に限定することはせず、所定の方法で文字の一部又は全部に対応する矩形領域が選択され、それに対応する切り出し画像が得られたものとして説明を進める。

（Ｓ１６）類似度の計算処理は、予め用意された文字の画像（以下、辞書画像）と、切り出し画像との間の類似度を計算する処理である。このとき、１つの切り出し画像と辞書画像との類似度を計算するだけでなく、複数の切り出し画像を組み合わせた画像と辞書画像との類似度が計算される。図２の例では、切り出し画像＃１と辞書画像との類似度、切り出し画像＃２と辞書画像との類似度、切り出し画像＃１及び＃２の組み合わせと辞書画像との類似度が計算される。そして、類似度が最大となる切り出し画像と辞書画像とが認識結果となる。

図２の例では、説明の都合上、横方向に並んだ２つの切り出し画像だけを考えたため、切り出し画像の組み合わせ及び類似度の計算は比較的単純である。しかし、複数の文字を含む文字列を考える場合、複雑な構造を有する文字を扱う場合、或いは、取得画像に含まれるノイズなどの影響で文字の一部が分断されている場合などでは、切り出し画像の組み合わせ数が大きくなる。そこで、第２実施形態においては、組み合わせる切り出し画像の位置関係を予め保持しておき、その位置関係に基づいて切り出し画像の組み合わせを決めることで文字認識処理Ｒの処理負荷を低減する文字認識方法を提案する。

（第２実施形態に係る文字認識方法について）
図３に示すように、複数の文字を含む文字列を二値化画像から切り出した場合、多くの切り出し画像（図３の例では切り出し画像＃１〜＃７）が得られる。この場合、切り出し画像＃１と辞書画像との間の類似度Ｒ１１、切り出し画像＃２と辞書画像との間の類似度Ｒ２２、…、切り出し画像＃７と辞書画像との間の類似度Ｒ７７を計算する処理が発生する。さらに、切り出し画像＃１及び＃２の組み合わせと辞書画像との間の類似度Ｒ１２、切り出し画像＃２及び＃３の組み合わせと辞書画像との間の類似度Ｒ２３、…、切り出し画像＃６及び＃７の組み合わせと辞書画像との間の類似度Ｒ６７を計算する処理が発生する。

図３の例では、１つの切り出し画像又は２つの左右に隣接する切り出し画像の組み合わせだけを考慮したが、３つ以上の切り出し画像の組み合わせや、上下に隣接する切り出し画像の組み合わせを考慮すると計算する類似度の数は多くなる。そこで、第２実施形態に係る文字認識方法では、図４に示すような拡張情報テーブルを利用する方法を提案する。図４に示すように、拡張情報テーブルは、基準文字、拡張文字、及び位置関係を対応付けた情報である。基準文字及び拡張文字は、いずれも辞書画像に対応する文字群に含まれる文字である。但し、基準文字は、拡張文字の一部と類似する形状を有する文字である。

拡張情報テーブルには、拡張文字の中で基準文字に類似する部分Ｐ１と、他の部分Ｐ２との位置関係を示す情報が含まれる。図４の例では、拡張文字「に」及び基準文字「こ」の組み合わせに対し、類似する部分Ｐ１から他の部分Ｐ２へ向かう方向を示す情報が位置関係を示す情報として拡張情報テーブルに含まれている。例えば、矩形領域Ａ１に対応する切り出し画像が「こ」と類似する場合に、基準文字「こ」に対応する位置関係（左方向）に従って矩形領域をＡ２まで拡張することで、拡張文字「に」が認識される可能性の高い切り出し画像を得ることができる。なお、矩形領域Ａ１を矩形領域Ａ２まで拡張することは、矩形領域Ａ１の切り出し画像と、矩形領域Ａ２の切り出し画像とを組み合わせることに相当する。

文字「こ」に類似する切り出し画像の右側に他の切り出し画像を組み合わせて他の文字と類似する切り出し画像が得られることはないため、上記の方法を適用すれば、右側の切り出し画像と組み合わせて類似度を計算するという無駄な処理が省かれる。そのため、基準文字と拡張文字との位置関係を利用して切り出し画像の組み合わせを選択することにより、図２に示した文字認識処理Ｒの処理負荷を低減することが可能になる。なお、ここでは、説明の都合上、平仮名を例に挙げ、位置関係として「方向」を考慮した文字認識方法を示したが、様々な文字や図形の形状に適用可能である。また、位置関係の表現方法も「方向」に限定されない。

以上、第２実施形態に係る文字認識方法について説明した。以下では、この文字認識方法を実現可能な情報処理装置１００の例、及び情報処理装置１００が実行する処理の流れなどについて、さらに説明する。

［２−２．情報処理装置のハードウェア］
図５を参照しながら、後述する情報処理装置１００のハードウェアについて説明する。図５は、第２実施形態に係る情報処理装置のハードウェアの例を示した図である。

情報処理装置１００が有する各要素の機能は、例えば、図５に示すハードウェア資源を用いて実現することが可能である。つまり、当該各要素の機能は、コンピュータプログラムを用いて図５に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話機、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）などの携帯情報端末、ゲーム機、又は種々の通信装置がこれに含まれる。

図５に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ（Read Only Memory）９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータなどを格納する記憶装置の一例である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータなどが一時的又は永続的に格納される。

これらの要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、タッチパッド、ボタン、スイッチ、及びレバーなどが用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。

出力部９１８としては、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、又はＥＬＤ（Electro-Luminescence Display）などのディスプレイ装置が用いられる。また、出力部９１８として、スピーカやヘッドホンなどのオーディオ出力装置、プリンタ、携帯電話機、又はファクシミリなどが用いられることもある。つまり、出力部９１８は、情報を視覚的又は聴覚的に出力することが可能な装置である。

記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ＨＤＤなどの磁気記憶デバイスが用いられる。また、記憶部９２０として、ＳＳＤやＲＡＭディスクなどの半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどが用いられてもよい。

ドライブ９２２は、着脱可能な記録媒体であるリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどが用いられる。また、リムーバブル記録媒体９２８として、非接触型ＩＣ（Integrated Circuit）チップを搭載したＩＣカードや電子機器などが用いられてもよい。

接続ポート９２４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）、ＲＳ−２３２Ｃポート、又は光オーディオ端子など、外部接続機器９３０を接続するためのポートである。外部接続機器９３０としては、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダなどが用いられる。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスである。通信部９２６としては、例えば、有線又は無線ＬＡＮ（Local Area Network）用の通信回路、ＷＵＳＢ（Wireless USB）用の通信回路、光通信用の通信回路やルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用の通信回路やルータ、携帯電話ネットワーク用の通信回路などが用いられる。通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークであり、例えば、インターネット、ＬＡＮ、放送網、衛星通信回線などを含む。

以上、情報処理装置１００のハードウェアについて説明した。
［２−３．情報処理装置の機能］
次に、図６〜図８を参照しながら、情報処理装置１００の機能について説明する。図６は、第２実施形態に係る情報処理装置の機能を示したブロック図である。図７は、第２実施形態に係る辞書画像テーブルの例を示した図である。図８は、第２実施形態に係る拡張情報テーブルの例を示した図である。

図６に示すように、情報処理装置１００は、画像取得部１０１、切り出し部１０２、記憶部１０３、及び認識部１０４を有する。なお、画像取得部１０１、切り出し部１０２、認識部１０４が有する機能は、ＣＰＵ９０２が実行するプログラムのモジュールとして実現できる。また、画像取得部１０１、切り出し部１０２、認識部１０４が有する機能の一部又は全部をソフトウェアではなく電子回路として実現することも可能である。また、記憶部１０３は、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に確保された記憶領域である。

（画像取得部１０１、切り出し部１０２）
画像取得部１０１は、文字認識処理の対象となる画像を取得する。例えば、画像取得部１０１は、情報処理装置１００に接続された撮像装置などの外部接続機器９３０から画像を取得する。画像取得部１０１により取得された画像は、切り出し部１０２に入力される。画像が入力された切り出し部１０２は、図２に示したような方法で、入力された画像に対して二値化処理、ラベリング処理、及び切り出し処理を施し、一又は複数の切り出し画像を生成する。切り出し部１０２により生成された切り出し画像は、認識部１０４に入力される。

（記憶部１０３）
記憶部１０３は、辞書画像テーブル１０３ａ、及び拡張情報テーブル１０３ｂを有する。辞書画像テーブル１０３ａは、図７に示すように、予め用意された文字の画像である辞書画像と、その文字を識別する識別情報と、その文字の種別を示す種別情報とを対応付けるテーブルである。拡張情報テーブル１０３ｂは、図８に示すように、基準文字と、拡張文字と、位置関係を示す情報（例えば、方向や座標情報など）とを対応付けるテーブルである。ここで、辞書画像テーブル１０３ａ及び拡張情報テーブル１０３ｂについて、さらに説明する。

図７に示すように、辞書画像テーブル１０３ａは辞書画像を有する。辞書画像は、例えば、平仮名、アルファベット、アラビア数字、漢字、ギリシャ文字などを表した画像である。図７の例では、辞書画像に対応付けて識別情報及び種別情報が辞書画像テーブル１０３ａに記録されている。識別情報は、例えば、文字コードや、予めユーザが文字毎に設定した識別番号などである。種別情報は、辞書画像が表す文字の種別を識別するための情報である。例えば、認識対象とする文字の種別が予め分かっている場合には、その種別に対応する辞書画像を利用して文字認識処理を実行することで、より高い精度で文字を認識することが可能になる。なお、種別情報は実施の態様に応じて適宜省略してもよい。

図８に示すように、拡張情報テーブル１０３ｂは基準文字及び拡張文字を対応付ける。基準文字及び拡張文字は、いずれも辞書画像テーブル１０３ａに含まれる辞書画像が表す文字である。基準文字は、拡張文字の一部と形状が類似する文字である。例えば、文字「き」の下側一部と文字「さ」とは形状が類似している。そのため、拡張情報テーブル１０３ｂには、基準文字「さ」と拡張文字「き」とが対応付けて記録されている。

拡張情報テーブル１０３ｂには、拡張文字の中で基準文字と類似する部分と、他の部分との位置関係を示す情報がさらに記録される。図８の例では、類似する部分に対応する矩形領域を基準範囲、他の部分に対応する矩形領域を拡張範囲と呼び、基準範囲及び拡張範囲の相対的な位置関係を座標で表現した情報が拡張情報テーブル１０３ｂに記録されている。なお、基準範囲又は拡張範囲を表す矩形領域の左下頂点をａ、右下頂点をｂ、右上頂点をｃ、左上頂点をｄと表現している。また、基準範囲の座標点ａを原点としている。

図８の例において、拡張文字「き」の基準範囲は、ａ（０，０）、ｂ（５，０）、ｃ（５，８）、ｄ（０，８）で表現されている。拡張範囲は、ａ（−１，８）、ｂ（５，８）、ｃ（５，１１）、ｄ（−１，１１）で表現されている。このように、基準範囲及び拡張範囲を座標で表現することで、基準範囲から拡張範囲へ向かう方向だけでなく、基準範囲及び拡張範囲について大きさの比率などを得ることができる。例えば、基準文字「さ」に類似する部分の矩形領域が検出された場合、その矩形領域（基準範囲）を基準に、高さが（３／８）倍、幅が（６／５）倍であり、その基準範囲の右上頂点に、右下頂点が一致する拡張範囲を設定することができる。

なお、図８に示した位置関係の表現方法は一例であり、座標以外の方法で基準範囲及び拡張範囲を表現してもよい。また、図４に示したように、位置関係を示す情報として基準範囲から拡張範囲へと向かう方向の情報だけを拡張情報テーブル１０３ｂに記録するようにしてもよい。方向の情報は、画像の向きを基準として上下左右で表現した情報でもよいし、ベクトルを用いて表現した情報でもよい。以下の説明においては、図８に例示した拡張情報テーブル１０３ｂが記憶部１０３に記録されているものとして説明を進める。

（認識部１０４）
再び図６を参照する。認識部１０４は、選択部１１１、類似度計算部１１２、判定部１１３、及び範囲拡張部１１４を含む。

選択部１１１は、辞書画像との類似度を計算する切り出し画像を選択する。類似度計算部１１２は、辞書画像テーブル１０３ａを参照し、選択部１１１が選択した切り出し画像と辞書画像との類似度を計算する。判定部１１３は、類似度計算部１１２により計算された類似度が文字判定用の閾値を上回る切り出し画像及びそれに対応する辞書画像を抽出する。この文字判定用の閾値は、辞書画像に対応する文字である可能性が高い切り出し画像を抽出するための閾値である。ある切り出し画像について類似度が文字判定用の閾値を上回る辞書画像が複数存在する場合には、類似度が最大となる辞書画像が抽出される。

範囲拡張部１１４は、拡張情報テーブル１０３ｂを参照し、判定部１１３が抽出した辞書画像が基準文字に該当するか否かを判定する。判定部１１３が抽出した辞書画像が基準文字に該当しない場合、範囲拡張部１１４は、判定部１１３が抽出した辞書画像の文字を文字認識結果として出力する。一方、判定部１１３が抽出した辞書画像が基準文字に該当する場合、範囲拡張部１１４は、その基準文字に対応する位置関係の情報（拡張範囲の座標など）を拡張情報テーブル１０３ｂから抽出し、その情報を選択部１１１に入力する。

位置関係の情報が入力された選択部１１１は、その位置関係の情報に基づいて切り出し画像を再び選択し、選択した切り出し画像を類似度計算部１１２に入力する。選択部１１１から再び切り出し画像が入力された類似度計算部１１２は、入力された切り出し画像と、拡張文字に対応する辞書画像との類似度を計算する。判定部１１３は、基準文字に係る類似度と、拡張文字に係る類似度とを比較する。基準文字に係る類似度が拡張文字に係る類似度よりも大きい場合、判定部１１３は、基準文字を文字認識結果として出力する。一方、基準文字に係る類似度が拡張文字に係る類似度よりも小さい場合、判定部１１３は、拡張文字を文字認識結果として出力する。

例えば、文字「の」を表す切り出し画像が認識部１０４に入力された場合、選択部１１１は、その切り出し画像を類似度計算部１１２に入力する。類似度計算部１１２は、辞書画像テーブル１０３ａに含まれる各辞書画像と切り出し画像との類似度を計算する。判定部１１３は、最大の類似度に対応する辞書画像（この場合は「の」の辞書画像）を抽出する。範囲拡張部１１４は、拡張情報テーブル１０３ｂを参照して文字「の」が基準文字となるか否かを判定する。文字「の」は基準文字とならないため、範囲拡張部１１４は、文字認識結果として文字「の」を出力する。

例えば、文字「さ」を表す切り出し画像が認識部１０４に入力された場合、選択部１１１は、その切り出し画像を類似度計算部１１２に入力する。類似度計算部１１２は、辞書画像テーブル１０３ａに含まれる各辞書画像と切り出し画像との類似度を計算する。判定部１１３は、最大の類似度に対応する辞書画像（この場合は「さ」の辞書画像）を抽出する。範囲拡張部１１４は、拡張情報テーブル１０３ｂを参照して文字「さ」が基準文字となるか否かを判定する。文字「さ」は基準文字となるため、範囲拡張部１１４は、基準文字「さ」に対応する拡張文字「き」及び位置関係の情報を拡張情報テーブル１０３ｂから抽出し、その情報を選択部１１１に入力する。

選択部１１１は、位置関係の情報に基づいて文字「さ」の上側に位置する切り出し画像をさらに選択し、選択した切り出し画像と文字「さ」を表す切り出し画像とを組み合わせた切り出し画像を類似度計算部１１２に入力する。類似度計算部１１２は、辞書画像テーブル１０３ａを参照し、拡張文字（この場合は「き」の辞書画像）の辞書画像と切り出し画像との類似度を計算する。判定部１１３は、基準文字「さ」に対する類似度と、拡張文字「き」に対する類似度とを比較する。基準文字「さ」に対する類似度の方が大きい場合、判定部１１３は、基準文字「さ」を文字認識結果として出力する。拡張文字「き」に対する類似度の方が大きい場合、判定部１１３は、基準文字「き」を文字認識結果として出力する。

なお、上記の類似度は、例えば、次のような方法で計算することができる。
１つの切り出し画像又は複数の切り出し画像の組み合わせを入力画像と呼ぶことにする。入力画像は、選択部１１１により選択される。類似度計算部１１２は、入力画像の特徴ベクトルを生成する。例えば、類似度計算部１１２は、入力画像の矩形領域についてラスタスキャンを実行し、各画素の値（黒は１、白は０）を並べたベクトルを特徴ベクトルとする。類似度計算部１１２は、類似度計算の対象とする辞書画像についても同様に特徴ベクトルを生成する。なお、辞書画像の特徴ベクトルは予め生成されていてもよい。

入力画像及び辞書画像の特徴ベクトルを生成した類似度計算部１１２は、これら２つの特徴ベクトルの距離を計算する。入力画像の特徴ベクトルをｘ、辞書画像の特徴ベクトルをｙとすると、両画像の類似度Ｓは、例えば、下記の式（１）により計算される。但し、｜ｘ｜は下記の式（２）で表現される。また、上付きのＴは転置を表す。なお、２つの特徴ベクトルのハミング距離などを類似度としてもよい。ハミング距離は、２つの特徴ベクトルで値が異なる成分の数である。こうした方法により、入力画像と辞書画像との類似度を計算することができる。

以上、情報処理装置１００の機能について説明した。
［２−４．処理の流れ］
次に、図９〜図１１を参照しながら、情報処理装置１００が実行する処理の流れについて説明する。図９は、第２実施形態に係る画像処理方法の例を示した図である。図１０は、第２実施形態に係る文字認識処理方法の例を示した第１の図である。図１１は、第２実施形態に係る文字認識処理方法の例を示した第２の図である。

（画像処理の流れ）
図９を参照しながら、文字認識処理の対象となる画像の取得から文字認識結果の出力までの処理について、その流れを説明する。

（Ｓ１０１）情報処理装置１００は、画像取得部１０１の機能により、文字認識処理の対象となる画像を取得する。例えば、画像取得部１０１は、情報処理装置１００に接続された外部の撮像装置、画像が記録された記録媒体、画像が格納されたネットワーク上の記憶装置などから画像を取得する。なお、情報処理装置１００に撮像機能が搭載されている場合には、その撮像機能により撮像された画像を画像取得部１０１が取得してもよい。

（Ｓ１０２）情報処理装置１００は、切り出し部１０２の機能により、Ｓ１０１で取得した画像を二値化して二値化画像を生成する。例えば、切り出し部１０２は、Ｓ１０１で取得した画像に含まれる各画素の画素値と所定の閾値とを比較し、画素値が所定の閾値を上回る画素に第１の値（１）を、それ以外の画素に第２の値（０）を対応付ける。所定の閾値は、画素値がとり得る範囲の中間に位置する値（例えば、１２７など）に設定される。

（Ｓ１０３）情報処理装置１００は、切り出し部１０２の機能により、Ｓ１０２で生成した二値化画像を対象にラベリング処理を実行する。例えば、切り出し部１０２は、二値化画像の中で黒の部分が連続した画素に同じ番号（ラベル）を割り振る。切り出し部１０２が実行するラベリング処理の方式は任意であり、４連結や８連結などの方式が適用可能である。また、切り出し部１０２が実行するラベリング処理の方法は、ラスタスキャンを実行して探索した黒の画素と周辺の画素との関係からラベルを設定する方法でもよいし、黒の画素を含む閉じた領域を抽出して同じラベルを設定する方法などでもよい。

（Ｓ１０４）情報処理装置１００は、切り出し部１０２の機能により、Ｓ１０３で設定されたラベルに基づいて文字の一部又は全部を含む矩形領域を切り出し、切り出し画像を生成する。例えば、切り出し部１０２は、同じラベルが設定された画素群のブロックを含む矩形領域を切り出す。このとき、切り出し部１０２は、複数のブロックを含む矩形領域を切り出してもよいし、個々のブロックを囲む最小の矩形領域を切り出してもよい。

（Ｓ１０５）情報処理装置１００は、認識部１０４の機能により、Ｓ１０４で生成された切り出し画像を用いて文字認識処理を実行する。このとき、認識部１０４は、記憶部１０３が記憶する辞書画像テーブル１０３ａを利用する。辞書画像テーブル１０３ａには、認識対象となる文字の画像（辞書画像）が識別情報などと対応付けて記録されている。認識部１０４は、辞書画像テーブル１０３ａから辞書画像を選択し、選択した辞書画像と類似する１つの切り出し画像又は複数の切り出し画像の組み合わせを抽出する。

例えば、認識部１０４は、１つの切り出し画像又は複数の切り出し画像の組み合わせを選択し、選択した画像と辞書画像テーブル１０３ａに記録された各辞書画像との類似度を計算する。そして、認識部１０４は、選択した画像について、類似度が文字判定用の閾値を上回る辞書画像を抽出する。なお、選択した画像について類似度が文字判定用の閾値を上回る辞書画像が複数抽出された場合には類似度が最大となる辞書画像が抽出される。認識部１０４は、１つの切り出し画像又は複数の切り出し画像の組み合わせを順次選択して同様の処理を繰り返す。なお、Ｓ１０５の処理については後段において詳述する。

（Ｓ１０６）情報処理装置１００は、Ｓ１０５で抽出された辞書画像に対応する文字を認識結果として出力する。Ｓ１０６の処理を終えると、情報処理装置１００は、文字認識に係る一連の処理を終了する。

（認識処理の流れ）
図１０及び図１１を参照しながら、図９のＳ１０５に対応する認識処理について、その流れを説明する。なお、図１０及び図１１に示す処理は、情報処理装置１００が有する機能のうち、主に認識部１０４の機能により実現される。

（Ｓ１１１）認識部１０４は、切り出し画像を選択する。切り出し画像の選択方法としては、例えば、最初に切り出し画像を１つずつ順次選択し、次いで２つの切り出し画像の組み合わせを順次選択する方法が考えられる。３つ以上の切り出し画像の組み合わせを考慮する場合も同様である。但し、既に文字の一部又は全部として最終的に認識された切り出し画像については選択されないようにする。以下では、Ｓ１１１で選択された１つの切り出し画像又は複数の切り出し画像の組み合わせを単に切り出し画像と表記する。

（Ｓ１１２）認識部１０４は、Ｓ１１１で選択した切り出し画像と辞書画像との類似度を計算する。このとき、認識部１０４は、辞書画像テーブル１０３ａに記録された辞書画像を順次読み出し、各辞書画像と切り出し画像との類似度を計算する。類似度の計算方法は、上記の式（１）に基づく計算方法であってもよいし、ハミング距離などに基づく計算方法であってもよい。

（Ｓ１１３）認識部１０４は、Ｓ１１２で計算した類似度の中で最大の類似度（以下、最大類似度Ｓ１）に対応する辞書画像（以下、辞書画像Ｘ１）を選択する。
（Ｓ１１４）認識部１０４は、最大類似度Ｓ１が文字判定用の閾値Ｔｈよりも大きいか否かを判定する。つまり、認識部１０４は、Ｓ１１１で選択した切り出し画像が文字である可能性が高いか否かを判定する。最大類似度Ｓ１が文字判定用の閾値Ｔｈよりも大きい場合、処理はＳ１１５に進む。一方、最大類似度Ｓ１が文字判定用の閾値Ｔｈよりも小さい場合、処理はＳ１１１に戻る。なお、文字判定用の閾値Ｔｈは予め設定されている。

（Ｓ１１５）認識部１０４は、拡張情報テーブル１０３ｂを参照し、辞書画像Ｘ１が基準文字に該当するか否かを判定する。なお、拡張情報テーブル１０３ｂに各基準文字の識別情報が記録されている場合、その識別情報と辞書画像テーブル１０３ａに記録された識別情報とを参照することで、認識部１０４は、辞書画像Ｘ１が基準文字に該当するか否かを容易に判定できる。辞書画像Ｘ１が基準文字である場合、処理はＳ１１６に進む。一方、辞書画像Ｘ１が基準文字でない場合、処理はＳ１１７に進む。

（Ｓ１１６）認識部１０４は、拡張情報テーブル１０３ｂを参照し、辞書画像Ｘ１に対応する基準文字が記載された欄の位置関係を示す情報を取得する。そして、認識部１０４は、取得した位置関係を示す情報に基づいて切り出し範囲を拡張し、切り出し画像を再び選択する。例えば、Ｓ１１１で選択した切り出し画像の上方に拡張範囲が設定されている場合、認識部１０４は、その切り出し画像の上方に、設定された拡張範囲の分だけ拡張した切り出し範囲に含まれる切り出し画像を探索する。そして、認識部１０４は、拡張した切り出し範囲に含まれる切り出し画像を新たに選択する。Ｓ１１６の処理が終わると、処理は、図１１のＳ１１９に進む。

（Ｓ１１７）認識部１０４は、辞書画像Ｘ１に対応する文字を認識結果として確定させる。つまり、Ｓ１１１で選択された切り出し画像が、辞書画像Ｘ１に対応する文字である可能性が十分に高く、他の文字の一部である可能性が少ない場合、認識部１０４は、その切り出し画像が辞書画像Ｘ１に対応する文字であると認識する。

（Ｓ１１８）認識部１０４は、全ての切り出し画像について処理を終えたか否かを判定する。全ての切り出し画像について処理を終えた場合、図９のＳ１０５に対応する認識処理は終了する。つまり、全ての切り出し画像が辞書画像のいずれかに対応する文字の一部又は全部と認識されたか、或いは、いずれでもないと認識された場合に、図９のＳ１０５に対応する認識処理は終了する。一方、全ての切り出し画像について処理を終えていない場合、処理はＳ１１１に戻り、他の切り出し画像が選択されてＳ１１２以降の処理が実行される。

（Ｓ１１９）認識部１０４は、Ｓ１１６で選択した切り出し画像と辞書画像との類似度を計算する。このとき、認識部１０４は、辞書画像テーブル１０３ａに記録された辞書画像のうち拡張文字に対応する辞書画像（以下、辞書画像Ｘ２）を読み出し、辞書画像Ｘ２と切り出し画像との類似度（以下、類似度Ｓ２）を計算する。類似度の計算方法は、上記の式（１）に基づく計算方法であってもよいし、ハミング距離などに基づく計算方法であってもよい。

（Ｓ１２０）認識部１０４は、類似度Ｓ２が文字判定用の閾値Ｔｈよりも大きいか否かを判定する。つまり、認識部１０４は、Ｓ１１６で選択した切り出し画像が文字である可能性が高いか否かを判定する。類似度Ｓ２が文字判定用の閾値Ｔｈよりも大きい場合、処理はＳ１２１に進む。一方、類似度Ｓ２が文字判定用の閾値Ｔｈよりも小さい場合、処理は図１０のＳ１１７に戻る。

（Ｓ１２１）認識部１０４は、最大類似度Ｓ１よりも類似度Ｓ２の方が大きいか否かを判定する。つまり、認識部１０４は、切り出し範囲を拡張する前の切り出し画像（Ｓ１１１で選択した切り出し画像）と、拡張後の切り出し画像（Ｓ１１６で選択した切り出し画像）とで、どちらが辞書画像に対応する文字である可能性が高いかを判定する。最大類似度Ｓ１よりも類似度Ｓ２の方が大きい場合、処理はＳ１２２に進む。一方、最大類似度Ｓ１よりも類似度Ｓ２の方が小さい場合、処理は図１０のＳ１１７に進む。

（Ｓ１２２）認識部１０４は、辞書画像Ｘ２に対応する文字を認識結果として確定させる。Ｓ１２２の処理が終わると、処理は、図１０のＳ１１８に進む。
以上、情報処理装置１００が実行する処理の流れについて説明した。

（変形例＃１：重み付け類似度に基づく認識処理の流れ）
ここで、図１２及び図１３を参照しながら、第２実施形態の一変形例（変形例＃１）に係る文字認識処理方法について説明する。図１２は、第２実施形態の一変形例（変形例＃１）に係る文字認識処理方法の例を示した第１の図である。図１３は、第２実施形態の一変形例（変形例＃１）に係る文字認識処理方法の例を示した第２の図である。

変形例＃１は、切り出し画像と辞書画像との類似度を計算する際に、切り出し画像を囲む矩形領域のサイズに応じた重みを類似度に付与する方法を提案するものである。一例として、図１２に示すように、２つの文字「Ｆ」「Ｅ」の類似度について考える。文字「Ｆ」は、文字「Ｅ」の上側部分と類似する。そのため、文字「Ｆ」は基準文字となり、文字「Ｅ」は拡張文字となる。この場合、基準範囲と拡張範囲との関係は、基準範囲の下側に拡張範囲が位置することになる。

仮に、本来は文字「Ｅ」であるが、撮像時のノイズなどの影響で「Ｅ」の一部が切断され、文字「Ｆ」に類似する部分と他の部分とに分断された切り出し画像が得られた場合を想定する。この場合、文字「Ｆ」に類似する部分の切り出し画像（以下、切り出し画像＃１）が、文字「Ｆ」の辞書画像と類否判定される。図１２の例では、切り出し画像＃１と文字「Ｆ」との類似度が０．９である。第２実施形態に係る文字認識方法においては、ここで切り出し画像＃１が基準文字であるか否かが判定される。

図１２の例では、文字「Ｆ」が基準文字となるため、拡張情報テーブル１０３ｂに記録された情報（下方向を示す情報）に基づいて切り出し範囲が拡張され、切り出し画像が再び選択される。本来は文字「Ｅ」であるから、切り出し画像＃１の下側に、上記他の部分に相当する切り出し画像（以下、切り出し画像＃２）が得られる。そして、切り出し画像＃１及び＃２を組み合わせた画像と、文字「Ｅ」の辞書画像との類似度が計算される。図１２の例では、類似度が０．７である。

画像の乱れが大きい場合、図１２に例示したように、正解の文字よりも、その一部を誤って認識した文字の方が高い類似度となる可能性がある。例えば、汚れた文字盤から文字を読み取る場合、移動しながら撮影した画像から文字を読み取る場合、或いは、コントラストの低い画像から文字を読み取る場合などでは、画像の乱れが大きくなり、正解の文字よりも、その一部を誤って認識した文字の方が高い類似度となることがある。そこで、変形例＃１に係る情報処理装置１００が有する認識部１０４は、切り出し領域のサイズに応じた重みを計算し、その重みを付与した類似度に基づいて認識処理を実行する。

例えば、基準範囲の頂点座標がａ₁（０，０）、ｂ₁（１，０）、ｃ₁（１，２）、ｄ₁（０，２）であり、（基準範囲＋拡張範囲）の頂点座標がａ₂（０，０）、ｂ₂（１，０）、ｃ₂（１，２．４）、ｄ₂（０，２．４）であると仮定する。なお、これらの頂点座標は、例えば、図８に示したような拡張情報テーブル１０３ｂに記録された位置関係の情報から得られる。この場合、基準範囲の面積は２であり、（基準範囲＋拡張範囲）の面積は２．４となる。そこで、認識部１０４は、基準範囲と（基準範囲＋拡張範囲）との面積比を計算する。この例では面積比が１．２となる。

さらに、認識部１０４は、予め設定しておいた重み計算用閾値（図１２の例では０．５）を利用し、類似度に重みとして加算する加点を計算する。このとき、認識部１０４は、文字「Ｅ」の類似度と重み計算用閾値との差分を計算する。また、認識部１０４は、その差分に面積比をかけた値を加点とする。そして、認識部１０４は、文字「Ｅ」の類似度に加点を加えた値を重み付き類似度とする。

認識部１０４は、文字「Ｅ」の重み付き類似度と文字「Ｆ」の類似度とを比較する。この例の重み付き類似度の比較では、文字「Ｆ」の値（類似度０．９）よりも、文字「Ｅ」の値（重み付き類似度０．９４）の方が大きいため、認識部１０４は、文字「Ｅ」を認識結果として出力する。このように、変形例＃１の方法を適用すると、切り出し画像の面積比に応じて重み付けした類似度に基づいて認識結果が判定されるため、正解の文字の一部が他の文字と高い類似度を有するような場合でも、誤認識を効果的に低減することが可能になる。

上記の変形例＃１に係る認識方法を適用する場合、図１１に示した処理の流れは、図１３に示すように変形される。つまり、図１１の内容を図１３の内容に差し替える形になる。以下、図１３を参照しながら、変形例＃１に係る認識処理の流れについて説明する。なお、図１３に示したＳ１３１の処理は、図１０に示したＳ１１６の処理を終えた後に実行される。

（Ｓ１３１）認識部１０４は、Ｓ１１６で選択した切り出し画像と辞書画像との類似度を計算する。このとき、認識部１０４は、辞書画像テーブル１０３ａに記録された辞書画像のうち拡張文字に対応する辞書画像Ｘ２を読み出し、辞書画像Ｘ２と切り出し画像との類似度を計算する。類似度の計算方法は、上記の式（１）に基づく計算方法であってもよいし、ハミング距離などに基づく計算方法であってもよい。

（Ｓ１３２）認識部１０４は、切り出し画像のサイズに応じて類似度Ｓ２に重みを付ける。まず、認識部１０４は、図１２に示した方法と同様に、Ｓ１１１で選択した切り出し画像に対するＳ１１６で選択した切り出し画像の面積比を計算し、その面積比を重みとする。そして、認識部１０４は、重みを類似度Ｓ２にかける。

（Ｓ１３３）認識部１０４は、類似度Ｓ２が文字判定用の閾値Ｔｈよりも大きいか否かを判定する。つまり、認識部１０４は、Ｓ１１６で選択した切り出し画像が文字である可能性が高いか否かを判定する。類似度Ｓ２が文字判定用の閾値Ｔｈよりも大きい場合、処理はＳ１３４に進む。一方、類似度Ｓ２が文字判定用の閾値Ｔｈよりも小さい場合、処理は図１０のＳ１１７に戻る。

（Ｓ１３４）認識部１０４は、最大類似度Ｓ１よりも重み付けした類似度Ｓ２の方が大きいか否かを判定する。つまり、認識部１０４は、重みを考慮した上で、切り出し範囲を拡張する前の切り出し画像（Ｓ１１１で選択した切り出し画像）と、拡張後の切り出し画像（Ｓ１１６で選択した切り出し画像）とで、どちらが辞書画像に対応する文字である可能性が高いかを判定する。最大類似度Ｓ１よりも重み付けした類似度Ｓ２の方が大きい場合、処理はＳ１３５に進む。一方、最大類似度Ｓ１よりも重み付けした類似度Ｓ２の方が小さい場合、処理は図１０のＳ１１７に進む。

（Ｓ１３５）認識部１０４は、辞書画像Ｘ２に対応する文字を認識結果として確定させる。Ｓ１３５の処理が終わると、処理は、図１０のＳ１１８に進む。
以上、変形例＃１に係る文字認識処理方法について説明した。

（変形例＃２：類似度に応じた拡張処理の省略）
ここで、図１４を参照しながら、第２実施形態の他の一変形例（変形例＃２）に係る文字認識処理方法について説明する。図１４は、第２実施形態の一変形例（変形例＃２）に係る文字認識処理方法の例を示した図である。

変形例＃２は、切り出し画像が基準文字に対応する場合であっても、その切り出し画像と基準文字に対応する辞書画像との類似度が十分に高い場合に、切り出し範囲の拡張を実行せずに認識結果を確定させる方法を提案するものである。画像の一部が乱れて文字の一部が分断されるような場合、分断された画像の一部が正解ではない他の文字と類似していたとしても、その文字を即座に認識結果として確定可能な程度に類似している場合は少ないと考えられる。逆に、基準文字に対応する辞書画像と切り出し画像との類似度が十分に高く、その基準文字を認識結果として即座に確定してもよい場合があると考える。

そこで、変形例＃２では、基準文字であっても類似度が高い場合には即座に認識結果を確定できるようにする確定用閾値ＴｈＦを導入し、類似度が確定用閾値ＴｈＦを上回る場合には切り出し範囲の拡張に係る処理を省略する。変形例＃２の方法を適用する場合、図１０に示した処理の流れは、図１４に示すように変形される。つまり、図１０の内容を図１４の内容に差し替える形になる。以下、図１４を参照しながら、変形例＃２に係る認識処理の流れについて説明する。

（Ｓ１４１）認識部１０４は、切り出し画像を選択する。切り出し画像の選択方法としては、例えば、最初に切り出し画像を１つずつ順次選択し、次いで２つの切り出し画像の組み合わせを順次選択する方法が考えられる。３つ以上の切り出し画像の組み合わせを考慮する場合も同様である。但し、既に文字の一部又は全部として最終的に認識された切り出し画像については選択されないようにする。以下では、Ｓ１４１で選択された１つの切り出し画像又は複数の切り出し画像の組み合わせを単に切り出し画像と表記する。

（Ｓ１４２）認識部１０４は、Ｓ１４１で選択した切り出し画像と辞書画像との類似度を計算する。このとき、認識部１０４は、辞書画像テーブル１０３ａに記録された辞書画像を順次読み出し、各辞書画像と切り出し画像との類似度を計算する。類似度の計算方法は、上記の式（１）に基づく計算方法であってもよいし、ハミング距離などに基づく計算方法であってもよい。

（Ｓ１４３）認識部１０４は、Ｓ１４２で計算した類似度の中で最大の類似度（最大類似度Ｓ１）に対応する辞書画像（辞書画像Ｘ１）を選択する。
（Ｓ１４４）認識部１０４は、最大類似度Ｓ１が文字判定用の閾値Ｔｈよりも大きいか否かを判定する。つまり、認識部１０４は、Ｓ１４１で選択した切り出し画像が文字である可能性が高いか否かを判定する。最大類似度Ｓ１が文字判定用の閾値Ｔｈよりも大きい場合、処理はＳ１４５に進む。一方、最大類似度Ｓ１が文字判定用の閾値Ｔｈよりも小さい場合、処理はＳ１４１に戻る。なお、文字判定用の閾値Ｔｈは予め設定されている。

（Ｓ１４５）認識部１０４は、拡張情報テーブル１０３ｂを参照し、辞書画像Ｘ１が基準文字に該当するか否かを判定する。なお、拡張情報テーブル１０３ｂに各基準文字の識別情報が記録されている場合、その識別情報と辞書画像テーブル１０３ａに記録された識別情報とを参照することで、認識部１０４は、辞書画像Ｘ１が基準文字に該当するか否かを容易に判定できる。辞書画像Ｘ１が基準文字である場合、処理はＳ１４６に進む。一方、辞書画像Ｘ１が基準文字でない場合、処理はＳ１４８に進む。

（Ｓ１４６）認識部１０４は、最大類似度Ｓ１が確定用閾値ＴｈＦよりも大きいか否かを判定する。つまり、認識部１０４は、Ｓ１４１で選択した切り出し画像の認識結果を基準文字で確定してもよいか否かを判定する。最大類似度Ｓ１が確定用閾値ＴｈＦよりも大きい場合、処理はＳ１４８に進む。一方、最大類似度Ｓ１が確定用閾値ＴｈＦよりも小さい場合、処理はＳ１４７に進む。なお、確定用閾値ＴｈＦは、文字判定用の閾値Ｔｈよりも大きい値であり、予め設定されている。

（Ｓ１４７）認識部１０４は、拡張情報テーブル１０３ｂを参照し、辞書画像Ｘ１に対応する基準文字が記載された欄の位置関係を示す情報を取得する。そして、認識部１０４は、取得した位置関係を示す情報に基づいて切り出し範囲を拡張し、切り出し画像を再び選択する。例えば、Ｓ１４１で選択した切り出し画像の上方に拡張範囲が設定されている場合、認識部１０４は、その切り出し画像の上方に、設定された拡張範囲の分だけ拡張した切り出し範囲に含まれる切り出し画像を探索する。そして、認識部１０４は、拡張した切り出し範囲に含まれる切り出し画像を新たに選択する。Ｓ１４７の処理が終わると、処理は、図１１のＳ１１９に進む。

（Ｓ１４８）認識部１０４は、辞書画像Ｘ１に対応する文字を認識結果として確定させる。つまり、Ｓ１４１で選択された切り出し画像が、辞書画像Ｘ１に対応する文字である可能性が十分に高く、他の文字の一部である可能性が少ない場合、認識部１０４は、その切り出し画像が辞書画像Ｘ１に対応する文字であると認識する。なお、図１１のノードＢに処理が進んだ場合も、Ｓ１４８の処理が実行される。

（Ｓ１４９）認識部１０４は、全ての切り出し画像について処理を終えたか否かを判定する。全ての切り出し画像について処理を終えた場合、図９のＳ１０５に対応する認識処理は終了する。つまり、全ての切り出し画像が辞書画像のいずれかに対応する文字の一部又は全部と認識されたか、或いは、いずれでもないと認識された場合に、図９のＳ１０５に対応する認識処理は終了する。一方、全ての切り出し画像について処理を終えていない場合、処理はＳ１４１に戻り、他の切り出し画像が選択されてＳ１４２以降の処理が実行される。なお、図１１のノードＣに処理が進んだ場合も、Ｓ１４９の処理が実行される。

以上、変形例＃２に係る文字認識処理方法について説明した。
以上説明したように、第２実施形態によれば、組み合わせる切り出し画像の候補を絞り込んで類否判定を実行するため、文字認識の処理負荷を低減することができる。さらに、ある文字の一部に対応する切り出し画像が他の文字に類似する場合でも、両切り出し画像の位置関係を考慮して組み合わせる切り出し画像を探索する範囲を拡張して類似度を再判定することで、誤認識が生じるリスクを低減することができる。

＜３．第３実施形態（拡張情報テーブルの自動生成）＞
次に、第３実施形態について説明する。第３実施形態は、拡張情報テーブル１０３ｂを自動生成する機能を情報処理装置１００に追加する方法に関する。拡張情報テーブル１０３ｂの自動生成は、例えば、辞書画像テーブル１０３ａに内容の追加や変更などがあった場合に実行される。但し、作業負担を低減させるために第３実施形態の技術を利用して拡張情報テーブル１０３ｂを自動生成する利用形態も考えられる。ここでは、一例として、辞書画像テーブル１０３ａが更新された際に拡張情報テーブル１０３ｂを自動更新する状況を想定して説明を進めることにする。

［３−１．情報処理装置の機能］
図１５及び図１６を参照しながら、第３実施形態に係る情報処理装置１００の機能について説明する。図１５は、第３実施形態に係る情報処理装置の機能を示したブロック図である。図１６は、第３実施形態に係る拡張情報テーブルの生成方法の例を示した第１の図である。なお、上述した第２実施形態に係る情報処理装置１００と実質的に同じ機能を有する要素については同じ符号を付することで重複説明を省略する場合がある。

図１５に示すように、情報処理装置１００は、画像取得部１０１、切り出し部１０２、記憶部１０３、認識部１０４、辞書画像更新部１０５、及び拡張情報生成部１０６を有する。なお、画像取得部１０１、切り出し部１０２、記憶部１０３、及び認識部１０４の機能は、第２実施形態に係る情報処理装置１００が有する各部の機能と実質的に同じである。従って、辞書画像更新部１０５及び拡張情報生成部１０６の機能について説明する。

画像取得部１０１、切り出し部１０２、認識部１０４、辞書画像更新部１０５、及び拡張情報生成部１０６が有する機能は、ＣＰＵ９０２が実行するプログラムのモジュールとして実現できる。また、画像取得部１０１、切り出し部１０２、認識部１０４、辞書画像更新部１０５、及び拡張情報生成部１０６が有する機能の一部又は全部をソフトウェアではなく電子回路として実現することも可能である。また、記憶部１０３は、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に確保された記憶領域である。

（辞書画像更新部１０５）
辞書画像更新部１０５は、記憶部１０３が記憶する辞書画像テーブル１０３ａの内容を更新する。例えば、辞書画像更新部１０５は、新たな種別の文字情報（辞書画像、識別情報、種別情報など）や、異なるフォントの辞書画像を更新情報として取得した場合、取得した更新情報を辞書画像テーブル１０３ａに記録する。辞書画像更新部１０５は、例えば、ユーザが入力した更新情報をもとに辞書画像テーブル１０３ａを更新する。また、辞書画像更新部１０５は、あるタイミングでネットワーク上に配置された文字情報を管理する管理サーバなどにアクセスして更新情報を自動的に取得してもよい。

更新情報を取得した辞書画像更新部１０５は、辞書画像、識別情報、種別情報などを対応付けて辞書画像テーブル１０３ａに記録する。辞書画像テーブル１０３ａの更新が完了した場合、辞書画像更新部１０５は、辞書画像テーブル１０３ａの更新が完了した旨を拡張情報生成部１０６に通知する。このとき、辞書画像更新部１０５は、更新内容に関する情報（例えば、種別情報など）を拡張情報生成部１０６に入力する。このように、更新内容に関する情報を拡張情報生成部１０６に入力することで、拡張情報テーブル１０３ｂの内容を更新する際に参照する辞書画像テーブル１０３ａの範囲が容易に把握できるようになり、拡張情報生成部１０６の処理負担が軽減される。

（拡張情報生成部１０６）
拡張情報生成部１０６は、辞書画像テーブル１０３ａの更新に応じて拡張情報テーブル１０３ｂを更新する。辞書画像テーブル１０３ａに辞書画像が追加された場合、拡張情報生成部１０６は、追加された辞書画像に対応する基準文字及び拡張文字の検出や、基準範囲と拡張範囲との位置関係を示す情報の生成などの処理を実行する。一方、辞書画像テーブル１０３ａから辞書画像が削除された場合、拡張情報生成部１０６は、辞書画像の削除に伴って不要となった基準文字などの情報を拡張情報テーブル１０３ｂから削除する。

以下、図１６を参照しながら、辞書画像が追加された場合に拡張情報生成部１０６が実行する基準文字、拡張文字、位置関係の情報などの生成処理について、さらに説明する。
図１６の例は、辞書画像テーブル１０３ａに数字の辞書画像が新たに追加された場合を示している。この場合、拡張情報生成部１０６は、ある辞書画像が、他の辞書画像の一部と類似しているか否かを判定する。まず、拡張情報生成部１０６は、基準文字の候補（以下、基準候補文字）として１つの文字を選択する。図１６の例では、文字「０」が選択されている。次に、拡張情報生成部１０６は、基準候補文字とは異なる他の文字を拡張文字の候補（以下、拡張候補文字）として選択する。そして、拡張情報生成部１０６は、基準候補文字及び拡張候補文字を適宜サイズ調整して、拡張候補文字の一部に基準候補文字と類似する部分が存在するか否かを判定する。

例えば、拡張情報生成部１０６は、基準候補文字のサイズを調整しつつ、拡張候補文字の中で基準候補文字の位置を動かしながら、拡張候補文字の一部と基準候補文字との類似度を計算する。そして、拡張情報生成部１０６は、類似度が一定以上となる基準候補文字の位置を探索する。類似度が一定以上となる基準候補文字の位置がない場合、拡張情報生成部１０６は、拡張候補文字を変更し、同様にして類似度を計算する。図１６の例では、基準候補文字「０」に対し、拡張候補文字「６」「８」「９」が検出されている。このように、基準候補文字と類似の部分を一部に含む拡張候補文字が検出された場合、拡張情報生成部１０６は、その基準候補文字を基準文字に確定し、拡張候補文字を拡張文字に確定させる。

次に、拡張情報生成部１０６は、拡張文字の中で基準文字に類似する部分と他の部分とをそれぞれ囲む矩形領域を設定し、前者を基準範囲、後者を拡張範囲に設定する。そして、拡張情報生成部１０６は、基準範囲から拡張範囲へと向かう方向を示す位置関係の情報や、基準範囲の頂点座標を決め、その頂点座標を基準に拡張範囲の頂点座標を決めて位置関係の情報に追加する。図１６の例では、簡単のために、基準範囲から拡張範囲へと向かう方向だけを位置関係の情報としている。なお、基準文字「０」に対して拡張文字「８」は、上半分と下半分とに類似部分を有する。この場合、上半分を基準範囲、下半分を基準範囲とする情報と、下半分を基準範囲、上半分を基準範囲とする情報とが得られる。

拡張情報生成部１０６は、上記のような方法で生成された基準文字、拡張文字、及び位置関係の情報を対応付けて拡張情報テーブル１０３ｂに記録する。なお、基準範囲及び拡張範囲の頂点座標を得た場合、拡張情報生成部１０６は、その頂点座標を示す情報も併せて拡張情報テーブル１０３ｂに記録する。図１６の例では、基準文字「０」に対して拡張文字及び位置関係の情報を生成する方法を示したが、全ての文字を基準候補文字として同様の処理が実行される。そして、拡張情報生成部１０６は、この処理により得た情報を拡張情報テーブル１０３ｂに記録する。図１６に示した方法を応用することで、他の文字種別の辞書画像が追加された場合でも同様に拡張情報テーブル１０３ｂを自動生成できる。

以上、第３実施形態に係る情報処理装置１００の機能について説明した。
［３−２．処理の流れ］
次に、図１７を参照しながら、第３実施形態に係る情報処理装置１００が実行する処理の流れについて説明する。但し、上述した第２実施形態に係る情報処理装置１００が実行する処理とは異なる部分を中心に説明を進める。図１７は、第３実施形態に係る拡張情報テーブルの生成方法の例を示した第２の図である。なお、図１７に示した処理は、主に辞書画像更新部１０５及び拡張情報生成部１０６の機能により実行される。

（Ｓ２０１）辞書画像更新部１０５は、更新情報を取得する。例えば、辞書画像更新部１０５は、新たな文字種別やフォントの文字情報を取得する。文字情報は、例えば、辞書画像、識別情報、種別情報などを含む。辞書画像更新部１０５は、ユーザから入力される更新情報を取得してもよいし、あるタイミングで文字情報を管理する管理サーバなどにアクセスして自動的に更新情報を取得してもよい。更新情報を取得した辞書画像更新部１０５は、更新情報をもとに辞書画像テーブル１０３ａを更新する。

（Ｓ２０２）拡張情報生成部１０６は、辞書画像テーブル１０３ａに追加された文字の中から基準文字の候補（基準候補文字）を選択する。
（Ｓ２０３）拡張情報生成部１０６は、辞書画像テーブル１０３ａに追加された文字のうち、基準候補文字を除く文字の中から拡張文字の候補（拡張候補文字）を選択する。

（Ｓ２０４）拡張情報生成部１０６は、拡張候補文字の中から基準候補文字に類似する部分を検出する。このとき、拡張情報生成部１０６は、基準候補文字のサイズを適宜調整しつつ、拡張候補文字の中で位置を移動させながら、拡張候補文字の一部と基準候補文字との類似度を計算する。

（Ｓ２０５）拡張情報生成部１０６は、拡張候補文字の中で基準候補文字との類似度が一定以上となる部分が検出されたか否かを判定する。拡張候補文字の中で基準候補文字との類似度が一定以上となる部分が検出された場合、処理はＳ２０６に進む。一方、拡張候補文字の中で基準候補文字との類似度が一定以上となる部分が検出されなかった場合、処理はＳ２０７に進む。

（Ｓ２０６）拡張情報生成部１０６は、拡張候補文字を拡張文字に設定し、基準候補文字を基準文字に設定し、拡張文字の中で基準文字に類似する部分を基準範囲に設定し、他の部分を拡張範囲に設定する。さらに、拡張情報生成部１０６は、基準範囲と拡張範囲との位置関係を示す情報を生成する。例えば、拡張情報生成部１０６は、基準範囲から拡張範囲へと向かう方向を示す情報を位置関係の情報として生成する。また、拡張情報生成部１０６は、基準範囲の頂点座標を基準に拡張範囲の頂点座標を生成し、その頂点座標の情報を位置関係の情報に追加する。

（Ｓ２０７）拡張情報生成部１０６は、全ての拡張候補文字についてＳ２０３以降の処理を終了したか否かを判定する。全ての拡張候補文字についてＳ２０３以降の処理を終了した場合、処理はＳ２０８に進む。一方、全ての拡張候補文字についてＳ２０３以降の処理を終了していない場合、処理はＳ２０３に戻り、他の拡張候補文字を選択してＳ２０３以降の処理が実行される。

（Ｓ２０８）拡張情報生成部１０６は、全ての基準候補文字についてＳ２０２以降の処理を終了したか否かを判定する。全ての基準候補文字についてＳ２０２以降の処理を終了した場合、処理はＳ２０９に進む。一方、全ての基準候補文字についてＳ２０２以降の処理を終了していない場合、処理はＳ２０２に戻り、他の基準候補文字を選択してＳ２０２以降の処理が実行される。

（Ｓ２０９）拡張情報生成部１０６は、基準文字、拡張文字、及び位置関係の情報を対応付けて拡張情報テーブル１０３ｂに記録する。Ｓ２０９の処理を終えると、拡張情報テーブル１０３ｂの自動生成に係る一連の処理は終了する。

以上、第３実施形態に係る情報処理装置１００が実行する処理の流れについて説明した。
以上説明したように、第３実施形態によれば、拡張情報テーブル１０３ｂが自動生成されるため、その生成にかかる作業負担が軽減される。また、辞書画像テーブル１０３ａが更新される度に拡張情報テーブル１０３ｂを自動生成することができるため、新しい文字種別やフォントの追加に適応した拡張情報テーブル１０３ｂを用いて文字認識を行うことが可能になる。その結果、より多くの文字種別に適応できる文字認識システムの構築が容易になる。

＜４．第４実施形態（読み取り対象に応じた範囲の拡張）＞
次に、第４実施形態について説明する。第４実施形態は、基準文字と拡張文字との関係だけでなく、あるパターンと他のパターンとの位置関係を利用してパターンを認識するパターン認識技術への応用を提案するものである。この提案方法を適用すれば、例えば、パターンを読み取る読み取り対象の画像が、あるフォーマットで文字や図形が記述された被写体の画像である場合に、そのフォーマットが規定するパターン間の位置関係を考慮して、より効率的に認識処理が実現される。以下、具体例を参照しながら説明を進める。

（ナンバープレートの例）
文字や図形の配置に関するフォーマットが規定されている画像としては、例えば、図１８に示すような自動車などのナンバープレートがある。図１８は、第４実施形態に係る拡張情報テーブルの例を示した第１の図である。ナンバープレートの場合、上段中央に分類番号が記述され、下段左側に平仮名が記載され、下段中央に車両番号が記述される。そのため、図１８に示すように、拡張情報テーブル１０３ｂに、基準文字、拡張パターン、基準範囲、及び拡張範囲を対応付けておき、基準文字の検出に応じて、基準範囲をもとに拡張範囲を決定し、その拡張範囲のパターンを検出すればよい。なお、図１８に示した例のように複数の範囲（範囲＃１及び＃２）が存在するにも対応可能である。

（道路標識の例）
文字や図形の配置に関するフォーマットが規定されている画像としては、例えば、図１９に示すような道路標識などがある。図１９は、第４実施形態に係る拡張情報テーブルの例を示した第２の図である。道路標識には、ある基準となるパターンと、それに付随して追加的な情報を与えるパターンとが、あるフォーマットで配置されている場合がある。例えば、パーキングの文字「Ｐ」の右側に提供サービスの種類を示す図形が表示されている場合などがある。この場合、文字「Ｐ」を基準パターン、提供サービスの種類を示す図形を含むパターンを拡張パターンとし、拡張情報テーブル１０３ｂに、基準パターン、拡張パターン、及び位置関係の情報を記録しておけばよい。このような拡張情報テーブル１０３ｂを用意すれば、第２実施形態の場合と同様に、精度良く効率的にパターンを認識することが可能になる。

以上説明したように、第４実施形態によれば、文字だけでなく、図形の形状を含むパターンの認識に第２実施形態の技術を応用することが可能になる。もちろん、第３実施形態の技術を組み合わせることも可能である。文字及び図形の形状を組み合わせたパターンの認識に応用できることで、車載カメラで撮影した画像から道路標識を読み取って運転者に警告したり、或いは、自動車の自動運転に利用したりすることも可能である。

以上、添付図面を参照しながら実施形態について説明したが、本発明の技術的範囲はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、様々な変形例や修正例に想到し得ることは明らかであり、こうした変形例や修正例についても当然に本発明の技術的範囲に属することは言うまでもない。

１０ 情報処理装置
１１ 記憶部
１２ 抽出部
１３ 判定部
Ｐ１１、Ｐ２２、Ｐ３１、Ｐ４１ 類似する部分
Ｐ１２、Ｐ２１、Ｐ３２、Ｐ４２ 他の部分
Ｐｔ 入力画像
Ｃｒ 形状群
Ａ１ 範囲
Ａ２ 拡張した範囲

Claims (8)

1. 第１の形状、当該第１の形状の一部と類似し、かつ、前記第１の形状とは異なる第２の形状、及び、前記第１の形状の中で前記第２の形状に類似する部分から他の部分へと向かう方向に関する情報を含む位置関係の情報を対応付けて記憶する記憶部と、
   入力画像から前記第２の形状を抽出する抽出部と、
   前記抽出部により前記第２の形状が抽出された範囲を、前記位置関係に基づいて前記類似する部分から前記他の部分へと向かう方向に拡張し、拡張した範囲に対応する第１の部分画像と前記第１の形状との類否を判定する判定部と、
   を備える、情報処理装置。
2. 前記形状は、文字の一部分又は全体の形状である、
   請求項１に記載の情報処理装置。
3. 前記判定部は、
   前記第１の部分画像と前記第１の形状との類似度合いを示す第１の類似度と、前記抽出された範囲に対応する第２の部分画像と前記第２の形状との類似度合いを示す第２の類似度とを比較し、
   前記第２の類似度が大きい場合には判定結果として前記第２の形状を出力し、前記第１の類似度が大きい場合には判定結果として前記第１の形状を出力する、
   請求項１又は２に記載の情報処理装置。
4. 前記判定部は、
   前記第１の部分画像と前記第１の形状との類似度合いを示す第１の類似度に前記第１の部分画像に対応する前記拡張した範囲のサイズに応じた重み付けを行い、前記抽出された範囲に対応する第２の部分画像と前記第２の形状との類似度合いを示す第２の類似度に前記第２の部分画像に対応する前記範囲のサイズに応じた重み付けを行い、
   重み付けした前記第１の類似度と、重み付けした前記第２の類似度とを比較し、
   重み付けした前記第１の類似度が大きい場合には判定結果として前記第１の形状を出力し、重み付けした前記第２の類似度が大きい場合には判定結果として前記第２の形状を出力する、
   請求項１又は２に記載の情報処理装置。
5. 前記判定部は、
   前記抽出された範囲に対応する第２の部分画像と前記第２の形状との類似度合いを示す第２の類似度が所定の閾値よりも大きい場合、前記範囲の拡張、及び、前記第１の部分画像と前記第１の形状との類否判断をせずに判定結果として前記第２の形状を出力する、
   請求項１〜４のいずれか１項に記載の情報処理装置。
6. 少なくとも前記第２の形状を抽出する際に用いる所定の形状群の更新時に、更新後の形状群に含まれる一の形状が他の形状の一部に類似するか否かを判定し、前記一の形状が前記他の形状の一部に類似する場合に前記他の形状の中で前記一の形状と類似する部分と他の部分との位置関係を検出し、
   前記一の形状を前記第２の形状とし、前記他の形状を前記第１の形状として、当該一の形状と、当該他の形状と、当該一及び他の形状に対応する前記位置関係とを対応付けて前記記憶部に記憶させる解析部をさらに備える、
   請求項１〜５のいずれか１項に記載の情報処理装置。
7. コンピュータに、
   第１の形状、当該第１の形状の一部と類似し、かつ、前記第１の形状とは異なる第２の形状、及び、前記第１の形状の中で前記第２の形状に類似する部分から他の部分へと向かう方向に関する情報を含む位置関係の情報を対応付けた情報を参照させ、
   入力画像から前記第２の形状を抽出し、
   前記第２の形状が抽出された範囲を、前記位置関係に基づいて前記類似する部分から前記他の部分へと向かう方向に拡張し、拡張した範囲に対応する部分画像と前記第１の形状との類否を判定する、
   処理を実行させるプログラム。
8. コンピュータが、
   第１の形状、当該第１の形状の一部と類似し、かつ、前記第１の形状とは異なる第２の形状、及び、前記第１の形状の中で前記第２の形状に類似する部分から他の部分へと向かう方向に関する情報を含む位置関係の情報を対応付けた情報を参照し、
   入力画像から前記第２の形状を抽出し、
   前記第２の形状が抽出された範囲を、前記位置関係に基づいて前記類似する部分から前記他の部分へと向かう方向に拡張し、拡張した範囲に対応する部分画像と前記第１の形状との類否を判定する、
   工程を含む、形状認識方法。
   

Images