JP5699570B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

画像から文字を切り出す技術がある。
これに関連する技術として、例えば、特許文献１には、文書に記入された文字列から文字パターンを切り出す文字パターン切り出し装置に関するものであって、用紙などに記入された文字列から１文字ずつ文字パターンを切り出す文字パターン切り出し装置において、用紙上の文字列を光学的に走査し光電変換する走査手段と、光電変換された上記文字列のパターンを記憶する文字列パターン記憶手段と、上記文字列の方向と直交する方向に上記文字列パターンを走査して求めた周辺分布値の連続性に基づいて文字列パターンを分割し、分割して得た基本パターンの左右端と上下端との座標より基本パターン領域を決める基本パターン領域検出手段と、単独の基本パターン領域の文字形状評価値と連続する複数個の基本パターン領域を結合した結合パターン領域の文字形状評価値とを上記基本パターン領域の左右端と上下端の座標から各々算出する文字形状評価値算出手段と、読取り対象文字の基準パターンを格納した文字認識辞書記憶手段と、単独の基本パターンに対する文字認識評価値と連続する複数個の基本パターンを結合した結合パターンに対する文字認識評価値とを上記文字認識辞書記憶手段に記憶した基準パターンとの整合により求める文字認識評価値算出手段と、上記文字形状評価値算出手段で算出した文字形状評価値と上記文字認識評価値算出手段で算出した文字認識評価値とを加え合わせることにより、すべての基本パターンと結合パターンとに対応する文字評価値を算出する評価値加算手段と、上記基本パターン領域の位置情報に基づいて切り出し候補位置のあらゆる可能な組み合せを求め、各々の切り出し候補位置の組み合せについて、切り出し候補位置で切り出された基本パターンと結合パターンとに対応する上記評価値加算手段で求めた文字評価値に基づいて切り出し評価値を求め、この切り出し評価値に基づいて最適な文字切り出し位置の組み合せを決定する文字切り出し手段と、上記文字切り出し手段の結果に基づいて上記文字列パターン記憶手段に格納した１行の文字列パターンから１文字ずつ文字パターンを切り出して出力する出力手段とを具備することを特徴とする文字パターン切り出し装置が開示されている。

特開昭６２−１９０５７５号公報

本発明は、画像から文字を認識する場合にあって、各文字画像の１つだけの文字認識結果によって認識文字列を決定してしまうことを防止するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、画像から文字画像を切り出す位置を抽出する切出位置抽出手段と、前記切出位置抽出手段によって抽出された位置によって分けられた文字画像に対して文字認識を行った結果である複数の文字候補を抽出する文字候補抽出手段と、前記文字候補抽出手段によって抽出された複数の文字候補の各々をノードとし、隣接する文字画像のノード間にリンクを構築することによってグラフを生成するグラフ生成手段と、前記リンクによって接続されたノードの文字候補間の関係による文字列らしさを表す値に基づいて、リンク値を生成するリンク値生成手段と、前記リンク値生成手段によって生成されたリンク値に基づいて、前記グラフ生成手段によって生成されたグラフ内のパスを選択するパス選択手段と、前記パス選択手段によって選択されたパス内の文字候補列を文字認識結果として出力する出力手段を具備し、前記リンク値生成手段は、リンク値として、リンクの内部に存在する値と、該リンクの一方のノードのみに存在する値を用い、他方のノードに存在する値は用いないことを特徴とする画像処理装置である。

請求項２の発明は、前記パス選択手段は、ダイナミックプログラミング手法を用いて処理途中のパスを削減しながら、リンク値の和に基づいてパスを選択することを特徴とする請求項１に記載の画像処理装置である。

請求項３の発明は、前記リンク値生成手段は、前記リンクを構成しているノードに対する文字らしさを表す値に基づいて、前記リンク値を生成することを特徴とする請求項１又は２に記載の画像処理装置である。

請求項４の発明は、前記切出位置抽出手段は、複数の切り出し位置を抽出し、前記グラフ生成手段は、前記切出位置抽出手段によって抽出された複数の切り出し位置によって分けられた文字画像に対して文字認識を行った結果である複数の文字候補の各々をノードとし、隣接する文字画像のノード間にリンクを構築することによってグラフを生成することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置である。

請求項５の発明は、コンピュータを、画像から文字画像を切り出す位置を抽出する切出位置抽出手段と、前記切出位置抽出手段によって抽出された位置によって分けられた文字画像に対して文字認識を行った結果である複数の文字候補を抽出する文字候補抽出手段と、前記文字候補抽出手段によって抽出された複数の文字候補の各々をノードとし、隣接する文字画像のノード間にリンクを構築することによってグラフを生成するグラフ生成手段と、前記リンクによって接続されたノードの文字候補間の関係による文字列らしさを表す値に基づいて、リンク値を生成するリンク値生成手段と、前記リンク値生成手段によって生成されたリンク値に基づいて、前記グラフ生成手段によって生成されたグラフ内のパスを選択するパス選択手段と、前記パス選択手段によって選択されたパス内の文字候補列を文字認識結果として出力する出力手段として機能させ、前記リンク値生成手段は、リンク値として、リンクの内部に存在する値と、該リンクの一方のノードのみに存在する値を用い、他方のノードに存在する値は用いないことを特徴とする画像処理プログラムである。

請求項１の画像処理装置によれば、画像から文字を認識する場合にあって、各文字画像の１つだけの文字認識結果によって認識文字列を決定してしまうことを防止することができる。

請求項２の画像処理装置によれば、本構成を有していない場合に比較して、処理負荷を軽減することができる。

請求項３の画像処理装置によれば、文字列らしさを表す値と文字らしさを表す値を用いてリンク値を生成することができる。

請求項４の画像処理装置によれば、複数の切り出し位置に対しても文字認識結果を出力することができる。

請求項５の画像処理プログラムによれば、画像から文字を認識する場合にあって、各文字画像の１つだけの文字認識結果によって認識文字列を決定してしまうことを防止することができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 リンク値生成モジュール内の構成例についての概念的なモジュール構成図である。 パス選択モジュール内の構成例についての概念的なモジュール構成図である。 本実施の形態による処理例を示すフローチャートである。 複数の文字候補がある場合のグラフ例を示す説明図である。 記号例を示す説明図である。 記号例を示す説明図である。 記号例を示す説明図である。 記号例を示す説明図である。 記号例を示す説明図である。 ノード内情報を用いる例を示す説明図である。 ノードとリンクの例を示す説明図である。 文字切り出し位置が複数ある場合の処理例を示す説明図である。 記号例を示す説明図である。 文字切り出し位置が複数ある場合の処理例を示す説明図である。 重み付けの例を示す説明図である。 重み決定モジュール内のモジュール構成例を示す説明図である。 重み付けの例を示す説明図である。 重み付けの例を示す説明図である。 重み付けの例を示す説明図である。 重み決定モジュール内のモジュール構成例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。 文字列画像の例を示す説明図である。 文字境界候補の例を示す説明図である。 外接矩形の例を示す説明図である。 文字切り出し結果の例を示す説明図である。 文字切り出し位置を示すグラフ表現の例を示す説明図である。 グラフ表現内のパターンの例を示す説明図である。 グラフの例を示す説明図である。

本実施の形態は、文字列が含まれている画像を対象として、その画像内の文字認識の結果を確定するものである。
まず、本実施の形態を説明する前に、その前提又は本実施の形態を利用する画像処理装置について説明する。なお、この説明は、本実施の形態の理解を容易にすることを目的とするものである。

例えば、図２３の例に示すような文字列画像を対象とする。まず、この文字列画像を文字セグメントに分割する。文字セグメントとは、文字そのもの、あるいは文字の一部となる可能性がある文字部分である。ここでは、図２３の例に示すような横書きの文字列画像を例にとる。横書きの画像では、垂直な線（あるいは垂直に近い線）で分割を行うことにより、文字セグメントに分割する。例えば図２４に示した縦線（切れ目候補２４１０、切れ目候補２４２０）で、文字列画像を分割して、３つの文字セグメント「イ」、「ヒ」、及び、「学」を得ることができる。図２４の例に示した縦線を切れ目候補と呼ぶこととする。切れ目候補２４１０が「イ」と「ヒ」を分け、切れ目候補２４２０が「ヒ」と「学」を分けている。

次に、図２５の例に示すように、各文字セグメントに対し、その外接矩形（外接矩形２５１０、外接矩形２５２０、外接矩形２５３０）を抽出する。
以下、特許文献１に記載されている技術内容を例にして説明する。なお、以下の説明で用いる用語は、特許文献１で用いる用語とは異なっている場合がある。ただし、内容は特許文献１と同じである。
前述の文字セグメントを統合して、文字画像を決定する。複数の文字セグメントを統合して１つの文字画像を形成する場合もあれば、１つの文字セグメントが１つの文字となる場合もある。文字画像を決定するとは、文字の切り出し位置を決定することと同値であるから、以下では文字切り出し位置の決定という場合もある。
文字セグメントの統合のパターンは複数存在する。複数存在するパターンの中で、最も文字画像として評価の高いものを選択することによって、最終的な文字切り出し位置を決定する。
図２５の例に対しては、すべての文字切り出しパターンは、図２６に示す例のようになる。つまり、図２６（ａ）の例では、パターン１として３つの文字画像（外接矩形２５１０、外接矩形２５２０、外接矩形２５３０）、図２６（ｂ）の例では、パターン２として２つの文字画像（外接矩形２５１０と２５２０、外接矩形２５３０）、図２６（ｃ）の例では、パターン３として１つの文字画像（外接矩形２５１０と２５２０と２５３０）、図２６（ｄ）の例では、パターン４として２つの文字画像（外接矩形２５１０、外接矩形２５２０と２５３０）を示している。

文字切り出し位置を示すグラフ表現として、図２６の例に示した複数の切り出しパターンを表すことができる。図２７の例において、グラフは、始点ノード２７００、終点ノード２７９０、中間ノード２７１０（ノード１）、中間ノード２７２０（ノード２）の４つのノードと、ノード間を接続するアークで構成されている（ノード間の接続線をアークと呼ぶこととする）。始点は、文字列画像の左端、終点は文字列画像の右端にあたる。中間ノード２７１０（ノード１）、中間ノード２７２０（ノード２）は、それぞれ、文字の切れ目候補位置（すなわち、図２４の例に示した切れ目候補２４１０、切れ目候補２４２０）を示す。中間ノード２７１０（ノード１）は、切れ目候補２４１０に対応している。また、中間ノード２７２０（ノード２）は、切れ目候補２４２０に対応している。

始点から、各ノードを通って、終点に至る経路を以下、「パス」と呼ぶ。パスは、１又は複数のアークから構成される。通常、複数のパスが存在する。図２６の例に示した文字切り出しパターンは、これらの複数のパスに対応している。例えば、図２６（ｂ）の例に示したパターン２は、図２８の太線で示したパス（文字切り出しパターン２７０４、文字切り出しパターン２７２２）と対応している。
ここで、どれか１つのアークには、１つの文字画像の候補が対応している。例えば、始点ノード２７００と中間ノード２７２０（ノード２）を結ぶアークには、「化」という文字画像（文字切り出しパターン２７０４）が対応している。１つのアークに対応する文字に対して、その文字の評価値を決定することができる。これを「アーク評価値」と呼ぶこととする。
アーク評価値は、文字の形状情報や、文字認識における認識確度などから算出する。アーク評価値の算出方法はさまざまある。例えば、（１）特開平９−１８５６８１号公報、（２）特開平８−１６１４３２号公報、（３）特開平１０−１５４２０７号公報、（４）特開昭６１−１７５８７８号公報、（５）特開平３−３７７８２号公報、（６）特開平１１−２０３４０６号公報等に記載の従来技術に示されている手法等がある。

１つのパスは、複数のアークから構成されている。複数のアーク評価値を用いて、そのアークから構成されるパスの評価値を計算することができる。これを「パス評価値」と呼ぶこととする。
文字切り出し位置を決定するため、複数のパスの中で、最もパス評価値の高いパスを選択する。パスが選択できれば、文字切り出し位置が確定して、文字を切り出すことができる。そして、切り出した文字（文字画像）を文字認識した結果も確定することになる。
例えば、図２８の例で、太線のパスが選択されたとする。この場合、文字切り出し位置は、始点２７００と、中間ノード２７２０（ノード２）と、終点２７９０の３点となる。そして、確定した文字認識結果は、「化」（文字切り出しパターン２７０４）、「学」（文字切り出しパターン２７２２）となる。

ここで、パス評価値の算出方法について説明する。基本的には、パス評価値は、アーク評価値の重み付け和が用いられる。ｉ番目のアークのアーク評価値をＶｉとし、ｉ番目のアーク評価値に対する重みをｗｉとし、アークの数をＮ、パス評価値をＰとすると、Ｐは次の（１）式で与えられる。

パスの数が複数存在すると前述したが、実際の文字列には、多くの文字セグメントが存在しているため、存在するパスの数は膨大となる。
そこで、特開平３−２２５５７９号公報では、図２７の例に示されたようなグラフ内の複数のパスから最も評価値の高いパスを探索する方法として、ダイナミックプログラミング手法を用いることが述べられている。
ここでは、ダイナミックプログラミング手法の中で、このようなグラフの最良パスを探索するのに適したビタビ法の説明を行う。

図２９に示す例において、始点ノード２９００から終点ノード２９９０までのグラフを説明する。なお、ノード間のリンクは、図２９に示したものに限らず、さまざまな場合がある。図２９のように対称の結線でなくてもかまわない。
このグラフにおいて、途中に複数のノード（中間ノード２９１１、中間ノード２９１２、中間ノード２９１３等）を介して始点ノードから終点ノードに達するとする。途中のノードを中間ノードと呼ぶこととする。
各ノードとノードの間にはリンクが張られている。このリンクにはそのリンク固有の評価値（リンク値）が割り当てられている。始点ノード２９００から終点ノード２９９０に向かうパスは複数存在する。パスは、複数のリンクから成り立つことになる。パスが含む複数のリンクのリンク値の和が、パスの評価値となる。
例えば、リンク値は、ノード間の距離であるとする。この場合、パス評価値が最小のパスは、始点ノードから終点ノードに向かうパスの中で、最小距離のパスということになる。あるいは、パス評価値が最大のパスを求める問題とすることも可能である。

ここで、ビタビ法は、あるノードにある方向から入力されるリンクを１に限定することによって、最適ではないパスを削減する。これにより、演算処理量と所要メモリ量を削減する手法である。
例えば、今、ノードｘ（中間ノード２９２１）に左から入力されるリンクがすでに、１に限定されているとする。同様に、ノードｙ（中間ノード２９２２）、ノードｚ（中間ノード２９２３）に関しても１に限定されているとする。このとき、ノードＸ（中間ノード２９３１）に左から入力されるリンクを限定する。ノードＸ（中間ノード２９３１）には、ノードｘ（中間ノード２９２１）、ノードｙ（中間ノード２９２２）、ノードｚ（中間ノード２９２３）の３つのノードからリンクが張られている。このとき、ノードＸ（中間ノード２９３１）を通るパスとして、最適な可能性があるのは、ノードｘ（中間ノード２９２１）、ノードｙ（中間ノード２９２２）、ノードｚ（中間ノード２９２３）からノードＸ（中間ノード２９３１）に向かうリンクのいずれかである。この３つのうちで最適なものだけを残し、残りの２つを削除する。このようにして、ノードＸ（中間ノード２９３１）に左から入力されるパス（リンク）を１に限定する。ノードＹ（中間ノード２９３２）、ノードＺ（中間ノード２９３３）に関しても同様に左から入力されるパスを１に限定する。
このような手順を左のノードＡ（中間ノード２９１１）、ノードＢ（中間ノード２９１２）、ノードＣ（中間ノード２９１３）から順に右の方向に行う。最終的にノードＰ（中間ノード２９８１）、ノードＱ（中間ノード２９８２）、ノードＲ（中間ノード２９８３）に入る３つのパスに限定する。この３つのパスの中で最適なものを選択すればよい。
このようなビタビ法を用いた最適パス選定方法を、図２７に例示のグラフにも同様に適用し得る。文字切り出し位置をノードとする。また、アーク評価値を前述のリンク値とすればよい。

従来技術が扱っていた図２７に例示するようなグラフは、ひとつのアークに対し、ひとつの文字候補が存在しているものである。しかし、実際には１つのアークに対して、複数の文字候補が存在している。つまり、文字認識結果が複数ある場合である。例えば、図５のように、複数の文字候補を割り当てることになる。図５は、複数の文字候補がある場合のグラフ例を示す説明図である。図５の例では、「化学」（文字画像５０２）という画像を１文字として認識したときの認識結果が、文字候補５０２Ａの「梢」、文字候補５０２Ｂの「際」、文字候補５０２Ｃの「傾」の３種類ある。「化」（文字画像５０４）という画像を１文字として認識したときの認識結果が、文字候補５０４Ａの「化」、文字候補５０４Ｂの「比」、文字候補５０４Ｃの「任」の３種類ある。同様に、他の文字画像に対しても文字認識結果としての文字候補が複数ある。なお、図５の例では、各文字画像に対して３種類の文字候補があるが、異なる数の文字候補を割り当ててもよい。例えば、認識確度が予め定められた値以上である文字を文字候補とした場合は、各文字画像に対して文字候補の数が異なる場合がある。
従来技術では、このような場合に、ビタビ法（又は、一般的にはダイナミックプログラミング手法）を適用して、文字認識結果を得ることはされていない。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

本実施の形態である画像処理装置は、画像から文字を認識するものであって、図１の例に示すように、画像受付モジュール１１０、文字列抽出モジュール１２０、切出位置抽出モジュール１３０、文字候補抽出モジュール１４０、グラフ生成モジュール１５０、リンク値生成モジュール１６０、パス選択モジュール１７０、出力モジュール１８０を有している。

画像受付モジュール１１０は、文字列抽出モジュール１２０と接続されている。画像受付モジュール１１０は、画像を受け付けて、その画像を文字列抽出モジュール１２０へ渡す。画像を受け付けるとは、例えば、スキャナ、カメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている画像を読み出すこと等が含まれる。画像は、２値画像、多値画像（カラー画像を含む）であってもよい。受け付ける画像は、１枚であってもよいし、複数枚であってもよい。また、画像の内容として、文字列が含まれているのであれば、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。

文字列抽出モジュール１２０は、画像受付モジュール１１０、切出位置抽出モジュール１３０と接続されている。文字列抽出モジュール１２０は、画像受付モジュール１１０が受け付けた画像から文字列を抽出する。
切出位置抽出モジュール１３０が対象とする画像は横書きあるいは縦書きの、１列のみの文字列画像を対象としている。なお、ここで、列とは、横書きの場合は横に並ぶ列であり、縦書きの場合は縦に並ぶ列である。
したがって、文字列抽出モジュール１２０は、画像受付モジュール１１０が受け付けた画像が１列のみの文字列画像であれば、そのまま用いればよい。画像受付モジュール１１０が受け付けた画像が、複数の文字列が存在するものがあり、このような複数文字列を単一の文字列になるように分離する手法としては、従来よりさまざまものが提案されているため、それらを用いればよい。単一の文字列となるように分離する例としてもさまざまな方式があるため、そのうちのいずれかを用いればよい。例えば、（１）特開平４−３１１２８３号公報、（２）特開平３−２３３７８９号公報、（３）特開平５−７３７１８号公報、（４）特開２０００−９０１９４号公報、等を用いればよい。これ以外の方法であってもよい。

切出位置抽出モジュール１３０は、文字列抽出モジュール１２０、文字候補抽出モジュール１４０、パス選択モジュール１７０と接続されている。切出位置抽出モジュール１３０は、文字列抽出モジュール１２０が抽出した文字列画像から文字画像を切り出す位置を抽出する。つまり、文字列画像を複数の文字セグメントに分割する。この文字切り出し位置の抽出方法としてもさまざまな方式があるため、そのうちのどれかを用いればよい。例えば、（１）特開平５−１１４０４７号公報、（２）特開平４−１００１８９号公報、（３）特開平４−９２９９２号公報、（４）特開平４−６８４８１号公報、（５）特開平９−５４８１４号公報、（６）特開平９−１８５６８１号公報の００２１段落に記載の文字の境界候補抽出方式、（７）特開平５−１２８３０８号公報の０００５段落に記載の文字切り出し位置決定方法等を用いればよい。これ以外の方法であってもよい。なお、ここでの文字画像とは、いわば文字候補画像であり、必ずしもその文字画像が１つの文字を表す画像でなくてもよい。

また、切出位置抽出モジュール１３０は、複数の切り出し位置を抽出してもよい。複数の切り出し位置を抽出することによって、１つの文字列画像に対して、文字切出位置群が複数ある。文字切出位置群とは、１つの文字列画像に対して、１つ以上の文字切り出し位置があることをいう。例えば、２つの文字切り出し位置があれば、３つの文字画像に分けられることになる。また、文字切出位置群が複数あるとは、１つの文字列画像に対して、文字切出位置で分けられた文字画像列が複数あることをいう。例えば、２つの文字切り出し位置で３つの文字画像からなる文字画像列と、３つの文字切り出し位置で４つの文字画像からなる文字画像列となる。具体例で説明すると、「化学」という文字列に対して、「イ」「ヒ」「学」からなる文字画像列と「化」「学」からなる文字画像列を生成することである。

文字候補抽出モジュール１４０は、切出位置抽出モジュール１３０、グラフ生成モジュール１５０、リンク値生成モジュール１６０と接続されている。文字候補抽出モジュール１４０は、切出位置抽出モジュール１３０によって抽出された位置によって分けられた文字画像に対して文字認識を行った結果である複数の文字候補を抽出する。この抽出処理を行うために、文字認識処理を行ってもよい。そのために、文字候補抽出モジュール１４０内に文字認識モジュールを含んでいてもよい。文字認識処理による認識結果は、前述のように、１つの文字画像に対して複数の文字候補が対応する。つまり、その文字画像を文字認識して、第１位の認識確度を有している文字候補、第２位の認識確度を有している文字候補等のように、複数の文字候補を文字認識結果とする。そして、文字認識結果として、文字候補の他に、その文字候補の認識確度を有していてもよい。また、抽出するのに、１つの文字画像に対して予め定められた数の文字候補を抽出してもよいし、予め定められた値以上の認識確度を有している文字候補を抽出してもよい。なお、認識確度は、文字認識処理において、その認識結果としての信頼性を表す値であってもよいし、文字画像の外接矩形のサイズ、縦横比等によって定められる文字らしさを表す値であってもよい。

グラフ生成モジュール１５０は、文字候補抽出モジュール１４０、リンク値生成モジュール１６０と接続されている。グラフ生成モジュール１５０は、文字候補抽出モジュール１４０によって抽出された複数の文字候補の各々をノードとし、隣接する文字画像のノード間にリンクを構築することによってグラフを生成する。隣接する文字画像のノード間とは、隣接する文字画像があり、その文字画像に対応するノード間ということである。
また、切出位置抽出モジュール１３０が複数の切り出し位置を抽出した場合は、グラフ生成モジュール１５０は、切出位置抽出モジュール１３０によって抽出された複数の切り出し位置によって分けられた文字画像に対して文字認識を行った結果である複数の文字候補の各々をノードとし、隣接する文字画像のノード間にリンクを構築することによってグラフを生成するようにしてもよい。

リンク値生成モジュール１６０は、文字候補抽出モジュール１４０、グラフ生成モジュール１５０、パス選択モジュール１７０と接続されている。リンク値生成モジュール１６０は、グラフ生成モジュール１５０によって生成されたグラフ内のリンクによって接続されたノードの文字候補間の関係による文字列らしさを表す値に基づいて、リンク値を生成する。また、リンク値生成モジュール１６０は、リンクを構成しているノードに対する文字らしさを表す値に基づいて、前記リンク値を生成するようにしてもよい。
図２は、リンク値生成モジュール１６０内の構成例についての概念的なモジュール構成図である。リンク値生成モジュール１６０は、Ｎグラム値算出モジュール２１０、ノード値算出モジュール２２０、リンク値算出モジュール２３０を有している。
Ｎグラム値算出モジュール２１０は、リンク値算出モジュール２３０と接続されており、リンクによって接続されたノードの文字候補間の関係による文字列らしさを表す値に基づいて、リンク値を生成する。例えば、そのノードに対応する文字候補によって構成される文字列が、日本語の文章中に出現する確率をリンク値として用いる。例えば、リンクの左にあるノードと右にあるノードに対応する文字によって構成される文字列の確率は、バイグラムと言われる。また、２文字に限られず、リンクによってＮ文字以上の文字列の確率は、Ｎグラム（Ｎ＞２）と言われる。
ノード値算出モジュール２２０は、リンク値算出モジュール２３０と接続されており、文字候補抽出モジュール１４０からリンクの片方のノードに対応する文字候補の文字らしさを表す値である認識確度をノード値として抽出する。前述のように、ノードに対応する文字認識結果に含まれている認識確度を抽出すればよい。
リンク値算出モジュール２３０は、Ｎグラム値算出モジュール２１０、ノード値算出モジュール２２０と接続されており、Ｎグラム値算出モジュール２１０によって算出された文字列らしさを表す値をリンク値として算出してもよいし、Ｎグラム値算出モジュール２１０によって算出された文字列らしさを表す値及びノード値算出モジュール２２０によって算出された認識確度に基づいて（例えば、２つの値の加算等）リンク値として算出してもよい。

パス選択モジュール１７０は、切出位置抽出モジュール１３０、リンク値生成モジュール１６０、出力モジュール１８０と接続されている。パス選択モジュール１７０は、リンク値生成モジュール１６０によって生成されたリンク値に基づいて、グラフ生成モジュール１５０によって生成されたグラフ内のパスを選択する。パス選択モジュール１７０が選択するパスは、グラフ内で文字画像の文字認識結果として採用すべき文字列を表すことになる。パスが通る各ノードは文字認識結果を表しているためである。パス選択モジュール１７０は、ダイナミックプログラミング手法を用いて処理途中のパスを削減しながら、リンク値の和に基づいてパスを選択するようにしてもよい。

図３は、パス選択モジュール１７０内の構成例についての概念的なモジュール構成図である。パス選択モジュール１７０は、重み決定モジュール３１０、リンク重み量乗算モジュール３２０、加算モジュール３３０を有している。
重み決定モジュール３１０は、リンク重み量乗算モジュール３２０と接続されており、切出位置抽出モジュール１３０によって抽出された文字切り出し位置によって定められる距離に基づいて、重みを決定する。
また、重み決定モジュール３１０は、切出位置抽出モジュール１３０によって抽出された文字切り出し位置の間にある画像の外接矩形の大きさに基づいて重みを決定するようにしてもよい。
また、重み決定モジュール３１０は、切出位置抽出モジュール１３０によって抽出された文字切り出し位置の間に複数の画像がある場合は、その画像の外接矩形の大きさの和に基づいて重みを決定するようにしてもよい。なお、重み決定モジュール３１０内のモジュール構成、処理については、図１６から図２１の例を用いて後述する。

リンク重み量乗算モジュール３２０は、重み決定モジュール３１０、加算モジュール３３０と接続されており、リンク値生成モジュール１６０によって生成されたリンク値に対して、重み決定モジュール３１０によって決定された対応する重みを乗算する。
加算モジュール３３０は、リンク重み量乗算モジュール３２０と接続されており、リンク重み量乗算モジュール３２０によって算出されたリンク値と重みの乗算結果を加算する。加算処理の結果は、対象としている文字列画像内の一連の文字切り出し位置毎（パス単位）となる。
したがって、リンク重み量乗算モジュール３２０、加算モジュール３３０の処理は、重み決定モジュール３１０によって決定された重みに基づいて、リンク値生成モジュール１６０によって生成されたリンク値の重み付き和を算出することとなる。

出力モジュール１８０は、パス選択モジュール１７０と接続されている。出力モジュール１８０は、パス選択モジュール１７０によって選択されたパス内の文字候補列を文字認識結果として出力する。文字認識結果を出力するとは、例えば、プリンタ等の印刷装置で印刷すること、ディスプレイ等の表示装置に表示すること、メモリーカード等の記憶媒体に記憶すること、他の情報処理装置へ渡すこと等が含まれる。

例えば、
（１）「イ」「ヒ」「学」
と、
（２）「化」「学」
では、文字認識における認識確度ではほとんど変わらない（各単文字の文字らしさは大体同じである）ため、認識確度だけで判断すると（１）のように切り出し位置を間違うことが多い。
しかし、リンク値生成モジュール１６０が、Ｎグラム情報を用いたリンク値を生成することで、パス選択モジュール１７０は（２）の方を選択することになる。「イ」「ヒ」、又は「ヒ」「学」の生起確率よりは、「化」「学」の生起確率の方が高いためである。

図４は、本実施の形態による処理例を示すフローチャートである。
ステップＳ４０２では、画像受付モジュール１１０が、対象となる画像を受け付ける。
ステップＳ４０４では、文字列抽出モジュール１２０が、画像から文字列画像を抽出する。
ステップＳ４０６では、切出位置抽出モジュール１３０が、文字列画像を対象として切り出し位置を抽出する。
ステップＳ４０８では、文字候補抽出モジュール１４０が、切り出された文字画像を文字認識する。
ステップＳ４１０では、文字候補抽出モジュール１４０が、複数の文字認識結果を文字画像の文字候補として抽出する。
ステップＳ４１２では、グラフ生成モジュール１５０が、グラフを生成する。
ステップＳ４１４では、リンク値生成モジュール１６０が、リンク値を生成する。
ステップＳ４１６では、パス選択モジュール１７０が、重みを決定する。
ステップＳ４１８では、パス選択モジュール１７０が、重み付け線形和を算出する。
ステップＳ４２０では、パス選択モジュール１７０が、グラフ内のパスを選択する。
ステップＳ４２２では、出力モジュール１８０が、文字認識結果を出力する。

次に、図６から図１５を用いて、グラフ生成モジュール１５０、リンク値生成モジュール１６０、パス選択モジュール１７０による処理を説明する。
本実施の形態は、パス評価値の高いパスを出力することによって、文字切り出し位置の確定、又は文字認識を行うものである。また、パスの探索にダイナミックプログラミングの手法を用いてもよい。
本実施の形態のグラフにおいては、始点ノード、終点ノード、複数の中間ノードがある。また、各ノード間のリンクには、リンク値を与える。始点ノードから１あるいは複数の中間ノードを介して、終点ノードに至るパスは、介するノードに依存したリンクを通ることになる。始点ノードから終点ノードに至るパスのパス評価値は、そのパスが通ったリンクのリンク値の重み付け和として表すことができる。
本実施の形態のグラフ生成モジュール１５０は、一つの文字画像に対して、複数の文字認識結果が存在しているときに、前述のノード、リンク、パスの構成（グラフ構造）を生成するものである。グラフ構造が与えられれば、パス選択モジュール１７０によってビタビ法などの手法を用いて、最適パスを探索することが可能となる。

＜Ａ１．文字切り出し位置が固定の場合＞
まず、切出位置抽出モジュール１３０の抽出する文字切り出し位置が固定（一種類）の場合について説明する。
図６は、記号例を示す説明図である。記号の種類として、長方形６１０、横棒である接続線６２０、６２２、６２４、６２６、６２８、円弧６３０、丸である文字候補６４２、６４４、６４６がある。
図６の例において、長方形６１０Ａ、６１０Ｂ、６１０Ｃ、６１０Ｄ（図７に例示する長方形６１０）は、それぞれ文字セグメントを表す。
また、横棒である接続線６２０、６２２、６２４、６２６、６２８は、文字切り出し位置を示す（図８に例示する接続線６２０、接続線６２２）。文字セグメントは文字切り出し位置を介して、隣接する文字セグメントにつながっている。
さらに、丸で表されている文字候補６４２Ａ、６４４Ａ等は、ひとつの文字セグメントを１文字として認識したときの、複数の文字候補を示す。円弧６３０Ａ、６３０Ｂ、６３０Ｃ、６３０Ｄは、下の一つの文字セグメントだけを対象に文字認識を行っていることを示している。

図９の例では、文字候補６４２、６４４、６４６は、その下の長方形６１０が示す１文字の文字セグメントを認識したときの複数の文字候補であることを示している。また、円弧６３０は、その下の長方形６１０ひとつだけを対象に文字認識を行うことを示している。
本実施の形態では、文字セグメントの複数の文字候補をノードとして捉える。さらに、隣接する文字セグメントの文字候補と、リンクを接続する。図１０の例にリンクを太線で記入して示す。
ここでリンク値生成モジュール１６０が生成するリンク値としては、リンク左右のノードの相互作用を示すものを使ってもよい。具体的には、リンクの左の文字候補とリンクの右の文字候補が連続して日本語の文章中に出現する確率（バイグラム）を用いる。
このようにノードとリンクを構成することによって、すべてのグラフ構造が規定できる。グラフ構造が規定できれば、ビタビ法等により、最適パスを選択できる。

＜Ａ２．ノード内情報も用いる場合＞
前述では、リンク値として、ノード間の相互作用を示すもの（文章中に出現する確率）だけを用いたが、さらにノード単独の評価値を用いるようにしてもよい。ここでは、ビタビ法を用いて最適パスを探索するものとする。左から順にノードの左から入るリンクを各ノード毎にひとつだけに限定していく処理を行う。
図１１は、ノード内情報を用いる例を示す説明図である。今、図１１の例で矢印で示す文字候補６４２Ｂ、６４４Ｂ、６４６Ｂ（ノードＤ、Ｅ、Ｆ）のリンクを限定する段階であるとする。
ここで、矢印が示す文字候補６４２Ｂ、６４４Ｂ、６４６Ｂ（ノードＤ、Ｅ、Ｆ）と、矢印のノードの左側にある文字候補６４２Ａ、６４４Ａ、６４６Ａ（ノードＡ、Ｂ、Ｃ）間のリンク値を生成する。リンク値としては、各ノード間の相互作用を表すバイグラムなどの値と、各ノード内部の値の両方を用いる。ノード内部の値とは、例えば、文字候補６４２Ｂ（ノードＤ）の文字の認識確度などがある。

ここで、リンクは、文字候補６４２Ｂ、６４４Ｂ、６４６Ｂ（ノードＤ、Ｅ、Ｆ）と文字候補６４２Ａ、６４４Ａ、６４６Ａ（ノードＡ、Ｂ、Ｃ）間にあるため、リンク値としては、文字候補６４２Ｂ、６４４Ｂ、６４６Ｂ（ノードＤ、Ｅ、Ｆ）と文字候補６４２Ａ、６４４Ａ、６４６Ａ（ノードＡ、Ｂ、Ｃ）間の評価値を算出するのが簡単である。しかし、ノード内部の値は、文字候補６４２Ｂ、６４４Ｂ、６４６Ｂ（ノードＤ、Ｅ、Ｆ）と文字候補６４２Ａ、６４４Ａ、６４６Ａ（ノードＡ、Ｂ、Ｃ）間にあるのではなく、この場合、文字候補６４２Ｂ、６４４Ｂ、６４６Ｂ（ノードＤ、Ｅ、Ｆ）に存在する。
つまり、ノード間情報はリンクの内部に存在していて、ノード内情報はリンクの端点に存在する。このような発生位置、又は概念が異なる値を一度に扱うことは従来なかった点である。

従来では、図２７に示す始点ノード２７００、中間ノード２７１０（ノード１）、中間ノード２７２０（ノード２）、終点ノード２７９０など（つまり、文字切り出し位置）をノードとして、ノード間のアーク評価値を算出している。本実施の形態のように、複数の文字コードをノードとして、ノード間のリンク値を算出するわけではない。そのため、従来技術をそのまま用いることはできない。
本実施の形態では、リンクの評価値として、リンクの内部に存在する値（例えば、バイグラムの値）と、リンクの一方の端点のみに存在する値（例えば、ノードＤの文字認識確度）を用いる。他方の端点に存在する値（例えば、ノードＡの文字認識確度）は用いない。このようにすることで、リンクの内部の値と、リンクの端点の値をともに用いる評価が可能となる。
最終的には、文字列の評価値（パス評価値）として、（１）式で、すべてのリンクの評価値を加算することになる。そのため、リンクの評価値の中に、リンクの内部の評価値と、リンクの一方の端点の評価値が含まれていれば、パス評価値の中にすべてのリンク内部の評価値とリンク端点の評価値が一つずつ含まれることになる。

この関係の模式図を図１２に示す。図１２は、ノードとリンクの例を示す説明図である。図１２の例に示すノード１２１２等の丸はノードを示す。リンク１２２２等の横棒はリンクを示す。図１２（ｂ）の例に示すように、一つのリンク値（リンク評価単位１２３０）は、ノード一つ（ノード１２１４）の評価とリンク一つ（リンク１２２２）の評価を示すことになる。
そのため、図１２の例では、３回のリンク評価結果を合わせることで、最も左の端点ノード（ノード１２１２）以外を評価できることになる。左の端点処理として、左の端点のノードのノード内部評価値のみを算出してパス評価値に加算する。あるいは、左の端点のノード内部評価値と最も左のリンク値を加算するなどの処理を行えばよい。
リンク値生成モジュール１６０では、前述のリンク内部の値と、リンク端点の値のように、複数の値（バイグラムや認識確度）などを特徴量として、リンク値を算出すればよい。このように複数の値から、ひとつのリンク値を算出する方法としては、（１）特開平９−１８５６８１号公報、（２）特開昭６１−１７５８７８号公報、（３）特開平３−３７７８２号公報、（４）特開平１１−２０３４０６号公報等に記載の技術を用いればよい。これ以外の方法であってもよい。
なお、複数の値を特徴量ベクトルとして把握し、リンク値は、特徴量ベクトルを対象として、リンク評価値（スカラー値）を出力する関数で実現できる。

＜Ａ３．リンク情報として２以上のノードを用いる場合＞
前述では、リンク左右のノードの相互情報としてバイグラムを用いていた。この場合、リンク情報として２つのノード間の関係情報を用いていることになる。
ビタビ法を用いる場合、例えば、ノードＡ、Ｂ、Ｃの左側のリンク数はすでに１個に限定されていることになる。この場合には、２以上のノードの情報を用いてリンク情報を構築することが可能となる。
例えば、２つの連続する文字の生起確率であるバイグラムではなく、３つの連続する文字の生起確率であるトライグラムを用いることも可能となる。
今、リンク値生成モジュール１６０が、ノードＤ、Ｅ、Ｆの左側のリンク値を生成しようとする。
例えば、ノードＡ−ノードＤ間のリンク値を算出する。バイグラムであれば、ノードＡとノードＤが連続する生起確率を求めればよい。ここで、トライグラムを求める場合を説明する。ノードＡの左側のリンクは一つに限定されているため、実は、ノードＡの左の文字も確定していることになる。この文字を保持するノードをＧとする。トライグラムとしては、ノードＧ−ノードＡ−ノードＤの３つの文字に関する生起確率を求めればよい。
以上のように求めたトライグラムをノードＡ−ノードＤ間のリンク値として生成すればよい。同様に、Ｎｇｒａｍであっても、求めることが可能となる。

＜Ａ４．文字切り出し位置が確定していない場合＞
文字切り出し位置が確定していない場合（つまり、切出位置抽出モジュール１３０が複数の文字切り出し位置を抽出した場合）、文字候補の選択と、文字切り出し位置の選択を行うようにしてもよい。
図１３は、文字切り出し位置が複数ある場合の処理例を示す説明図である。ここでは、円弧の記号の意味が追加されている。円弧が下にある複数の文字セグメント（長方形）を指し示す場合、その円弧はその複数の文字セグメントを統合した画像を１文字とみなして認識することを示す。円弧１３１０Ａは、長方形６１０Ａと長方形６１０Ｂを統合した画像を１文字とみなして文字認識結果として文字候補１３２２Ａ、１３２４Ａ、１３２６Ａを有している。また、円弧１３１０Ｃは、長方形６１０Ａ、６１０Ｂ、６１０Ｃ、６１０Ｄを統合した画像を１文字とみなして文字認識結果として文字候補１３２２Ｃ、１３２４Ｃ、１３２６Ｃを有している。
図１４の例に示すように、円弧６３０Ａと円弧６３０Ｂの下に二つの文字セグメント（長方形６１０Ａ、長方形６１０Ｂ）「イ」と「ヒ」がある場合に、その２つを含む円弧１３１０の上の文字候補（文字候補１３２２、１３２４、１３２６）は、「イ」と「ヒ」を統合した１つの文字セグメント「化」を認識したときの複数の文字候補に相当する。

文字切り出し位置が確定していない場合のリンクの接続は、図１５の例に示すようになる。図１５は、文字切り出し位置が複数ある場合の処理例を示す説明図である。
ここでは、文字切り出し位置に注目する。今、図１５の矢印で示す文字切り出し位置に関連するノードのリンクを対象とする。この文字切り出し位置でリンクされるノードには、
（１）左側ノード：矢印の文字切り出し位置に円弧の右側が存在するノード（斜線でハッチングしたノード、文字候補１５４２Ａ、文字候補１５４４Ａ、文字候補１５６２Ａ、文字候補１５６４Ａ、文字候補１５７２Ａ、文字候補１５７４Ａ等）と、
（２）右側ノード：矢印の文字切り出し位置に円弧の左側が存在するノード（内部が白のノード、文字候補１５４２Ｂ、文字候補１５４４Ｂ、文字候補１５６２Ｂ、文字候補１５６４Ｂ、文字候補１５７２Ｂ、文字候補１５７４Ｂ等）
の２種類がある。このとき、左側ノードと、右側ノード間にリンクを形成することによって、グラフ構造を構築することができる。
例えば、すべての左側ノードが、すべての右側ノードに直接接続できるようにリンクを形成すればよい。さらに、すべての文字切り出し位置において、前述のように、左側ノードと右側ノードのリンクを形成し、さらに、左側が文字列の端点の場合には始点ノードに接続し、また、右側が文字列の端点の場合には終端ノードに接続すれば、すべてのグラフ構造を構築することができる。

この場合においても、リンク値は、リンク左右のノードの相互作用を示すものを使ってもよいし、ノード内部の評価値を用いてもよい。
特に、この場合には、文字切り出し位置が確定していないため、ノード内部の評価値として、文字の形状情報を用いることができる。文字形状情報の例として、文字の縦横比や、文字左右の空白量、等を用いることができる。

次に、図１６から図２１を用いて、パス選択モジュール１７０の重み決定モジュール３１０による重み付け処理について説明する。
＜Ｂ１＞
図１６は、重み付けの例を示す説明図である。
ここでは、図２３に例示した「化学」という文字列画像を対象として説明する。なお、重みは画素数とする。図１６（ａ）、（ｂ）、（ｃ）に例示するように、「イ」の幅は１０画素、「ヒ」の幅は２０画素、「学」の幅は４０画素、「化」の幅は４０画素であるとする。また、文字セグメント間の空白の幅は１０画素であるとする。このとき、各パターンにおけるアーク評価値に対する重みは、図１６（ｄ）から（ｇ）の例のようになる。つまり、文字切り出し位置決定モジュール１１０によって設定された位置の候補（以下、「切り出し位置候補」ともいう）によって定められる距離が重みとなっている。なお、切り出し位置候補によって定められる距離とは、この例の場合、隣り合う切り出し位置候補の間には１つの文字画像があるとして、その文字画像の外接矩形の幅である。また、切り出し位置候補によって定められる距離を、隣り合う切り出し位置候補間の距離としてもよい。
なお、図１６（ｅ）の例に示す重みよりも、図１６（ｆ）の例に示す重みが大きくなっているが、アーク評価値（「化」、「学」のそれぞれをひとつの文字とした場合の文字らしさ評価値と、「化学」をひとつの文字とした場合の文字らしさ評価値）によって、図１６（ｅ）の例のパス評価値が高くなることが多い。

図１７は、重み決定モジュール３１０内のモジュール構成例を示す説明図である。
重み決定モジュール３１０は、文字切り出し間距離算出モジュール１７１０を有している。文字切り出し間距離算出モジュール１７１０は、隣り合う切り出し位置候補の間にある１つの文字画像の外接矩形の幅に基づいて、重みを決定する。また、隣り合う切り出し位置候補間の距離に基づいて、重みを決定するようにしてもよい。

＜Ｂ２＞
前述の＜Ｂ１＞では、文字画像の外接矩形の幅又は隣り合う切り出し位置候補間の距離をそのまま、重みとした。この場合には、内部で空白の大きな文字が必要以上に大きな重みを持つことになってしまう。
例えば、図１８に例示するように、文字切り出し間距離１８１０の内部に大きな空白を持つ文字を選択してしまうと、この重みが必要以上に大きな値となってしまう。図１８の例では、文字切り出し間距離１８１０内の画像「１ １」を文字認識した結果が「い」となる場合がある。この場合の重みの値は大きくなるので、「１ １」をひとつの文字（つまり、文字認識結果が「い」）として選択されてしまうことがある。
又は、文字セグメントが重なっている場合には、必要以上に小さな重みになってしまう。図１９の例のように、文字セグメントの外接矩形が重なってしまっている場合、二つに分割した方が重みの値が大きくなってしまうため、「ＩＩ」（ローマ数字の２）ではなくて、「Ｉ」、「Ｉ」となってしまう可能性が高くなる。つまり、外接矩形幅１９１０と外接矩形幅１９２０の和は、文字切り出し間距離１９３０より大きくなってしまうので、各文字セグメントの切り出し位置が文字切り出し位置として採用されてしまうことになってしまう可能性が高いことになる。

そこで、文字内部（隣り合う切り出し位置候補の間にある画像）の文字セグメントの外接矩形の大きさ（横書きの文字列画像を対象としている場合は幅、縦書き文字列画像を対象としている場合は高さ）に基づいて重みを決定する。
そして、文字内部に複数の文字セグメントがある場合は、その文字セグメントの外接矩形の大きさの和に基づいて重みを決定するようにしてもよい。
図２０（ａ）、（ｂ）、（ｃ）に例示するように、「イ」の幅は１０画素、「ヒ」の幅は２０画素、「学」の幅は４０画素、「化」の幅は４０画素であるとする。また、文字セグメント間の空白の幅は１０画素であるとする。このとき、各パターンにおけるアーク評価値に対する重みは、図２０（ｄ）から（ｇ）の例のようになる。つまり、文字セグメントの外接矩形の幅（文字セグメントが複数ある場合は、その和）が重みとなっている。

図２１は、重み決定モジュール３１０内のモジュール構成例を示す説明図である。
重み決定モジュール３１０は、文字塊抽出モジュール２１１０、文字塊幅算出モジュール２１２０を有している。
文字塊抽出モジュール２１１０は、文字塊幅算出モジュール２１２０と接続されており、隣り合う切り出し位置候補の間にある文字セグメント（画素塊）を抽出する。例えば、４連結又は８連結の画素塊を文字セグメントとして抽出してもよい。また、横方向に文字のプロファイルをとるようにしてもよい。すなわち、横方向に黒画素数のヒストグラムを算出する。そして、その黒画素ヒストグラムを用いて、文字セグメントを抽出するようにしてもよい。
文字塊幅算出モジュール２１２０は、文字塊抽出モジュール２１１０と接続されており、文字塊抽出モジュール２１１０によって抽出された文字セグメントの外接矩形の大きさを算出して、重みを決定する。

図２２を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図２２に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部２２１７と、プリンタなどのデータ出力部２２１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２０１は、前述の実施の形態において説明した各種のモジュール、すなわち、文字列抽出モジュール１２０、切出位置抽出モジュール１３０、文字候補抽出モジュール１４０、グラフ生成モジュール１５０、リンク値生成モジュール１６０、パス選択モジュール１７０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２０２は、ＣＰＵ２２０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２０３は、ＣＰＵ２２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス２２０４により相互に接続されている。

ホストバス２２０４は、ブリッジ２２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２２０６に接続されている。

キーボード２２０８、マウス等のポインティングデバイス２２０９は、操作者により操作される入力デバイスである。ディスプレイ２２１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２２１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ２２０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受け付けた画像、文字認識結果、グラフ構造などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ２２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体２２１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース２２０７、外部バス２２０６、ブリッジ２２０５、及びホストバス２２０４を介して接続されているＲＡＭ２２０３に供給する。リムーバブル記録媒体２２１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート２２１４は、外部接続機器２２１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート２２１４は、インタフェース２２０７、及び外部バス２２０６、ブリッジ２２０５、ホストバス２２０４等を介してＣＰＵ２２０１等に接続されている。通信部２２１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部２２１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部２２１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図２２に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図２２に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図２２に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

前述の実施の形態においては、対象として日本語の文字を示したが、中国語、英語等の文字を対象としてもよい。
前述の実施の形態においては、横書きの文字列を前提として、左が始点で右が終点であるような記述の仕方を行ってきた。しかし、前述の説明は、縦書きや、右から左に記述する文字列でも同様に成り立つ。例えば、縦書きの場合は、「左」を「上」、「右」を「下」とする変換を行えばよい。右から左に記述する文字列の場合は、「左」を「右」、「右」を「左」とする変換を行えばよい。
なお、数式を用いて説明したが、数式には、その数式と同等のものが含まれる。同等のものとは、その数式そのものの他に、最終的な結果に影響を及ぼさない程度の数式の変形、又は数式をアルゴリズミックな解法で解くこと等が含まれる。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合せ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

１１０…画像受付モジュール
１２０…文字列抽出モジュール
１３０…切出位置抽出モジュール
１４０…文字候補抽出モジュール
１５０…グラフ生成モジュール
１６０…リンク値生成モジュール
１７０…パス選択モジュール
１８０…出力モジュール
２１０…Ｎグラム値算出モジュール
２２０…ノード値算出モジュール
２３０…リンク値算出モジュール
３１０…重み決定モジュール
３２０…リンク重み量乗算モジュール
３３０…加算モジュール

Claims (5)

1. 画像から文字画像を切り出す位置を抽出する切出位置抽出手段と、
   前記切出位置抽出手段によって抽出された位置によって分けられた文字画像に対して文字認識を行った結果である複数の文字候補を抽出する文字候補抽出手段と、
   前記文字候補抽出手段によって抽出された複数の文字候補の各々をノードとし、隣接する文字画像のノード間にリンクを構築することによってグラフを生成するグラフ生成手段と、
   前記リンクによって接続されたノードの文字候補間の関係による文字列らしさを表す値に基づいて、リンク値を生成するリンク値生成手段と、
   前記リンク値生成手段によって生成されたリンク値に基づいて、前記グラフ生成手段によって生成されたグラフ内のパスを選択するパス選択手段と、
   前記パス選択手段によって選択されたパス内の文字候補列を文字認識結果として出力する出力手段
   を具備し、
   前記リンク値生成手段は、リンク値として、リンクの内部に存在する値と、該リンクの一方のノードのみに存在する値を用い、他方のノードに存在する値は用いない
   ことを特徴とする画像処理装置。
2. 前記パス選択手段は、ダイナミックプログラミング手法を用いて処理途中のパスを削減しながら、リンク値の和に基づいてパスを選択する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記リンク値生成手段は、前記リンクを構成しているノードに対する文字らしさを表す値に基づいて、前記リンク値を生成する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記切出位置抽出手段は、複数の切り出し位置を抽出し、
   前記グラフ生成手段は、前記切出位置抽出手段によって抽出された複数の切り出し位置によって分けられた文字画像に対して文字認識を行った結果である複数の文字候補の各々をノードとし、隣接する文字画像のノード間にリンクを構築することによってグラフを生成する
   ことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. コンピュータを、
   画像から文字画像を切り出す位置を抽出する切出位置抽出手段と、
   前記切出位置抽出手段によって抽出された位置によって分けられた文字画像に対して文字認識を行った結果である複数の文字候補を抽出する文字候補抽出手段と、
   前記文字候補抽出手段によって抽出された複数の文字候補の各々をノードとし、隣接する文字画像のノード間にリンクを構築することによってグラフを生成するグラフ生成手段と、
   前記リンクによって接続されたノードの文字候補間の関係による文字列らしさを表す値に基づいて、リンク値を生成するリンク値生成手段と、
   前記リンク値生成手段によって生成されたリンク値に基づいて、前記グラフ生成手段によって生成されたグラフ内のパスを選択するパス選択手段と、
   前記パス選択手段によって選択されたパス内の文字候補列を文字認識結果として出力する出力手段
   として機能させ、
   前記リンク値生成手段は、リンク値として、リンクの内部に存在する値と、該リンクの一方のノードのみに存在する値を用い、他方のノードに存在する値は用いない
   ことを特徴とする画像処理プログラム。

Images