JP5672828B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

画像内から対象とする領域を分離する技術がある。
これに関連する技術として、例えば、特許文献１には、文字認識装置等において、名刺等の文書の行方向を高い精度で検出することを目的とし、外接矩形検出手段は、入力画像データを走査して文字部等の情報領域を外接矩形として検出し、検出された外接矩形は、この中より、文字部の外接矩形のみが外接矩形選別手段で抽出された後、特徴点検出手段によって特徴点が検出され、ヒストグラム作成手段では、検出された特徴点の位置座標に位置する水平方向及び垂直方向のヒストグラム値の値を増分することにより、水平方向と垂直方向のヒストグラムを作成し、行方向判定手段では、水平方向と垂直方向の各ヒストグラムにおいて、最もヒストグラム値の大きい値をそれぞれ検出し、それらの検出された値に基づいて文字行の行方向を判定することが開示されている。

また、例えば、特許文献２には、スキャナから取り込んだ２値データを基に、領域の識別を行い、識別結果が文字領域の場合に文字のつながり方向を黒画素連結の外接矩形間の距離情報から検出し、自動で文字組み方向を検出して文字認識を行うことを目的とし、文字領域内のすべての黒画素の連結状態を調べ、黒画素が連結しているかたまりに外接する矩形の座標を検出し、各外接矩形に対して最も近い外接矩形を検出してその位置関係を検出し、水平方向につながっていれば水平方向結合カウンタを１つ進め、垂直方向につながっていれば、垂直方向結合カウンタを１つ進め、すべての外接矩形について処理が終了したら、水平方向結合カウンタと垂直方向結合カウンタの値を比較し、水平方向結合カウンタが多い場合は横書き領域と判定され、垂直方向結合カウンタが多い場合は縦書き領域と判定することが開示されている。

また、例えば、特許文献３には、文書画像を文字行方向に３つ以上のブロックに分割し、該文書画像を走査することにより、個々のブロック毎に文字行方向の射影を求め、求めた各ブロックの射影相互間の連結を調べることにより該文書画像上の個々の文字行を切り出すことを特徴とする文字行切り出し方法が開示されている。
また、例えば、特許文献４には、文書内における縦書き文章領域や横書き文章領域の段組構成、文章領域内の各文字サイズ等を考慮することなく、局所的な画素の配置情報に基づいて領域の抽出処理を行うと、結果として得られる領域情報は必ずしも文書の論理構造を反映するものとはならないことを課題とし、画像入力部から入力された文書画像を分割して文章領域を抽出する画像処理装置において、入力文書画像に含まれる文章が縦書きであるか又は横書きであるかを文章方向算定部で算定し、この文章方向算定部による算定結果を参照して分割境界設定部で入力文書画像を分割する境界を設定し、そして、領域分割部において、分割境界設定部で設定された境界にて入力文書画像を分割することが開示されている。

また、例えば、特許文献５には、文字部を含む属性を有する多値画像の情報領域を切り出し、該属性の判別処理を行う画像分割処理装置において、前記多値画像を入力して疑似中間長画像及び単純２値化画像を生成する２値化手段と、前記疑似中間長画像及び単純２値化画像から前記情報領域を外接矩形として検出する外接矩形検出手段と、前記外接矩形検出手段により検出された外接矩形の前記属性を判別する属性判別手段と、前記属性判別手段により前記文字部と判別された外接矩形から演算によって所定の閾値を設定し、その設定された閾値に従って該外接矩形の統合を行って文字部領域を生成、抽出する文字部統合手段とを、備えたことを特徴とする画像分割処理装置が開示されている。

特開平０４−３１１２８３号公報 特開平０５−０７３７１８号公報 特開昭５８−１０６６６５号公報 特開２０００−０９０１９４号公報 特開平０３−２３３７８６号公報

本発明は、投影分布又は連結成分を用いた技術では、文字列どうしの境界が不明確となる画像を対象とした場合に、文字画像が分離できなくなってしまうことを抑制するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、少なくとも文字画像を含む画像を受け付ける受付手段と、前記受付手段によって受け付けられた画像に対して、該画像内の文字画像を分離する線分である分離経路を算出する経路算出手段と、前記経路算出手段によって算出された分離経路により、前記受付手段によって受け付けられた画像を複数の文字画像へ分離する分離手段を具備し、前記経路算出手段は、該画像内の文字画像の一部を含む予め定められた範囲内において、経路上にある画素の輝度値の累積値が予め定められた条件を満たす分離経路を算出し、前記経路算出手段は、分離経路の算出において、隣り合う分離経路どうしの間隙の幅が予め定められた条件を満たす場合に、該間隙にある画素の輝度値によらず、該隣り合う分離経路は等価であると判断し、結合すること、又は、前記経路算出手段は、分離経路の算出において、隣り合う分離経路どうしの間隙にある画素の輝度値の累積値が予め定められた条件を満たす場合に、該隣り合う分離経路は等価であると判断し、結合することを特徴とする画像処理装置である。

請求項２の発明は、前記経路算出手段は、複数方向の分離経路を算出し、前記経路算出手段によって算出された複数方向の分離経路の特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された特徴量に基づいて、画像の分離方向及び文字画像の状態を判別し、該判別の結果によって前記複数方向の分離経路のうちの分離経路を選択する選択手段を具備し、前記分離手段は、前記選択手段によって選択された分離経路により、前記受付手段によって受け付けられた画像を複数の部分画像へ分離することを特徴とする請求項１に記載の画像処理装置である。

請求項３の発明は、前記経路算出手段は、該画像内の文字画像の一部を含む予め定められた範囲内において、経路上にある画素の輝度値と経路の移動に基づく重み係数との積の累積値が予め定められた条件を満たす分離経路を算出することを特徴とする請求項１又は２に記載の画像処理装置である。

請求項４の発明は、コンピュータを、少なくとも文字画像を含む画像を受け付ける受付手段と、前記受付手段によって受け付けられた画像に対して、該画像内の文字画像を分離する線分である分離経路を算出する経路算出手段と、前記経路算出手段によって算出された分離経路により、前記受付手段によって受け付けられた画像を複数の文字画像へ分離する分離手段として機能させ、前記経路算出手段は、該画像内の文字画像の一部を含む予め定められた範囲内において、経路上にある画素の輝度値の累積値が予め定められた条件を満たす分離経路を算出し、前記経路算出手段は、分離経路の算出において、隣り合う分離経路どうしの間隙の幅が予め定められた条件を満たす場合に、該間隙にある画素の輝度値によらず、該隣り合う分離経路は等価であると判断し、結合すること、又は、前記経路算出手段は、分離経路の算出において、隣り合う分離経路どうしの間隙にある画素の輝度値の累積値が予め定められた条件を満たす場合に、該隣り合う分離経路は等価であると判断し、結合することを特徴とする画像処理プログラムである。

請求項１の画像処理装置によれば、複数の分離経路を結合することができる。

請求項２の画像処理装置によれば、投影分布又は連結成分を用いた技術では、文字列の方向が不明確となる画像を対象とした場合に、文字画像が分離できなくなってしまうことを抑制することができる。

請求項３の画像処理装置によれば、本構成を有していない場合に比較して、より正確に文字画像を分離することができるようになる。

請求項４の画像処理プログラムによれば、複数の分離経路を結合することができる。

画像を領域に分離する経路の例を示す説明図である。 異なる始点をもつ複数の経路が、同じ終点をもつ例を示す説明図である。 対象とする画像の例を示す説明図である。 上方向への最短経路の例を示す説明図である。 下方向への最短経路の例を示す説明図である。 １回の往復によって得られる最短経路の例を示す説明図である。 ２回の往復によって得られる最短経路の例を示す説明図である。 ３回の往復によって得られる最短経路の例を示す説明図である。 収束した場合の最短経路の例を示す説明図である。 最短経路によって画像を領域に分離した例を示す説明図である。 ＜Ａ＞の実施の形態の基本構成例についての概念的なモジュール構成図である。 第Ａ−１の実施の形態の構成例についての概念的なモジュール構成図である。 第Ａ−２の実施の形態の構成例についての概念的なモジュール構成図である。 第Ａ−３の実施の形態の構成例についての概念的なモジュール構成図である。 第Ａ−４の実施の形態の構成例についての概念的なモジュール構成図である。 第Ａ−５の実施の形態の構成例についての概念的なモジュール構成図である。 経路抽出モジュールを組み込んだ画像処理装置の構成例についての概念的なモジュール構成図である。 経路抽出モジュールを組み込んだ画像処理装置の構成例についての概念的なモジュール構成図である。 経路抽出モジュールを組み込んだ画像処理装置の構成例についての概念的なモジュール構成図である。 経路抽出モジュールを組み込んだ画像処理装置の構成例についての概念的なモジュール構成図である。 経路情報の算出例を示す説明図である。 経路情報の算出例を示す説明図である。 経路情報を算出するために必要となる情報の例を示す説明図である。 対象とする画像の例を示す説明図である。 対象とする画像を分離した例を示す説明図である。 対象とする画像の投影情報の例を示す説明図である。 分離経路の算出処理の例を示す説明図である。 分離経路の結合処理の例を示す説明図である。 分離経路の結合処理の例を示す説明図である。 特徴量の例を示す説明図である。 第Ｂ−１の実施の形態の構成例についての概念的なモジュール構成図である。 第Ｂ−２の実施の形態の構成例についての概念的なモジュール構成図である。 方向判別の処理の例を示すフローチャートである。 第Ｂ−３の実施の形態の構成例についての概念的なモジュール構成図である。 投影分布の例を示す説明図である。 水平、垂直方向の分離経路の例を示す説明図である。 水平、垂直方向の分離経路の例を示す説明図である。 水平、垂直方向の分離経路の例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

＜Ａ＞と＜Ｂ＞に分けて説明する。＜Ａ＞に記載のものは、＜Ｂ＞に記載のものを実現するために前提となる技術の一部の説明である。

＜Ａ＞前提となる技術
まず、＜Ａ＞に示す実施の形態の概略を説明する。
本実施の形態は、画像内から領域を分離する（切り出す、抽出等ともいわれる）画像処理装置に関するものである。領域を分離するためには、その領域を囲む外郭を決定する必要がある。そこで、領域を囲む外郭として最短経路を採用する。この最短経路によって画像内から領域を分離しようとするものである。
ここで、最短経路とは、対象とする画像上のピクセル（の位置）の１次元配列である線パタンであり、経路上のピクセルの輝度値の累積値をコストとして、ある範囲においてコスト最小又はコスト最大の経路を指す。特に本実施の形態において最短経路とは、図１に例示するように、画像１００に対して領域を分割するための外郭にあたり、画像１００の下端のあるピクセルを始点１１１として、画像１００の上端にあるピクセルであって、終点候補のセットとしての予め定められた終点候補１２０内において、経路上のピクセルの輝度値の累積値が最小又は最大となるように定めたピクセルを終点１２１とした経路である。また、始点１１１と終点候補１２０が定まると、移動範囲１３０が定まることになる。
なお、コスト最小又はコスト最大の用語を用いるが、必ずしも最小、最大である必要はない。ここでのコスト最小又はコスト最大とは、その経路を抽出するための判断条件であり、その経路のコスト（経路上のピクセルの輝度値の累積値）が他の経路のコストよりも小さい又は大きいことであればよい。したがって、最短経路という場合は、特に明記する場合以外は、比較した範囲内で経路のコストが最小又は最大である経路であることの他に、画像を分割する経路を抽出するという目的を達成するための判断条件としてであれば、コストが最小又は最大から２番目等を選択した場合の経路であってもよいし、コストが最小又は最大から１番目、２番目等の複数を選択した場合の経路であってもよい。

次に、最短経路の収束を利用した分離経路の決定について説明する。
本実施の形態は、前述の最短経路について、始点の異なる複数の経路が同一の終点をもつ（以下、経路の収束、とよぶ）ことを利用する。この様子を図２の例に模式的に示す。図２は、異なる始点をもつ複数の経路が、同じ終点をもつ例を示す説明図である。つまり、画像２００を対象として、始点２１１〜２１３の３つの始点から出発した最短経路が１つの終点２２１に到達していることを示しており、始点２１４〜２１８の５つの始点から出発した最短経路が１つの終点２２２に到達していることを示している。
以下、複数の単文字を含む文字列画像を受け付けて、単文字どうしを分離することを主に例示して説明する。
本実施の形態は、最短経路の情報に基づいて、文字列画像について、単文字どうしを分離する経路を算出する。なお、前述の先行技術文献に記載されている技術において、この処理の役割をもつ処理は、投影情報又は連結成分に基づく分離領域候補の抽出処理にあたる。

以下、図３〜図１０に示す例を用いて、経路の収束を利用した分離経路の決定について説明する。
図３は、対象とする画像の例を示す説明図である。画像３００内には、「Ｓ」の文字画像３１０、「Ｔ」の文字画像３２０、「Ｕ」の文字画像３３０を含んでおり、これらは写像をとると互いに重なっているパタンである。セルはピクセルを表し、セルの値はピクセルの輝度値を表す。さらに、図３の例について、最短経路を算出したものを図４、図５の例に示す。セルの数値について、１は経路があることを、０は経路がないことを表している。図４の例は、下端のすべてのピクセルを始点として上端にあるピクセルを終点とする、上方向の最短経路を表す。図５の例は、上端のすべてのピクセルを始点として下端にあるピクセルを終点とする、下方向の最短経路を表す。それぞれ、経路が収束していることが分かる。つまり、始点の数よりも終点の数が少ないのであるから、始点の異なる複数の経路が同一の終点をもっている。

ここで、図４の例のすべての終点を始点とした場合に、下方向への最短経路を算出する処理を行う。この処理結果を図６の例に示す。このように、片方の方向のすべての経路の終点を、もう片方の方向の始点として経路を算出する作業（以下、往復、とする）により、さらに経路が収束する。つまり、図６は、１回の往復（上方向から下方向）によって得られる最短経路の例を示す説明図である。
以下、上方向を開始の方向として、２回の往復により得られた最短経路の例を図７に、３回の往復により得られた最短経路の例を図８に、往復により経路の始点終点に変化がなくなった状態で得られる最短経路の例を図９に示す。ここで、経路の始点終点に変化がなくなった状態とは、上方向の経路と下方向の経路が合致することをいい、合致とは、経路が一致することをいい、その方向は問わない。つまり、一方の始点は他方の終点となり、一方の終点は他方の始点となることである。
また、図９に例示する最短経路を分離経路として、図３に例示する画像を分離する様子を図１０の例に模式的に表す。つまり、画像３００は、分離経路１０１０、分離経路１０２０、分離経路１０３０、分離経路１０４０によって、文字画像３１０（文字「Ｓ」）と文字画像３２０（文字「Ｔ」）と文字画像３３０（文字「Ｕ」）との領域に分離されていることが分かる。
本実施の形態は、このように、経路の収束に基づき、分離経路の絞り込みを行うものである。

なお、本実施の形態において、往復の処理は、経路の始点と終点のペアのセットを利用することで、経路の始点と終点の中間のピクセルの位置等を記憶する必要がなくなり、処理対象とするデータ量も少なくなる。また、図９の例に示すような、完全に収束した経路は、経路の始点と終点のペアのセットだけを利用して、中間のピクセルの位置等がなくても算出され得るものである。
往復回数を指定する経路の算出（つまり、必ずしも完全な収束とはならない算出）は、往復回数に対して、分離経路数は単調減少であることを利用して、本実施の形態全体が要求に合わせて分離の度合いを調節するようにしてもよい。

以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
＜本実施の形態の基本構成例＞
まず、図１１に、本実施の形態（画像処理装置である経路抽出装置）の基本構成例についての概念的なモジュール構成図を示す。この基本構成例は、以下の処理を行う。
（１）経路情報算出処理：経路要求を受け取ると、対象画像を解析し、経路情報を算出する処理である。この処理は、次の２種類がある。
（ア）順方向の経路情報算出（順方向経路情報算出モジュール１１１０による処理）
（イ）逆方向の経路情報算出（逆方向経路情報算出モジュール１１３０による処理）
（２）経路選択（経路選択モジュール１１２０による処理）：経路情報を参照し、経路の収束に基づいて経路を選択する処理である。

（１）経路情報算出処理は、順方向経路情報算出モジュール１１１０、逆方向経路情報算出モジュール１１３０によって行われる。順方向経路情報算出モジュール１１１０、逆方向経路情報算出モジュール１１３０は、経路選択モジュール１１２０と接続されており、画像１１０１を解析し、前述した最短経路の情報（経路情報１１１１、１１３１）を算出する処理を行う。ここで、順方向とは出力する経路の方向であり、逆方向とは順方向と逆の方向である。例えば、図９の例に示す経路は、上方向が順方向、下方向が逆方向となる。

（２）経路選択は、経路選択モジュール１１２０によって行われる。経路選択モジュール１１２０は、順方向経路情報算出モジュール１１１０、逆方向経路情報算出モジュール１１３０と接続されており、順方向経路情報算出モジュール１１１０、逆方向経路情報算出モジュール１１３０が出力する順方向、逆方向の経路情報（経路情報１１１１、１１３１）を得る。さらに、得られた経路情報について、経路の収束を利用した経路の選択を行い、分離経路１１９９を出力する。
図１１の例において、破線で示す情報（開始要求１１０２、経路要求１１２１、経路要求１１２２）は必ずしも存在しない処理を表す。具体的に、開始要求は、経路選択の往復回数、初期方向、初期始点を指定する情報である。また、経路要求は、順方向経路情報算出モジュール１１１０、逆方向経路情報算出モジュール１１３０が経路情報を算出するための経路の始点を指定する情報である。

なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。
また、対象とする画像として、１行の横書きの複数文字の画像とした例を主に説明する。

＜実施の形態の分類＞
以降、実施の形態の例は、以下の項目によって分類している。
（１）往復回数
（２）経路情報の算出のタイミング
（３）絞り込む情報
（４）絞り込みの調節
つまり、表１の例に示すように分類している。

（１）往復回数は、前述した、往復を行う回数による分類である。往復を行う回数に対して、分離経路の数は単調減少である。第Ａ−１の実施の形態は、往復回数が１回（順方向、逆方向ともに１回）のものであり、他の実施の形態は、往復回数が複数の回数のものである。
（２）経路情報の算出のタイミングは、経路情報の算出について、予めすべての経路情報を算出するか（以下、予め一括して算出という）、又は、逐次必要な経路情報を算出する（以下、逐次算出という）か、による分類である。ワークメモリと、処理時間のトレードオフに関係する。第Ａ−２の実施の形態、第Ａ−３の実施の形態は、予め一括して算出するものであり、第Ａ−４の実施の形態、第Ａ−５の実施の形態は、逐次算出するものである。

（３）絞り込む情報は、最短経路の収束を利用した経路の絞り込みを行う際に、経路そのもの（始点、終点の位置の他にその中間にある経路上のピクセルの位置）を参照するか、又は、始点（若しくは、始点と終点のペア）を参照するか、による分類である。実装においては、ワークメモリ、処理時間の観から、主に後者が選択される。第Ａ−２の実施の形態、第Ａ−４の実施の形態は、経路そのものを参照するものであり、第Ａ−３の実施の形態、第Ａ−５の実施の形態は、始点を参照するものである。
（４）絞り込みの調節は、予め定められた往復回数による絞り込みの結果を分離経路とするか、又は、完全な収束の結果を分離経路とするか、による分類である。両者では、処理が異なる。また、予め一括して経路情報を算出する場合（第Ａ−２の実施の形態、第Ａ−３の実施の形態）において、完全な収束の結果を分離経路とする例を示す。なお、逐次算出によって、完全な収束の結果を得る実施の形態の例もあるが、これは、往復回数を無限大として、終了条件を付けるものであり、往復回数を指定するものと同等であるため、実施の形態を示さない。

＜第Ａ−１の実施の形態＞
図１２は、第Ａ−１の実施の形態の構成例についての概念的なモジュール構成図である。第Ａ−１の実施の形態の例は、１回の往復により、経路を絞り込むものであり、順方向経路算出モジュール１２１０、逆方向経路終点算出モジュール１２２０を有しており、順方向経路算出モジュール１２１０と逆方向経路終点算出モジュール１２２０は、接続されている。

第Ａ−１の実施の形態は、以下の処理を行う。
＜＜ｓｔｅｐ１．＞＞
逆方向経路算出モジュール１２２０は、画像１２０１と初期始点１２０２を受け付け、画像１２０１を解析することによって、初期始点１２０２に対応する最短経路の終点１２２１を算出し、順方向経路算出モジュール１２１０へ出力する。
＜＜ｓｔｅｐ２．＞＞
順方向経路算出モジュール１２１０は、画像１２０１を解析することによって、受け取った終点１２２１を始点として、その始点に対応する分離経路１２９９を算出し、出力し、終了する。
なお、順方向経路算出モジュール１２１０は、図１１の例に示した経路選択モジュール１１２０の役割も有していることになる。

＜第Ａ−２の実施の形態＞
第Ａ−２の実施の形態以降は、複数回の往復により、経路を絞り込む構成である。
図１３は、第Ａ−２の実施の形態の構成例についての概念的なモジュール構成図である。第Ａ−２の実施の形態の例は、予め一括して経路情報を算出し、これを絞り込むものであり、順方向経路算出モジュール１３１０、経路選択モジュール１３２０、逆方向経路始点終点表算出モジュール１３３０を有している。特に、予め一括してすべての経路情報を算出し、これを絞り込む場合について説明する。なお、すべての経路とは、対象とする画像の上端又は下端のすべてのピクセルを始点とする場合のすべての経路である。
また、第Ａ−２の実施の形態、第Ａ−３の実施の形態は、始めの１回のみ経路情報を算出するため、処理時間の削減を図る場合に用いられるものである。

第Ａ−２の実施の形態は、以下の処理を行う。
＜＜ｓｔｅｐ１．＞＞
逆方向経路始点終点表算出モジュール１３３０は、経路選択モジュール１３２０と接続されており、画像１３０１を解析することによって、始点終点表１３３１を算出し、経路選択モジュール１３２０へ出力する。
そして、順方向経路算出モジュール１３１０は、経路選択モジュール１３２０と接続されており、画像１３０１を解析することによって、すべての始点の経路１３１１を算出し、経路選択モジュール１３２０へ出力する。
＜＜ｓｔｅｐ２．＞＞
経路選択モジュール１３２０は、順方向経路算出モジュール１３１０、逆方向経路始点終点表算出モジュール１３３０と接続されており、順方向の経路１３１１と逆方向の始点終点表１３３１に基づいて、経路を絞り込み、分離経路１３９９として出力し、終了する。
なお、始点終点表については後述する。

＜第Ａ−３の実施の形態＞
図１４は、第Ａ−３の実施の形態の構成例についての概念的なモジュール構成図である。第Ａ−３の実施の形態の例は、始点終点表と経路作成情報のみを算出し、始点を絞り込んだのち、経路を算出するものであり、順方向経路始点終点表算出モジュール１４１０、始点選択モジュール１４２０、逆方向経路始点終点表算出モジュール１４３０、順方向経路作成モジュール１４４０を有している。

第Ａ−３の実施の形態は、以下の処理を行う。
＜＜ｓｔｅｐ１．＞＞
逆方向経路始点終点表算出モジュール１４３０は、始点選択モジュール１４２０と接続されており、画像１４０１を解析することによって、始点終点表１４３１を算出し、始点選択モジュール１４２０へ出力する。
そして、順方向経路始点終点表算出モジュール１４１０は、始点選択モジュール１４２０、順方向経路作成モジュール１４４０と接続されており、画像１４０１を解析することによって、始点終点表１４１１を算出し、始点選択モジュール１４２０へ出力する。さらに、経路作成情報１４１２を算出し、順方向経路作成モジュール１４４０へ出力する。
＜＜ｓｔｅｐ２．＞＞
始点選択モジュール１４２０は、順方向経路始点終点表算出モジュール１４１０、逆方向経路始点終点表算出モジュール１４３０、順方向経路作成モジュール１４４０と接続されており、順方向の経路の始点終点表１４１１と、逆方向の経路の始点終点表１４３１に基づいて、経路の始点１４２１の絞り込みを行い、順方向経路作成モジュール１４４０へ出力する。
＜＜ｓｔｅｐ３．＞＞
順方向経路作成モジュール１４４０は、順方向経路始点終点表算出モジュール１４１０、始点選択モジュール１４２０と接続されており、順方向経路始点終点表算出モジュール１４１０から受け取った経路作成情報１４１２に基づいて、始点選択モジュール１４２０から受け取った始点１４２１の経路を作成し、分離経路１４９９として出力する。

ここで、始点終点表について説明する。
始点終点表とは、経路の始点と終点のペアを保持した情報である。第Ａ−２の実施の形態（図１３）、第Ａ−３の実施の形態（図１４）における経路の絞り込み処理においては、経路の始点と終点のペアの情報を利用する。以下、この処理を説明する。
いま、順方向の始点終点表を数１とする。

また、逆方向の始点終点表をＴ’とする。数２は、位置ｘを始点とする経路の終点位置を表す。

始点終点表は、すべての始点の経路の始点と終点のペアの配列であり、ｗは対象とする画像の横幅（文字列方向の幅）である。
なお、第Ａ−２の実施の形態（図１３）の経路選択モジュール１３２０は、受け取った経路１３１１からＴを算出し、以下同様の処理を行うものとする。

ある経路を数３とする。

高さｙにおける経路の位置を数４とする。

例えば、上方向の経路の始点は数５であり、終点は数６である。

なお、ｈは対象とする画像の縦幅（文字列方向と垂直な方向の幅）である。順方向が上方向のとき、経路選択モジュール１３２０が受け付けた経路１３１１のセットを数７として、すべての数８について、数９とすることで、受け付けた経路からＴを算出する。また、順方向が下方向であれば、数１０とする。

また、出力する経路の方向である順方向と、往復回数によって、初めに参照する始点終点表の方向（初期方向とする）が定まる。具体的には、往復回数が奇数であれば、初期方向は逆方向であり、往復回数が偶数であれば、初期方向は順方向である。

経路の絞り込み処理は、往復回数を指定する経路の絞り込みと、完全な収束による経路の絞り込みで、処理が異なる。以下、それぞれについて説明する。
まず、往復回数を指定する経路（始点）の絞り込み処理は、数１１にしたがう。

次に、完全な収束による経路（始点）の絞り込み処理は、数１２にしたがう。

以上のようにして、始点のセットＳを得る。なお、第Ａ−２の実施の形態（図１３）の経路選択モジュール１３２０は、数１２の処理の後に、数１３としてＰ’を出力する。

なお、順方向が上方向であればｙ＝０であり、下方向であればｙ＝ｈ−１である。
数１２内の３行目の式は、ある方向の始点（Ａ）に対する終点（Ｂ）を、逆方向の始点（Ｂ）とした場合に、その結果である経路の終点が（Ａ）となることを示している。

＜第Ａ−４の実施の形態＞
複数回の往復により、経路を絞り込む構成のうち、逐次、必要な経路情報を算出する構成を第Ａ−４の実施の形態（図１５）、第Ａ−５の実施の形態（図１６）に示す。第Ａ−４の実施の形態は逐次経路を算出する構成であり、第Ａ−５の実施の形態は逐次始点を算出し、最後に経路を算出する構成である。
第Ａ−４の実施の形態、第Ａ−５の実施の形態に示す構成は、逐次、必要な経路情報を算出するため、ワークメモリの削減を図る場合に用いられるものである。
第Ａ−４の実施の形態は、順方向経路算出モジュール１５１０、逐次経路選択モジュール１５２０、逆方向経路終点算出モジュール１５３０を有している。
なお、開始要求（図１５の例に示す１５０２、図１６の例に示す１６０２）とは、初期の始点のセットである。

第Ａ−４の実施の形態は、以下の処理を行う。
＜＜ｓｔｅｐ１．＞＞
往復回数をＲとする。
逐次経路選択モジュール１５２０は、順方向経路算出モジュール１５１０、逆方向経路終点算出モジュール１５３０と接続されており、以下の処理を行う。
Ｒが偶数ならば、順方向経路算出モジュール１５１０に始点１５２１を出力し、ｓｔｅｐ２．へ進む。
そうでなければ、Ｒ←Ｒ−１として、逆方向経路終点算出モジュール１５３０に始点１５２２を出力し、ｓｔｅｐ４．へ進む。
＜＜ｓｔｅｐ２．＞＞
順方向経路算出モジュール１５１０は、逐次経路選択モジュール１５２０と接続されており、画像１５０１を解析することによって、受け付けたすべての始点１５２１の経路１５１１を算出し、逐次経路選択モジュール１５２０へ出力する。

＜＜ｓｔｅｐ３．＞＞
逐次経路選択モジュール１５２０は、Ｒ＝０であれば、受け付けた経路１５１１を分離経路１５９９として出力し、終了する。
そうでなければ、Ｒ←Ｒ−２として、受け付けた経路１５１１の始点を終点として、逆方向経路終点算出モジュール１５３０に始点１５２２を出力する。
＜＜ｓｔｅｐ４．＞＞
逆方向経路終点算出モジュール１５３０は、逐次経路選択モジュール１５２０と接続されており、画像１５０１を解析することによって、受け付けたすべての始点１５２２の経路の終点１５３１を算出し、逐次経路選択モジュール１５２０へ出力する。
＜＜ｓｔｅｐ５．＞＞
逐次経路選択モジュール１５２０は、受け付けた終点１５３１を始点として、順方向経路算出モジュール１５１０に出力し、ｓｔｅｐ２．へ進む。

＜第Ａ−５の実施の形態＞
図１６は、第Ａ−５の実施の形態の構成例についての概念的なモジュール構成図である。第Ａ−５の実施の形態は、順方向経路終点算出モジュール１６１０、逐次始点選択モジュール１６２０、逆方向経路終点算出モジュール１６３０、順方向経路算出モジュール１６４０を有している。

第Ａ−５の実施の形態は、以下の処理を行う。
＜＜ｓｔｅｐ１．＞＞
往復回数をＲとする。
逐次始点選択モジュール１６２０は順方向経路終点算出モジュール１６１０、逆方向経路終点算出モジュール１６３０、順方向経路算出モジュール１６４０と接続されており、以下の処理を行う。
Ｒが偶数ならば、順方向経路終点算出モジュール１６１０に始点１６２１を出力し、ｓｔｅｐ２．へ進む。
そうでなければ、Ｒ←Ｒ−１として、逆方向経路終点算出モジュール１６３０に始点１６２２を出力し、ｓｔｅｐ４．へ進む。
＜＜ｓｔｅｐ２．＞＞
順方向経路終点算出モジュール１６１０は、逐次始点選択モジュール１６２０と接続されており、画像１６０１を解析することによって、受け付けたすべての始点１６２１の経路の終点１６１１を算出し、逐次始点選択モジュール１６２０へ出力する。

＜＜ｓｔｅｐ３．＞＞
逐次始点選択モジュール１６２０は、Ｒ＝０であれば、受け付けた終点１６１１を始点１６２３として順方向経路算出モジュール１６４０へ出力し、ｓｔｅｐ６．へ進む。
そうでなければ、Ｒ←Ｒ−２として、受け付けた経路の終点１６１１を始点として、逆方向経路終点算出モジュール１６３０に始点１６２２を出力する。
＜＜ｓｔｅｐ４．＞＞
逆方向経路終点算出モジュール１６３０は、逐次始点選択モジュール１６２０と接続されており、画像１６０１を解析することによって、受け付けたすべての始点１６２２の経路の終点１６３１を算出し、逐次始点選択モジュール１６２０へ出力する。
＜＜ｓｔｅｐ５．＞＞
逐次始点選択モジュール１６２０は、受け付けた終点１６３１を始点１６２１として、順方向経路終点算出モジュール１６１０に出力し、ｓｔｅｐ２．へ進む。
＜＜ｓｔｅｐ６．＞＞
順方向経路算出モジュール１６４０は、逐次始点選択モジュール１６２０と接続されており、受け付けたすべての始点１６２３の経路を作成し、分離経路１６９９として出力し、終了する。

＜部分画像を出力する実施の形態＞
前述の実施の形態により算出した分離経路により、画像分離を行う構成を図１７、図１８、図１９、図２０の例に示す。これらの構成は、文字列画像から単文字どうしを分離し、単文字画像として出力しようとする構成である。図１７、図１８、図１９、図２０において、経路抽出モジュールとは、第Ａ−１の実施の形態（図１２）、第Ａ−２の実施の形態（図１３）、第Ａ−３の実施の形態（図１４）、第Ａ−４の実施の形態（図１５）、第Ａ−５の実施の形態（図１６）の構成である。そして、この出力した単文字画像を、例えば文字画像認識装置等によって処理させる。

図１７は、経路抽出モジュール１７２０を組み込んだ画像処理装置の構成例についての概念的なモジュール構成図である。この実施の形態は、分離経路によって、画像を分離し、部分画像を出力するものであり、画像分離モジュール１７１０、経路抽出モジュール１７２０を有している。
画像分離モジュール１７１０は、経路抽出モジュール１７２０と接続されており、文字列画像である画像１７０１を受け付け、その画像１７０１を経路抽出モジュール１７２０から受け取った分離経路１７２１にしたがって、単文字画像の領域に分離して、部分画像１７９９として出力する。

図１８は、経路抽出モジュール１８３０を組み込んだ画像処理装置の構成例についての概念的なモジュール構成図である。この実施の形態は、画像分離モジュール１８１０、画像分離モジュール１８２０、経路抽出モジュール１８３０を有している。
画像分離モジュール１８１０は、画像分離モジュール１８２０、経路抽出モジュール１８３０と接続されており、経路抽出モジュール１８３０の前処理として、分離候補領域抽出を行うものである。例えば、画像１８０１から文字画像だけを部分画像１８１１として取り出すものである。また、投影情報等を利用する従来技術で分離可能な単文字画像の分離を行い、分離できなかったもの（部分画像１８１１）を経路抽出モジュール１８３０に渡す。
画像分離モジュール１８２０は、画像分離モジュール１８１０、経路抽出モジュール１８３０と接続されており、画像分離モジュール１８１０から受け取った部分画像１８１１を経路抽出モジュール１８３０から受け取った分離経路１８３１にしたがって、単文字画像の領域に分離して、部分画像１８９９として出力する。なお、画像分離モジュール１８１０も単文字画像を分離する場合は、画像分離モジュール１８１０から画像分離モジュール１８２０へ渡す部分画像１８１１には、画像分離モジュール１８１０が分離した領域の単文字画像（経路抽出モジュール１８３０による処理の対象外の画像）も含まれ、それはそのまま部分画像１８９９として出力する。

図１９は、経路抽出モジュール１９３０を組み込んだ画像処理装置の構成例についての概念的なモジュール構成図である。この実施の形態は、画像分離モジュール１９１０、経路判定モジュール１９２０、経路抽出モジュール１９３０を有している。
経路判定モジュール１９２０は、画像分離モジュール１９１０、経路抽出モジュール１９３０と接続されており、経路抽出モジュール１９３０の出力する分離経路１９３１について、その経路によって正しい分離ができるか否かを判別する処理を行う。複数の分離経路間の出現間隔が他の分離経路間の出現間隔と比べて狭い場合（例えば、漢字構成としての偏、旁等）など、意味のない分離経路を棄却するものである。その判別の際に、画像１９０１を利用してもよい。
画像分離モジュール１９１０は、経路判定モジュール１９２０と接続されており、画像１９０１を経路判定モジュール１９２０から受け取った分離経路１９２１にしたがって、単文字画像の領域に分離して、部分画像１９９９として出力する。

図２０は、経路抽出モジュール２０４０を組み込んだ画像処理装置の構成例についての概念的なモジュール構成図である。この実施の形態は、画像分離モジュール２０１０、画像分離モジュール２０２０、経路判定モジュール２０３０、経路抽出モジュール２０４０を有している。これは、図１８、図１９の両者の例を組み合わせた構成である。
画像分離モジュール２０１０は、画像分離モジュール２０２０、経路判定モジュール２０３０、経路抽出モジュール２０４０と接続されており、図１８の例に示した画像分離モジュール１８１０と同等の処理を行う。
経路判定モジュール２０３０は、画像分離モジュール２０１０、画像分離モジュール２０２０、経路抽出モジュール２０４０と接続されており、図１９の例に示した経路判定モジュール１９２０と同等の処理を行う。
画像分離モジュール２０２０は、画像分離モジュール２０１０、経路判定モジュール２０３０と接続されており、図１９の例に示した画像分離モジュール１９１０と同等の処理を行う。ただし、対象とする画像は画像分離モジュール２０１０から受け取った部分画像２０１１である。

前述の実施の形態内で経路を算出する処理（例えば、第Ａ−１の実施の形態（図１２）内の順方向経路算出モジュール１２１０、逆方向経路終点算出モジュール１２２０等が行う処理）について、具体的に示した実施例を以下に説明する。
図１の例に示す最短経路について、図２１の例に示す最短経路を用いて、始点の異なる複数の最短経路情報を同時に算出する実施例を示す。なお、最短経路の算出法は、Ｄｉｊｋｓｔｒａ法など、いくつか選択肢がある。
図２１の例に示す最短経路について説明する。
あるピクセルを親として、終点方向（図２１では上方向）に隣り合うピクセル、及び、終点方向とは斜め４５度に存在するピクセルの３つのピクセルを子とする木構造を対象とする。この構造を繰り返し、図２１の例に示すように、画像２１００の端部のあるピクセル（始点２１１１）を根として、もう片方の端部（終点２１２１等）を葉として、画像高さが木の高さとなるような木を抽出する。
本実施の形態における最短経路とは、前述の木について、根から葉へ向かうすべての経路のうち経路上のピクセル（すなわち、節）の輝度値の累積値であるコストが最小又は最大である経路をさす。根が始点であり、また、葉が終点である。

まず、基本的な最短経路の算出処理例を数１４のアルゴリズムに示す。また、参考のため、図２２の例に処理対象の位置関係を示す。
この実施例は後方帰納的な処理であり、図２１の例に示す木の最短経路の探索法である。ただし、経路のコストは辺でなく節にある。＜ｓｔｅｐ２．画像解析＞と、＜ｓｔｅｐ３．経路作成＞とは、画像上の位置について処理を行う順序が逆であることに注意が必要である。この処理は、上方向の最短経路を算出する処理であるが、下方向はもちろんのこと、あらゆる方向に適用できることは明らかである。
なお、本処理は、「順方向経路算出」に相当する。また、ｓｔｅｐ３．以降が、「順方向経路作成」に相当する。

また、経路の終点のみを出力する場合、ｐ（ｈ−１）を参照してもよいが、ワークメモリを省略するために、ｓｔｅｐ３．以降を数１５のアルゴリズムのようにしてもよい。なお、本処理は、「順方向経路終点算出」、「逆方向経路終点算出」に相当する。

また、経路の始点終点表を算出する場合も、同様に数１６のアルゴリズムのようにしてもよい。なお、本処理は、「順方向経路始点終点表算出」、「逆方向経路始点終点表算出」に相当する。

ただし、各符号等の意味は、数１７に示す通りである。

また、前述の処理において、数１８、数１９の保持の方法に注意が必要である。

すなわち、数１８、数１９が保持する数値の個数は、画像サイズよりも小さな個数でよい。
具体的には、数１８は経路のコストに関する情報であり、ラインバッファである。処理においては、直前のラインのみ参照できればよく、数１８の保持部は２つのラインバッファでよい。また、数１９は経路の移動に関する情報であるが、処理において、経路が存在しない領域が逐次判明する。この領域分、保持する領域を逐次削減してもよい。
さらに、始点が指定された場合、図２３の例に示すように、前述の木構造を構成することから、最短経路を算出するために必要な情報は、画像サイズよりも小さいことがあり、数１８、数１９を保持する領域をさらに削減してもよい。なお、図２３の例は、画像２３００において、始点２３１１、始点２３１２とした場合、色付のピクセルは、解析において参照する必要があるピクセルであり、白色のピクセルは、解析において必ずしも参照する必要がないピクセルであることを示している。

＜実験結果Ａ＞
前述の実施の形態による実験結果を図２４、図２５、図２６を用いて説明する。
図２４は、対象とする画像（「Ｃｈａｒａｃｔｅｒ」の文字画像）の例を示す説明図である。図２５は、本実施の形態が対象とする画像を分離した例を示す説明図である。図２６は、対象とする画像の投影情報の例を示す説明図である。

これらについて、次の３つの観点から説明する。
（１）投影情報では分離できない文字画像間の間隙である領域であっても分離している。
対象画像内の“ｔｅｒ”の文字画像部分（図２４の例参照）については、図２６の例に示すように投影情報２６００では分離困難な文字画像間の間隙である。つまり、従来技術で投影情報を利用して分離しようとしても、図２６の例に示すように投影情報２６００には明確な谷がないため分離することは困難である。
このような画像に対して、本実施の形態は、図２５の例に示すように文字画像の周囲を通るような形状の分離経路を算出している。
（２）連結成分を分離している。
対象画像内の“ｈａｒ”、“ａｃｔ”及び“ｅｒ”の文字画像部分（図２４の例参照）について、隣り合う文字画像と連結している部分がある。
図２５の例に示すように、本実施の形態により、連結する文字画像をも分離している。前述したように最短経路による画像分離の仕組みにより、最短経路が移動可能な範囲内でコスト最小又はコスト最大の分離経路を算出しているからである。
（３）多値画像に対応している。
図２４の例に示す画像２４００は多値画像である。前述の実施の形態による処理は、２値画像を含む、多値画像に対応するものである。これにより、例えば、２値化に伴う、受け付けた画像毎の閾値設定を行う必要がなくなる。

なお、＜Ａ＞に記載の発明は、以下のように捉えることができる。
（Ａ１） 画像内から領域を分離するための第１の経路を示す情報である第１の経路情報を算出する第１の経路情報算出手段と、
前記第１の経路とは逆方向の経路であって、前記画像内から前記領域を分離するための第２の経路を示す情報である第２の経路情報を算出する第２の経路情報算出手段と、
前記第１の経路情報算出手段によって算出された第１の経路情報、前記第２の経路情報算出手段によって算出された第２の経路情報のいずれかを選択する経路選択手段
を具備することを特徴とする画像処理装置。
（Ａ２） 前記第１の経路及び前記第２の経路は、該経路上の画素の輝度値の累積値が予め定めた条件を満たす場合の経路である
ことを特徴とする（Ａ１）に記載の画像処理装置。
（Ａ３） 前記第２の経路情報算出手段は、前記第１の経路情報算出手段によって算出された第１の経路情報に基づいて、前記第２の経路情報を算出し、
前記第１の経路情報算出手段は、２回目以降の処理においては、前記第２の経路情報算出手段によって算出された第２の経路情報に基づいて、前記第１の経路情報を算出する
ことを特徴とする（Ａ１）又は（Ａ２）に記載の画像処理装置。
（Ａ４） 前記第１の経路情報算出手段による処理と前記第２の経路情報算出手段による処理は、該処理が予め定められた回数行われること、又は、前記第１の経路情報算出手段によって算出された第１の経路情報と前記第２の経路情報算出手段によって算出された第２の経路情報が合致すること、を終了の条件とする
ことを特徴とする（Ａ３）に記載の画像処理装置。

＜Ｂ＞
次に、＜Ａ＞に示した技術を前提とした実施の形態を説明する。ただし、分離経路の特徴として、「特開平０４−１００８９」に記載の技術に基づいて算出された分離経路を利用してもよい。
＜Ｂ＞の実施の形態の概要を説明する。本実施の形態では、投影分布又は連結成分を利用せず、分離経路を利用する。ここでの分離経路とは、前述した＜Ａ＞のものと同等である。なお、＜Ａ＞は、文字列の画像を受け付け、単文字又は準文字である部分画像を出力するための分離経路の算出に関するものであるが、＜Ｂ＞の実施の形態では、受け付けた文書の画像を、分離経路によって文字列である部分画像に分離して出力するものである。

＜Ｂ＞の実施の形態における分離経路は、経路上のコスト（すなわち、画素の輝度値の累積値）を最小又は最大とするように算出される。これに伴い、投影分布に現れない文字列どうしの分離境界を特定し、文字間に生じている連結を分離して、文字列どうしの分離境界を特定する。
また、段落を構成する文字列の方向は未知であるとき、これを判別する必要がある。＜Ｂ＞の実施の形態では、複数方向の分離経路を比較することで、文字列の方向を判別する。
文書の画像について、前述の分離経路を算出したとき、以下のような性質がある。
（１）正しい方向の分離経路は、誤った方向の分離経路に対して、歪曲が小さい。
（２）分離経路による分離が行われない（分離経路の数が２以下）場合、単文字又は単文字列である。

＜Ｂ＞に示す実施の形態は、画像内の文字の領域を分離する（以下、切り出しともいう）画像処理装置に関するものである。特に、文字認識技術の分野に利用される装置であり、対象とする文書の画像に含まれる文字列の方向を判別すること、文字列の画像を分離する装置に属する。
なお、以降の説明のため、文字認識の技術分野について補足する。文字認識における文字の分離技術を、便宜的に以下のように分類する。
（１）領域（文字領域、非文字領域）の属性判別及び分離
画像内の領域が文字領域であるか、文字ではない領域であるかを判別し、その領域を分離する。
（２）文字列領域の方向判別及び分離
画像（文字領域を含む）内から文字領域内の文字列の領域の方向（縦書き、横書き）を判別し、その文字列の領域を分離する。
（３）単文字領域の分離
画像（文字領域、文字列領域を含む）内から一文字ずつ分離する。

＜Ｂ＞に示す実施の形態は、特に前記（２）に属するものである。
さらに、前記（２）には２つの技術がある。すなわち、以下のことである。
Ａ）文字列の方向判別
Ｂ）文字列（領域）の分離
文字列の方向が未知の場合、前記（２）の性能は、すなわち、前記Ａ），Ｂ）の直列の性能である。＜Ｂ＞に示す実施の形態は、Ａ），Ｂ）を併合したものである。
また、分離経路を求める方向は、横方向（以下、水平方向ともいう。ただし、厳密な水平でなくてもよい）と縦方向（以下、垂直方向ともいう。ただし、厳密な垂直でなくてもよい）の２つとする。なお、分離経路とは、画像内の文字画像を分離する線分である。

本実施の形態は、分離経路の特徴量に基づいて、諸々の判別を行う。以下、分離経路の特徴量について説明する。
分離経路の特徴量は、その本数、個々の位置と形状、経路上の画素の輝度値（以下、画素の輝度値を画素値ともいう）から算出される。これらを表２に例示する。また、対応する記号を定義する。ここで、ｉは経路の本数に関係するインデックスである。

以下、表２に例示する特徴量についてそれぞれ説明する。
まず、特徴量「Ｎｕｍ」について、これは、分離経路の本数そのものを指す。
次に、特徴量「Ｃｕｒｌ_ｉ」について、これは、分離経路ｉの形状の歪曲の度合いを表す値である。ただし、ｉ≦Ｎｕｍである。ここで、歪曲とは、分離経路ｉの始点と終点から導かれる直線と、分離経路ｉとの差分値である。前者（分離経路ｉの始点と終点から導かれる直線）をｆ_ｉ（ｘ）、後者（分離経路ｉ）をｐ_ｉ（ｘ）とすれば、歪曲とは、

又は、

等となる。
次に、特徴量「Ｔｈｉｃｋ_ｉ」について、これは、分離経路ｉの太さを表す。文字列分離の目的においては、隣接する文字列どうしの間隙に相当する。ただし、ｉ≦Ｎｕｍである。
次に、特徴量「Ｃｏｓｔ_ｉ」について、これは、分離経路の算出により定義されるコストそのものである。又は、別途、分離経路ｉ上の画素値の累積値を求めてもよい。ただし、ｉ≦Ｎｕｍである。
さらに、前記の特徴量について、方向（水平、垂直）毎に分離経路の長さが異なるため、前記特徴量を分離経路の長さで正規化するようにしてもよい。
＜Ｂ＞に示す実施の形態では、「経路の特徴量算出処理」において、前記特徴量を算出するものとする。

＜Ｂ−１．１ 分離経路の算出における、予め定められた区間の解析単位について＞
図２７を用いて説明する。図２７は、分離経路の算出処理の例を示す説明図である。
＜Ａ＞に示した分離経路の算出、又は「特開平０４−１００８９」に記載の分離経路の算出は、分離経路の移動範囲内において、Ｃｏｓｔ_ｉが最小又は最大となる経路を算出するものである。このとき、分離経路の長さが長いほど、分離経路の移動範囲は広くなる。分離経路の移動範囲が必要以上に広い場合、図２７（ａ）に例示するように、局所の障害物パタン（障害物パタン２７３１〜障害物パタン２７４７、具体的な例として文字画像等がある）の存在が、分離経路の算出に大きな影響を与える。つまり、文字列の切り出しの目的から前記のことが分離の精度に消極的な影響を与えることがある。例えば、図２７（ａ）に例示するように、障害物パタン２７３６と障害物パタン２７４５は、ノイズ、書き込み等によって領域が接触してしまっているため、Ｃｏｓｔ_ｉが最小又は最大となる経路は、始点２７１１から上側の経路を通って終点２７１２へとつながる。

そこで、分離経路の算出において、対象とする画像内の文字画像の一部を含む予め定められた範囲内において、経路上にある画素値の累積値が予め定められた条件を満たす分離経路を算出する。具体的には、図２７（ｂ）に例示するように、対象画像を予め定められた区間の解析単位に分割し、ある区間の分離経路の終点を隣接する次の区間の始点として（例えば、領域２７５１における終点である中間点２７６２を、領域２７５２における始点としている）、次の区間の分離経路を求めることを繰り返すことで、分離経路の移動範囲を狭め、局所の障害物パタンの存在が分離経路の算出に与える影響を低減する。したがって、領域２７５４では、障害物パタン２７３６と障害物パタン２７４５の接触を横切って分離経路が算出され、分離経路の直進性を調節する。なお、予め定められた範囲としての領域２７５１等の大きさは、等分としてもよいし、それぞれ異なる大きさとしてもよい。例えば、対象とする画像に存在する文字のサイズを計測し、その文字サイズの倍数に基づいて領域２７５１等の大きさを定めるようにしてもよいし、文字が予め定められた個数分含まれるように領域２７５１等の大きさを定めるようにしてもよい。
特に、＜Ａ＞に示した技術では、分離経路の算出過程において、Ｃｏｓｔ_ｉに関するラインバッファを持つが、このとき、予め定められた長さ毎に前記ラインバッファを初期化するだけで、同等の処理が得られる。

＜Ｂ−１．２ 複数の等価な分離経路の結合について＞
＜Ａ＞に記載した技術のように分離経路を算出した後、複数の等価な分離経路を結合する。
ここで、複数の等価な分離経路を結合するには、分離経路の算出において、隣り合う分離経路どうしの間隙の幅が予め定められた条件を満たす場合に、その間隙にある画素の輝度値によらず、その隣り合う分離経路は等価であると判断し、結合する。又は、分離経路の算出において、隣り合う分離経路どうしの間隙にある画素の輝度値の累積値が予め定められた条件を満たす場合に、その隣り合う分離経路は等価であると判断し、結合する。

図２８を用いて説明する。図２８は、分離経路の結合処理の例を示す説明図である。隣接する２つの分離経路どうしについて、その間隙の障害物パタンによって、隣り合う分離経路は、分離の目的から等価なものであり、これを単一の分離経路として結合する。図２８では、分離経路２８１１〜分離経路２８１５を結合して分離経路２８５１にし、分離経路２８１６〜分離経路２８１９を結合して分離経路２８５２にし、分離経路２８２０と分離経路２８２１を結合して分離経路２８５３にし、分離経路２８２２、分離経路２８２３には他に等価な分離経路がないので、他の分離経路とは結合していない。なお、結合された分離経路は、１［ｐｉｘｅｌ］以上の太さを持つ。障害物パタン２８３１〜障害物パタン２８３７のうち、障害物パタン２８３４はノイズである。

図２９を用いて説明する。図２９は、分離経路の結合処理の例を示す説明図である。結合後の分離経路をｐａｔｈ_ｉとして、ｐａｔｈ_ｉ ＝ （ｔｏｐ＿ｐａｔｈ_ｉ，ｂｏｔｔｏｍ＿ｐａｔｈ_ｉ）と、分離経路の輪郭線である２つの分離経路で表す。このとき、結合前の分離経路をｓｒｃ＿ｐａｔｈ_ｊとすると、ｔｏｐ＿ｐａｔｈ_ｉ，ｂｏｔｔｏｍ＿ｐａｔｈ_ｉは、ｓｒｃ＿ｐａｔｈ_ｊを指すものとなる。３つ以上の分離経路の結合においては、端部でない分離経路（図２９の例では、分離経路２９１２であるｓｒｃ＿ｐａｔｈ_ｊ−１）が消去される。結合され、太さを持つｐａｔｈ_ｉは、「ｔｏｐ＿ｐａｔｈ_ｉ ≠ ｂｏｔｔｏｍ＿ｐａｔｈ_ｉ」である。また、そうでないｐａｔｈ_ｉは、「ｔｏｐ＿ｐａｔｈ_ｉ ＝ ｂｏｔｔｏｍ＿ｐａｔｈ_ｉ」である。なお、横方向の分離経路であるので、上端（ｔｏｐ）、下端（ｂｏｔｔｏｍ）の分離経路で示したが、縦方向の分離経路の場合は右端、左端の分離経路となる。
図２９の上側の３本の分離経路（分離経路２９１１〜分離経路２９１３）を結合した分離経路２９５１は、（２０）式のように表現される。すなわち、分離経路の輪郭線の情報で表現される。

また、図２９の下側の１本の分離経路（分離経路２９１４）は結合していないが、結合の表記に合わせると、（２１）式のように表現される。

ここで、隣り合う分離経路の間隙の広さが予め定められた条件を満たす場合（例えば、予め定められた量以下）であれば、障害物パタンの有無に限らず、分離経路を結合するようにしてもよい。また同様に、隣り合う分離経路の間隙のコスト（画素値の累積値）が予め定められた条件を満たす場合（例えば、予め定められた量以下）であれば、分離経路を結合するようにしてもよい。
また、分離経路の結合と特徴量の算出とを併合してもよい。例えば、ｐａｔｈ_ｉは、ｎ個のｓｒｃ＿ｐａｔｈ_ｊを結合したものとすれば、後述する特徴量であるＴｈｉｃｋ_ｉをｎとするようにしてもよい。

＜Ｂ−１．３ 分離経路の特徴量について＞
前述の分離経路の定義に基づいて、表２に示す分離経路の特徴量の具体例を示す。
以下では、簡単のため、横方向の分離経路について説明する。縦方向の分離経路については、上端を右端、下端を左端と読み替えることによって対応できる。以下、経路の始点を（ｘ_ｓ， ｙ_ｓ）、終点を（ｘ_ｅ， ｙ_ｅ）とし、ｘ_ｓ ＜ ｘ_ｅであるとする。なお、分離経路ｉについて、水平位置ｘにおける垂直位置ｙを「ｔｏｐ＿ｐａｔｈ_ｉ（ｘ）， ｂｏｔｔｏｍ＿ｐａｔｈ_ｉ（ｘ）」とする。また、水平位置ｘ、垂直位置ｙにおける、対象画像の画素値をｉｍｇ（ｘ， ｙ）とする。ここでは、簡単のため、ｉｍｇ（ｘ， ｙ）の値が大きいほど、障害物パタンであるとする。

まず、特徴量「Ｎｕｍ」は、結合後の分離経路の本数である。
次に、特徴量「Ｃｕｒｌ_ｉ」は、（２２）式、（２３）式、（２４）式、（２５）式等を用いて抽出する。

次に、特徴量「Ｔｈｉｃｋ_ｉ」は、（２６）式、（２７）式、（２８）式等を用いて抽出する。

次に、特徴量「Ｃｏｓｔ_ｉ」は、（２９）式、（３０）式、（３１）式等を用いて抽出する。

前記の特徴量について、図３０を用いて説明する。図３０は、（２２）式、（２６）式の特徴量を主として説明している。つまり、図３０の例に示す分離経路３０１１の特徴量であるＴｈｉｃｋ_ｉは、（２２）式を用いて抽出し、分離経路３０１２の特徴量であるＣｕｒｌ_ｉ＋１は、（２６）式を用いて抽出している。分離経路３０１１は１以上の太さを持ち、分離経路３０１２は１の太さを持つ。
Ｃｕｒｌ_ｉについて、分離経路３０１２を用いて説明する。図３０の例では実線の分離経路３０１２に対して、その始点と終点を通る直線ｆ（ｘ）（（３２）式）との差分（射線部の面積）を、分離経路３０１２の長さ（＝ ｘ_ｅ−ｘ_ｓ）で正規化したものである。

Ｃｕｒｌ_ｉについては、（２２）式、（２３）式、（２４）式のように、始点と終点を結ぶ直線との差分を評価するようにしてもよい。具体的には、（２２）式は太さを持たない経路と前記直線との差分の絶対値、（２３）式は太さを持たない経路と前記直線との差分の２乗誤差、（２４）式は太さを持つ経路について中心線を算出した場合の（２２）式と同様の差分の絶対値である。また、（２５）式のように、経路そのものの微分値を（微分距離ｄ_［ｐｘ］）評価するようにしてもよい。
Ｔｈｉｃｋ_ｉについては、（２６）式、（２７）式、（２８）式のように、最大値、最小値、又は、平均値を用いるようにしてもよい。

Ｃｏｓｔ_ｉについては、（２９）式、（３０）式のように、経路上の画素値の累積値を評価するようにしてもよい。具体的には、（２９）式は、経路上の画素値の累積値を評価する例である。（３０）式は、経路の中心線上の画素値の累積値を評価する例である。さらに、（３１）式のように、経路の湾曲によって、重みづけをした経路上の画素値の累積値を評価するようにしてもよい。つまり、経路上にある画素の輝度値と経路の移動に基づく重み係数との積の累積値が予め定められた条件を満たす分離経路を算出するようにしてもよい。重み係数は、ｐ_ｉ（ｘ）とｐ_ｉ（ｘ＋１）との関係に基づいて定まる。具体的には、両方が同じ場合（つまり、直線の場合）は重み係数（ｃ_ｉ）を１とし、異なる場合（つまり、斜線の場合）は重み係数（ｃ_ｉ）ｃ（１より大きい値）とする。

＜Ｂ−２ 実施の形態＞
ここでは、文書の画像を対象とし、文字列の分離、文字列の方向判別を行う実施の形態を説明する。
＜第Ｂ−１の実施の形態＞
文書の画像を受け付け、文字列の分離を行う実施の形態を説明する。
第Ｂ−１の実施の形では、受け付ける文書の画像の文字列の方向は既知であるものとする。

図３１は、第Ｂ−１の実施の形態の構成例についての概念的なモジュール構成図である。第Ｂ−１の実施の形態の例は、既知である文字列方向の分離経路を算出し、この分離経路に基づいて、画像を分離し、出力するものであって、画像受付モジュール３１１０、分離経路算出モジュール３１２０、画像分離モジュール３１３０を有している。

画像受付モジュール３１１０は、分離経路算出モジュール３１２０、画像分離モジュール３１３０と接続されている。画像３１００を受け付けて、その画像を分離経路算出モジュール３１２０、画像分離モジュール３１３０へ渡す。画像を受け付けるとは、例えば、スキャナ、カメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている画像を読み出すこと等が含まれる。画像は、２値画像、多値画像（カラー画像を含む）であってもよい。受け付ける画像は、１枚であってもよいし、複数枚であってもよい。また、画像の内容として、少なくとも文字画像が含まれていれば、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。

分離経路算出モジュール３１２０は、画像受付モジュール３１１０、画像分離モジュール３１３０と接続されている。分離経路算出モジュール３１２０は、画像受付モジュール３１１０によって受け付けられた画像に対して、その画像内の文字画像を分離する分離経路を算出する。例えば、＜Ａ＞、＜Ｂ−１．１ 分離経路の算出における、予め定められた区間の解析単位について＞、＜Ｂ−１．２ 複数の等価な分離経路の結合について＞に示した技術を適用して実現される。なお、画像受付モジュール３１１０によって受け付けられた画像の文字列方向は既知であるので、その方向の分離経路を算出すればよい。

画像分離モジュール３１３０は、画像受付モジュール３１１０、分離経路算出モジュール３１２０と接続されている。画像分離モジュール３１３０は、分離経路算出モジュール３１２０によって算出された分離経路により、画像受付モジュール３１１０によって受け付けられた画像を複数の文字列の画像へ分離する。例えば、ｂｏｔｔｏｍ＿ｐａｔｈ_ｉ−１とｔｏｐ＿ｐａｔｈ_ｉの間隙の領域を分離する処理である。ここで、前記経路上に、障害物パタンが予め定められた量以上存在する場合、すなわち、Ｃｏｓｔ_ｉ−１、又は、Ｃｏｓｔ_ｉ−１が予め定められた量以上である場合、ｔｏｐ＿ｐａｔｈ_ｉ−１とｔｏｐ＿ｐａｔｈ_ｉ、ｂｏｔｔｏｍ＿ｐａｔｈ_ｉ−１とｂｏｔｔｏｍ＿ｐａｔｈ_ｉ、又は、ｔｏｐ＿ｐａｔｈ_ｉ−１とｂｏｔｔｏｍ＿ｐａｔｈ_ｉ の間隙の領域を分離することで、出力される文字列の画像において、文字パタンの一部が失われないようにする。

＜第Ｂ−２の実施の形態＞
文書の画像を受け付け、文字列の方向判別を行う実施の形態を説明する。
図３２は、第Ｂ−２の実施の形態の構成例についての概念的なモジュール構成図である。第Ｂ−２の実施の形態の例は、水平方向、垂直方向の分離経路を算出し、それぞれの分離経路の特徴量を算出し、これらの特徴量を比較し、文字列の方向と状態を判別し、出力するものであって、画像受付モジュール３２１０、水平方向分離経路算出モジュール３２２０、垂直方向分離経路算出モジュール３２３０、経路特徴量算出モジュール３２４０、分離方向判別モジュール３２５０を有している。

画像受付モジュール３２１０は、水平方向分離経路算出モジュール３２２０、垂直方向分離経路算出モジュール３２３０と接続されており、第Ｂ−１の実施の形態における画像受付モジュール３１１０と同等の処理を行う。画像３２００を受け付け、水平方向分離経路算出モジュール３２２０、垂直方向分離経路算出モジュール３２３０に渡す。なお、画像３２００内の文字列の方向は既知ではない。したがって、複数方向（ここでは、水平方向と垂直方向）の分離経路を算出する必要がある。なお、ここでは、画像３２００は単段落の文書の画像であるとする。

水平方向分離経路算出モジュール３２２０は、画像受付モジュール３２１０、経路特徴量算出モジュール３２４０と接続されており、垂直方向分離経路算出モジュール３２３０は、画像受付モジュール３２１０、経路特徴量算出モジュール３２４０と接続されている。画像受付モジュール３２１０、水平方向分離経路算出モジュール３２２０は、第Ｂ−１の実施の形態における分離経路算出モジュール３１２０に該当し、複数方向の分離経路を算出し、その分離経路を経路特徴量算出モジュール３２４０へ渡す。
水平方向分離経路算出モジュール３２２０は、画像受付モジュール３２１０によって受け付けられた画像に対して、その画像内の文字画像を分離する横方向の線分である分離経路を算出する。例えば、＜Ａ＞、＜Ｂ−１．１ 分離経路の算出における、予め定められた区間の解析単位について＞、＜Ｂ−１．２ 複数の等価な分離経路の結合について＞に示した技術を適用して実現される。
垂直方向分離経路算出モジュール３２３０は、画像受付モジュール３２１０によって受け付けられた画像に対して、その画像内の文字画像を分離する縦方向の線分である分離経路を算出する。例えば、＜Ａ＞、＜Ｂ−１．１ 分離経路の算出における、予め定められた区間の解析単位について＞、＜Ｂ−１．２ 複数の等価な分離経路の結合について＞に示した技術を適用して実現される。

経路特徴量算出モジュール３２４０は、水平方向分離経路算出モジュール３２２０、垂直方向分離経路算出モジュール３２３０、分離方向判別モジュール３２５０と接続されている。水平方向分離経路算出モジュール３２２０、垂直方向分離経路算出モジュール３２３０によって算出された複数方向の分離経路の特徴量を算出し、その特徴量を分離方向判別モジュール３２５０へ渡す。例えば、経路特徴量算出モジュール３２４０は、前述した特徴量の算出、例えば、（２２）式、（２６）式、（２９）式と、これらの統計値の算出により、実現される。以下では、特徴量Ｆの最大値をＭａｘＦ、最小値をＭｉｎＦ、平均値をＡｖｇＦとする。例えば、歪曲の最大値であれば、ＭａｘＣｕｒｌとする。

分離方向判別モジュール３２５０は、経路特徴量算出モジュール３２４０と接続されている。経路特徴量算出モジュール３２４０によって算出された特徴量に基づいて、画像の分離方向及び文字画像の状態を判別し、その判別の結果によって複数方向の分離経路のうちの分離経路を選択する。具体的には、図３３に例示したフローチャートにしたがう。図３３は、分離方向判別モジュール３２５０が行う方向判別の処理の例を示すフローチャートである。

図３３に例示したフローチャートは、分離方向判別モジュール３２５０が表３、表４、表５、表６、表７を用いて判別を行う。以下、このことについて説明する。

分離方向判別モジュール３２５０では、水平方向分離経路算出モジュール３２２０、垂直方向分離経路算出モジュール３２３０から渡された横方向、縦方向の分離経路の特徴量を比較し、対象画像の分離方向（すなわち、出力する文字列の方向、以下、「方向」とする）と、対象画像の状態（以下、「状態」とする）を判別する。それぞれ、以下の値をとりうる変数である。
「方向」は、以下の３つの値をとりうる。
（１）Ｈ：水平
（２）Ｖ：垂直
（３）⊥：判別不能
また、「状態」は、以下の４つの値をとりうる。
（１）Ｐ：単段落
（２）Ｔ：単文字列
（３）Ｃ：単文字
（４）⊥：判別不能

図３３に例示するフローチャートにおける、表を用いた判別は、まず、表３を用いた判別により、対象画像が単文字か、単文字列か、それ以外かを判別する。これは、分離経路の本数Ｎｕｍによる判別により実現される。つまり、横方向の分離経路と縦方向の分離経路が２本であるならば、単文字（Ｃ）である。いずれか一方が２本であるならば、単文字列（Ｔ）であり、横方向の分離経路が２本であるならば、方向は水平（Ｈ）であり、縦方向の分離経路が２本であるならば、方向は垂直（Ｖ）である。両方が２本でないならば、何もしない（状態は判別不能（⊥）のままである）。
表４、表５、表６、表７を用いた判別は、それぞれ、分離経路の特徴量によって、文字列の方向を判別するものである。

図３３に例示するフローチャートでは、順番として「Ｎｕｍによる判別」（表３）、「Ｃｕｒｌによる判別」（表４、表５）、「Ｔｈｉｃｋによる判別」（表６）、「Ｃｏｓｔによる判別」（表７）の順に判別を行う。以下、この順番について説明する。
まず、分離方向判別モジュール３２５０による方向判別は、分離経路の形状に基づいて文字列の方向を判別するものである。このため、形状の情報に基づく判別でない「Ｃｏｓｔによる判別」は、最も優先度の低い、最後段に設置する。
次に、形状の情報に基づく判別である「Ｃｕｒｌによる判別」、「Ｔｈｉｃｋによる判別」について、箇条書きのような配置に対応するためには、必ずしも、ＭａｘＴｈｉｃｋ又はＡｖｇＴｈｉｃｋが最大の方向が文字列の方向ではない場合があり得る。ゆえに、「Ｔｈｉｃｋによる判別」（表６）の前段に、「Ｃｕｒｌによる判別」（表４、表５）を設置する。
次に、「Ｃｕｒｌによる判別」について、対象となっている文書の画像によって、必ずしも、水平方向、垂直方向について、算出される分離経路の総数が同じであるとは限らない（すなわち、縦に長い横書き、又は、横に長い縦書き等があり得る）。ある方向の分離経路の平均値は、分離経路の総数に影響されるため、「ＡｖｇＣｕｒｌによる判別」（表５）の前段に、「ＭａｘＣｕｒｌによる判別」（表４）を設置する。
以上の設計は、複数の文字列によって構成されている文書の画像を想定した判別であるが、対象とする文書の画像は必ずしも複数の文字列によって構成されているとは限らない。このため、最前段に「Ｎｕｍによる判別」（表３）を設置し、対象となっている文書の画像が、単文字か、単文字列か、それ以外かを判別する。

ステップＳ３３０２では、「方向」変数に⊥（判別不能）を代入し、「状態」変数に⊥（判別不能）を代入する。
ステップＳ３３０４では、表３のＮｕｍによる判別を行う。
ステップＳ３３０６では、「状態」変数は判別不能（状態＝＝⊥）か否かを判断し、「状態」変数が判別不能の場合はステップＳ３３０８へ進み、それ以外の場合はステップＳ３３２２へ進む。
ステップＳ３３０８では、表４のＭａｘＣｕｒｌによる判別を行う。つまり、横方向のＭａｘＣｕｒｌが縦方向のＭａｘＣｕｒｌよりも小であるならば、方向は水平（Ｈ）であり、状態は単段落（Ｐ）である。横方向のＭａｘＣｕｒｌが縦方向のＭａｘＣｕｒｌよりも大であるならば、方向は垂直（Ｖ）であり、状態は単段落（Ｐ）である。それ以外（両方が同じ）ならば、何もしない（状態は判別不能（⊥）のままである）。

ステップＳ３３１０では、「状態」変数は判別不能（状態＝＝⊥）か否かを判断し、「状態」変数が判別不能の場合はステップＳ３３１２へ進み、それ以外の場合はステップＳ３３２２へ進む。
ステップＳ３３１２では、表５のＡｖｇＣｕｒｌによる判別を行う。つまり、横方向のＡｖｇＣｕｒｌが縦方向のＡｖｇＣｕｒｌよりも小であるならば、方向は水平（Ｈ）であり、状態は単段落（Ｐ）である。横方向のＡｖｇＣｕｒｌが縦方向のＡｖｇＣｕｒｌよりも大であるならば、方向は垂直（Ｖ）であり、状態は単段落（Ｐ）である。それ以外（両方が同じ）ならば、何もしない（状態は判別不能（⊥）のままである）。

ステップＳ３３１４では、「状態」変数は判別不能（状態＝＝⊥）か否かを判断し、「状態」変数が判別不能の場合はステップＳ３３１６へ進み、それ以外の場合はステップＳ３３２２へ進む。
ステップＳ３３１６では、表６のＡｖｇＴｈｉｃｋによる判別を行う。つまり、横方向のＡｖｇＴｈｉｃｋが縦方向のＡｖｇＴｈｉｃｋよりも大であるならば、方向は水平（Ｈ）であり、状態は単段落（Ｐ）である。横方向のＡｖｇＴｈｉｃｋが縦方向のＡｖｇＴｈｉｃｋよりも小であるならば、方向は垂直（Ｖ）であり、状態は単段落（Ｐ）である。それ以外（両方が同じ）ならば、何もしない（状態は判別不能（⊥）のままである）。

ステップＳ３３１８では、「状態」変数は判別不能（状態＝＝⊥）か否かを判断し、「状態」変数が判別不能の場合はステップＳ３３２０へ進み、それ以外の場合はステップＳ３３２２へ進む。
ステップＳ３３２０では、表７のＡｖｇＣｏｓｔによる判別を行う。つまり、横方向のＡｖｇＣｏｓｔが縦方向のＡｖｇＣｏｓｔよりも小であるならば、方向は水平（Ｈ）であり、状態は単段落（Ｐ）である。横方向のＡｖｇＣｏｓｔが縦方向のＡｖｇＣｏｓｔよりも大であるならば、方向は垂直（Ｖ）であり、状態は単段落（Ｐ）である。それ以外（両方が同じ）ならば、何もしない（状態は判別不能（⊥）のままである）。
ステップＳ３３２２では、「方向」変数と「状態」変数の組である（方向，状態）を出力する。

さらに、図３２に例示した構成に、画像分離モジュールを付加し、その画像分離モジュールは分離方向判別モジュール３２５０によって選択された分離経路により、画像受付モジュール３２１０によって受け付けられた画像を複数の部分画像へ分離するようにしてもよい。

＜第Ｂ−３の実施の形態＞
次に、文書の画像を受け付け、文字列の方向判別と、分離の処理を行う実施の形態を説明する。
図３４は、第Ｂ−３の実施の形態の構成例についての概念的なモジュール構成図である。第Ｂ−３の実施の形態は、水平方向、垂直方向の分離経路を算出し、これらを一旦保持し、それぞれの分離経路の特徴量を算出し、これらの特徴量を比較し、文字列の方向と状態を判別し、判別された方向の分離経路を選択し、これらに基づいて、画像分離を行うものであって、画像受付モジュール３２１０、水平方向分離経路算出モジュール３２２０、垂直方向分離経路算出モジュール３２３０、分離経路記憶モジュール３４３５、経路特徴量算出モジュール３２４０、分離方向判別モジュール３２５０、画像分離モジュール３４６０を有している。

なお、前述の実施の形態と同種の構成要素には同一符号を付し重複した説明を省略する。つまり、分離経路記憶モジュール３４３５と画像分離モジュール３４６０以外は、第Ｂ−２の実施の形態（図３２）の構成要素と同等である。
分離経路記憶モジュール３４３５は、水平方向分離経路算出モジュール３２２０、垂直方向分離経路算出モジュール３２３０、経路特徴量算出モジュール３２４０、画像分離モジュール３４６０と接続されており、水平方向分離経路算出モジュール３２２０、垂直方向分離経路算出モジュール３２３０によって算出された分離経路を記憶する。そして、その分離経路を経路特徴量算出モジュール３２４０又は画像分離モジュール３４６０へ渡す。

画像分離モジュール３４６０は、画像受付モジュール３２１０、分離経路記憶モジュール３４３５、分離方向判別モジュール３２５０と接続されている。
画像分離モジュール３４６０が行う判断、処理を表８に示す。

画像分離モジュール３４６０は、「方向」変数が判別不能（⊥）以外の場合であって、「状態」変数が単文字列（Ｔ）、単文字（Ｃ）、判別不納（⊥）以外の場合（つまり、単段落（Ｐ）の場合）、分離方向判別モジュール３２５０によって判別された方向の分離経路を分離経路記憶モジュール３４３５から選択し、画像受付モジュール３２１０が受け付けた画像を複数の部分画像に分離する。「方向」変数が判別不能（⊥）の場合、又は、「状態」変数が単文字列（Ｔ）、単文字（Ｃ）、判別不納（⊥）の場合（つまり、単段落（Ｐ）以外の場合）、分離経路を選択せず、画像を分離することはしないで、対象となっている文書の画像をそのまま出力する。

＜実験結果Ｂ＞
＜Ｂ＞に示した実施の形態による実験結果を、この実施の形態を用いないで行った場合と比較して説明する。
まず、本実施の形態を用いないで行った場合について説明する。本実施の形態を用いないで行った場合として背景技術で説明した技術がある。そのアプローチは、大きく２つに分類される。つまり、投影分布に基づくアプローチと、連結成分に基づくアプローチである。なお、連結成分の外接矩形の投影分布によるものは、投影分布に基づくアプローチに属するものとする。
それぞれ基本とする情報（すなわち、投影分布、連結成分）について、特徴量を算出し、複数方向の特徴量について、それぞれ比較することで、文字列の方向判別又は切り出しを行う。
投影分布による文字列の方向判別では、投影分布の値又はその形状（例えば、山、谷）の特徴を比較する。例えば、特許文献１では、水平方向及び垂直方向の投影分布の最大値を特徴量として、方向判別を行う。
連結成分による文字列の方向判別では、連結成分どうしの位置関係の特徴を比較する。例えば、特許文献２では、水平方向及び垂直方向について、最小距離が得られる連結成分の対の数を比較することで、方向判別を行う。一方、例えば、特許文献４では、水平方向及び垂直方向について、連結成分の外接矩形どうしの平均間隔を比較することで、方向判別を行う。
投影分布による文字列の切り出しでは、文字列の方向の投影分布について、文字列の間隙に相当する投影分布の谷を特定し、分離境界とする。
連結成分による文字列の切り出しでは、隣接する連結成分を文字列として統合する。このとき、文字列の方向が既知であれば、この情報を有効に活用する。また、連結成分の統合により、方向判別と切り出しを併合して行うことのできる学術文献（ＬＯ’Ｇｏｒｍａｎ， “Ｔｈｅ Ｄｏｃｕｍｅｎｔ Ｓｐｅｃｔｒｕｍ ｆｏｒ Ｐａｇｅ Ｌａｙｏｕｔ Ａｎａｌｙｓｉｓ，” ＩＥＥＥ ＴＰＡＭＩ， Ｖｏｌ．１５， Ｎｏ．１１， Ｎｏｖ．１９９３， ｐｐ１１６２−１１７３）のような方式もある。
図３５は、投影分布の例を示す説明図である。図３５（ａ）は水平・垂直方向の投影分布の例であり、図３５（ｂ）は連結成分の外接矩形の水平・垂直方向の投影分布の例である。図３５の例に示す文書の画像は、文字が密に配置されている。このような画像からは、文字列の切り出しを行うために有効な投影分布及び連結成分が得られないことがある。一般に、投影分布は文書画像のスキューの影響が大きく、連結成分は文書画像を構成する単文字のパタン（言語、装飾、等）、非文字のパタン（アンダーライン、ノイズ、等）による影響が大きい。特に、図３５の例に示すように、文字が密に配置された文書の画像では前述の影響が顕著となる。このような状況では、文字列どうしの分離境界の情報が現れないこと、水平方向及び垂直方向で十分な差異が現れないこととなる。

次に、＜Ｂ＞の実施の形態で用いた分離経路について、図３６、図３７を用いて説明する。図３６、図３７は、水平、垂直方向の分離経路の例を示す説明図であり、対象とする画像である段落画像に対して、分離経路を、水平方向と垂直方向についてそれぞれ算出したものである。段落を構成する文字列の方向と同じ方向の分離経路は直線に近い形状であるのに対し、文字列と異なる方向の分離経路は歪曲している（図３６参照）。また、分離経路の歪曲の程度が同等であっても、太さが異なる（図３７参照）。＜Ｂ＞の実施の形態では、これらの特徴を定量的に評価し、特徴量として比較することで、文字列の方向判別を実現する。具体的には、分離経路の本数、個々の位置と形状及び経路上の画素値に基づいて特徴量を抽出する。
また、＜Ｂ＞の実施の形態では、分離経路の数により、対象としている画像が単段落であるか、単文字であるか、単文字列であるかを判別する。この様子を図３８の例に示す。すなわち、正しい方向と、誤った方向の分離経路とが、文字列の方向判別のために有効な差異をもつことを利用している。

＜Ｂ＞の実施の形態による文字列切り出しの例を図３９、図４０、図４１に示す。
図３９の例は、第Ｂ−３の実施の形態による文字列切り出しの結果である。文書の画像を受け付け、状態＝Ｐ、すなわち、画像は単段落であると判別した。また、文字列の方向が水平であると判別した。この結果、分離経路によって、隣接（近接）する文字列が分離されていることが分かる（図３９（ｂ）、（ｃ）の拡大図参照）。
図４０（ａ）の例は＜Ｂ＞の実施の形態による切り出し結果であり、図４０（ｂ）の例は対象とした画像と投影分布であり、図４０（ｃ）の例は連結成分の外接矩形である。図４０の例から分かるように、＜Ｂ＞の実施の形態により、投影分布に現れない分離境界を特定すること、複数文字の連結を分離すること、単文字の誤分離を統合し、文字列の方向判別及び切り出しも行われている。
また、図４１の例から分かるように、図３９（ｂ）の例に示すような密に文字の配置された画像のみでなく、図３７の例に示すような文字列どうしの間隙の広い画像についても、＜Ｂ＞の実施の形態によって文字列の切り出しが行われている。

図４２を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図４２に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部４２１７と、プリンタなどのデータ出力部４２１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４２０１は、前述の実施の形態において説明した各種のモジュール、すなわち、順方向経路情報算出モジュール１１１０、経路選択モジュール１１２０、逆方向経路情報算出モジュール１１３０、画像分離モジュール１７１０、分離経路算出モジュール３１２０、画像分離モジュール３１３０、水平方向分離経路算出モジュール３２２０、垂直方向分離経路算出モジュール３２３０、経路特徴量算出モジュール３２４０、分離方向判別モジュール３２５０、画像分離モジュール３４６０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２０２は、ＣＰＵ４２０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４２０３は、ＣＰＵ４２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス４２０４により相互に接続されている。

ホストバス４２０４は、ブリッジ４２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス４２０６に接続されている。

キーボード４２０８、マウス等のポインティングデバイス４２０９は、操作者により操作される入力デバイスである。ディスプレイ４２１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４２１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ４２０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、対象とする画像、経路情報、特徴量、文字列画像などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ４２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体４２１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース４２０７、外部バス４２０６、ブリッジ４２０５、及びホストバス４２０４を介して接続されているＲＡＭ４２０３に供給する。リムーバブル記録媒体４２１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート４２１４は、外部接続機器４２１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部をもつ。接続ポート４２１４は、インタフェース４２０７、及び外部バス４２０６、ブリッジ４２０５、ホストバス４２０４等を介してＣＰＵ４２０１等に接続されている。通信部４２１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部４２１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部４２１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図４２に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図４２に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図４２に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

前述の＜Ａ＞の実施の形態においては、対象とする画像として、１行の横書きの複数文字の画像とした例を用いて説明したが、もちろん縦書きの文字画像であってもよい。その場合、上方向、下方向とあるのは、右方向、左方向となる。また、文字画像の領域を分離する以外に、その他のオブジェクトの画像（例えば、写真内の人物画像、顔画像等）の領域を分離するのに用いてもよい。
前述の＜Ｂ＞の実施の形態においては、文字列の画像として、横書きの文字列の画像とした例を用いて説明したが、もちろん縦書きの文字列の画像であってもよい。その場合、上方向、下方向とあるのは、右方向、左方向となる。例えば、図４０に示した例を縦書きの文字列と考えればよい。
前述の実施の形態においては、数式を用いて説明したが、数式には、その数式と同等のものが含まれる。同等のものとは、その数式そのものの他に、最終的な結果に影響を及ぼさない程度の数式の変形、又は数式をアルゴリズミックな解法で解くこと等が含まれる。
なお、前述の各種の実施の形態（実施例を含む）を組み合わせてもよく（例えば、ある実施の形態内のモジュールを他の実施の形態内に適用する、入れ替えする等も含む）、各モジュールの処理内容として背景技術で説明した技術を採用してもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

１１１０…順方向経路情報算出モジュール
１１２０…経路選択モジュール
１１３０…逆方向経路情報算出モジュール
１２１０…順方向経路算出モジュール
１２２０…逆方向経路終点算出モジュール
１３１０…順方向経路算出モジュール
１３２０…経路選択モジュール
１３３０…逆方向経路始点終点表算出モジュール
１４１０…順方向経路始点終点表算出モジュール
１４２０…始点選択モジュール
１４３０…逆方向経路始点終点表算出モジュール
１４４０…順方向経路作成モジュール
１５１０…順方向経路算出モジュール
１５２０…逐次経路選択モジュール
１５３０…逆方向経路終点算出モジュール
１６１０…順方向経路終点算出モジュール
１６２０…逐次始点選択モジュール
１６３０…逆方向経路終点算出モジュール
１６４０…順方向経路算出モジュール
１７１０…画像分離モジュール
１７２０…経路抽出モジュール
１８１０…画像分離モジュール
１８２０…画像分離モジュール
１８３０…経路抽出モジュール
１９１０…画像分離モジュール
１９２０…経路判定モジュール
１９３０…経路抽出モジュール
２０１０…画像分離モジュール
２０２０…画像分離モジュール
２０３０…経路判定モジュール
２０４０…経路抽出モジュール
３１１０…画像受付モジュール
３１２０…分離経路算出モジュール
３１３０…画像分離モジュール
３２１０…画像受付モジュール
３２２０…水平方向分離経路算出モジュール
３２３０…垂直方向分離経路算出モジュール
３２４０…経路特徴量算出モジュール
３２５０…分離方向判別モジュール
３４３５…分離経路記憶モジュール
３４６０…画像分離モジュール

Claims (4)

1. 少なくとも文字画像を含む画像を受け付ける受付手段と、
   前記受付手段によって受け付けられた画像に対して、該画像内の文字画像を分離する線分である分離経路を算出する経路算出手段と、
   前記経路算出手段によって算出された分離経路により、前記受付手段によって受け付けられた画像を複数の文字画像へ分離する分離手段を具備し、
   前記経路算出手段は、該画像内の文字画像の一部を含む予め定められた範囲内において、経路上にある画素の輝度値の累積値が予め定められた条件を満たす分離経路を算出し、
   前記経路算出手段は、分離経路の算出において、隣り合う分離経路どうしの間隙の幅が予め定められた条件を満たす場合に、該間隙にある画素の輝度値によらず、該隣り合う分離経路は等価であると判断し、結合すること、
   又は、
   前記経路算出手段は、分離経路の算出において、隣り合う分離経路どうしの間隙にある画素の輝度値の累積値が予め定められた条件を満たす場合に、該隣り合う分離経路は等価であると判断し、結合する
   ことを特徴とする画像処理装置。
2. 前記経路算出手段は、複数方向の分離経路を算出し、
   前記経路算出手段によって算出された複数方向の分離経路の特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段によって算出された特徴量に基づいて、画像の分離方向及び文字画像の状態を判別し、該判別の結果によって前記複数方向の分離経路のうちの分離経路を選択する選択手段
   を具備し、
   前記分離手段は、前記選択手段によって選択された分離経路により、前記受付手段によって受け付けられた画像を複数の部分画像へ分離する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記経路算出手段は、該画像内の文字画像の一部を含む予め定められた範囲内において、経路上にある画素の輝度値と経路の移動に基づく重み係数との積の累積値が予め定められた条件を満たす分離経路を算出する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. コンピュータを、
   少なくとも文字画像を含む画像を受け付ける受付手段と、
   前記受付手段によって受け付けられた画像に対して、該画像内の文字画像を分離する線分である分離経路を算出する経路算出手段と、
   前記経路算出手段によって算出された分離経路により、前記受付手段によって受け付けられた画像を複数の文字画像へ分離する分離手段として機能させ、
   前記経路算出手段は、該画像内の文字画像の一部を含む予め定められた範囲内において、経路上にある画素の輝度値の累積値が予め定められた条件を満たす分離経路を算出し、
   前記経路算出手段は、分離経路の算出において、隣り合う分離経路どうしの間隙の幅が予め定められた条件を満たす場合に、該間隙にある画素の輝度値によらず、該隣り合う分離経路は等価であると判断し、結合すること、
   又は、
   前記経路算出手段は、分離経路の算出において、隣り合う分離経路どうしの間隙にある画素の輝度値の累積値が予め定められた条件を満たす場合に、該隣り合う分離経路は等価であると判断し、結合する
   ことを特徴とする画像処理プログラム。

Images