JP6187237B2 - 文書画像検索装置、方法、及びプログラム - Google Patents

Description

本発明は、文書画像検索装置、文書画像検索方法、及び文書画像検索プログラムに関する。

従来、複数の文書画像を所定のカテゴリに分類する文書画像分類方法が提案されている。この方法では、入力された文書画像に対して文字認識処理を行い、認識処理された文字種の特徴を基に、入力文書画像を所定のカテゴリに分類している。

また、文書中の単語間の共起関係を用いて各単語の特徴を表現する特徴ベクトルを自動的に生成する文書分類装置が提案されている。この装置では、文書の特徴ベクトル間の類似度を利用して文書を分類する。

また、撮像されあるいは読取られた検索質問文書画像の特徴点から計算される特徴量とデータベース中に登録された複数の登録文書画像の特徴点から得られる特徴量とを比較して検索質問文書画像に対応する登録文書画像を検索する方法が提案されている。この方法では、文書画像から複数の連結成分を抽出し、抽出された連結成分の重心を求めて各連結成分に対応する特徴点としている。そして、幾何学的歪みに対して実質的に不変な第１及び第２不変量であって、各特徴点とその近傍の特徴点との組み合わせから得られる第１不変量及び組み合せに係る各連結成分の属性から得られる第２不変量をそれぞれ求める。さらに、第１不変量と第２不変量とを組み合わせて各特徴点に対応する特徴量を算出し、各特徴量の比較結果を統計的に処理して検索質問文書画像に対応する登録文書画像を特定する。

特開平１０−１９８６８３号公報 特開平０７−１１４５７２号公報 特開２００９−０３２１０９号公報

しかし、文書画像の分類に文字認識処理を用いる方法では、文字認識にかかる処理時間が大きいという問題がある。

また、文書画像の特徴量を照合して文書画像を検索する方法では、検索対象の文書画像と完全に同一の文書画像を検索することはできるが、文書画像が示す文書の内容が類似した文書画像を検索することはできないという問題がある。

一つの側面として、文書画像に対する文字認識処理を行う場合よりも高速に、内容が類似した文書画像を検索することが目的である。

一つの態様では、文書画像から、一文字の少なくとも一部に相当する部分に外接する領域の各々を抽出し、所定方向に隣り合う複数の領域の各々の内部パターンを示す特徴を、領域の配列順に並べた特徴系列を抽出する。そして、複数の登録文書画像の各々から抽出され、登録文書画像の識別情報と対応付けて記憶部に記憶された複数の特徴系列の各々と、前記抽出部により対象文書画像から抽出された特徴系列とを照合し、前記対象文書画像に類似する登録文書画像を検索する。

一つの側面として、文書画像に対する文字認識処理を行う場合よりも高速に、内容が類似した文書画像を検索することができる、という効果を有する。

本実施形態に係る文書画像検索装置の概略構成を示すブロック図である。 登録部における処理の概要を説明するための図である。 特徴抽出を説明するための図である。 特徴ＤＢのデータ構造の一例を示す図である。 特徴ＤＢのデータ構造の一例を示す図である。 特徴ベクトル系列の算出を説明するための図である。 特徴ベクトル系列の一例を示す図である。 類似度行列Ｚを説明するための図である。 ハッシュテーブルのデータ構造の一例を示す図である。 照合部における処理の概要を説明するための図である。 本実施形態に係る文書画像検索装置として機能するコンピュータの概略構成を示すブロック図である。 本実施形態における登録処理の一例を示すフローチャートである。 特徴抽出処理の一例を示すフローチャートである。 隣矩形探索処理の一例を示すフローチャートである。 特徴変換処理の一例を示すフローチャートである。 行列Ｓ算出処理の一例を示すフローチャートである。 本実施形態における照合処理の一例を示すフローチャートである。

以下、図面を参照して開示の技術に係る実施形態の一例を詳細に説明する。なお、本実施形態では、横書きの文書を示す文書画像を検索する場合を例として説明する。

図１に示すように、本実施形態に係る文書画像検索装置１０は、登録部２０及び照合部３０を備える。

登録部２０は、図１に示すように、第１特徴抽出部２１、及び第１特徴変換部２２を機能部として備える。図２に、登録部２０における処理の概要を示す。登録部２０には、識別情報が既知の文書をスキャンした文書画像（以下、「登録文書画像」という）が複数入力される。登録部２０では、登録文書画像の各々から特徴が抽出され、特徴データベース（ＤＢ）２３に記憶される。また、特徴ＤＢ２３に記憶された特徴から、特徴ベクトル系列が算出され、さらに、特徴ベクトル系列がハッシュ値に変換される。ハッシュ値は、文書画像の識別情報（文書画像ＩＤ）と対応付けられてハッシュテーブル２５に登録される。以下、登録部２０の各機能部について詳述する。

第１特徴抽出部２１は、以下の処理を行って、文書画像から、一文字の少なくとも一部に相当する部分に外接する領域毎の特徴を抽出する。
１．登録文書画像における連結成分の外接矩形を抽出
２．連結成分の外接矩形から重なり矩形を抽出
３．重なり矩形毎に、内部パターンの特徴ベクトルを算出
４．重なり矩形毎に、所定方向に隣り合う重なり矩形を探索
５．特徴ベクトル及び隣り合う重なり矩形の識別情報を、重なり矩形毎の特徴として、特徴ＤＢ２３に記憶

具体的には、第１特徴抽出部２１は、入力された登録文書画像に対して二値化処理を行って二値画像に変換する。図３の（１）に、二値画像に変換された登録文書画像の一例の一部を示す。

また、第１特徴抽出部２１は、得られた二値画像から連結成分の外接矩形を抽出する。ここで、連結成分とは、二値画像における黒画素（文字画像における文字部分）の塊、すなわち白画素（文字画像における背景部分）により寸断されることなく連なった黒画素群を意味する。連結成分は、一文字の少なくとも一部に相当し、文字によっては、一文字が一つの連結成分に相当する場合もある。このような連結成分の外接矩形を抽出することで、一文字を少なくとも一つ以上の領域に分割することができる。図３の（２）に、図３の（１）に示す二値画像から連結成分の外接矩形を抽出した一例を示す。第１特徴抽出部２１は、抽出した連結成分の外接矩形毎に、文書画像における座標を求め、所定の記憶領域に記憶する。

また、第１特徴抽出部２１は、連結成分の外接矩形から重なり矩形を抽出する。異なる連結成分同士は、画素としてはつながっていないが、連結成分の外接矩形同士は重なっている場合がある。例えば、図３の（２）の例では、連結成分の外接矩形Ａと連結成分の外接矩形Ｂとが重なっている。第１特徴抽出部２１は、このように重なった連結成分の外接矩形の各々を、全ての外接矩形を包含する一つの矩形にまとめ、この矩形を重なり矩形として抽出する。

第１特徴抽出部２１は、他の連結成分の外接矩形と重なっていない連結成分の外接矩形については、そのまま重なり矩形として抽出する。第１特徴抽出部２１は、抽出した重なり矩形毎に、文書画像における座標を求めると共に、重なり矩形毎の識別情報である重なり矩形ＩＤを付与して、所定の記憶領域に記憶する。図３の（３）に、図３の（２）に示す連結成分の外接矩形の各々から、重なり矩形の各々を抽出した一例を示す。図３の（３）において、各重なり矩形の左部または上部に記載した数字は、各重なり矩形の重なり矩形ＩＤである。

また、第１特徴抽出部２１は、重なり矩形毎に、内部パターンの特徴ベクトルを算出する。特徴ベクトルとしては、ＯＣＲの文字認識において使用される特徴ベクトル等を用いることができる。例えば、第１特徴抽出部２１は、重なり矩形内部をメッシュ状の小領域に区切り、小領域内の文字ストロークの方向成分の頻度をヒストグラム化し、各方向成分の頻度を成分とする特徴ベクトルを算出することができる。なお、このような特徴ベクトルとしては、通常、数百次元程度の高次元の特徴ベクトルが用いられる場合が多い。

また、第１特徴抽出部２１は、重なり矩形毎に、所定方向に隣り合う重なり矩形を探索する。一般に、ある文字に対して隣り合う文字は、横書きの文書の場合は右に、縦書きの文書の場合は下に位置する。本実施形態では横書きの文書を示す文書画像を処理対象としている。そのため、第１特徴抽出部２１は、所定方向を右方向とし、ある重なり矩形の右隣に位置する最も近い重なり矩形を探索し、探索された重なり矩形の重なり矩形ＩＤを、隣矩形ＩＤとして抽出する。図３の（４）に、隣り合う重なり矩形の一例を示す。図３の（４）では、隣り合う重なり矩形同士を矢印で結ぶことにより表現している。第１特徴抽出部２１は、矢印の始点に対応する重なり矩形に対して、矢印の終点に対応する重なり矩形の重なり矩形ＩＤを隣矩形ＩＤとして抽出する。

また、第１特徴抽出部２１は、重なり矩形毎に抽出した特徴ベクトル及び隣矩形ＩＤに特徴ＩＤを付与し、特徴ＩＤ、特徴ベクトル、及び隣矩形ＩＤを、特徴ＤＢ２３に記憶する。特徴ＩＤは、重なり矩形ＩＤ及び重なり矩形が属する登録文書画像の文書画像ＩＤの２つを特定可能な識別情報とする。図４に、特徴ＤＢ２３のデータ構造の一例を示す。また、図５に、図３の（１）に示す文書画像から抽出された特徴が記憶された特徴ＤＢ２３の一例を示す。図５の例では、特徴ＩＤを、（文書画像ＩＤ，重なり矩形ＩＤ）で記述している。隣矩形ＩＤも同様である。また、図５では、特徴ベクトルを、重なり矩形ＩＤが示す重なり矩形及び内部パターンで表している。

第１特徴変換部２２は、特徴ＤＢ２３に記憶された特徴から得られる所定の大きさの特徴ベクトル系列に基づくハッシュ値を、特徴ＩＤ毎に算出して、ハッシュテーブル２５を作成する。

上述のように、重なり矩形は、一文字を少なくとも一つ以上に分割した領域に相当する。そこで、本実施形態では、文書画像において、連続するｎ個の重なり矩形の連なり（系列）を、擬似的な文字列と考える。具体的に、ｎ＝５とした例を、図６を参照して説明する。図６の（０）に示すように、重なり矩形及び隣り合う重なり矩形が得られている場合には、図６の（１）から（５）に示すような重なり矩形の系列が存在し得る。なお、ここでは、重なり矩形の連続数が５に満たない場合は対象外とする。そして、重なり矩形の系列の各々を擬似的な文字列と捉え、各擬似的な文字列を表す特徴として、特徴ベクトル系列を用いる。

特徴ベクトル系列は、所定方向に隣り合う複数の重なり矩形の各々から抽出された特徴ベクトルを、重なり矩形の系列における重なり矩形の配列順に並べたものである。特徴ベクトル系列の次元は、特徴ベクトルの次元×ｎとなる。図７に、図６の（１）に示す重なり矩形の系列に対応する特徴ベクトル系列を示す。

本実施形態では、上記のような特徴ベクトル系列を用いて文書画像間の照合を行うことにより、文字認識処理を行うことなく、擬似的な文字列を用いた照合が可能となり、内容が類似する文書画像を検索することができる。

第１特徴変換部２２は、まず、特徴ＤＢ２３から大きさｎの疑似的な文字列の特徴に相当する特徴ベクトル系列を算出する。具体的には、第１特徴変換部２２は、特徴ＤＢ２３から１つの特徴ＩＤを選択し、その特徴ＩＤに対応する重なり矩形の特徴ベクトルを取得する。次に、第１特徴変換部２２は、その特徴ＩＤに対応する隣矩形ＩＤを参照して、隣り合う重なり矩形を選択し、その隣り合う重なり矩形の特徴ベクトルを取得する。この隣矩形ＩＤを参照して特徴ベクトルを取得する処理をｎ−１回繰り返す。そして、第１特徴変換部２２は、取得した特徴ベクトルを取得した順に並べた大きさｎの特徴ベクトル系列を算出する。第１特徴変換部２２は、算出した特徴ベクトル系列を所定の記憶領域に記憶しておく。第１特徴変換部２２は、特徴ＤＢ２３内の特徴ＩＤ毎に特徴ベクトル系列を算出する。この結果、特徴ベクトルの次元×ｎ（以下、この次元数をｐとおく）の特徴ベクトル空間において、ｍ個の特徴ベクトル系列が得られることになる。なお、ｍは、特徴ＤＢ２３に特徴が記憶された重なり矩形のうち、その重なり矩形を先頭とする大きさｎの重なり矩形系列が抽出可能な重なり矩形の数である。

第１特徴変換部２２は、ｐ次元ベクトル空間におけるｍ個の特徴ベクトル系列から、ｑ個のアンカーを抽出する。例えば、第１特徴変換部２２は、ｐ次元ベクトル空間におけるｍ個の特徴ベクトル系列を、Ｋ−ｍｅａｎｓクラスタリング等によりｑ個のクラスタに分割し、各クラスタの代表点をアンカーとして抽出することができる。

また、第１特徴変換部２２は、ラプラシアン固有マップ法を用いて、高次元の特徴ベクトル系列を低次元空間に写像して、ハッシュ値を算出する。ラプラシアン固有マップ法は、データをサンプル間の類似度に基づいて行列表現し、その行列の固有値を用いて、データ間の関係を保ったまま、データを低次元空間に写像する方法である。本実施形態では、ラプラシアン固有マップ法の１つであるアンカーグラフハッシングの方法（参考文献「Hashing with Graphs, Liu. W., Wang. J., Kunmar. S., and Chang, S.-F. ICML '11, 2011」）を用いる場合について説明する。

具体的には、第１特徴変換部２２は、ｍ個の特徴ベクトル系列の各々と、ｑ個のアンカーの各々との類似度を示す類似度行列Ｚを算出する。図８に示すように、類似度行列Ｚは、ｍ行ｑ列の行列で、（ｉ，ｊ）成分は、ｉ番目の特徴ベクトル系列とｊ番目のアンカーとの類似度を意味する。ここで、ｉ番目の特徴ベクトル系列とは、特徴ベクトル系列が示す重なり矩形系列における先頭の重なり矩形が、特徴ＤＢ２３においてｉ番目の特徴ＩＤに対応する重なり矩形であることを表す。特徴ベクトル系列をベクトルｖで表す。また、アンカーは、ｐ次元ベクトルであるが、特徴ベクトル系列ｖに対応させるため、特徴ベクトルの次元毎に区切って表す。ｊ番目のアンカーをベクトルａで表すと、下記（１）式のようになる。

また、重なり矩形の特徴ベクトルをベクトルｖ_ｔとするとき、その重なり矩形に対して隣矩形ＩＤで対応付けられた重なり矩形の特徴ベクトルを、下記（２）式のように表す。また、アンカーについても同様である。

類似度行列Ｚの算出について、より具体的には、第１特徴変換部２２は、まず、ｉ番目の特徴ベクトル系列ｖとｊ番目のアンカーを示すベクトルａとの類似度を（ｉ，ｊ）成分とする行列Ｓを算出する。そして、第１特徴変換部２２は、行列Ｓを正規化することにより、類似度行列Ｚを算出する。具体的には、第１特徴変換部２２は、行列Ｓのｉ行について、値の大きさが上位ｓ個となる成分の値を残し、その他の成分の値を０とする。これは、類似度がある程度低いものは、類似度０とみなすことに相当する。さらに、第１特徴変換部２２は、下記（３）式に示すように、行毎の各成分の和が１となるように正規化を行い、正規化して得られる行列を類似度行列Ｚとする。

次に、第１特徴変換部２２は、類似度行列Ｚから、下記（４）式によって行列Λを算出し、さらに、下記（５）式によって行列Ｍを算出する。

ここで、ｄｉａｇ（ｘ）とは、ベクトルｘの各成分を行列の対角成分として並べ、他の成分を全て０とした行列を表す。また、（４）式における行列１はｍ行１列の各成分が全て１の行列である。また、Ｔは行列の転置を表す。従って、行列１^Ｔは、１行ｍ列の各成分が全て１の行列となる。また、行列Λ^−１／２は、行列Λの各成分を−１／２乗した行列を表す。

第１特徴変換部２２は、行列Ｍを固有値分解することにより、行列Ｍの固有値及び固有ベクトルを算出する。そして、第１特徴変換部２２は、固有値１を除いて、値の大きな固有値から順にｋ個の固有値を求め、σ_１，σ_２，・・・，σ_ｋとし、各固有値に対応する固有ベクトルをｖ_１，ｖ_２，・・・，ｖ_ｋとする。

第１特徴変換部２２は、算出した固有値を用いて、下記（６）式により、行列Σ_ｋを求め、算出した固有ベクトルを用いて、下記（７）式により、行列Ｖ_ｋを求める。さらに、第１特徴変換部２２は、行列Λ、行列Σ_ｋ、及び行列Ｖ_ｋを用いて、下記（８）式により、行列Ｗを求める。

第１特徴変換部２２は、類似度行列Ｚ及び行列Ｗを用いて、下記（９）式によりｍ行ｋ列の行列Ｇを算出する。

さらに、第１特徴変換部２２は、行列Ｇの各成分について、正のものを１に、負のものを０に変換して、ｍ行ｋ列の行列Ｈを得る。この行列Ｈのｍ個の各行は、成分が０または１のｋ次元ベクトルであり、これがｍ個の特徴ベクトル系列の各々に対応したハッシュ値となる。

第１特徴変換部２２は、各特徴ベクトル系列に対応したハッシュ値と、特徴ベクトル系列が示す重なり矩形系列が属する文書画像の文書画像ＩＤとを対応付けたハッシュテーブル２５を作成し、所定の記憶領域に記憶する。文書画像ＩＤは、特徴ベクトル系列を算出する際に特徴ＤＢ２３から選択した特徴ＩＤにより特定される文書画像ＩＤを用いればよい。図９に、ハッシュテーブル２５のデータ構造の一例を示す。

照合部３０は、図１に示すように、第２特徴抽出部３１、第２特徴変換部３２、及び検索部３３を機能部として備える。図１０に、照合部３０における処理の概要を示す。照合部３０には、識別情報が未知の文書をスキャンした文書画像（以下、「対象文書画像」という）が入力される。照合部３０では、対象文書画像から特徴ベクトル系列が抽出され、特徴ベクトル系列がハッシュ値に変換されて、ハッシュテーブル２５に登録されたハッシュ値と照合され、照合結果に基づいて、対象文書画像に類似する登録文書画像が検索される。以下、照合部３０の各機能部について詳述する。

第２特徴抽出部３１は、第１特徴抽出部２１と同様の処理により、対象文書画像から重なり矩形毎の特徴ベクトル及び隣矩形ＩＤを抽出する。第２特徴抽出部３１は、抽出した重なり矩形毎の特徴ベクトル及び隣矩形ＩＤに、特徴ＩＤを対応付けて特徴メモリ３４に記憶する。対象文書画像は、文書画像ＩＤが未知であるため、ここでの特徴ＩＤは、重なり矩形ＩＤと同一とする。

第２特徴変換部３２は、第１特徴変換部２２と同様の処理により、特徴メモリ３４から特徴ＩＤを１つずつ選択し、特徴ベクトル系列を算出し、特徴ベクトル系列に対応するハッシュ値を算出する。なお、第２特徴変換部３２は、算出した特徴ベクトル系列をベクトルｘと表し、（３）式によって算出されるｑ次元ベクトルをベクトルｚ（ｘ）とする。ベクトルｚ（ｘ）は、第１特徴変換部２２で算出される行列Ｚの各行ベクトルに相当する。そして、第２特徴変換部３２は、行列Ｗ及びベクトルｚ（ｘ）を用いて、下記（１０）式により、ベクトルｇ（ｘ）を算出する。

そして、第２特徴変換部３２は、第１特徴変換部２２と同様に、ベクトルｇ（ｘ）の各成分について、正のものを１に、負のものを０に変換して、ｋ次元ベクトルｈ（ｘ）を得る。このベクトルｈ（ｘ）は、成分が０または１のｋ次元ベクトルであり、対象文書画像から抽出された特徴ベクトル系列に対応したハッシュ値となる。第２特徴変換部３２は、特徴メモリ３４に記憶された特徴ＩＤから算出される全ての特徴ベクトル系列に対応するハッシュ値を算出し、ハッシュ値メモリ３５に記憶する。

検索部３３は、ハッシュ値メモリ３５に記憶されたハッシュ値の各々と、ハッシュテーブル２５に登録されているハッシュ値の各々とを照合する。そして、検索部３３は、ハッシュテーブル２５において、第２特徴変換部３２で算出されたハッシュ値と最も近いハッシュ値に対応する文書画像ＩＤに投票を行う。第２特徴変換部３２で算出されたハッシュ値と最も近いハッシュ値の求め方は、一致するハッシュ値がハッシュテーブル２５に存在する場合には、そのハッシュ値とすることができる。また、一致するハッシュ値がハッシュテーブル２５に存在しない場合は、ハッシュテーブル２５に登録されているハッシュ値の各々と、第２特徴変換部３２で算出されたハッシュ値とのハミング距離を算出する。そして、ハミング距離が最も小さいハッシュ値を、最も近いハッシュ値として選択することができる。なお、ハミング距離に代えて、レーベンシュタイン距離など、二つの文字列がどの程度異なっているかを示す他の指標を用いて、最も近いハッシュ値を選択してもよい。

検索部３３は、第２特徴変換部３２で算出された全てのハッシュ値について、ハッシュテーブル２５に登録されたハッシュ値との照合、及び最も近いハッシュ値に対応する文書画像ＩＤへの投票を行う。そして、検索部３３は、最終的に最も投票を集めた文書画像ＩＤを出力する。すなわち、出力された文書画像ＩＤが示す登録文書画像が、対象文書画像に最も類似する文書画像として検索される。

文書画像検索装置１０は、例えば図１１に示すコンピュータ４０で実現することができる。コンピュータ４０はＣＰＵ４２、メモリ４４、不揮発性の記憶部４６、入出力インターフェース（Ｉ／Ｆ）４７、及びネットワークＩ／Ｆ４８を備えている。ＣＰＵ４２、メモリ４４、記憶部４６、入出力Ｉ／Ｆ４７、及びネットワークＩ／Ｆ４８は、バス４９を介して互いに接続されている。

記憶部４６はＨＤＤ（Hard Disk Drive）やフラッシュメモリ等によって実現できる。記憶媒体としての記憶部４６には、コンピュータ４０を文書画像検索装置１０として機能させるための文書画像検索プログラム５０が記憶されている。文書画像検索プログラム５０は、登録プログラム６０及び照合プログラム７０を含む。また、記憶部４６は、特徴ＤＢ記憶領域６３及びハッシュテーブル記憶領域６５を有する。ＣＰＵ４２は、登録文書画像の登録時には、登録プログラム６０を記憶部４６から読み出してメモリ４４に展開し、登録プログラム６０が有するプロセスを順次実行する。また、ＣＰＵ４２は、対象文書画像の照合時には、照合プログラム７０を記憶部４６から読み出してメモリ４４に展開し、照合プログラム７０が有するプロセスを順次実行する。

登録プログラム６０は、第１特徴抽出プロセス６１、及び第１特徴変換プロセス６２を有する。また、照合プログラム７０は、第２特徴抽出プロセス７１、第２特徴変換プロセス７２、及び検索プロセス７３を有する。ＣＰＵ４２は、第１特徴抽出プロセス６１を実行することで、図１に示す第１特徴抽出部２１として動作する。また、ＣＰＵ４２は、第１特徴変換プロセス６２を実行することで、図１に示す第１特徴変換部２２として動作する。また、ＣＰＵ４２は、第２特徴抽出プロセス７１を実行することで、図１に示す第２特徴抽出部３１として動作する。また、ＣＰＵ４２は、第２特徴変換プロセス７２を実行することで、図１に示す第２特徴変換部３２として動作する。また、ＣＰＵ４２は、検索プロセス７３を実行することで、図１に示す検索部３３として動作する。

文書画像検索装置１０がコンピュータ４０で実現される場合、特徴ＤＢ記憶領域６３は、図１に示す特徴ＤＢ２３が記憶される記憶領域として用いられる。また、ハッシュテーブル記憶領域６５は、図１に示すハッシュテーブル２５が記憶される記憶領域として用いられる。また、図１に示す特徴メモリ３４及びハッシュ値メモリ３５は、メモリ４４の所定領域に設けられる。なお、特徴メモリ３４及びハッシュ値メモリ３５に記憶される情報の各々が記憶される記憶領域を、記憶部４６に設けてもよい。これにより、文書画像検索プログラム５０を実行したコンピュータ４０が、文書画像検索装置１０として機能することになる。

なお、文書画像検索装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に本実施形態に係る文書画像検索装置１０の作用について説明する。登録文書画像の登録の際には、文書画像検索装置１０に登録文書画像が入力される。そして、登録部２０により、図１２に示す登録処理が実行される。また、対象文書画像の照合の際には、文書画像検索装置１０に対象文書画像が入力される。そして、照合部３０により、図１７に示す照合処理が実行される。以下、各処理について詳述する。

図１２に示す登録処理のステップＳ１０で、第１特徴抽出部２１は、入力された登録文書画像を取得して、図１３に詳細を示す特徴抽出処理を実行する。

図１３に示す特徴抽出処理のステップＳ１１で、第１特徴抽出部２１が、登録文書画像に対して二値化処理を行って二値画像に変換する。次に、ステップＳ１２で、第１特徴抽出部２１が、二値画像に変換された登録文書画像から連結成分の外接矩形を抽出する。次に、ステップＳ１３で、第１特徴抽出部２１が、連結成分の外接矩形から重なり矩形を抽出する。次に、ステップＳ１４で、第１特徴抽出部２１が、重なり矩形毎に、内部パターンの特徴ベクトルを算出する。

次に、ステップＳ１５で、第１特徴抽出部２１が、図１４に詳細を示す隣矩形探索処理を実行する。隣矩形探索処理は、重なり矩形ＩＤがｉ（ｉ＝０，１，・・・，Ｉ、Ｉは抽出された重なり矩形の総数）の重なり矩形（以下、「重なり矩形ｉ」という）と隣り合う重なり矩形を探索する処理である。重なり矩形０、重なり矩形１、・・・、重なり矩形Ｉの各々について、隣矩形探索処理を実行することにより、重なり矩形の各々について、隣り合う重なり矩形を探索する。

図１４に示す隣矩形探索処理のステップＳ１５１で、第１特徴抽出部２１が、個々の重なり矩形に対応した変数ｊに０を設定する。また、第１特徴抽出部２１が、重なり矩形間の距離の最小値ｍｉｎに非常に大きな値（例えば、文書画像の幅に相当する値、無限大等）を設定する。また、第１特徴抽出部２１が、重なり矩形ｉとの距離が最小となる右隣の重なり矩形の重なり矩形ＩＤを示すａｒｇ＿ｍｉｎに、０，１，・・・，Ｉ以外の適当な値（例えば、−１）を設定する。

次に、ステップＳ１５２で、第１特徴抽出部２１が、重なり矩形ｊが、重なり矩形ｉと同一行に存在する重なり矩形か否かを判定する。具体的には、第１特徴抽出部２１は、例えば所定の記憶領域に記憶された、重なり矩形ｊの左端座標Ｌｅｆｔ（ｊ）、右端座標Ｒｉｇｈｔ（ｊ）、上端座標Ｕｐ（ｊ）、及び下端座標Ｄｏｗｎ（ｊ）を取得する。重なり矩形ｉの座標についても同様に取得する。なお、ここでは、文書画像の左上角を原点とし、原点から右へ行くほど左右方向の座標値が大きくなり、原点から下へ行くほど上下方向の座標値が大きくなる座標系を用いる。そして、第１特徴抽出部２１は、Ｕｐ（ｊ）≦Ｄｏｗｎ（ｉ）、かつＤｏｗｎ（ｊ）≧Ｕｐ（ｉ）か否かを判定する。肯定判定の場合には、処理はステップＳ１５３へ移行し、否定判定の場合には、処理はステップＳ１５８へ移行する。

ステップＳ１５３では、第１特徴抽出部２１が、重なり矩形ｊが、重なり矩形ｉより右側に存在するか否かを判定する。具体的には、第１特徴抽出部２１は、Ｌｅｆｔ（ｊ）＞Ｒｉｇｈｔ（ｉ）か否かを判定する。肯定判定の場合には、処理はステップＳ１５４へ移行し、否定判定の場合には、処理はステップＳ１５８へ移行する。

ステップＳ１５４では、第１特徴抽出部２１が、Ｌｅｆｔ（ｊ）−Ｒｉｇｈｔ（ｉ）を、重なり矩形ｉと重なり矩形ｊとの距離ｄｆとして算出する。次に、ステップＳ１５６で、第１特徴抽出部２１が、距離ｄｆが最小値ｍｉｎとして設定されている値より小さいか否かを判定する。ｄｆ＜ｍｉｎの場合には、処理はステップＳ１５７へ移行し、ｄｆ≧ｍｉｎの場合には、処理はステップＳ１５８へ移行する。

ステップＳ１５７では、第１特徴抽出部２１が、最小値ｍｉｎに、上記ステップＳ１５４で算出した距離ｄｆの値を設定すると共に、ａｒｇ＿ｍｉｎに現在の変数ｊの値を設定する。次に、ステップＳ１５８で、第１特徴抽出部２１が、ｊを１インクリメントする。次に、ステップＳ１５９で、第１特徴抽出部２１が、変数ｊが重なり矩形の総数Ｉを超えたか否かを判定する。ｊ≦Ｉの場合には、処理はステップＳ１５２へ戻る。ｊ＞Ｉの場合には、隣矩形探索処理を終了し、図１３に示す特徴抽出処理へリターンする。

次に、ステップＳ１６で、第１特徴抽出部２１が、重なり矩形毎に、上記ステップＳ１４で算出した特徴ベクトル及び隣矩形ＩＤに、特徴ＩＤを付与して、特徴ＤＢ２３に記憶して、図１２に示す登録処理へリターンする。なお、隣矩形ＩＤは、上記ステップＳ１５の隣矩形探索処理において、最終的にａｒｇ＿ｍｉｎに設定された変数ｊの値である。

次に、ステップＳ２０で、第１特徴変換部２２が、図１５に詳細を示す特徴変換処理を実行する。

図１５に示す特徴変換処理のステップＳ２１で、第１特徴変換部２２が、特徴ＤＢ２３から１つの特徴ＩＤを選択し、その特徴ＩＤに対応する重なり矩形の特徴ベクトルを取得する。そして、第１特徴変換部２２は、その特徴ＩＤに対応する隣矩形ＩＤを参照して、隣り合う重なり矩形を選択し、その隣り合う重なり矩形の特徴ベクトルを取得する。第１特徴変換部２２は、この隣矩形ＩＤを参照して特徴ベクトルを取得する処理をｎ−１回繰り返す。そして、第１特徴変換部２２は、取得した特徴ベクトルを取得した順に並べた大きさｎの特徴ベクトル系列を算出する。第１特徴変換部２２は、特徴ＤＢ２３に特徴が記憶された重なり矩形のうち、その重なり矩形を先頭とする大きさｎの重なり矩形系列が作成可能な重なり矩形の数（ここでは、ｍ個とする）分の特徴ベクトル系列を算出し、所定の記憶領域に記憶する。

次に、ステップＳ２２で、第１特徴変換部２２が、ｐ次元ベクトル空間におけるｍ個の特徴ベクトル系列から、ｑ個のアンカーを抽出する。例えば、第１特徴変換部２２は、ｐ次元ベクトル空間におけるｍ個の特徴ベクトル系列を、Ｋ−ｍｅａｎｓクラスタリング等によりｑ個のクラスタに分割し、各クラスタの代表点をアンカーとして抽出することができる。

次に、ステップＳ２３で、第１特徴変換部２２が、図１６に詳細を示す行列Ｓ算出処理を実行する。行列Ｓは、類似度行列Ｚの正規化前の行列であり、ｉ番目の特徴ベクトル系列ｖとｊ番目のアンカーを示すベクトルａとの類似度を（ｉ，ｊ）成分とするｍ行ｑ列の行列である。行列Ｓ算出処理では、ｉ番目の特徴ベクトル系列ｖとｊ番目のアンカーを示すベクトルａとの類似度ｓ、すなわち（ｉ，ｊ）成分を算出する。行列Ｓ算出処理を成分数分（ｍ×ｑ回）実行することで、行列Ｓが算出される。

図１６に示す行列Ｓ算出処理のステップＳ２３１で、第１特徴変換部２２が、特徴ベクトル系列ｖとアンカーを示すベクトルａとの距離に対応した変数ｄに０を設定する。また、第１特徴変換部２２が、特徴ベクトル系列ｖ及びアンカーを示すベクトルａの各々の成分を識別するための変数ｔに０を設定する。ここで、特徴ベクトル系列ｖの成分をベクトルｖ_ｔ、及びアンカーを示すベクトルａの成分をベクトルａ_ｔとする。ｔはｔ＝０，１，・・・，ｎ−１（ｎは成分の数）である。また、第１特徴変換部２２が、ｉ番目の特徴ベクトル系列ｖをベクトルｖ_ｔ（ｔ＝０，１，・・・，ｎ−１）に設定し、ｊ番目のアンカーを示すベクトルａをベクトルａ_ｔ（ｔ＝０，１，・・・，ｎ−１）に設定する。

次に、ステップＳ２３２で、第１特徴変換部２２が、現在の変数ｄの値に、ベクトルｖ_ｔ−ベクトルａ_ｔのノルムの２乗を加算する。

次に、ステップＳ２３３で、第１特徴変換部２２が、変数ｔを１インクリメントする。次に、ステップＳ２３４で、第１特徴変換部２２が、変数ｔがｎより小さいか否かを判定する。ｔ＜ｎの場合には、処理はステップＳ２３５へ移行し、ｔ≧ｎの場合には、処理はステップＳ２３６へ移行する。

ステップＳ２３５では、第１特徴変換部２２が、ベクトルｖ_ｔ−１が示す重なり矩形に対して隣矩形ＩＤで対応付けられた重なり矩形の特徴ベクトルを、ベクトルｖ_ｔに設定する。また、第１特徴変換部２２は、同様に、ベクトルａ_ｔ−１が示す重なり矩形に対して隣矩形ＩＤで対応付けられた重なり矩形の特徴ベクトルを、ベクトルａ_ｔに設定する。すなわち、特徴ベクトル系列ｖ及びアンカーを示すベクトルａの各々の次の成分に処理対象を移す。そして、処理はステップＳ２３２へ戻る。

ステップＳ２３６では、第１特徴変換部２２が、変数ｄの値が所定の閾値ｔｈを超えたか否かを判定する。ｄ＞ｔｈの場合には、処理はステップＳ２３７へ移行し、ｄ≦ｔｈの場合には、処理はステップＳ２３８へ移行する。

ステップＳ２３７では、第１特徴変換部２２が、ｉ番目の特徴ベクトル系列ｖとｊ番目のアンカーを示すベクトルａとの類似度ｓを０として算出する。これは、ｉ番目の特徴ベクトル系列ｖとｊ番目のアンカーを示すベクトルａとの類似度がある程度低いものは、類似度０とみなすことに相当する。

一方、ステップＳ２３８では、第１特徴変換部２２が、変数ｄ、すなわち特徴ベクトル系列ｖとアンカーを示すベクトルａとの距離が近いほど値が大きくなる類似度ｓを算出する。例えば、第１特徴変換部２２は、類似度ｓを、ｓ＝ｅｘｐ（−ｄ／Ｔ）として算出することができる。この場合、類似度ｓは０〜１の値をとり、１に近いほど類似度が高いことを示す。

特徴ベクトル系列ｖとアンカーを示すベクトルａとの全ての組み合わせについて類似度ｓの算出が終了すると、処理は図１５に示す特徴変換処理へリターンする。

次に、ステップＳ２４で、第１特徴変換部２２が、上記ステップＳ２３で算出した特徴ベクトル系列ｖとアンカーを示すベクトルａとの全ての組み合わせについて類似度ｓを成分とする行列Ｓを正規化する。具体的には、第１特徴変換部２２は、行列Ｓのｉ行について、値の大きさが上位ｓ個となる成分の値を残し、その他の成分の値を０とする。さらに、第１特徴変換部２２は、（３）式により各成分を正規化し、正規化して得られる行列を類似度行列Ｚとする。

次に、ステップＳ２５で、第１特徴変換部２２が、類似度行列Ｚから、（４）式によって行列Λを計算し、さらに（５）式によって行列Ｍを算出する。次に、ステップＳ２６で、第１特徴変換部２２が、行列Ｍを固有値分解することにより、行列Ｍの固有値及び固有ベクトルを算出する。そして、第１特徴変換部２２が、固有値１を除いて、値の大きな固有値から順にｋ個の固有値を求め、σ_１，σ_２，・・・，σ_ｋとし、各固有値に対応する固有ベクトルをｖ_１，ｖ_２，・・・，ｖ_ｋとする。

次に、ステップＳ２７で、第１特徴変換部２２が、算出した固有値を用いて、（６）式により、行列Σ_ｋを求め、固有ベクトルを用いて、（７）式により、行列Ｖ_ｋを求める。さらに、第１特徴変換部２２は、行列Λ、行列Σ_ｋ、及び行列Ｖ_ｋを用いて、（８）式により、行列Ｗを算出する。

次に、ステップＳ２８で、第１特徴変換部２２が、類似度行列Ｚ及び行列Ｗを用いて、（９）式によりｍ行ｋ列の行列Ｇを算出する。そして、第１特徴変換部２２は、行列Ｇの各成分について、正のものを１に、負のものを０に変換して、各行が特徴ベクトル系列の各々に対応したハッシュ値となる、ｍ行ｋ列の行列Ｈを得る。そして、処理は図１２に示す登録処理へリターンする。

次に、ステップＳ３０で、第１特徴変換部２２が、上記ステップＳ２０の処理で得た各特徴ベクトル系列に対応したハッシュ値と、特徴ベクトル系列が示す重なり矩形系列が属する文書画像の文書画像ＩＤとを対応付けたハッシュテーブル２５を作成する。そして、第１特徴変換部２２は、作成したハッシュテーブル２５をハッシュテーブル記憶領域６５に記憶して、登録処理は終了する。

次に、照合処理について説明する。図１７に示す照合処理のステップＳ４０で、第２特徴抽出部３１が、入力された対象文書画像を取得して、特徴抽出処理を実行する。ステップＳ４０で第２特徴抽出部３１が実行する特徴抽出処理は、第１特徴抽出部２１により実行される図１３に示す特徴抽出処理と以下の点を除いて同様であるため、詳細な説明を省略する。第１特徴抽出部２１により実行される特徴抽出処理と異なる点は、処理対象が対象文書画像である点、及び特徴メモリ３４に特徴を記憶する点である。さらに、特徴メモリ３４に特徴を記憶する際に特徴に付与する特徴ＩＤが文書画像ＩＤを特定可能な情報を含まない点も異なる。

次に、ステップＳ５０で、第２特徴変換部３２が、特徴変換処理を実行する。ステップＳ５０で第２特徴変換部３２が実行する特徴変換処理は、第１特徴変換部２２により実行される図１５に示す特徴変換処理と以下の点を除いて同様であるため、詳細な説明を省略する。第１特徴変換部２２により実行される特徴変換処理と異なる点は、類似度行列Ｚの算出に変えて、（３）式によりｑ次元のベクトルｚ（ｘ）を算出する点、及び（９）式の行列Ｇを算出することに変えて、（１０）式のベクトルｇ（ｘ）を算出する点である。また、ベクトルｇ（ｘ）の成分を１または０に変換したｋ次元のベクトルｈ（ｘ）が、対象文書画像から抽出された特徴ベクトル系列に対応したハッシュ値となる。さらに、算出したハッシュ値を、ハッシュ値メモリ３５に記憶する点も異なる。

次に、ステップＳ６０で、検索部３３が、ハッシュ値メモリ３５に記憶されたハッシュ値の各々と、ハッシュテーブル２５に登録されているハッシュ値の各々とを照合する。そして、検索部３３は、ハッシュテーブル２５において、上記ステップＳ５０で算出されたハッシュ値と最も近いハッシュ値に対応する文書画像ＩＤに投票を行う。

次に、ステップＳ７０で、検索部３３が、最終的に最も投票を集めた文書画像ＩＤを出力する。すなわち、出力された文書画像ＩＤが示す登録文書画像が、対象文書画像に最も類似する文書画像として検索される。そして、照合処理は終了する。

以上説明したように、本実施形態に係る文書画像検索装置によれば、文書画像から、一文字を少なくとも一つ以上に分割した領域に相当する重なり矩形を抽出し、隣り合う重なり矩形の系列を、擬似的な文字列と想定する。そして、重なり矩形の系列の特徴として、各重なり矩形の内部パターンから算出した特徴ベクトルを、重なり矩形の配列順に並べた特徴ベクトル系列を用いる。そして、文書画像ＩＤが既知の登録文書画像から抽出された特徴ベクトル系列と、対象文書画像から抽出された特徴ベクトル系列とを照合することにより、対象文書画像と類似する登録文書画像を検索する。このように、文字認識処理を行うことなく、擬似的な文字列を用いた照合を行うため、文書画像に対する文字認識処理を行う場合よりも高速に、内容が類似した文書画像を検索することができる。

また、本実施形態では、登録文書画像から抽出された特徴ベクトル系列と、対象文書画像から抽出された特徴ベクトル系列とを最近傍識別処理により照合し、対象文書画像に最も類似する登録文書画像を検索する。このため、高速に文書画像を検索することができる。

また、高次元の特徴ベクトル系列を低次元空間に写像し、低次元化したベクトル（ハッシュ値）を用いて最近傍識別処理により照合を行うため、より高速に文書画像を検索することができる。

なお、開示の技術は、縦書きの文書を示す文書画像、または横書きと縦書きとが混在する文書を示す文書画像にも適用することができる。縦書きの場合には、隣り合う重なり矩形を探索する際の所定方向を下方向とすればよい。また、横書きと縦書きとが混在している場合には、右方向及び下方向の２つの方向の各々について隣り合う重なり矩形を探索し、右方向の隣矩形ＩＤ及び下方向の隣矩形ＩＤの両方を特徴ＤＢ２３または特徴メモリ３４に記憶しておけばよい。そして、特徴ベクトル系列を算出する際、右方向に連なる重なり矩形の特徴ベクトルを並べた特徴ベクトル系列と、下方向に連なる重なり矩形の特徴ベクトルを並べた特徴ベクトル系列とを算出すればよい。そして、右方向の特徴ベクトル系列と下方向の特徴ベクトル系列とをまとめて、または右方向の特徴ベクトル系列、及び下方向の特徴ベクトル系列のそれぞれについて、上記実施形態と同様に処理すればよい。

また、上記実施形態では、高次元の特徴ベクトル系列を低次元のハッシュ値に変換して照合を行う場合について説明したが、低次元への変換を行うことなく、算出した特徴ベクトル系列同士をそのまま照合に用いてもよい。

また、上記実施形態では、登録部及び照合部を含む文書画像検索装置を、１つのコンピュータで実現する場合について説明したが、登録部及び照合部を、それぞれ別々のコンピュータで実現するようにしてもよい。この場合、登録部として機能するコンピュータの記憶部には、登録プログラムが記憶され、照合部として機能するコンピュータの記憶部には、照合プログラムが記憶される。なお、この場合、照合部として機能するコンピュータは、開示の技術の文書画像検索装置の一例であり、照合プログラムは、開示の技術の文書画像検索プログラムの一例である。

なお、上記では、文書画像検索プログラム５０が記憶部４６に予め記憶（インストール）されている態様を説明したが、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体に記録された形態で提供することも可能である。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
文書画像から、一文字の少なくとも一部に相当する部分に外接する領域の各々を抽出し、所定方向に隣り合う複数の領域の各々の特徴を、領域の配列順に並べた特徴系列を抽出する抽出部と、
複数の登録文書画像の各々から抽出され、登録文書画像の識別情報と対応付けて記憶部に記憶された複数の特徴系列の各々と、前記抽出部により対象文書画像から抽出された特徴系列とを照合し、前記対象文書画像に類似する登録文書画像を検索する検索部と、
を含む文書画像検索装置。

（付記２）
前記抽出部により前記特徴系列として抽出された高次元の特徴ベクトル系列を、低次元の特徴ベクトル系列に変換する変換部を含む付記１記載の文書画像検索装置。

（付記３）
前記変換部は、ラプラシアン固有マップ法を用いて、前記高次元の特徴ベクトル系列を前記低次元の特徴ベクトル系列に変換する付記２記載の文書画像検索装置。

（付記４）
前記検索部は、前記登録文書画像の特徴系列の各々と、前記対象文書画像の特徴系列との最近傍識別により、前記対象文書画像に類似する登録文書画像を検索する付記１〜付記３のいずれか１項記載の文書画像検索装置。

（付記５）
コンピュータに、
文書画像から、一文字の少なくとも一部に相当する部分に外接する領域の各々を抽出し、所定方向に隣り合う複数の領域の各々の特徴を、領域の配列順に並べた特徴系列を抽出し、
複数の登録文書画像の各々から抽出され、登録文書画像の識別情報と対応付けて記憶部に記憶された複数の特徴系列の各々と、対象文書画像から抽出された特徴系列とを照合し、前記対象文書画像に類似する登録文書画像を検索する
ことを含む処理を実行させる文書画像検索方法。

（付記６）
前記コンピュータに、前記特徴系列として抽出された高次元の特徴ベクトル系列を、低次元の特徴ベクトル系列に変換することを含む処理を実行させる付記５記載の文書画像検索方法。

（付記７）
ラプラシアン固有マップ法を用いて、前記高次元の特徴ベクトル系列を前記低次元の特徴ベクトル系列に変換する付記６記載の文書画像検索方法。

（付記８）
前記登録文書画像の特徴系列の各々と、前記対象文書画像の特徴系列との最近傍識別により、前記対象文書画像に類似する登録文書画像を検索する付記５〜付記７のいずれか１項記載の文書画像検索方法。

（付記９）
コンピュータに、
文書画像から、一文字の少なくとも一部に相当する部分に外接する領域の各々を抽出し、所定方向に隣り合う複数の領域の各々の特徴を、領域の配列順に並べた特徴系列を抽出し、
複数の登録文書画像の各々から抽出され、登録文書画像の識別情報と対応付けて記憶部に記憶された複数の特徴系列の各々と、対象文書画像から抽出された特徴系列とを照合し、前記対象文書画像に類似する登録文書画像を検索する
ことを含む処理を実行させるための文書画像検索プログラム。

（付記１０）
前記コンピュータに、前記特徴系列として抽出された高次元の特徴ベクトル系列を、低次元の特徴ベクトル系列に変換することを含む処理を実行させるための付記９記載の文書画像検索プログラム。

（付記１１）
ラプラシアン固有マップ法を用いて、前記高次元の特徴ベクトル系列を前記低次元の特徴ベクトル系列に変換する付記１０記載の文書画像検索プログラム。

（付記１２）
前記登録文書画像の特徴系列の各々と、前記対象文書画像の特徴系列との最近傍識別により、前記対象文書画像に類似する登録文書画像を検索する付記５〜付記７のいずれか１項記載の文書画像検索プログラム。

１０ 文書画像検索装置
２０ 登録部
２１ 第１特徴抽出部
２２ 第１特徴変換部
２３ 特徴ＤＢ
２５ ハッシュテーブル
３０ 照合部
３１ 第２特徴抽出部
３２ 第２特徴変換部
３３ 検索部
３４ 特徴メモリ
３５ ハッシュ値メモリ
４０ コンピュータ
４２ ＣＰＵ
４４ メモリ
４６ 記憶部
５０ 文書画像検索プログラム
６０ 登録プログラム
７０ 照合プログラム

Claims (6)

1. 文書画像から、一文字の少なくとも一部に相当する部分に外接する領域の各々を抽出し、所定方向に隣り合う複数の領域の各々の内部パターンを示す特徴を、領域の配列順に並べた特徴系列を抽出する抽出部と、
   複数の登録文書画像の各々から抽出され、登録文書画像の識別情報と対応付けて記憶部に記憶された複数の特徴系列の各々と、前記抽出部により対象文書画像から抽出された特徴系列とを照合し、前記対象文書画像に類似する登録文書画像を検索する検索部と、
   を含む文書画像検索装置。
2. 前記抽出部により前記特徴系列として抽出された高次元の特徴ベクトル系列を、低次元の特徴ベクトル系列に変換する変換部を含む請求項１記載の文書画像検索装置。
3. 前記変換部は、ラプラシアン固有マップ法を用いて、前記高次元の特徴ベクトル系列を前記低次元の特徴ベクトル系列に変換する請求項２記載の文書画像検索装置。
4. 前記検索部は、前記登録文書画像の特徴系列の各々と、前記対象文書画像の特徴系列との最近傍識別により、前記対象文書画像に類似する登録文書画像を検索する請求項１〜請求項３のいずれか１項記載の文書画像検索装置。
5. コンピュータに、
   文書画像から、一文字の少なくとも一部に相当する部分に外接する領域の各々を抽出し、所定方向に隣り合う複数の領域の各々の内部パターンを示す特徴を、領域の配列順に並べた特徴系列を抽出し
   複数の登録文書画像の各々から抽出され、登録文書画像の識別情報と対応付けて記憶部に記憶された複数の特徴系列の各々と、対象文書画像から抽出された特徴系列とを照合し、前記対象文書画像に類似する登録文書画像を検索する
   ことを含む処理を実行させる文書画像検索方法。
6. コンピュータに、
   文書画像から、一文字の少なくとも一部に相当する部分に外接する領域の各々を抽出し、所定方向に隣り合う複数の領域の各々の内部パターンを示す特徴を、領域の配列順に並べた特徴系列を抽出し、
   複数の登録文書画像の各々から抽出され、登録文書画像の識別情報と対応付けて記憶部に記憶された複数の特徴系列の各々と、対象文書画像から抽出された特徴系列とを照合し、前記対象文書画像に類似する登録文書画像を検索する
   ことを含む処理を実行させるための文書画像検索プログラム。