JP5183578B2 - 局所的視覚的２次元指紋を用いた、文書コレクション内の文書画像を発見する方法およびシステム - Google Patents

Description

本願は、文書の大規模コレクションに組み入れられた目標文書ないし文書セットの画像を、目標画像の不完全なコピーである質問文書の画像に基づいて見つけ出すソフトウェアプログラムおよびアルゴリズムを組み込んだコンピュータ操作可能なシステムおよび方法に関する。質問画像はデジタルカメラ、携帯データ端末、文書スキャナ、テキストリーダ、ビデオカメラ、映画用フィルムカメラ、コンピュータ、携帯電話カメラ、またはデジタル表現が可能な他の装置の少なくとも１つにより取り込まれるものでもよいが、それらに限られない。目標画像はモニタまたはコンピュータスクリーンおよび上記装置の１つにより直接得られるその写真上に表示するか、または最初にプリンタまたは類似の出力装置および目標画像の用紙上再生に関する上記装置の１つにより得られる写真上に印刷してもよい。代替的に、質問画像は格納された電子的な質問画像から再生することも可能である。質問画像の取込みに用いられる方式および装置のために、取り込まれた質問画像は多くの場合、目標画像と比較して低解像度、不鮮明、回転および射影による歪み、明度のムラを伴う。

このように本願は、印刷および／または手書きの単語および、例えば線画や写真などであるがそれらに限定されない他の形式の画像内容を含む文書に関する画像の発見に関するものであり、質問画像は一般的に、対応する目標画像より品質が低い。質問および／または目標画像はコンピュータメモリ、データベース、バッファメモリ、またはコンピュータで使用可能な他の媒体から格納および検索してもよい。

大阪府立大学の黄瀬浩一および知能メディア処理研究グループは、以下のステップを含む文書画像の検索方法を提案している。
１．目標画像および質問画像の双方に確実に発見される可能性が高い、画像内の安定した代表点を識別する。文書の画像に関して、良好な代表点は単語画素質量中心または提示された画像の終点である。代表点は画像内の対象の一貫して識別可能な態様である。代表点は、局所的な画像特徴を用いて特定の関心点における対象の外観から導かれる。代表点は、画像スケールおよび回転に対して不変であり、照度、ノイズ、オクルージョン、および視点の小さな変化に対して堅牢である。さらに、代表点は、非常に特徴的であり、不一致の確率が低い抽出が相対的に容易であり、ほぼリアルタイムの作業において局所的な画像特徴の（大型の場合もある）データベースに対する照合を容易に行なうことができる。
２．代表点の局所的近傍の２次元空間配置を表す「指紋（ｆｉｎｇｅｒｐｒｉｎｔｓ）」を形成する。指紋は、各近傍における代表点の間の歪み不変三角面積比を符号化する量子化された整数の列である。代表的な実施によれば、指紋は［０，７］の範囲に量子化された一連の整数であってもよい。所定の目標または質問画像は代表的に、文書内容に応じて数千の指紋を発生させる。代表点が非常に安定している場合、これら指紋の過半は同じ文書の目標画像と質問画像の間で同一となるが、異なる文書の目標画像と質問画像の間で一致する指紋はほとんどない。
３．前処理段階において、収集された目標画像のコーパス（すなわち本体ないしデータベース）を解析して各画像から数千の指紋が抽出される。非常に規模の大きい画像コーパスでは、低い確率ではあるが所定の指紋が複数の目標画像内に発見されるかもしれない。指紋は、［０，７］の範囲内にある約３５個の量子化された整数の数列で構成可能であり、３５次元のベクトル空間として翻訳可能な高次元のものである。これらはハッシュ表にハッシュされるが、それらの入力は連結された指紋記録のリストを含むものである。各指紋記録は、特定の指紋の属性、その値（指紋列）、およびその指紋を含む目標画像の属性を含むものである。ハッシュ表の入力とは第１の指紋記録を指す。１より多い文書が同じ指紋を含む場合、対応する指紋記録は連結されたリストの連鎖として相互に連結され、所定のハッシュ表入力の記録の全リストは、それらの連結を横断することにより順次追跡可能になっている。
４．質問時間において、指紋が質問画像から抽出される。連続して、各指紋は、ハッシュ表の内容を調べるための鍵として用いられ、目標画像の適切な候補指紋記録が検索される。そのような各指紋記録については、潜在的なハッシュ表の抵触のため、質問指紋列が目標文書の指紋列と比較される。特定の目標文書指紋列との正確な一致がみられる場合、その目標画像に関する投票数が増加する。多くの投票が質問および候補目標画像の間の正確な一致に関して生じ、少数の指紋の偶然の一致の結果としての不正確な一致に関して生じる投票はほとんどないことが期待される。

論文「特徴点の局所的配置に基づくデジタルカメラを用いた高速文書画像検索」（著者：中居友弘、黄瀬浩一、岩村雅一、論文誌名：電子情報通信学会論文誌Ｄ Ｖｏｌ．J89-D、Ｎｏ．９、2045〜2054頁）

この方法は、文書ページの画像２万枚までのデータベースに関して実施可能であると記述されている。しかしながら、前述の方法には少なくとも以下の欠点が存すると考えられる。

第１に、この方法は、数千から数百万の画像規模に対応できるかどうか明らかでない。多くの場合、質問および適正な目標文書に発見される指紋は厳密な一致ではなく、ノイズおよび量子化誤差により数字１個ないし数個が異なる。ハッシュ法は高次元空間における近傍の発見には好適でないので、特定の文書に関する投票数は、そのような数字の不一致のため有意に低下することがある。この問題に対処する１つの方法は、実現可能な変更されたニアミス指紋の組合せの付加的記録を多数入力することである。しかしながら、実際には、実現可能な指紋の組合せの数は単一の数字変化の数とともに指数関数的に増大するので、この方法は限定された数の数字変化にのみ適用可能である。

第２に、この方法は、質問および目標コレクション文書で同一の指紋を生成するため、各局所的近傍において同じ順序の代表点を取得する能力に依存している。既存の方法に共通する問題は、単語は一般に文章列に沿って並べられるので単語の重心は多くの場合、同一線上にあり、正確な代表点の順序を決定することは困難である。例えば大多数の既存の方法のように、角度を増すことにより同一線上の代表点の組を配列することは、特にノイズおよび丸め精度誤差を招きやすく、質問および目標文書の間で正確に指紋が一致することが少なくなる。

さらに、以下のページにおいて上記方法の欠点を記述し、それらの欠点を克服するための方法およびシステムを詳細に論述する。

本発明に係る画像管理方法は、質問文書の質問画像内の代表点と、潜在的目標文書のコレクションの潜在的目標文書画像内の代表点とを含む画像内の代表点を識別するステップと、代表点から指紋情報を生成するステップと、質問画像の指紋情報を、潜在的目標文書のコレクション内の潜在的目標文書画像の指紋情報と比較するステップと、質問画像と潜在的目標文書画像との指紋情報の最良の一致を判定するステップと、判定ステップに基づき少なくとも１個の目標文書画像を検索するステップと、検索された少なくとも１個の目標文書画像の表示、印刷、格納、伝送の少なくとも１つを行なうステップと、を含む画像データを格納、索引付け、探索および／または検索する画像管理方法であって、前記代表点が、ある画像の一貫して識別可能な態様を含むことを特徴とする。

図１は、本願の概念を実現可能な環境を示す。 図２Ａ−２Ｅは、成功した質問照合の説明である。 図２Ａ−２Ｅは、成功した質問照合の説明である。 図２Ａ−２Ｅは、成功した質問照合の説明である。 図２Ａ−２Ｅは、成功した質問照合の説明である。 図２Ａ−２Ｅは、成功した質問照合の説明である。 図３Ａ，３Ｂは、２次元視覚的指紋を用いた文書発見のための文書コレクション準備方法の概略を示す。 図３Ａ，３Ｂは、２次元視覚的指紋を用いた文書発見のための文書コレクション準備方法の概略を示す。 図４は、２次元視覚的指紋を用いた文書発見のための継続的動作を示す。 図５は、文書コレクションに関する指紋データベースを生成する方法である。 図６は、目標文書内で候補代表点を識別する方法である。 図７Ａ−７Ｄは、画像質問の間の主要画像処理の説明である。 図７Ａ−７Ｄは、画像質問の間の主要画像処理の説明である。 図７Ａ−７Ｄは、画像質問の間の主要画像処理の説明である。 図７Ａ−７Ｄは、画像質問の間の主要画像処理の説明である。 図８Ａ−８Ｄは、画像処理の拡大図である。 図８Ａ−８Ｄは、画像処理の拡大図である。 図８Ａ−８Ｄは、画像処理の拡大図である。 図８Ａ−８Ｄは、画像処理の拡大図である。 図９Ａは、指紋の構成に関する三角比の取得方法を示す。 図９Ｂは、図９Ａの三角比の量子化である。 図１０Ａは、当初取り込まれた画像である。 図１０Ｂは、図１０Ａの射影変換を示す。 図１１は、アンパックされた指紋データ内容の説明である。 図１２は、代表点からパック化された指紋データベースを生成する方法である。 図１３Ａ，１３Ｂは、時計回り方位順で最近傍代表点をソートする方法を示す。 図１３Ａ，１３Ｂは、時計回り方位順で最近傍代表点をソートする方法を示す。 図１４は、指紋データベースからファンツリーを構築する方法である。 図１５は、ファンツリー構造および対応する指紋データ内容の説明である。 図１６は、文書コレクション指紋データベースからファンツリー構造を構築する工程のフローチャートである。 図１７は、リアルタイムで質問画像を照合する工程のフローチャートである。 図１８は、質問候補代表点を識別する工程のフローチャートである。 図１９は、質問指紋処理に関する工程のフローチャートである。 図２０は、質問指紋を照合して文書のヒットを計数する工程のフローチャートである。

本明細書で記述されるようなシステムおよび方法は、図１に示すようなコンピュータネットワークのパラメータ内で動作してもよい。コンピュータネットワーク１００は、その多くがワイヤ接合部１０４で第３ワイヤ１０６と分岐ないし合流する一連のワイヤ１０２で構成してもよく、スタンドアロンの周辺装置に接続するか、周辺装置を通してコンピュータ１０８、１０９など他の装置に接続してもよく、この場合、コンピュータは周辺装置と見なしてもよい。ネットワークには、少なくともカラーレーザープリンタ１２０、１２２または１台のカラー以外のレーザープリンタ１２４とともにカラープリンタ１１０またはカラー以外のプリンタ１１２を組み込んでもよい。またネットワークには、スキャナ１３０、またはファクシミリ機器１４０、写真複写機１５０、カラー写真複写機１５２、または複合カラープリンタ／スキャナ／ファクシミリ機器１５４を組み込んでもよい。またネットワークは、パーソナルコンピュータおよび／またはスタンドアロンのコンピュータ端末１６０、またはスタンドアロンのハードドライブデータ記憶媒体１６４を含んでもよい。またネットワークは、無線ネットワーク送受信機１７０と、少なくとも１台のラップトップコンピュータ１７２または複数のラップトップコンピュータ１７４に対するインタフェースとを含んでもよい。ネットワークは、インターネット、イントラネットまたは他の通信ネットワークを含むがそれらに限定されない、いかなる形態のネットワーク１８０と相互接続してもよい。別の形態のネットワークとのインタフェースを用いることにより、本システムおよび方法を、デジタルスチルカメラ１９１、デジタルビデオカメラ１９２、携帯電話１９３、スキャナ１９４、携帯データ端末１９５、または文書索引付けシステム１９６を含むがそれらに限定されない複数の周辺データ捕捉装置１９０とインタフェースで接続してもよい。本概念は、単一の装置を有するネットワークから数千以上の接続された装置を含むものまで、上記構成要素の様々な組合せを有するネットワークにおいて実現可能であると理解すべきである。さらに、上記構成要素のうちいくつかは、記述される概念を実現する上で有用な多くの既知の構成により配置された記憶装置領域を有してもよい。記憶領域は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、または本願の概念を組み入れたソフトウェアを保持することが可能な他のメモリ形式であってもよい。他の記憶装置領域は、多くのデータベース記述形式のいずれかで様々なデジタル画像を保持するように構成してもよい。

さらに、例えばコンピュータであるがそれらに限定されない図１の構成要素のいくつかは、構成要素にロードされるかまたは他の方法でアクセス可能なソフトウェアからの命令を処理するためプロセッサを備えている。プロセッサを有する構成要素のいくつかは複数のプロセッサを有してもよく、それにより命令の処理を複数のプロセッサの間で分割可能であると理解すべきである。代替的には、単一のプロセッサが命令を分割するように動作可能であり、それにより処理がマルチスレッド環境で行なわれるようにできる。

図２Ａから２Ｅには、本願の方法およびシステムを用いて成功した画像質問探索が図示されている。最初に、図２Ａに示すように、質問画像をカメラ、スキャナ、または他のそのような装置により取り込むか、電子的に格納された目標画像から再生する。手で部分的に遮っているのは、質問画像の一部分が他の対象により部分的に遮られている場合など、質問画像が何らかの様態で劣化している場合でも達成可能な本願の概念を強調するためである。図２Ｂは、文書コレクション内に格納可能な目標画像に関する代表点の同様の抽出を示している。質問画像は図２Ｃに示すような単語の重心代表点を抽出するように処理される。代表点は図２Ｃにおけるノードであり、三角形分割の結果に基づいて連結される。図２Ｄの質問画像および目標画像の代表点の間で多くの指紋が一致し、他の画像（図示せず）の間で一致する指紋はほとんどないので、正しい目標画像が発見される。図２Ｅの点は、質問画像および目標画像の間で一致している指紋の位置を表している。明らかに、図２Ｅの中央左下部分では点が欠落している。この一致の欠落は、図２Ａの手の存在で遮られている画像の部分に対応している。

本願のそのような方法およびシステムを図３Ａ、３Ｂおよび４を参照して略述する。図３Ａ、３Ｂおよび４は本システムおよび方法の概略を示すものと理解すべきであり、これらの図面に提示された概念は以下の各節でより詳細に説明される。

図３Ａの前処理フローチャート３００において、ある文書コレクションの内容が前処理され、安定した再現可能な代表点が識別される。目標画像３１０のコレクション内の各文書に関し、代表点を識別し（３２０）、各代表点に関し、指紋操作を行なうことにより代表点の局所的グループから指紋情報を計算する（３３０）。この結果得られる指紋データ情報３４０はコンパクトな指紋データベース３５０に格納される。

次の図３Ｂは、指紋データベース３５０を編成するために用いられるフローチャート３５５を提示している。このプロセスでは、様々な指紋の組合せ３６０を有する情報がファンツリー（Ｆａｎ Ｔｒｅｅ）アドレシング方法３７０によりファンツリーに編成される。高速かつ効率的な指紋照合を容易にするため、対応する指紋データ構造３８０が提供される。指紋データベース３５０内の各入力指紋に関して、一連の候補となる指紋の組合せ３６０が生成され、ファンツリー３７０および対応する指紋データ構造３８０に格納される。一連の指紋の組合せ３６０の目的は、実施可能な変換、例えば質問画像のアフィン変換により１以上の代表点欠落を許容しながら、指紋を高精度で正確に検出可能とすることにある。

質問時間において、図４は、特定の質問画像４１０内の代表点の位置４２０を識別し、質問代表点の局所的グループから各質問代表点に関する指紋情報４３０を算出し、質問指紋４４０を既存のファンツリー指紋データ４８０と照合してコレクション内の文書または文書セットの最良の一致を判定することによる、特定の質問画像４１０に関するリアルタイム画像質問４００の実施を図示している。各質問指紋を用いて、あるファンツリーアドレス４５０が計算され、そこからオリジナル文書コレクション指紋記録４８５のサブセットを含む特定のファンツリーリーフノードリストが得られる。サブセットリストからの各オリジナル指紋は、指紋照合４６０のため最新の質問と順次比較される。質問指紋が検索された指紋記録の１つと一致するたびに、その文書に関する一致指紋の数の計数が増大する。さらに、指紋の強度およびそれが目標指紋とどれだけ一意的に相関しているかに基づいて各指紋の一致に得点が割り当てられる。最後に、指紋得点解析モジュール４９０は、各文書に関する一致指紋４７０の蓄積された得点および計数の結果リストを調査し、質問画像４１０と最良に一致するコレクション内の最良一致文書または文書セット４９５を決定する。指紋の一致数とそれらの相対的得点とを組み合わせることにより、一致する各文書に関して総合得点が算出される。用途によって、指紋得点解析モジュール４９０は、総合得点が最も高い単一の文書を選択するか、または総合得点が所定の値より高いすべての文書を選択してもよい。一致する文書セットは、図１の構成要素の１つにより、検索、印刷、電子的な伝達、表示および／または格納を行なうことができる。

Ｉ．ａ．文書コレクション前処理
図５に文書コレクション前処理フローチャート５００を示す。このフローチャートにおいて、目標画像５１０を順次１つずつ処理し、それらの視覚的指紋情報を代表点の識別に基づいて抽出する。

代表点識別処理モジュール／ステップ５２０では、入力画像内容に基づいて１組の代表点を識別するために各目標画像５１０が処理される。この方法の成否は、共通の準アフィン歪みおよび様々な照明条件の下で完全な目標画像とそれら画像の劣化したものとでほぼ同じ代表点を発見するその能力に依存している。代表点識別モジュール５２０には、以下のページで詳述される以下のステップ／モジュールが組み込まれている。これらモジュール／ステップは、入力画像を２値に変換するための第１の順応式しきい値処理モジュールを備えている。２値出力は、２値画像に適用するのに適切な放射フィルタサイズを選択するため平均文字高さを自動的に決定するように、推計連結構成モジュールにより処理される。結果的な放射ブラーグレースケール出力は第２の順応式しきい値モジュールにより処理され、連結構成要素のリストが生成され、そのために各連結構成要素の重心位置が算出される。最後に、重複除去モジュールが、ほぼ同じ重心位置を有する重複した連結構成要素を取り除く。この結果得られる単語の重心位置が候補画像代表点として選択される。代表点識別モジュール５２０の出力は、代表点およびそれらのページ上の位置のリストである。

次に、指紋構成処理ステップ５３０では、局所的近傍における代表点の小グループから指紋が計算される。局所的指紋を使用することは、特にカメラが小範囲の近傍における画像形状および照明を考慮すればよいという点で、この方法の柔軟性および堅牢性（ｒｏｂｕｓｔｎｅｓｓ）に大きく寄与する。この結果得られる指紋は指紋データベース５５０に格納されるが、ここでは各画像が目標画像５１０に対応する固有の画像ＩＤ５４０を有する。

Ｉ．ａ．１ 文書代表点の検出
代表点識別モジュール（例えば図５の５２０）の目的は、ノイズ、情景照明の変化、例えば傾斜、曲がり、回転、並進、縮尺、解像度の変化などアフィン変換の少なくとも１つを受けるか、それらに限定されない劣化した画像においても同数の代表点を繰り返し確実に発見することである。

目標画像６１０の文書代表点位置６００を検出するプロセスを図６に示す。順応式しきい値処理、ブラーリング、連結構成要素コレクションに関する画像処理は文献において周知である。最良の結果のためには、人間の視覚システムの特性に従って知覚像空間内で代表点識別処理を行なうことが望ましい。

第１順応式しきい値モジュール６２０の２値出力画像６２５は、推計ＣＣサイズモジュール６３０に送られる。ここでＣＣとは、同じ極性を有する２値画素の最大限に連結された部分群である連結構成要素（Ｃｏｎｎｅｃｔｅｄ Ｃｏｍｐｏｎｅｎｔ）を表している。２つの画素は、それらの間に極性が同じ画素の経路が存する場合、その場合にのみ同じ連結構成要素内にある。推計ＣＣサイズモジュール６３０の目的は、画像ごとに目標画像６１０に関して、次の放射ブラーモジュール６４０に適用すべきブラーパラメータ６３５またはブラーフィルタ寸法を動的に推計することである。ブラーリング処理の目的は堅牢、確実かつ再現可能な代表点識別を実現することである。またブラーリングにより、霜降りノイズのようなノイズの除去が容易になるとともに、ページ上の孤立した小さい特徴を除くことが容易になる。例えば近似ガウス形であるがこれに限らないブラーリングフィルタの形状は、望ましくない人工物の進入を防ぐため十分に滑らかなものとすべきである。

ブラーリングの正しい量を決定する上での１つの問題は、入力ページ上の代表的な文字の大きさが前もって分からないということである。本願のある実施形態は、例えば１０ないし１４ポイントのローマ字体に関し、ある範囲の標準活字書式を通じて良好な折衷案を提供するようにあらかじめ固定された所定の放射ブラーパラメータ６３５を開示している。本願の第２の実施形態では、放射ブラーパラメータ６３５は、ユーザが文書ごとに適用する最適な設定を指定できるように選択可能になっている。これら実施形態のいずれでも、推計ＣＣサイズモジュール６３０は使用されず、その出力は選択された所定の放射ブラーパラメータ６３５と置き換えられる。

本願の第３の実施形態では、推計ＣＣサイズモジュール６３０を用いて入力目標画像６１０の内容を調査することにより、最適な放射ブラーパラメータが自動的に推計される。この場合、推計ＣＣモジュール６３０は順応式しきい値モジュール６２０からの２値出力を用いる。推計ＣＣモジュール６３０は２値画像６２５を処理して連結構成要素を集約し、連結構成要素高さのヒストグラムへと進む。これは、多くのローマ系言語において文字高さは文字幅よりも変化が少なくフォントサイズをより良く表すからである。高さヒストグラムを用いて、発生頻度に基づき適切な放射ブラーパラメータが決定される。このプロセスの間、推計ＣＣモジュール６３０は、少数の孤立した画素からなる場合にサイズが小さすぎるとき、または線または枠がページの周囲に面していてサイズが大きすぎるときなどに、ノイズを誘起された連結構成要素の除去に注意を払うことにより、与えられた推計値が少数の非常に大きいか非常に小さい連結構成要素により偏りを受けないようになっている。さらに、ページはフォントサイズの混合した取合せを含んでもよいので、推計ＣＣアルゴリズムは、混合したフォントセットの場合でも良好な折衷案により、控え目な推計値を提供するように設計されている。

本願の第４の実施形態では、推計ＣＣサイズモジュール６３０は、例えば、最初はポイントの小さい文章を含むある画像領域からより大きなフォントを含む別の近傍領域に動的に移動する場合に、局所的なサブイメージ領域内の入力画像内容を解析することと、領域ごとにブラーリングパラメータを順応的に変化させることとに基づいて順応的ブラーリングパラメータを動的に供給してもよい。

放射ブラーリングモジュール６４０の出力はグレースケール画像６４５である。順応式しきい値モジュール６５０は、グレースケール放射ブラー６４０の画像出力６４５を順応式しきい値処理６５０により２値白黒出力６５５に変換する。

第２順応式しきい値モジュール６５０の２値出力は２値画像６５５であり、連結構成要素モジュール６６０へ送出される。連結構成要素法は当該技術において周知であり、グラフにおいて１組の最大限に連結された構成要素と見なしてもよい。

本願の第１の実施形態では、すべての利用可能な連結構成要素が利用される。第２の実施形態では、利用可能な連結構成要素は、例えば連結構成要素の大きさ、画素総数、アスペクト比、および／または他の連結構成要素に対する近接性の最適条件に重みづけする相対強度によりソートされ、連結構成要素のより小さい部分集合のみが出力される。第３の実施形態では、入力目標画像６１０を１組の重なり合うか重ならない領域に細分化し、各領域から多数の連結構成要素を選択して、ある領域が他のすべてに優越することを防止してもよい。

重心計算モジュール６７０は、連結構成要素モジュール６６０の出力における各連結構成要素の視覚的中心を決定する。各連結構成要素に関して、連結構成要素の各構成画素の水平方向座標を合計し結果を構成画素の総数で除することにより、水平方向の重心位置が算出される。垂直方向の重心位置は、各構成画素の垂直方向座標を合計し構成画素の数で除することにより同様に算出される。この合算は連結構成要素解析の進行中に効果的に実行することができる。所定の連結構成要素の構成画素のみが、他の非構成画素の「穴」を無視すると、その重心位置に寄与することに留意すべきである。多くの言語において連結構成要素は文章列の中に位置する傾向があるので、各連結構成要素の視覚的中心は画素未満の精度で算出される。

代表点識別段階の最終処理工程において、重心計算モジュール６７０からの連結構成要素重心位置のリスト６７５が重複除去モジュール６８０により認証され、重複除去モジュール６８０は代表点のリスト６８５を生成する。認証の目的は、どの２つの連結構成要素も所定の許容差内で同じ重心位置を有さないようにすることである。ほぼ同じ重心位置を有する重複した連結構成要素は取り除かれる。

重複除去モジュール６８０の出力における残る連結構成要素重心のリストは最終候補質問代表点リスト６９５となる。候補代表点６９０の総数は入力画像内容および連結構成要素処理の方式に依存している。一般的な機械印刷ページに関して数百の代表点が存する場合がある。

図７Ａから７Ｄは、上記記述に従って処理された入力質問画像の一例を示している。図７Ａは、図６の入力画像６１０の一例を示す。図７Ｂは、図６の第１順応式しきい値モジュール６２０の準備後の代表的出力を示す。図７Ｃは、図６の第２順応式しきい値モジュール６５０の動作後のブラーリングされた出力を示している。図７Ｄは、グラフノードとしての結果的な連結構成要素の重心位置を示す。

図８Ａから８Ｄは、上記記述に従って処理された入力質問画像の一例を示している。図８Ａは、図７Ａの画像のある領域に関する画像処理の拡大図を提示している。図８Ｂは、第１順応式しきい値６２０の動作後の出力の拡大図を示しており、図８Ｃは、第２順応式しきい値モジュール６５０の動作後のブラーリングされた出力の拡大図を示している。図８Ｂと図８Ｃとを比較することにより、単語を形成するように「連結」されている文字の意味を評価することができ、それにより図８Ｂの例における個々の文字が、ブラーリング後に図８Ｃにおいて連結され、単語または句ごとに概ね１つの連結構成要素を形成する。図８Ｄは、重畳したグラフノードとしての連結構成要素の重心位置を示している。

Ｉ．ａ．２．指紋の構成
本節では、代表点の局所的グループから指紋を計算し、指紋データベース（例えば図３Ａ、３Ｂの３５０）への効率的な格納のため指紋をパック化する処理について説明する。これら指紋をパック化することにより指紋データベースの大きさおよび格納の要件が縮減される。

我々は、広範なノイズ、観察条件および画像歪みに関して安定的な入力画像内の堅牢な２次元視覚指紋を識別しようとする。さらに、数百万ないし数十億の文書を含むコレクションのような非常に大きい文書コレクションサイズを扱うように、システムを効果的にスケールアップ可能とするため指紋の大きさを最小化することが可能である。指紋データベースはコレクション内のすべての有効な指紋からなっているからである。同時に、指紋は高い精度および信頼性でそれらが表している個々の内容を識別することが期待されている。

指紋は、持続的比率（ｐｅｒｓｉｓｔｅｎｔ ｒａｔｉｏ）と呼ばれる量子化された変換不変２次元比の列として構成され、これらの比率は、所定の代表点およびその（Ｎ−１）個の最近傍代表点の相対的２次元位置から導かれる。これにより各指紋は、対象の代表点周囲の小さい画像近傍に局所化される。ある指紋列は、対象の代表点とその（Ｎ−１）個の最近代表点近傍との間の相対的２次元形状のみに依存している。近傍Ｎの数は指紋強度に影響を与える設計パラメータである。

本願のある態様は、デジタルカメラまたは携帯電話カメラによる画像のスキャンまたは撮影プロセスの間に普通に発生する例えば傾斜、曲がり、回転、並進、縮尺、解像度の変化などであるがそれらに限定されない一定の画像歪みに対して指紋を堅牢にすることにある。

図９Ａに示すように、三角形ＡＢＣ９５０と第２の三角形ＡＣＤ９６０とを含む、対象表面上の同一線上にない４つの点｛Ａ，Ｂ，Ｃ，Ｄ｝（すなわち９１０、９２０、９３０、９４０）からなる所定のポリグラム（ｐｏｌｙｇｒａｍ）９００に関して、三角形の面積比（ＡＢＣ／ＡＣＤ）９７０はいかなるアフィン変換を受けても一定のままであることは当該技術において周知である。したがって三角比９７０として図示されている、ある三角面積比を算出するにはＰ＝４点が必要となるだけである。このアフィン変換は、多くの実際的状況における平面的物体形状に対してカメラを記述する許容可能なモデルを提供するように示されている。

本願の別の実施形態では、画像モデルを説明するためアフィンより大きい変換次数が必要とされる状況に関して、（４ではなく）Ｐ＝５点を用いた射影変換を扱い、２つの三角比の積である単一の持続的比率を算出するために変換を拡張することができる。

したがって１個の指紋は、時計回り順にソートされたＮ個の最近傍代表点のグループに関する量子化された持続的変換比率の列からなる。指紋サイズを小さく保つため、変換比率はＱレベル９８０に量子化される。ある実施形態では、Ｑの値は２の２進べき乗となるように好都合に選択可能である。図９Ｂでは、量子化プロセスがＱ＝８の場合の図９Ａの三角比９７０の量子化として図示されている。量子化以前の三角比の有効範囲（０，∞）は，図９Ｂ（９９０）に示すように「０」から「７」で標識されたＱ＝８個の間隔に分割される。この間隔の境界は、量子化標識を代表的文書の大規模なセットに対してほぼ一様に分布させるように経験に基づいて決定される。入力される三角比の値９８０は、増加する間隔境界と順次比較されて第１のより高いか等しい間隔境界が決定され、そこでプロセスが終了し、対応する標識間隔が量子化された結果として割り当てられる。例えば、入力される三角比が０．８２５３６９４である場合、１．０より小さく、その前の間隔境界より大きいので、量子化された値「３」が割り当てられる。

図１０Ａ、１０Ｂに示すように、最近傍法を用いる上で１つの潜在的な問題は、射影変換に対して近接度が必ずしも保持されないということである。図１０Ａ、１０Ｂは適切な例を示すため一例を提示するものである。図１０Ａは当初取り込まれた質問画像１０００を示しており、図１０Ｂは画像１０００の射影変換１０１０の一例を示している。図１０Ａの指示点Ａ、Ｂ、Ｃ、Ｄは図１０Ｂの４つの角部に写像されている。図１０Ａの破線は、図１０Ｂの全面積を満たすように変換される画像の部分を取り囲んでいる。点Ｘに対する８つの最近傍点は、図１０Ａおよび１０Ｂの双方において別個に、水平線から右へ時計回り順に（すなわち１〜８として）ソートされる。本例では、図１０Ａにおいて点Ｘから最も遠い点８が、変換後、図１０Ｂの点２となっている。よって、所定の代表点のＮ個の最近傍が任意のアフィンまたは射影変換によっても丁度同じＮ個の代表点のままである保証はない。それでも、最も近い代表点は、より遠い代表点より、Ｎ個の最近傍のリストに残る可能性が高い。

上記問題を克服するため、本願は、指紋のアフィンまたは射影変換に対する堅牢性をさらに高めるため近傍代表点の１以上の欠落を許容することを提案する。本願のある実施形態では、局所的な小さい近傍における限定されたアフィン歪みを考慮してある代表点を除外することができる。したがって各所定の代表点は一度に１つの代表点を省くことにより、多くの指紋Ｎを発生させる。各指紋は、残余の数の代表点Ｎ−１を半径方向の方位順に系統的に辿り、Ｐ個の点（アフィン変換に関してはＰ＝４、射影変換に関してはＰ＝５）のすべての可能な組合せについて量子化された持続的比率の列を記録することにより作成される。図１１は、Ｎ＝８、Ｐ＝４、Ｑ＝８の場合の単一ページに関する指紋出力の一例を示している。各代表点は複数の指紋列を発生させる。ある状況では、複数の指紋列は長さ３５の８つの指紋列であってもよい。

図１２に指絞処理プロセス１２００を詳細に示す。指絞処理プロセス１２００に対する入力は、入力画像１２０５に関する候補代表点１２１０のリストである。図１２において第１の指絞処理工程は代表点三角形分割モジュール１２２０である。本実施形態では、ドローネーまたは代表点三角形分割１２２０を用いて局所的近傍における各所定の代表点に対する最も近い代表点が識別される。図７Ｄおよび８Ｄには、この三角形分割の結果が示されている（連結構成要素の重心をつなぐ線連結）。三角形分割の連結を辿ることにより、所定の代表点に対する最も近い（Ｎ−１）個の近傍を効果的に決定することができる。

各候補代表点およびその（Ｎ−１）個の最近傍は指紋候補と見なされる。各最新の候補代表点Ｋｐは次代表点取得モジュール１２３０により入力リスト１２１０から順次選択される。各代表点Ｋｐに関し、最近傍発見モジュール１２４０が、所定の代表点Ｋｐに対する距離が最も近い（Ｎ−１）個の最近代表点（Ｎは所定のパラメータ）を識別する。最近傍発見モジュールはドローネーまたは代表点三角形分割の結果１２２０を用いて、Ｋｐからの距離を増すことによってソートされた最近代表点のリストをＫｐに返す。返されたリストの最初の要素は常に（距離がゼロの）最新の代表点Ｋｐである。パラメータＮの値は、指紋「強度」ないし特徴、指紋ごとの計算の数として定量化された全体的システム性能、およびその結果得られるデータベースまたは指紋の大きさの間で合理的なトレードオフが生じるように調整される。本例では、Ｎ＝８、１２または１６の値が用いられる。

最近傍発見モジュール１２４０の各点は、データベースと質問画像とで同じ代表点／近傍に関して面積比の列が一定となるように一定の順序で取得することが必要である。時計回り順ソートモジュール１２５０は、所定の代表点のＮ個の最近傍代表点のリストを時計回り方位昇順でソートする。

時計回り順ソートモジュール１２５０は、代表点がほぼ同一線上の一般的場合に対して代表点の順序を安定化させるための方法およびシステムを含む。時計回り順ソートモジュール１２５０は、（所定の代表点に最も近い）リスト上の最初のＭ個の最近傍（Ｍ＜Ｎ）を用いて原点の部分群中心を算出する。最遠の（Ｎ−Ｍ）個の代表点は、原点をアフィンまたは射影変換によっても安定的なままとするため、原点の部分群中心の計算では使用されない。この実現方式では、時計回り順ソートモジュール１２５０は、代表点の順序を決定するため、全体でＮ＝８の場合のＭ＝５個の最近傍代表点の平均位置を原点の中心として用いる。

最新の近傍代表点クラスタの原点中心を決定後、時計回り順ソートモジュール１２５０は続いて、代表点を時計回り方位昇順でソートする。このソーティングは、方位および距離の双方において行なわれる。その順序は時計回り方位昇順である。しかし、２以上の点が、概ね同じ方位を有していてその違いが所定の許容差レベル内にある場合、それらの点は、方位が実質的に同様のすべての点に関して距離の昇順に下位順序付けされる。

Ｎ個の代表点の独自の各サブセットに関し、次部分群組合せモジュール１２６０は、アフィンまたは射影変換の場合に応じてＰ＝４またはＰ＝５の代表点の次の部分群組合せを系統的かつ方法論的に選択する。例えば、Ｎ＝８に対してＰ＝４の代表点の部分群に関し７０の独自の組合せが存在する。

Ｐ＝４の代表点の次の各部分群組合せについて、パック化量子化比率モジュール１２７０が単一の持続的比率を算出し、これを１組の所定の間隔境界しきい値を用いて量子化する。量子化レベルＱの数は設計パラメータである。これらの例では、Ｑ＝８またはＱ＝１６が用いられる。量子化しきい値は、特定の種類の文書の大規模コレクションにおける持続的比率の分布を調査することにより経験に基づいて決定される。

指紋データベース１２８５の大きさをさらに縮小するため、パック化量子化比率モジュール１２７０は多くの結果的な量子化された持続的比率を１つの機械語にパック化する。例えば、Ｎ＝８、Ｐ＝４、Ｑ＝８の場合、７０の部分群の組合せに関する指紋列全体を４個未満の６４ビット語に密にパック化することができる。本願のある実施形態では、パック化された指紋の大きさは、複数の語またはバイトに部分情報を分ける必要なく３個の６４ビット語および３個の８ビットバイトの全体を占める。

指紋を算出およびパック化するプロセスは、最終の組合せが最終組合せモジュール１２８０により検出されるまで、一度に１つの持続的比率に関して順次続けられる。最新のＰ部分群組合せがまだ最終の組合せ１２８１でない場合、最終組合せモジュール１２８０はフローを次部分群組合せモジュール１２６０に戻し、次のＰ部分群を取得してその量子化された持続的比率の計算およびパック化へと移行する。このプロセスは、最終のＰ部分群組合せが処理される（１２８２）まで続く。このとき、結果的なパック化された指紋データ１２８３が指紋データベース１２８５に書き込まれる。指紋データは、パック化された各指紋データが利用可能になるにつれて指紋１個ずつを順次指紋データベース１２８５に書き込み可能であることに留意すべきである。

最後に、指紋を書き込むプロセスは、最終の代表点が最終代表点モジュール１２９０により検出されるまで、残る代表点すべてについて順に続く。最新の代表点組合せがまだ最終の代表点１２９１でない場合、最終代表点モジュール１２９０はフローを次代表点取得モジュール１２３０に返し、次の代表点を取得して引き続きプロセスを繰り返し、そのパック化された指紋を計算して指紋データベース１２８５への追加を行なう。指絞処理プロセスは、このようにして最終の代表点組合せの最終の対応する指紋が処理され（１２９２）指紋データベース１２８５に追加されるまで続く。最終の代表点がアドレス指定されると、プロセスが終了する（１２９５）。

指紋の原点中心を算出する方法を、図１３Ａ、１３Ｂに示す。図１３Ａは、所定の画像例１３００に対するプロセスを示している。処理された画像は、円１３０１、１３０２などの円により識別された代表点または単語の重心とともに図示されている。これらは単なる例示として記述されており、図内のその他の円も単語の重心である。例えば、数字（１−７）も、点Ｘに対する近傍代表点である単語の重心を表している。図１３Ｂ（１３００）は、明瞭化のため背景の処理された画像を除いたものであるが、他の点では図１３Ａと同じである。本例では、局所的近傍における７個の付加的な代表点（１−７）を用いて代表点Ｘに関する指紋が計算される。第１の工程では、代表点Ｘに対する最近のＭ＝５個の代表点を用いて、この指紋に関する原点の中心、すなわち点｛Ｘ，１，２，３および５｝の平均位置を計算する。これにより原点の中心は、点Ｘから離れて、また代表点Ｘを含む文章列Ｙに沿った代表点の共直線から離れて、点０までの矢印線１３２０に従い新しい原点中心まで移動する可能性が高い。７個の（１−７）のうち最遠の３つの代表点（４，６，７）は、３つまでの点の任意のアフィンまたは射影変換による移動を許容することにより点０の位置を安定させるため原点中心の計算には使用されない。第２の工程では、８個の代表点（Ｘおよび１−７）の組全体が、新規に算出された部分群の原点中心（０）に対して時計回り順１３１０にソートされ、その結果、この場合、最終の出力列の順序は（１，Ｘ，２，３，４，５，６，７）となる。代表点の順序に注目すると、上記順序は基準点に依存していると理解すべきである。「０」を基準点として用いる場合、１は「０」からの破線の上方にあるので結果的な順序は２３４Ｘ５６７１となるであろう。ここで用いられる代替的方法は、Ｘを基準として使用し続けるが、代表点の質量が「０」に移動するものと仮定し、リストに記載された順序を得るものである。上記においては、当初の代表点位置が基準として維持される一方、点「０」がＸの周囲を移動して代表点順序の反転を生じてもよいので、後者が使用されている。しかし、いずれの場合も、実現する必要があるのは、目標画像と質問画像双方において同じ順序を再現可能とすることなので、いずれの方法でも実施可能である。第２の工程の目的は、距離によってではない時計回り順でのソートであることに留意すべきである。

所定の代表点に関してＮ個の最近傍代表点の順序が設定されると、指紋を生成することができる。一度に１以上の代表点を除外し、除外されなかった代表点の残る部分群組合せの列を構成することにより、近傍内における代表点の大きさＰ＝４の連続したサブセットから指紋が形成される。こうして部分群組合せのパック化された列から指紋の群を効果的に構成可能である。Ｎ個の代表点のＰ個のサブセットは系統的かつ一貫した方式で検討される。各々に関し、このＰサブセットの持続的面積比を計算し本明細書に記述されているようにこの面積比をある整数に写像することにより、ある整数が決定される。所定の代表点に関する指紋の長さは、そのようなＰサブセットの総数である。これはＮ個の代表点のうち独自のＰ個の代表点を選択するための組合せの数によって決定される。例えば、Ｎ＝８かつＰ＝４の場合、実現可能な部分群の組合せの数は７０の持続的比率となる。これらのうち、３５の部分群組合せによる長さの８個の指紋を、例えば一度に１個の代表点を除外することにより、各々構成することが可能である。

Ｉ．ｂ．高速照合のための指紋情報準備
図１４に示すように、指紋データベース１４１０内の指紋は記憶容量およびローディング時間縮減のためパック化された形式で格納されるので、効率的な指紋照合を容易にするため、まずファンツリーデータ構造に従った独自の方式でアンパックおよび再編成を行なわなければならない。最初の画像質問にあたっては、指紋データベースの準備が一度だけ必要であることに留意すべきである。ファンツリーデータ構造（アンパックされた指紋列を含む）はメモリ内に保持され、その後、いかなる数の画像質問に対しても再使用することができる。

パック化された指紋データベース１４１０の準備方法は、上述の図１２に示されている。指紋情報は指紋データベース１４１０から検索される。各指紋データベース入力は複数の候補指紋を生じさせる。

代表点除外モジュール１４２０は、指紋代表点１４３０のうち１以上を除外することにより複数の候補指紋代表点の組合せを選択する。これにより、局所的近傍代表点の間で１以上の欠落代表点が許容される。この実現方式では、代表点除外モジュールが１個の代表点を除外する。Ｎ個の代表点による局所的近傍の場合、これにより各データベース入力ごとにＮ個の指紋が生じるか、あるデータベース入力は代表点ごとになされるので代表点ごとにＮ個の指紋が生じる。

指紋列モジュール１４５０は、各代表点についてＮ個の候補指紋からなる列を発生させる。例えば、Ｎ＝８の場合、代表点除外モジュール１４２０は、第１の代表点を除外し残る７個の代表点を選択することにより第１の指紋を発生させるであろう。その後、代表点除外モジュールは、第２の指紋を作成するため、第２の代表点を除外し第１および残る６個の代表点を選択する。このプロセスは、除外されるすべての代表点組合せが実行されるまで続く。本例では、各データベース入力は、各々の長さが７個から４個を選択＝３５である８個の候補指紋を発生させる。

Ｎ＝８およびＰ＝４の場合、４つの代表点部分群に関して（８個から４個を選択）＝７０の独自の組合せが存する。これは、各代表点についてパック化された形式でデータベース１４１０に格納されるものである。

欠落代表点が１個の場合、次の指紋が生成される。しかし、どの代表点が欠落するかは前もって分からないので、すべての可能性に対する準備が行なわれる。Ｎ＝８の場合、単一の欠落代表点に関し１番目、または２番目、または３番目などのいずれかとして総計で８つの場合、８つの可能性がある。これらの場合の各々に関し異なる指紋が計算される。この場合の各指紋は、（当初の８個のうち１個が欠落するので）７個の代表点のみに基づいている。このようにして、この場合の各指紋の長さは（７個から４個を選択）＝３５となり、それら全体のうち８つが存在する。これは、各指紋が範囲０〜７の３５個の整数（量子化された比率）からなっていることを意味する。これら８個の指紋はファンツリーデータに加えられる。

質問時間において、８個の（最新および７個の最近の）代表点が生成され、さらに同じ方法を用いて同様に一度に１個の代表点を除外することにより８個の質問指紋が計算される。ここでファンツリー内容に対する代表点の照合のための試行が行なわれる。最初の照合が得られると照合操作は停止する。１個の代表点（どれでも構わない）が質問画像から欠落すると、８個のうちの１個の質問指紋は（他の７個の代表点が存在している当該の１個と）一致しなければならない。欠落している代表点が無い場合（８個すべてが存在）、最初の肯定的一致の後、照合を続ける必要がないのでプロセスが停止する場合を除き、（どの７個のグループも一致するので）８個の一致が生じるであろう。しかし、２個以上の代表点が同時に欠落している場合、この位置に関して一致は生じないであろう。望ましい場合、このシステムでは、より多くの欠落代表点（例えば８個のうち２個など）を許容するように方法を拡張することで、より多くの欠落代表点を容易に扱うことができる。

指紋列モジュール１４５０から出力された指紋データ１４６０は、最新画像に関してデータベースから検索された固有の画像ＩＤ１４４０とともに指紋記録１４８０を生成する。指紋記録１４８０は、ファンツリーモジュール１４７０によりアドレス指定される対応するファンツリーリーフノード位置に格納される。ファンツリーリーフノードの情報は、対応する指紋データ構造１４９０に指紋記録１４８０の関連リストとして格納される。現実の指紋に対応する実際のファンツリーリーフノードのみが配置される。特定のリーフノードに到達する最初の指紋は当該リーフノードに初めて位置を占める。複数の指紋が偶然同じリーフノードに再び（すなわち同じファンツリー経路を辿って）到達すると、新しい指紋情報をそのリーフノード上の直前の指紋情報と関連づけることにより、新しい指紋情報が同じリーフノードにおいて追加される。

Ｉ．ｂ．１．指紋置換
本節では、各質問指紋に関して一致する候補指紋の総数を実質的に低減することにより顕著な性能向上をもたらすために有用な方法およびシステムについて説明する。

指紋照合中に生じることがある１つの問題は、質問画像が、照合される目標画像に対して異なる方位を有することである。質問画像を目標画像に対して回転させると、結果的な指紋列は、２つの指紋が同じ数字の組を共有していても、列内で数字の順序が異なるために目標列と一致しそうにない。指紋列全体の各々すべての対応する量子化比率の数字の間で１対１の一致がある場合に２つの指紋が一致するだけである。

所定の指紋の量子化比率の特定の列は、その代表点の特定の順序に依存している。例えば、質問画像を当初の基準に対して回転させると、始点の代表点が異なるものとなり、量子化比率の列が完全に異なるものとなる場合がある。実現可能な指紋の一致を決定するためには、まず２つの指紋の対応する代表点を同じ列順序で配置しなければならない。

上記問題を克服するための１つの方法は、画像回転の結果として潜在的に発生しうるすべての実現可能な指紋列を生成し、それらを一致可能性のある候補指紋としてファンツリーに登録することである。しかし、この方法は複数の一致を確認しなければならず非効率的であり、かつ各候補指紋について複数の指紋をメモリに格納しなければならず不経済である。

本願で提案されるのは、配列順の不確実性のゆえに質問画像内で発見されそうな基本的指紋の異なる置換を得ることにより付加的な指紋を生成する新規の方法である。置換を用いると、照合すべき候補指紋の数が大幅に低減される。

目標代表点はまず、方位の昇順で環状にソートされる。２以上の代表点が互いに所定の許容差内で実質的に同様の方位を有することが分かった場合、それらはグループ内の第２のソート基準として原点の中心からの距離の昇順にさらにソートされる。上記ソートプロセスは、多くの実現可能な候補代表点組合せを除くために有用であるが、任意の変換に対する質問画像の最初に観察された代表点と目標画像の最初に観察された代表点との方位の違いを前もって判定することは不可能である。

本願の第１の実施形態では、質問画像の最初に観察された代表点の目標画像位置に対する回転の方位を確定するためテストが実施される。このテストは、Ｎ個の実現可能な最初に観察された質問代表点組合せの各々を評価し最良の列の一致を選択することにより実施される。

本願の第２の実施形態では、Ｎ個の実現可能な最初に観察される質問代表点組合せが前もって事前に計算され、照合すべき付加的候補指紋列として格納される。質問時間において、Ｎ個の事前に計算された組合せの１つと一致するいかなる質問指紋も一致と見なされる。誤った質問指紋が特別な組合せの１つと実際に一致する可能性は小さい。第２実施形態の主要な利点は、付加的な候補第１代表点指紋の組合せを格納するための記憶装置が多少大きくなる代わりに、より高い照合性能が実現可能となり、第１実施形態に対して質問計算負荷が低減することにある。

第３の実施形態では、最小共通最小量子化数字（Ｓｍａｌｌｅｓｔ Ｌｅａｓｔ Ｃｏｍｍｏｎ Ｑｕａｎｔｉｚａｔｉｏｎ Ｄｉｇｉｔ）（ＳＬＣＤ）法が用いられる。第１の工程では、最小共通最小量子化数字を決定するため指紋数字列のヒストグラムが実施される。一例として以下の１個の指紋列を考察する。
指紋＝「１４６０３６１６３７６７５６３２６３２２４７７６６２６５２２０６６６７」

指紋列の数字は、各値の種類ごとに何個存在するかを決定するように計数される。例えば、上記の指紋は２個の「０」、２個の「１」、６個の「２」、４個の「３」、２個の「４」などを有する。最小共通最小数字は、指紋数字列に少なくとも１度現れる最小頻度最小数字、すなわち計数が非ゼロである最小の数字である。上記指紋例においては、計数１の数字は無く、指紋列内に計数２の数字が少なくとも３個（「０」、「１」、および「４」）有り、「０」はその他の数字「１」または「４」より小さいので、最小頻度最小数字は数字「０」である。全体的な置換の数を最小化するため、常により小さい計数に優先順位が与えられる。

指紋列内の最小共通最小数字の値を決定した後、指紋列内の最小共通最小数字の位置を決定するため指紋列が走査される。各位置に関して、最小共通最小数字の位置までの列の開始部分は指紋列の終端へ置換される一方、開始部分および終端部分の内部配列は不変に保たれる。したがって置換の数は指紋ごとに変化する。各指紋列に関して、置換の数は指紋の最小共通最小数字の計数と等しい。ＳＬＣＤ法の利点は、すべての実現可能な指紋列数字の置換の空間を通じて全数探索を行なう必要なく、良好に平衡した計算負荷で指紋ごとの置換の数を最小化しようとすることにある。

上記サンプル指紋の場合、ＳＬＣＤの実施形態による方法に従った結果的な置換は以下の２つの候補列を含む。
置換１＝「０３６１６３７６７５６３２６３２２４７７６６２６５２２０６６６７_∧１４６」
置換２＝「０６６６７_∧１４６０３６１６３７６７５６３２６３２２４７７６６２６５２２」

これにより質問指紋は、本例において２つの候補指紋置換に対してソートおよび照合される。各置換は、開始位置から最小共通最小数字（この場合は０）の位置までの当初の指紋列を、置換される指紋列の終端へ移動させることにより形成される。置換の下の標識「∧」は、当初の指紋列の終端位置を説明のため示すものである。本願のこの実施形態では、当初の指紋列の代わりに、置換された指紋列が用いられる。置換を用いる利点は、照合が必要な候補指紋列の数が大幅に減ることである。当初の指紋列の実現可能なすべての循環組合せを試験する代わりに、最小共通最小数字のわずかな置換のみが考察される。この置換は、指紋データベース準備の間に前もって生成、格納される。質問時間においては、すべての置換が前もって格納されていて、適正なものが自動的に発見されるので、質問指紋列の第１の置換のみが照合に用いられ、付加的な質問置換を照査する必要はない。

Ｉ．ｂ．２．ファンツリー
本願のある態様は、高速かつ効率的な指紋照合を容易にするため、独自の方式で指紋情報を編成する方法である。既存の方法は、文書コレクション内の質問画像と候補指紋との間の指紋照合のためハッシュ方式を用いる。代わりに、本システムおよび方法は、整数の列である指紋を索引付けする方法としてファンツリーと呼ばれるツリー式の方法を用いる。通常のハッシュ技法と異なり、ファンツリーは高次元空間における効率的な近傍指紋（例えば１個ないし数個の数字の変化を除いて同じ列を有するニアミス指紋）の探索を可能とするものであり、少なくともハッシュ表方式と同程度に高速である。

図１５は、格納されたデータの編成に用いられる指紋内容１５００のファンツリー構造および対応する編成を示している。ファンツリーは３種類のノード、すなわち（ａ）ルートノード１５１０、（ｂ）中間レベルツリーノード（例えば１５２０、１５２１、１５３０、１５３１および１５３２）、（ｃ）枝の末端における終端リーフノード（例えば１５４０、１５４１、１５４２、１５４３および１５４４）からなる。ファンツリーはルートノード１５１０が始点となる。ルートおよび中間レベルツリーノードは各々、Ｎ個（この場合Ｎ＝８）までの子を、持続的面積比の各量子化レベルについて一個ずつ有する。これにより指紋は、分岐によって追跡されるファンツリーのルートからリーフノードまでの経路となる。

例えば、図１５の経路（１５１０−１５２０−１５３０−１５４０）は、ルートノード１５１０から特定のリーフノード１５４０まで延びる１個の指紋に対応している。（この単純な例における）この特定の指紋の表現は、宛先リーフノード１５４０に到達するのに３つの分岐コード（すなわち（０）で標識された分岐３回である「各ノードで左の経路をとる」）を用いる。

ファンツリーの潜在的サイズは、この場合では８＊８＾３５と大きいが、実際のファンツリーは、データベース内で実際に発生する指紋に関していかなる所定のノードにも分岐が構成されるので疎らに構成される。ルートの近傍では、多くのノードが８個すべての分岐を含んでいるが、数レベル下では拡張している分岐はわずかの場合がある。

リーフノードは発出する分岐を持たない点でその他のツリーノードの種類と異なる。その代わり、各有効なリーフノードは、質問時間において質問指紋と照合される図１５の要素（１５５０，１５５１，１５５２，１５５３，１５５４，１５５５，１５６０，１５６１，１５６２および１５６３）を含むがそれらに限定されない指紋記録１５７０のリストを内包する連結リストデータ構造を指し示している。これらも指紋データ内容１５８０を構成する。

指紋データは、データベース内の関連する指紋記録に対する迅速なアクセスを容易にする一方、同時に、対象とする最新の質問指紋に関して無関係の指紋記録を調査する必要を除くように効率的に編成される。

ファンツリー方式により、数個の数字の変化を除いてほぼ同じ整数列を有するニアミス指紋を扱う２つの方法が可能になる。すなわち、（１）ニアミス指紋の組合せを計算してファンツリー内に事前格納することができる。（２）ニアミス指紋の組合せを質問時間の間に質問指紋列から計算し、探索時間においてファンツリー経路を後戻りすることができる。第１の方法は、付加的なニアミス指紋の組合せを格納するための記憶装置が大きくなる代わりに、計算の大部分をオフラインで実行するという利点がある。他方、第２の方法は、実際の質問時間において付加的な計算が必要になるが、格納のための特別な記憶装置は不要である。

ファンツリー１５００によって、より効率的なシステムパフォーマンスおよび非常に大規模の（例えば数百万の文書を含む）文書コレクションにスケールアップする能力が実現可能になる。ファンツリーは、大規模な文書コレクションに特に適している。事実、良好に指紋を設計すれば、ファンツリーを用いた探索時間は文書コレクションの大きさに対して緩慢にしか増大しない。リーフ１５４５および指紋記録１５５４および１５６３は破線で描かれていることが留意される。これは、ファンツリーが、例えば破線で示されるような要素であるがそれらに限定されない項目を付加および／または除去可能であることを表すためである。

Ｉ．ｂ．３．文書コーパスからのファンツリー構築
図１６に示すように、指紋データベース１６０５内の指紋は記憶容量およびローディング時間縮減のためパック化された簡潔な形式で格納される。本節では、文書コレクションから抽出される高密度の指紋データベースからファンツリーをいかに構築するかを説明する。所定の文書コーパスに関してファンツリーの構築が必要なのは１回だけである。ファンツリーが構築された後は、（指紋データを含む）ファンツリーデータ構造をメモリ内に保持し、その後、いかなる数の画像質問に対しても再使用することができる。

所定の指紋データベースからファンツリーを構築するプロセスを１６００で示す。このプロセスは、次ページモジュール１６１０を用いて指紋データベース内容を一度に１ページ画像ずつ読み込むことにより開始される。各ページに関して、以下の情報がデータベースから検索される。（ａ）指紋データベース作成時間に固有画像ＩＤモジュールにより割り当てられた固有画像ＩＤ、（ｂ）最新ページ上の識別された指紋の数、（ｃ）最新ページに関する指紋記録の内容

固有画像ＩＤは、特定のページ画像およびそれが属する文書を固有に識別する内部整数表現である。画像ＩＤ表現は（その文書について従来のＵＲＬ（Ｕｎｉｖｅｒｓａｌ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）文字列を用いるよりもコンパクト、かつ必要な空間が小さいので）内部索引付けに好都合に用いられる。実際の文書内容は指紋情報を除いて指紋データベースには格納されない。

最新のページ内容が次ページモジュール１６１０により指紋データベース１６０５から検索された後、フローは最新ページの指紋記録検索へと進み、それらを用いて一度に指紋１個ずつファンツリー構造を構築する。次指紋モジュール１６２０は、最新のページに処理すべき指紋記録がさらに存在する限り、データベースから最新のパック化された（例えば長さ７０の）指紋記録を検索する。指紋アンパックモジュール１６３０は指紋内容をアンパックし、次いで上記Ｉｂ節で記述したように代表点除外モジュール１６４０により１個以上の代表点を除外する。

最新の指紋の特定の経路は、ファンツリー内に既に存在していても、していなくてもよい。最新の指紋経路またはその一部がファンツリー内に存在しない場合、経路の欠落部分がファンツリーに加えられ、新しいリーフノードが、最新ページの固有画像ＩＤ番号および最新の指紋番号に加えて最新の指紋記録を格納するように初期化される。他方、最新の指紋経路がファンツリー内に既に存在する場合、ファンツリー構造は変化を加えられず、最新ページの固有画像ＩＤ番号および最新の指紋番号に加えて最新の指紋記録だけが既存のリーフノードリストに加えられリンクされる。このようにファンツリー構造は、一度に指紋１個ずつ末尾から上方へ構築され、データベース作成の間に実際に観察される実際の指紋データを表すノードおよび分岐のみを含む。

代表点除外モジュール１６４０の出力における各候補指紋に関して、置換ソートモジュール１６５０が上記Ｉ．ｂ．１節で記述したような最小共通最小量子化数字（ＳＬＣＤ）アルゴリズムに従って指紋列の置換を発生させる。

置換ソートモジュール１６５０の出力は、対象とする最新の指紋に関する置換された指紋量子化比列のリストである。このリストは、本願の最小共通最小数字アルゴリズムの特性に従って少なくとも１個の置換入力を含むように常に保証されている。時により、置換された指紋列のリストに複数の置換が存してもよい。このリスト内の置換された指紋列の数（すなわちリストの大きさ）は、対象とする最新の指紋に関する最小共通最小数字の計数である。置換を用いない本願の実施形態では、置換ソートモジュール１６５０はバイパスされ、置換されない指紋列が代表点除外モジュール１６４０から次置換モジュール１６６０の出力へ直接渡される。

次置換モジュール１６６０は、置換ソートモジュール１６５０の出力から最新の指紋置換列を検索する。置換された各指紋は順次登録される。ファンツリー置換登録モジュール１６７０は、ファンツリーに最新の置換を登録し、対応するデータ記録を既存の指紋データ内容に追加する。この登録プロセスは、新しい指紋列を記述するのに必要なノードおよび分岐のみを追加することによりファンツリーを末尾から上方へ構築することに相当する。指紋経路すべてがファンツリー内に既に存在する場合、ツリー構造は変更されず、最新の指紋記録だけが直前の入力にリンクされることにより既存の指紋データ内容に追加される。

他方、新しい指紋経路の全体がファンツリー内に存在していない場合、欠落しているツリーノードおよび分岐が経路完成のため必要に応じてファンツリーに追加される。さらに、最新の指紋記録が既存の指紋データ内容に追加され、新規に形成されたリーフノードにリンクされる。最終結果として、ファンツリーが最新の指紋を含むように拡張され、その内容記録が一度に指紋経路１つずつ指紋データ内容に追加される。

次の指紋置換を登録してそのデータ記録１６７０を追加するファンツリーのプロセスは、最終置換モジュール１６７５により最終の置換が検出されるまで、置換１個ずつ順次続行される。最新の置換がまだ最終置換１６７６でない間は、最終置換モジュール１６７５はフローを戻し、次の置換１６６０を取得して引き続きその内容をファンツリーに登録する。これは、最終の置換が処理される（１６７７）まで続く。

対象とする最新の指紋に関するすべての置換がファンツリーに登録された後、手順は最終除外代表点モジュール１６８０に移行する。これが最終候補指紋組合せでない場合（１６８１）、プロセスは代表点除外モジュール１６４０に戻され、次の代表点を除外して次の候補指紋組合せが処理される。これは除外代表点のすべての可能な組合せがファンツリーに登録され（１６８２）、それらの内容が指紋データ１６０５に追加されるまで続く。

アンパック、代表点除外、置換ソート、およびすべての結果的置換のファンツリー登録のプロセスは、最終指紋モジュール１６８５により最終の指紋が検出されるまで、一度に指紋組合せを１つずつ順次続けられる。最新の指紋がまだ最終の指紋でない場合（１６８６）、最終指紋モジュール１６８５はフローを次指紋モジュール１６２０に戻し、次の指紋を取得して、引き続きアンパック、置換ソート、およびそれらすべてのファンツリーおよび関連する指紋データ内容への登録を行なう。このプロセスは、対象とする最新ページに関する最終の指紋が処理される（１６８７）まで続く。

対象とする最新のページに関するすべての指紋が上記方式で処理され、それらの置換すべてのファンツリーへの登録および指紋データ内容への追加が成功すると、ページＵＲＬ追加モジュール１６９０は最新ページのＵＲＬ（Ｕｎｉｖｅｒｓａｌ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を検索し、ファンツリーまたは指紋データ内容と無関係に内部固有画像ＩＤから真の文書ＵＲＬへの逆写像を別の表（データ構造）に追加する。よりコンパクトであるため、固有画像ＩＤ番号は全プロセスを通じて、対象とする最新ページを参照するため内部的に使用される。

最後に、それらの指紋を指紋データベース１６０５から検索、アンパック、ソート、およびすべての置換をファンツリーおよび指紋データ記録に登録するページの処理は、最終ページモジュール１６９５により最終ページが検出されるまで、一度に１ページずつ順次続けられる。最新のページがまだ最終ページでない場合（１６９６）、最終ページモジュール１６９５はフローを次ページモジュール１６１０に戻し、次のページを取得して、引き続きその指紋置換内容をファンツリーおよび関連する指紋データ内容に登録する（１６７０）。このプロセスは、最終ページが初期質問での使用のため準備されるまで続き（１６９７）、プロセスが終了する（１６９８）。

ファンツリーを構築する全プロセスは最初の画像質問前にオフラインで実施可能である。指紋データベースが本願の実施形態に従って準備されると、これを続きの画像質問で使用することができる。目標画像の追加または削除後など、参照画像データが変化した場合はファンツリーを再構築すればよい。

Ｉ．ｂ．４．ノイズ防護法
本節では、既存の問題を克服して優れた指紋照合性能をもたらすノイズ防護方法およびシステムとして認識される別の概念を紹介する。本節では導入であるが、以下の節ではノイズ防護のより詳細な説明を行なう。

指紋に関する重要な問題は、三角面積比の連続値空間が離散空間へ量子化されることである。例えば、ノイズおよび／または有限の丸め誤差による代表点位置の小さな変化も最新の量子化間隔境界を不用意に越え、指紋のこの位置に関して異なる量子化整数値をもたらすことがあるので、持続的比率が量子化境界に接近するときに問題が生じる。

図１９においてノイズ防護モジュール１９７１は、質問指紋列における三角比のうち１以上が偶然、量子化しきい値の１つのいずれかの側に極めて接近する場合に対処するように設計されている。持続的比率値からその最近傍の量子化しきい値までの距離が所定の許容差レベルを下回る場合、ノイズ防護モジュール１９７１は、可能な候補として双方の量子化数列を発生させ、適正な選択が結果的な候補の１つとして含まれるようになっている。

指紋「１４６０３６１６３７６７５６３２６３２２４７７６６２６５２２０６６６７」を考察する。

５番目の持続的比率の値は１．０の間隔境界をわずかに下回り、図９に示すように整数値「３」に量子化される０．９９９９であると仮定する。これはコレクション内の目標画像に関するものである。

劣化した質問画像においては、この持続的比率の計算におけるノイズまたは小さな丸め誤差の存在により、その値が間隔境界のわずか上、例えば１．０００１（０．９９９９から０．０００２の非常に小さな変化）に押し上げられる可能性もある。これは１．０よりも大きいので、「３」ではなく「４」に量子化され、結果的な質問指紋は、もはや一致しなくなる。「１４６０４６１６３７６７５６３２６３２２４７７６６２６５２２０６６６７」 ５番目の数字における分岐は、まったく異なるファンツリー経路を辿ることになる。

上記ノイズ防護法は、ある間隔境界に偶然接近しているかどうかを確かめるため量子化以前に、入力される持続的比率を監視するものである。十分に接近している場合に限り、双方の指紋列がファンツリーに加えられる。すなわち、目標画像に関して、１個の指紋列に代わり、一方が「３」を有しもう一方が「４」を有する２個の指紋が加えられる。

質問画像時間においては、質問指紋が計算されるが、「３」か「４」かは問題とならない。なぜならば、いずれもファンツリー内に存在しており正しい一致が常に発見されるからである。

ノイズ防護法の長所は、間隔境界に近い場合に組合せが加えられるだけであるという点にある。もしすべての数字に関して機械的に同じことを試みるならば、非実用的に大きい、各指紋に関する２＾３５の可能性が生じる。

従来のハッシュ方式は、入力数列を無作為に「刻む」ように設計されており、一方の位置を他方の位置を知ることにより決定する有効な方法が無く２個のほぼ同一の数列が一般的に相互に離れてしまうので、そのような数字の変化に対し感応的であることも指摘すべきである。これは、ファンツリーを用いる１つの利点である。

このようにノイズ防護モジュール１９７１の利点は、量子化ノイズ感応性を低減することにより指紋処理の堅牢性が向上することにある。しかしこれは、量子化がしきい値に接近するごとに候補指紋列の数が倍加するので、付加的な計算の代償として達成される。幸いにも、三角比がしきい値に接近する事象は、質問画像のノイズレベルにもよるが非常に稀有なので、平均してその影響はさほど重大でない。さらに、（多くの三角比が量子化しきい値に接近している指紋はあまり特徴的でないので）全体的な性能レベルを維持するため各指紋にノイズ防護を適用する回数には上限が設定される。ある実現方式では、指紋ごとに数字５個の変化、すなわち各指紋について２⁵＝３２通りの指紋組合せ可能性の限界を設けてノイズ防護モジュールを用いた。

上記ノイズ防護法は、文書コレクションの前処理時間中にオフラインで、あるいは質問時間にオンラインで適用可能である。格納の見地からは、付加的なノイズ組合せは、コレクション全体に関して事前ではなく質問時間に生成する方がより経済的である。

しかし、質問時間においてノイズ防護を適用すると、付加的な計算によりリアルタイムの性能がわずかに低下するかもしれない。格納とリアルタイム性能とのトレードオフは、予期されるノイズレベルおよび量子化誤差の見込みに応じて最適化が可能である。

Ｉ．ｃ．実行時質問
質問指紋１７００を照合するプロセスを図１７に示す。照合される質問画像１７１０は入力において提示される。質問画像１７１０は代表点識別ステップ／モジュール１７２０により候補代表点位置を識別するように処理される。１７２０における代表点識別プロセスは、文書コーパスに関する代表点発見に用いられるプロセスと同様であるが、重要な相違は質問画像の予期される品質の低下に関するものである。

質問代表点１７２５は、照合のための指紋処理ステップ／モジュール１７３０における候補質問指紋を生成するように小規模な局所的近傍群内において処理される。質問画像に関する指絞処理方法は、文書コーパスに関する指絞処理方法と同様であるが、重要な例外はノイズ防護法などの質問画像の予期される品質低下および異なる質問指紋置換方式に関するものである。

本願のある実施形態では、すべての利用可能な代表点が利用される。別の実施形態では、利用可能な連結構成要素は、例えば連結構成要素の大きさ、画素総数、アスペクト比、および／または他の連結構成要素に対する近接性の重み付けされた最適条件などであるがそれらに限定されない相対強度によりソートされ、連結構成要素のより小さいサブセットのみが出力される。第３の実施形態では、入力目標画像１７１０を１組の（重なり合うか重ならない）領域に細分化し、各領域から多数の連結構成要素を選択し、ある領域が他のすべてに優越することを防止してもよい。本願の第４の実施形態では、指絞処理モジュール１７３０は、稀有かつ異常な数字パターンはより表示的なので、指紋列内の数字または数字パターンの発生頻度の解析に基づいて最も表示的な候補質問指紋を選択さえすればよい。指絞処理モジュール１７３０の出力は、局所的代表点の各群に関する候補質問指紋１７３５のリストである。

候補質問指紋１７３５のリストは、特定の用途および、処理時間および精度に関する望ましい性能レベルに応じて、すべての識別可能な指紋の全体またはサブセットを含んでもよい。例えば、相対的な指紋強度に基づき最も表示的な指紋の小さなサブセットのみを選択してもよい。代替的に、すべての利用可能な候補質問指紋を最良の精度を得るため使用してもよいが、これは処理時間を増大させるかもしれない。このように、指絞モジュール１７３０の出力における候補質問の数は、精度と速度とのトレードオフとして調整が可能である。

続いて指絞処理モジュール１７３０の質問指紋は、各質問指紋に関して対応一致するリーフノードを決定するファンツリーアドレシングモジュール１７４０によりファンツリー経路に変換される。各指紋は、ルートノードから開始して特定のリーフノードで終了するファンツリー内のある経路に対応している。ファンツリーアドレシングモジュール１７４０は、各候補質問指紋の経路を辿り、対応するリーフノードアドレスを決定する。リーフノードの内容は指紋データ構造１７９０内で調査され、特定のリーフノードに関して一致する指紋記録１７７０のリストが検索される。

続いて指絞処理モジュール１７３０の候補質問指紋情報は、指紋記録１７７０のリーフノードリストに含まれる各指紋入力１７７０に対して指紋照合モジュール１７５０内で照合される。候補質問指紋１７３０と指紋記録モジュール１７７０の特定の指紋記録との間に正確な一致が存する場合にのみ、システムは一致指紋記録１７７０から対応する画像ＩＤおよび指紋ＩＤ組合せを検索し、続いてカウンタアレイ内の固有の「＜画像ＩＤ／指紋ＩＤ＞」組合せに関する指定された指紋カウンタを初期化（初回のみ）およびインクリメントする。またシステムは、指紋照合段階１７５０の間に少なくとも１個の指紋が一致した画像ＩＤのリストを、別個のデータ構造内で保持する。指紋照合プロセス１７５０は、すべての候補質問指紋１７３０がこのように処理されるまで続く。一致カウンタの結果１７５５のアレイ内容は、最終の最高得点解析およびコレクション内の最も一致する文書または文書セットの判定のため指紋解析段階１７６０に送られる。

指紋解析段階１７６０は、一致カウンタアレイの内容を解析して最終の照合結果を決定する。具体的な指紋解析１７６０は、適用される特定の照合目的に左右される。多くの照合目的が存在しうる。本願のある実施形態では、この目的は文書コレクション内で最良の画像の一致を発見することであってもよい。この場合、最多の指紋の一致を集めた画像ＩＤ、すなわち最高得点の指紋一致ＩＤ１７６５が好ましい候補である。さらに、個々の計数を信頼性の数値として用いて、指紋一致の所定の最小数より小さいページの一致を除外することができる。画像内容により、他よりも多くの指紋を有するページが存することがあるので、これらの計数をあるページ上の指紋の総数によって正規化し、より均一な相対測度を得ることができる。

本願の別の実施形態では、その目的は、所定の最小指紋計数または最小の上記信頼性レベルを満たすコレクションまたはそのサブセット内の一致するすべての画像のリストを返すことであってもよい。本願のさらに別の実施形態では、オリジナルの画像領域をサブイメージの格子に重ね合わせるか重ねずに細分化し、良好な指紋一致が得られる領域の大まかな密度プロファイルを得るため、各サブイメージ内で指紋照合解析を別個に実施してもよい。後者の解析は、オリジナル画像の一部が欠落または情景内の別の対象により部分的に隠されている状況に特に適している。この場合、欠落または隠されていない共通画像領域でも、なお高い一致指紋計数が得られる。本願のさらに別の実施形態では、上記で概説したようなサブイメージへの分割による画像のゾーニングを用いて、ある画像領域の他に対する重みを強くすることができる。例えば、焦点を合わせた対象において、画像の中心付近の指紋一致により大きな重みを付し、外縁部の指紋一致にはより小さな重みを付けることである。この方法は、画像の外側境界に沿ったフレーム境界アーティファクトの除去に関して特に有用である。例えば、電子的オリジナルやその印刷物のスキャナや携帯電話カメラなど（それらに限定されない）からの取り込まれた画像など様々な供給源からの画像を照合する場合である。後者の技法を効果的に用いて、紙の白色やブルースクリーンの色などに対する画像隅部などであるがそれらに限定されない画像境界外側の人工的背景の導入による候補代表点の形成を防止することができる。

指紋解析モジュール１７６０の出力は、一致画像ＩＤ１７６５の最終リストである。最終工程１７８０においてこのリストは、固有画像ＩＤ１７６５の内部整数表現から、一致文書の位置およびページ番号を識別する真の文書ＵＲＬに変換される。この変換は、文書ＵＲＬ調査モジュール１７８０において実現され、照合結果１７８５が生成される。ある実施形態では、指紋データベース１７９０の生成時に固有画像ＩＤモジュール１７３０により作成される逆写像表を用いて固有画像ＩＤを索引として使用し、当該ＵＲＬが調査される。最後に、照合結果１７８５は、電子ディスプレイなどのディスプレイ、ハードコピー出力を供給するプリンタ、記憶装置であってよい出力１７９５に送るか、あるいは他の適合性ある装置に伝送してもよい。

Ｉ．ｃ．１ 候補質問代表点の識別
質問代表点識別プロセス１８００を図１８に示す。質問代表点識別プロセスは、文書コーパスに関する代表点発見に用いられるプロセスと同様である。

上記Ｉ．ａ．１節の記述との相違は、照合される質問画像１８０５の目標画像コレクションに対する品質の潜在的低下に対処するため画像強調モジュール１８１０が導入されることである。用途によっては、質問画像にさらなる品質低下を加えてもよい。例えば、目標画像の印刷されたハードコピーまたは画面上の画像から低品質の携帯電話カメラで質問画像を取り込んでもよい。この場合、質問画像は、低解像度、ブラー、ノイズ、照明の変化、反射、遠近法による観測歪みなど多くの要因による大幅な画像劣化を呈するかもしれない。したがって、質問画像の予想される品質により、入力画像品質を改善するための必要な画像強調を適用して質問代表点識別の前に強調画像１８１５を作成するため、第１画像強調モジュール１８１０を追加することが望ましい。画像強調モジュール１８１０による具体的強調および変更は、用途、質問画像の予想される品質、予想される画像歪み、および望ましい精度および性能の目標による。

本願のある実施形態では、画像強調モジュール１８１０は、質問画像の情景における変化するカメラ照明を評価するため背景評価モジュールを備える。背景評価は、一定の画素領域における明度の最も高い画素レベルの評価および、低次２次元多項曲線を適合させることによる、質問情景における緩慢に変化する照明のモデル化を含んでもよい。多項モデルを逆転することにより、画像における変化する背景照明の効果を中立化し、順応式しきい値操作１８２０との干渉および明または暗の代表点特徴に関する順応的識別の潜在的な失敗を防止することができる。

本願の他の実施形態では、画像強調モジュール１８１０は、代表点抽出の前に質問画像の品質をさらに向上させるためコントラスト強調、シャープニング、ノイズ除去など他の既知の画像処理技法を備えてもよい。

順応式しきい値モジュール１８２０の２値出力画像１８２５は、推計ＣＣサイズモジュール１８３０に送られる。推計ＣＣサイズモジュール１８３０の目的は、画像ごとに質問画像１８０５に関して、次の放射ブラーモジュール１８４０に適用すべきブラーパラメータ１８３５またはブラーフィルタのサイズを動的に推計することである。ブラーリング処理の目的は堅牢、確実かつ再現可能な代表点識別を実現することである。またブラーリングにより、霜降りノイズのようなノイズの除去が容易になるとともに、ページ上の孤立した小さい特徴を除くことが容易になる。例えば近似ガウス形であるがこれに限らないブラーリングフィルタの形状は、望ましくない人工物の進入を防ぐため十分に滑らかなものとすべきである。

ブラーリングの正しい量を決定する上での１つの問題は、入力ページ上の代表的な文字の大きさが前もって分からないということである。本願の第１実施形態は、例えば１０ないし１４ポイントのローマ字体に関しある範囲の標準活字書式を通じて良好な折衷案を提供するように、あらかじめ固定された所定の放射ブラーパラメータ１８３５を開示している。本願の第２の実施形態では、放射ブラーパラメータ１８３５は、ユーザが文書ごとに適用する最適な設定を指定できるように選択可能になっている。これら実施形態のいずれでも、推計ＣＣサイズモジュール１８３０は使用されず、その出力は選択された所定の放射ブラーパラメータ１８３５と置き換えられる。

本願の第３の実施形態では、推計ＣＣサイズモジュール１８３０を用いて入力質問画像１８０５の内容を調査することにより、最適な放射ブラーパラメータが自動的に推計される。この場合、推計ＣＣモジュール１８３０は順応式しきい値モジュール１８２０からの２値出力を用いる。推計ＣＣモジュール１８３０は２値画像１８２５を処理して連結構成要素を集約し、連結構成要素高さのヒストグラムへと進む。これは、多くのローマ系言語において文字高さは文字幅よりも変化が少なく、フォントサイズをより良く表すからである。高さヒストグラムを用いて、発生頻度に基づき適切な放射ブラーパラメータが決定される。このプロセスの間、推計ＣＣモジュール１８３０が、少数の孤立した画素からなる場合にサイズが小さすぎる場合、または線または枠がページの周囲に面していてサイズが大きすぎる場合などにノイズを誘起された連結構成要素の除去に注意を払うことにより、与えられた推計値が少数の非常に大きいか非常に小さい連結構成要素により偏りを受けないようになっている。さらに、ページはフォントサイズの混合した取合せを含んでもよいので、推計ＣＣアルゴリズムは、混合したフォントセットの場合でも良好な折衷案により控え目な推計値を提供するように設計されている。

本願の第４の実施形態では、推計ＣＣサイズモジュール１８３０は、例えば、最初はポイントの小さい文章を含むある画像領域からより大きなフォントを含む別の近傍領域に動的に移動する場合に、局所的なサブイメージ領域内の入力画像内容を解析することと、領域ごとにブラーリングパラメータを順応的に変化させることとに基づいて、順応的ブラーリングパラメータを動的に供給してもよい。

放射ブラーリングモジュール１８４０の出力はグレースケール画像１８４５である。順応式しきい値モジュール１８５０は、グレースケール放射ブラー１８４０の画像出力１８４５を順応式しきい値処理１８５０により２値白黒出力１８５５に変換する。

第２順応式しきい値モジュール１８５０の２値出力は２値画像１８５５であり、連結構成要素モジュール１８６０へ送出される。連結構成要素法は当該技術において周知である。

本願の第１の実施形態では、すべての利用可能な連結構成要素が利用される。第２の実施形態では、利用可能な連結構成要素は、例えば連結構成要素の大きさ、画素総数、アスペクト比、および／または他の連結構成要素に対する近接性の最適条件に重みづけする相対強度によりソートされ、連結構成要素のより小さい部分集合のみが出力される。第３の実施形態では、入力質問画像１８０５を１組の重なり合うか重ならない領域に細分化し、各領域から多数の連結構成要素を選択し、ある領域が他のすべてに優越することを防止してもよい。

重心計算モジュール１８７０は連結構成要素モジュール１８６０の出力における各連結構成要素１８６５の視覚的中心を決定する。各連結構成要素に関して、連結構成要素の各構成画素の水平方向座標を合計し、結果を構成画素の総数で除することにより、水平方向の重心位置が算出される。垂直方向の重心位置は、各構成画素の垂直方向座標を合計し、構成画素の数で除することにより同様に算出される。この合算は、連結構成要素解析の進行中に効果的に実行することができる。所定の連結構成要素の構成画素のみが、他の非構成画素の「穴」を無視すると、その重心位置に寄与することに留意すべきである。多くの言語において連結構成要素は文章列の中に位置する傾向があるので、各連結構成要素の視覚的中心は画素未満の精度で算出される。

代表点識別段階の最終処理工程において、重心計算モジュール１８７０からの連結構成要素重心位置のリスト１８７５が重複除去モジュール１８８０により認証され、重複除去モジュール１８８０は代表点のリスト１８８５を生成する。認証の目的は、どの２つの連結構成要素も所定の許容差内に同じ重心位置を有さないようにすることである。ほぼ同じ重心位置を有する重複した連結構成要素は取り除かれる。

重複除去モジュール１８８０の出力における残存する連結構成要素重心のリストは、候補質問代表点リスト１８９５となる。候補代表点１８９０の総数は入力画像内容および連結構成要素処理の方式に依存している。一般的な機械印刷ページに関して数百の代表点が存する場合がある。

Ｉ．ｃ．２ 質問指紋の計算
本節では、質問指紋を識別して、それらをファンツリー構造内の適切な文書コレクション指紋との照合のため準備するプロセスを紹介する。この質問指紋プロセスを図１９に示す。質問画像に関する指絞処理方法は、文書コーパスに関する指絞処理方法と同様である。しかし、質問画像の予期される品質低下、ノイズ防護法の導入、および異なる質問指紋置換方式の提供に関する概念を含むがそれらに限定されない多くの重要な相違が存在する。
（ａ）１つの相違は、質問指紋を指紋データベースに保存する必要がないので質問指紋がパック化されないということである。その代わり、質問指紋は、一度に１個ずつ単純に処理および照合される。各質問指紋はファンツリーで調査され、照合される適切な候補指紋のリストが検索される。所定の質問指紋の照合プロセスが完了すると、当該質問指紋が破棄され、一致カウンタアレイに関する照合結果のみが、質問ページごとに質問指紋について次々に蓄積され続ける。
（ｂ）質問指紋処理は、置換が文書コレクションの準備段階の間に前もって生成されるので、ソート置換工程を必要とせず、質問時間において１個の置換のみ、すなわち生成される最初のものが用いられる。すべての実現可能な置換が準備されファンツリーに前もって登録されているので、有効な置換は対応する一致対象を有するはずである。
（ｃ）上記Ｉ．ｂ．３節で説明したノイズ防護法は、ファンツリー準備段階の間、または質問時間に適用可能である。質問時間においてノイズ防護法を適用すると、特別な記憶装置を必要としない点でより経済的であり、ファンツリーにより、計算のわずかな増加の代わりにニアミス指紋を扱う便利な方法が提供される。
（ｄ）別の相違は、質問照合時間を最小化する必要に関するものである。多くの用途では、質問照合はリアルタイムで行なわれる一方、システムは一定の厳格な性能要件を満たすか上回ることが期待される。そのような状況では一般的に、潜在的な指紋組合せの整理、および質問照合時間を最小化するため前もって可能なものを準備することにより多くの時間を割り当てる不平衡な作業前倒しシステムを備えることが望ましい。例えば、本願の方法は、ファンツリーを構築するオフライン段階の間に、欠落代表点の組合せを含むすべての実現可能な指紋置換を前もって登録するものである。これら組合せのいずれの１つによっても十分に指紋の一致を得ることができる。最初の一致が観察されると、特定の指紋に関する付加的な一致を探索し続ける必要はない。全体的な質問時間は、ファンツリー内で、より一致可能性が高いものを先にソートおよび配置することにより最小化される。
（ｅ）さらに、本願の実施形態により全体的な照合時間を最小化するため、照合すべき最初の質問置換によって、特定の指紋および他の欠落代表点の組合せに関するさらなる置換探索が停止される。

Ｉ．ｃ．３ 混合テキスト文書の質問指紋処理の詳細
本節では、質問指紋を識別して、それらをファンツリーおよびその関係する指紋データ構造内の適切な文書コレクション指紋との照合のため準備するプロセスを詳細に説明する。

この質問指紋プロセスは、上記Ｉ．ｃ．２節で記述したようなオリジナルの指絞処理方法と同様である。しかし、いくつかの明確な相違が存在する。１つの相違は、質問指紋を指紋データベースに保存する必要がないので質問指紋がパック化されないということである。その代わり、質問指紋は、一度に１個ずつ単純に処理および照合される。各質問指紋を用いてファンツリーが調査され、照合される適切な候補指紋のリストが検索される。所定の質問指紋の照合プロセスが完了すると、当該質問指紋が破棄され、一致カウンタアレイに関する照合結果のみが、質問ページごとに質問指紋について次々に蓄積され続ける。

第２の相違は、本願の実施形態において、図１６のソート置換工程１６５０が、オリジナル文書コレクションの指紋処理工程の間に適用されるのみとなることである。対照的に、質問指紋プロセスはソート置換工程を必要としない。これは、置換が文書コレクションの準備段階の間に前もって生成されるからである。しかし、質問時間の間は、１個の置換のみ、すなわち生成される最初のものが用いられる。すべての実現可能な置換が前もって準備され登録されているので、質問時間の間にどの置換が用いられるかは問題でない。したがって、どれであろうと１個の置換は、ファンツリーデータ構造内に対応する一致対象を有するはずである。

図１９に注意を戻すと、質問指紋プロセス１９００において、質問指絞処理モジュールに対する入力は、上記Ｉ．ｃ．１節で記述したような質問代表点識別モジュール１９０５により出力される候補質問代表点のリスト（例えば図１８の入力質問画像１８０５の１８９５）である。候補代表点の数は質問画像内容に依存する。一般的な機械印刷ページは通常、数百ないし数千の候補代表点を有する。他方、白ページは、代表点候補をまったく有さない。このため最初に、入力において十分な数の候補代表点が存することを確認するためテストが実施される。候補代表点の数が少なすぎる（所定のしきい値未満の）場合、当該質問画像は棄却され、プロセスが質問ページ上において十分な数の代表点を識別できなかったことを示す通知メッセージが送られる。入力画像に多数の歪みをかけ、代表点の過半が歪んだ画像内に高い確率で繰り返し確実に発見可能な旨を示すことにより、これら代表点の堅牢性および再現性を実証することができる。例えば、本願の実施形態に従って得られた代表点がノイズ、照明条件、および傾斜、曲がり、回転、並進、縮尺、解像度の変化などの透視歪みに対し堅牢であることを示すことができる。

本願による提示された指紋処理方法は、所定の代表点およびその（Ｎ−１）個の最近傍代表点の相対的２次元位置から導かれる（以下で述べる）持続的比率と呼ばれる量子化された２次元比の列に基づくものである。これにより各指紋は、対象の代表点周囲の小さい画像近傍に局所化される。ある指紋内容は、対象の代表点とその（Ｎ−１）個の最近代表点近傍の間の相対的２次元形状のみに依存している。近傍Ｎの数は指紋強度に影響を与える設計パラメータである。

上記のように、図１９において、指紋処理１９００は、上記Ｉ．ｃ．１節で記述した代表点三角形分割モジュール１９１０により開始される。このモジュールの三角形分割アルゴリズムは、点の相対的距離に基づく最小の隣接するが重なり合わない三角形で当該平面を埋めるような方式で、線分を用いて近接する代表点を連結するために用いられる。周知の例はドローネー三角形分割アルゴリズムである。質問指紋の文脈では、三角形分割モジュール１９１０は、候補質問代表点リスト内の所定の代表点に対する（代表点間の平面距離に関して）最近代表点を決定する簡便かつ効率的な手段として用いられる。さらに、三角形分割の結果を用いて、所定の代表点位置から発して代表点を次々に結ぶ線分連結を辿ることにより、どのような数の最近代表点でも、所定の代表点からの距離の昇順でランク付けすることができる。このようにドローネー三角形分割の結果を効果的に用いて、所定の質問代表点位置周囲の局所的近傍における最近質問代表点を識別することができる。上記のように、本願の実施形態は、（カメラとソース画像の間の）透視形状、平面状表面、照明の変化、およびレンズ非線形性効果の想定が局所近傍において長い距離よりもはるかに顕著でないので、局所的近傍情報の利用を追求するものである。したがって、局所的近傍指紋の利用により、本願による提案された方法の堅牢性が大幅に向上する。

三角形分割モジュール１９１０は候補代表点のリスト全体に対して１回だけ適用される。三角形分割の結果はメモリに格納され、続いて個々の指紋処理プロセスで使用される。本願の実施形態による三角形分割の結果は、効率的探索を容易にするため質問代表点の順に編成された、各質問代表点からその最近傍までの連結線分のリストである。

三角形分割プロセス１９１０が完了すると、各候補質問代表点は質問指紋候補と見なされる。候補代表点は１個ずつ処理される。最新の候補質問代表点Ｑｐは次代表点モジュール１９２０により入力リスト１９０５から順次選択される。各質問代表点Ｑｐに関し、最近傍発見モジュール１９３０が、所定の代表点Ｑｐに対する距離が最も近いＮ個の最近代表点（Ｎは所定の数）を識別する。最近傍発見モジュールは三角形分割の結果１９１０を用いて、Ｑｐからの距離の昇順でソートされた最近質問代表点のリストをＱｐに返す。返されたリストの第１の要素は常に、距離がゼロの最新の質問代表点Ｑｐである。数Ｎは上記で示したようにプログラム可能なシステムパラメータである。Ｎの値を大きくすると、より多くの近傍代表点が加わることにより指紋がより強力、特徴的になる傾向があると同時に、平均した指紋面積および計算の複雑性が増大する。本願の実施形態においては、Ｎ＝８、１２または１６の値が用いられて成功している。

最近傍発見モジュール１９３０の出力は、（第１の入力として最新の質問代表点を含む）Ｎ個の最近質問代表点のリストである。本願の重要な態様は、どの方位においても指紋の認識および照合が可能なことである。オリジナルの入力画像と質問画像の間の完全な位置合せを期待することは多くの場合、非現実的である。質問画像はオリジナルの入力画像に対して斜めにするか、回転させるか、あるいは全体として知覚的に変換してもよい。したがって、本願の実施形態の重要な態様は、指紋のアフィンまたは射影変換に対し不変であることから持続的比率を基本的照合特徴として用いることである。

時計回り順ソートモジュール１９４０の目的は、時計回り方位昇順でＮ個の最近傍のリストをソートすることにより、上記回転依存性を除くことである。時計回りか反時計回りかの選択は、オリジナル文書コレクションに関して一貫して同じ方向で行なわれる限り任意である。当然ながら開始時の最近傍リストは（最近傍決定のため必要に応じて）距離の昇順にソートされる。質問代表点は、オリジナル文書コレクションと同じ方式で方位の昇順にソートされる。方位の順によるソーティングでは、上記と同じ方式で原点中心を安定化することが重要である。時計回り順ソートモジュール１９４０は質問代表点を時計回り方位昇順でソートする。ソーティングは、方位および距離の双方について行なわれる。主要な順序は方位の時計回り昇順である。しかし、２以上の質問代表点が、概ね同じ方位を有している場合（差異が所定の許容差レベル内）、それらの質問代表点は、方位がほぼ同じすべての代表点に関して距離の昇順に下位順序付けされる。これにより、代表点の順序が安定化しやすくなるとともに、小さなノイズおよび／または有限の精度誤差が順序付けに劇的な影響を及ぼすことを防止しやすくなる。

本願のある態様は、デジタルカメラまたは携帯電話カメラによる画像のスキャンまたは撮影プロセスの間に普通に発生する（例えば傾斜、曲がり、回転、並進、縮尺、解像度の変化などの）透視画像歪みに対して指紋を堅牢にすることにある。最良の場合でも、比較すべき参照画像なしに画像に対するカメラ位置および観測角度を推定することはかなり困難である。しかし、参照画像内容を格納することにより、記憶装置の要件が大幅に増大するだけでなく、情景を候補参照画像と照合するのにかかる時間も増大して、コレクションの大きさが中位である場合もシステムが急速に非実用的となる。代わりに、本願は、画像の回転、並進、縮尺などに関係なく同じ一定の値を有する持続的透視指紋の利用を提案するものである。これにより、この結果得られる指紋は透視歪みに対し堅牢化する。

局所的に平面状の対象の射影変換に関し、対象表面上の同一線上にない所定の４つの点｛Ａ，Ｂ，Ｃ，Ｄ｝について、三角形面積比（ＡＢＣ／ＡＣＤ）はいかなる射影変換を受けても一定のままであることは当該技術において周知である。したがって、射影変換のもとで、ある三角面積比を算出するのに必要なのは４点のみである。射影変換は、多くの実際的状況において平面的物体形状に対するカメラを記述する良好適切なモデルを提供することが示されている。したがって本願の実施形態で略述したように、射影変換は縮小の実施に用いられる。しかし本願のさらに他の実施形態では、提案された方法を、より高次の変換を扱うように拡張することが可能である。例えば、ある射影変換では、２個の三角面積比の積である１個の持続的比率を算出するのに４点でなく５点が必要となる。

本願の実施形態の文脈では、持続的指紋は、時計回り順にソートされたＮ個の最近傍代表点のグループに関する量子化された変換比率の列からなる。指紋サイズを小さく保つため、変換比率はＱレベルに量子化されるが、量Ｑは２の２進べき乗である。

上記のように時計回り方位でＮ個の最近傍のリストをソートした後、質問指絞プロセスは、個々の質問指紋を発生させる手順を開始する。

代表点除外モジュール１９５０は、Ｅ個の指紋代表点が欠落してもなお高精度で質問指紋を検出可能とすることにより、潜在的な候補質問指紋組合せの列を発生させる。例えば、質問指紋がＮ＝８個の代表点の局所的近傍の使用に基づいている場合、代表点除外モジュール１９５０は、所定の時間に１個の質問代表点Ｅ＝１が欠落した状態で、実現可能なすべての候補質問指紋の列を発生させる。第１質問代表点の欠落から始まり、代表点除外モジュール１９５０はさらに、第１質問代表点を除く他の７つの質問代表点を用いて候補質問指紋の実現可能なすべての組合せの列を発生させる。これが完了すると、代表点除外モジュール１９５０はさらに、第２の質問代表点を除く第１の質問代表点および残る６つの質問代表点を用いて、候補指紋の実現可能なすべての組合せの次の列を発生させる。このプロセスは、除外されるすべての質問代表点組合せが実行されるまで、Ｎ個の組から異なる質問代表点が除かれるたびに、この方式で繰り返される。上記例においては、質問指紋ごとにＮ＝８個の質問代表点が存するので、質問代表点を１個除いた実現可能な組合せの数はこの場合８である。代表点除外モジュール１９５０の動作は上記と同様である。

代表点を除外しない本願の他の実施形態では、代表点除外モジュール１９５０はバイパスされ、Ｎ個の最近傍質問代表点のソートされたリストが、質問代表点の除外なしに出力へ直接渡される。

次部分群組合せモジュール１９６０は、（Ｎ−Ｅ）の最近傍質問代表点のソートされたリストからＰ個の質問代表点（Ｐ＜Ｎ）の最新の部分群を選択する（Ｐは基礎的変換に関して１個の持続的比率を算出するために必要な点の数（アフィン変換ではＰ＝４、射影変換ではＰ＝５など））。Ｐ近傍質問代表点部分群は、一度に１つずつ順次処理される。続いてシステムは、系統的かつ一貫した方式で実現可能なすべてのＰ部分群組合せを選択する。そのようなＰ部分群の総数は、（Ｎ−Ｅ）の質問代表点から独自のＰ個の代表点を選択するための組合せの数によって決定される。例えば、Ｎ＝８、Ｅ＝１、Ｐ＝４の場合、実現可能な部分群の組合せの数は３５個の持続的比率となる。

各独自の質問部分群組合せについて、量子化比率付加モジュール１９７０は、上記方法に従って１個の持続的比率を算出し、続いてこれを上記のように１組の所定のしきい値を用いて量子化する。量子化レベルＱの数は設計パラメータである。指紋強度は量子化レベルの数とともに緩慢に向上する。Ｑ＝８またはＱ＝１６のレベルにおいて、精度と機械印刷テキスト文書の小さい符号サイズとの良好なトレードオフが得られる。量子化しきい値は、機械印刷テキスト文書の大規模コレクションにおける持続的比率の分布を調査することにより、経験に基づいて決定される。簡単な指紋照合を容易にするため、文書コレクションに関して同じ量子化レベルを維持することが重要である。

本願のある実施形態では、ノイズの存在時にすぐれた質問指紋照合の実現を助けるための改良点として、ノイズ防護モジュール１９７１が導入される。ノイズ防護モジュール１９７１は、質問指紋列における三角比のうち１以上が偶然、量子化しきい値の１つのいずれかの側に極めて接近する場合に対処するように設計されている。量子化しきい値のいずれの側が正しいかを知ることはできない。例えば、三角比の観測値が８．５００００１であり、レベルＱ＝「３」に関する量子化しきい値が８．５である場合を想定する。この三角比は（いかにわずかであっても）量子化しきい値より大きいので、直接的な結果としてレベル「３」に量子化される。しかし、三角比の値が実際に８．５を下回り、わずかなノイズおよび有限の精度による演算丸め誤差により観測値がしきい値を越えることは十分にありうる。後者の場合、望ましい量子化レベルは当然ながら「３」ではなく「２」となるべきである。ノイズ防護モジュール１９７１が無い場合、量子化の結果が正しいものとなる確率は５０％である。ノイズのために誤った量子化値が得られると、結果的な質問指紋はオリジナル文書の指紋と一致しなくなる。

上記説明に基づき、標準的量子化方式は、量子化しきい値の直近でのノイズに対する感応性において欠点を有することが容易に明らかとなる。わずかなノイズまたは演算精度丸め誤差により量子化レベルが放棄され、（この指紋に関して）質問指紋照合が失敗する場合がある。本願のある実施形態では、この状態を検出し修正処置をとるためノイズ防護モジュール１９７１が導入される。ノイズ防護モジュール１９７１は、量子化の前に最新の三角比の値を監視する。この値から所定の量子化しきい値の１つまでの距離が所定のパラメータを下回って小さすぎる場合、ノイズ防護モジュール１９７１が、２つの可能な候補として例えば「２」および「３」を有する双方の量子化数列を発生させることにより、適正な選択が結果的な候補の中に常に含まれるようになっている。

ノイズ防護モジュール１９７１を用いる利点は、量子化ノイズ感応性を低減することにより指紋処理の堅牢性が向上することにある。しかしこれは、量子化がしきい値に接近するごとに候補指紋列の数が倍加するので、付加的な計算の代償として達成される。しかしながら、三角比がしきい値に接近する事象は、（質問画像のノイズレベルにもよるが）非常に稀有なので、平均してその影響はさほど重大でない。さらに、（多くの比率が量子化しきい値に接近している指紋はあまり特徴的でないので）全体的な性能レベルを維持するため、各指紋にノイズ防護を適用する回数には上限が設定される。本願のある実施形態では、わずかな時間増加のみで全体的な照合性能を向上させるため、数字５個の変化、すなわち２⁵＝３２通りの異なる指紋列を上限とするノイズ防護モジュールを用いた。

次の量子化比率を算出して質問指紋列に加えるプロセスは、質問代表点の最終の組合せが最終組合せモジュール１９７５により検出されるまで、一度に１個の持続的比率によって順次続けられる。最新のＰ部分群組合せがまだ最終の組合せ１９７６でない場合、最終組合せモジュール１９７５はフローを次部分群組合せモジュール１９６０に戻し、次のＰ部分群を取得して、その量子化された持続的比率の計算および質問指紋列への追加を引き続き行なう。このプロセスは、最終のＰ部分群組合せが処理される（１９７７）まで続く。このとき、結果的な質問指紋列は第１置換モジュール１９８０に送られる。

第１置換モジュール１９８０は、ソート置換モジュールと同様の様態で動作する。しかし、質問の場合、第１置換モジュール１９８０は、すべての実現可能な置換を発生させるわけではない。単一の置換、すなわち最初のものを発生させるのみである。指紋データベース（例えば図３Ａ、３Ｂの３５０）内で指紋を発生させるのに用いられる目標入力画像に対して質問画像が異なる方位となる問題に対処するため、指紋列は置換される。例えば、質問ページは想定された射影変換により、回転、鏡映、水平または垂直の反転、斜行、切断および／または拡大縮小させてもよい。特に質問画像が何らかの欠落またはオリジナル画像の部分的に遮られた部分を有しているか、オリジナル目標情景にない新規の内容が導入されている場合、任意の画像内容の解析により上記射影変換パラメータを正確に決定することは、概して困難かつ時間がかかる。同様に、質問画像は、コレクション内の目標画像に対して異なる時間、時期、情景照明（例えば太陽の位置および影の詳細などに関するもの）で取得してもよい。

本願の１つの利点は、指紋比率の量子化された値が、射影変換パラメータに関係なく射影変換を受けても同じ値を保持するはずということである。

しかし、個々の量子化比率が同じ場合でも、所定の指紋の量子化比率の特定の列は、その代表点の特定の順序に依存している。質問画像は、対応するオリジナル目標画像に対して異なる方位を有することがあるので、各画像における代表点の順序も異なる可能性がある。置換工程１９８０の目的は、質問指紋列を、ファンツリー構造内に格納される文書コレクションの対応する指紋列の同じ順序で配置することであり、それにより質問指紋列と文書指紋列とが高速かつ効率的な方式で直接比較されるようになっている。

本願の実施形態においては、候補指紋列は最小共通最小量子化数字法に従って置換される。最小共通最小量子化数字を決定するため指紋数字列のヒストグラムが実施される。指紋列の数字は、各値の種類ごとに何個が存在するかを決定するために計数される。最小共通最小数字は、指紋数字列に少なくとも１度現れる最小頻度最小数字、すなわち計数が非ゼロである最小の数字である。

質問指紋列内の最小共通最小数字の値を決定した後、指紋列内の最小共通最小数字の最初の位置を決定するため指紋列が走査される。この位置に関して、最小共通最小数字の位置までの列の開始部分は指紋列の終端へ置換される一方、開始部分および終端部分の内部配列は不変に保たれる。

本願のある実施形態に従った２つの置換を有する指紋の一例を考察する。
オリジナル指紋＝「１４６_∧０３６１６３７６７５６３２６３２２４７７６６２６５２２_∧０６６６７」
置換１＝「０３６１６３７６７５６３２６３２２４７７６６２６５２２０６６６７_∧１４６」
置換２＝「０６６６７_∧１４６０３６１６３７６７５６３２６３２２４７７６６２６５２２」

最小共通最小数字「０」は、オリジナル指紋列内の位置３および３０に見出される。これらの位置は、オリジナル指紋列の下の「∧」標識により示されている。第１の置換、すなわち置換１は、数列の第１の数字から最小共通最小数字「０」の位置までの列の開始数列「１４６」を移動させ、最後の数字を越えて数列の終端に再配置することにより形成される。置換の下の「∧」標識は、置換された列内で移動部分が開始する位置を示すものである。さらに、第２の置換、すなわち置換２は最初の３０個の数字位置を移動させることにより同様に得られる。

本願のある実施形態では、第１置換モジュール１９８０は、上記例において第１の置換、すなわち置換１のみを返す。置換１は列の開始位置からの探索の間に（指紋列の位置３において）最初に発見されるので第１の置換と見なされる。指紋列のすべての置換を返す図１６のソート置換モジュール１６５０と異なり、第１置換モジュール１９８０は、最小共通最小数字の最初の位置を発見すると停止し、質問指紋列の第１の置換のみを返す。

置換された質問指紋列は当初の質問指紋列の代わりに用いられる。置換を用いる利点は、照合が必要な候補指紋列の数が大幅に減ることである。当初の指紋列の実現可能なすべての循環組合せを試験する代わりに、最小共通最小数字のわずかな置換のみが考察される。実現可能なすべての置換は、指紋データベース準備の間に前もって生成、格納される。しかし質問時間においては、質問指紋列の第１の置換が照合のために用いられる。質問時間においては、すべての実現可能な置換がすでに前もって準備されていて、照合プロセス中に適正なものが自動的に発見されるので、第１の置換を越えて付加的な置換を使用する必要はない。本願の実施形態による置換の使用により、平均した置換の数は当初の指紋列の長さよりもはるかに小さいので、わずかな記憶装置の拡張で顕著な性能向上がもたらされる。

置換された質問指紋列は、指絞照合モジュール１９８１において、本願のファンツリー法を用いて適切な文書コレクション指紋と照合される。最新の指紋列に関する一致が存在しない場合（１９８２）、プロセスが進んで、最終の除外代表点組合せであるか否かが照査される（１９９０）。最終の除外代表点組合せでない場合（１９９１）、手順は代表点除外モジュール１９５０に戻り、「はい」の場合（１９９２）、最終代表点１９９５が質問される。指絞照合モジュール１９８１のさらなる詳細は、以下の各節において説明される。

特定の質問指紋組合せについて最初に一致が発見されると、一致更新カウンタアレイモジュール１９８５は、一致する指紋を含むコレクション文書について一致指紋の観測計数をインクリメントする。さらに、最初の一致が発見されると、最新の質問指紋に関する付加的な質問指紋組合せを照査し続ける必要はない。したがって、一致が発見されると、一致更新カウンタアレイモジュール１９８５から出るフローは、すべての除外された質問代表点組合せがすでに完了したかのように、最終代表点モジュール１９９５に進められる。

最新の質問指紋組合せが文書コレクションに関して適切な候補指紋のいずれとも一致しない場合、フローは代表点除外モジュール１９５０に戻され、次の質問代表点を除外して次の候補質問指紋組合せが処理される。このプロセスは、上記のようにノイズ防護モジュール１９７１により発生する付加的な質問指紋組合せを含む適切な文書コレクション指紋との潜在的照合のため、除外質問代表点のすべての可能な組合せが照査されるまで続く。

最後に、質問指紋を照合するプロセスは、最終の質問代表点が最終代表点モジュール１９９５により検出される（１９９７）まで、残る質問代表点すべてについて一度に質問指紋１個ずつ順次続けられる（１９９６）。最新の質問代表点組合せがまだ最終の質問代表点でない場合、最終代表点モジュール１９９５はフローを次代表点取得モジュール１９２０に戻し、次の質問代表点を取得して、引き続き適切な文書コレクション指紋に対する質問指紋の計算照合工程を繰り返す。指絞照合プロセスは、このようにして最終の対応する指紋の最終の質問代表点組合せが処理され、質問画像全体に関してその照合の結果が一致カウンタアレイ１９８５に追加されるまで続き、１９９９で終了する。

Ｉ．ｃ．４ 質問指紋一致の計数
本節では、図１９の指紋照合モジュール１９８１を詳細に説明する。指紋照合を高速かつ効率的にするために留意すべきことがいくつかある。

質問指紋照合モジュール１９８１は、照合結果を追跡するためメモリ内で３種類のデータアレイ構造を保持および利用する。
（ａ）文書確認（ＳｅｅｎＤｏｃｓ）アレイは、最新の質問指紋照合の間にそれまで遭遇した文書ＩＤのリストを内包している。文書確認リストは各新規の質問指紋組合せの開始によりクリアされる。
（ｂ）指紋確認（ＳｅｅｎＦｉｎｇｅｒ）アレイは、最新の質問指紋照合の間にそれまで遭遇した文書ＩＤごとの指紋ＩＤのリストを内包している。指紋確認アレイは新規の質問画像ごとにクリアされる。
（ｃ）一致計数（ＭａｔｃｈＣｏｕｎｔ）アレイは、最新の質問指紋照合の間にそれまで遭遇した文書ＩＤごとの一致指紋の計数のリストを内包している。一致計数アレイは新規の質問画像ごとにクリアされる。本願の実施形態では、上記アレイ（ｂ）および（ｃ）内の文書画像に、連続した画像索引番号が簡便に割り当てられることに留意すべきである。画像索引から固有の画像ＩＤ番号への変換は、別のデータ構造内で続行される。

指紋照合モジュール１９８１の詳細なブロック図を図２０に示す。指紋照合プロセス２０００は、第１置換モジュール１９８０の出力からの質問指紋組合せ列により開始される（すなわち開始２００５）。質問指紋組合せは上記のように最小共通量子化数字に従って置換されている。質問列取得モジュール２０１０は、利用可能なセットから照合すべき最新の質問指紋組合せ列を取得する。

ファンツリーアドレスモジュール２０１５は、最新の質問指紋列を用いてファンツリー構造内の指紋経路を辿る。万一、ファンツリー経路に沿った点において最新のツリーノードが行き止まり（すなわち非占有のツリーノード）になっている場合、最新指紋の照合が終了し、プロセスが最終質問モジュール２０９５に進められ、照合すべき次の質問指紋列に移行する（すなわち２０９６）か、最終の質問指紋であった場合はプロセスが終了する（２０９９）。ツリーノードが空白である場合は異常な状況である。これは、量子化された質問指紋列をもはや一致させない歪みおよびノイズにより、最新の質問指紋列が重大な劣化を受けている場合に起こりうる。これが（所定のページに関する数千のうち）ほんの少数の指紋組合せに生じたものであれば、空白ノードの場合は単純に無視することができる。しかし、多数の質問指紋が（空白のツリーノードにつながる）この挙動を示し始めた場合、質問画像が文書コレクション内に類似の一致画像を持たないかもしれないという良好な証拠となる。

通常の状況では、ファンツリーアドレスモジュール２０１５は、ルートノードから始まってリーフノードで終了するファンツリーを通る最新の質問指紋経路を辿る。リーフノードリスト取得モジュール２０２０は、照合すべき適切な指紋記録のリストを含む対応するリーフノードリストのアドレスを検索する。

リスト記録取得モジュール２０２５は、リーフノードリスト内の最新の指紋記録を検索する。リスト記録取得モジュール２０２５は、指紋記録から指紋列「コレクション指紋」２０２７を抽出し、これを出力へ送る。列比較モジュール２０３０は次に、質問指紋列「質問指紋」２０２６をリーフノードリストからの最新の目標指紋列２０２７と比較する。正確一致モジュール２０３５は、２つの指紋列、すなわち同じ値を有する量子化比率の各対応する対の間の正確な一致を探索する。量子化比率の位置１箇所であっても、１箇所の不一致で、一致無しを宣言するのに十分である。質問指紋列と最新のリーフノードリスト入力との正確な一致が見られない場合（２０３１）、フローが最終リスト入力モジュール２０９０に進められ、次のリーフノードリスト入力、すなわちコレクションからの次の候補目標指紋に移行する。

しかし、質問指紋列と最新のリーフノードリスト入力指紋列との間に正確な一致が見られる場合（２０３２）は、ページＩＤ／指紋ＩＤ取得モジュール２０４０が（あらかじめ発生させた）最新のリーフノードリスト記録から最新の固有画像ＩＤおよび指紋ＩＤを検索する。ページＩＤ確認モジュール２０４５は、文書確認アレイ内の固有画像ＩＤを調査して、最新の質問指紋照合の間に最新の文書との遭遇がすでに見られるかどうかを判定する。すでに遭遇が見られる場合（２０４６）、ページ索引取得モジュール２０５０は、固有画像ＩＤ番号を用いて、写像表から最新文書の対応するページ索引を検索する。そうでない場合（２０４７）、最新文書は、まだ遭遇していない新規の文書である。新規ページ索引モジュール２０６０は、最新文書に新しいページ索引番号を割り当て、遭遇があったことを示すため固有画像ＩＤ番号を用いて文書確認アレイに新規の入力を加える。同時に、新規ページ索引モジュール２０６０は、最新ページ索引アドレスにおいて一致計数アレイに新規の入力を加え、その値をこの新規に遭遇したページの初期一致指紋計数としてゼロに初期化する。

次に、指紋ＩＤ確認モジュール２０８０が、最新のリーフノードリスト記録２０４０から得られた最新の指紋ＩＤが最新の質問指紋照合の間にすでに遭遇を経ているかどうかを調査する。指紋ＩＤを照査する理由は、除外代表点の異なる組合せごとに各指紋がファンツリーに複数回入力されるからである。例えば、Ｎ＝８、Ｅ＝１、Ｐ＝４の場合、欠落代表点を許容するため、異なる代表点が除外されるごとに各指紋がファンツリーに８回入力される。しかし、上記のように、８個の代表点すべてが質問画像および目標画像の双方に存する場合（すなわち欠落代表点無し）、８つの組合せすべてが正確に一致することになる。したがって、除外代表点の複数の指紋組合せによって他の文書よりも多くの計数を得る文書が存在しないよう、各指紋の指紋ＩＤを追跡することが必要である。本願の実施形態では、この問題の解決策として、指紋ＩＤが照査され、各指紋ＩＤに関して一致計数アレイが１回だけ確実にインクリメントされる。指紋ＩＤ確認２０８０の照査は、指紋確認アレイによって実現される。指紋確認アレイは各質問画像の最初にクリアされる。特定の指紋ＩＤの最初の遭遇があると、アレイ内の対応する指紋ＩＤ入力は非ゼロにされる。よって指紋ＩＤの状態は、以前に遭遇があろうとなかろうと、指紋確認アレイの各指紋ＩＤ入力の（ゼロまたは非ゼロの）状態によって容易に追跡することができる。

最新の指紋ＩＤが指紋ＩＤ確認モジュール２０８０によってすでに遭遇を経ている場合、一致計数アレイ２０８１をインクリメントする必要はない。指紋入力更新モジュール２０５５は、必要に応じページ索引および指紋ＩＤにより指紋確認アレイを更新するだけである。他方、最新の指紋ＩＤが指紋ＩＤ確認モジュール２０８０による遭遇を経ていない場合（２０８２）、新規指紋入力モジュール２０６５は新しい指紋確認入力を割り当て、その内容を最新ページ索引に関する最新の指紋ＩＤ値２０４０に設定する。さらに、これが最新の質問指紋照合の間のこの特定の指紋ＩＤの最初の遭遇なので、「一致計数＋１」（ページ計数）モジュール２０７０は、最新のページ索引に関する一致計数アレイの内容を１だけインクリメントする。

質問指紋列とファンツリーリーフノードからの最新の指紋列との照合が完了した後、最終リスト入力モジュール２０９０が、リーフノードリスト内にまだ照合していないさらに多くの目標指紋入力が存在するかどうかを確認する。最新の指紋記録がまだ最終リーフノード入力２０９１でない場合、リスト入力モジュール２０９０はフローを記録取得モジュール２０２５に戻し、リーフノードリストから次の目標指紋記録を取得して、質問指紋列との照合を引き続き行なう。この対の照合プロセスは、最終の目標指紋記録が処理される（２０９２）まで続く。

最新のリーフノードリストにおけるすべての指紋記録が検索され、最新の質問指紋列と指紋照合された後、手順は最終質問モジュール２０９５に移行する。これが最終候補質問指紋列でない場合（２０９６）、プロセスは質問列取得モジュール２０１０に戻され、次の候補質問指紋組合せを処理してさらに、適切な目標指紋列の自身のリーフノードリストとの照合を行なう。これは質問指紋列のすべての可能な組合せが適切なファンツリー内容２０９７と照合されるまで続く。

指紋照合プロセスの最終結果は一致計数アレイの内容であり、これは、質問画像２０９９と一致する少なくとも１個の指紋を有するコレクション内の各文書に関する一致指紋の計数を含んでいる。一致計数アレイ内の入力の数は、質問照合プロセスの間に遭遇した新しい文書の数と同じである。一致計数アレイ内の文書入力は、それらの現在のページ索引によりアドレス指定されることに留意すべきである。しかし、ページ索引は、質問照合プロセスの間に作成される写像表を調査することにより、固有画像ＩＤ番号へ容易に変換が可能である。

最後に、一致計数アレイ内の照合結果は、最終得点解析およびコレクション内の最良一致文書または文書セットの判定のため、図１７の指紋解析モジュール１７６０に送られる。

Ｉ．ｃ．５．最終決定
質問指紋照合プロセスの間、一致計数アレイは、質問画像と一致する少なくとも１個の指紋を有する適切な文書の各々に関する一致指紋の数を蓄積する。一般的に、コレクション内のある文書、一致する文書は多くの一致指紋（高い計数）を有する一方、他の少数の文書は、特にコレクションの規模が大きい場合に一時的な一致指紋をわずかしか有さないことがある。

一致計数アレイの結果内容は、最終得点解析およびコレクション内の最良一致文書または文書セットの判定のため、図１７の指紋解析モジュール１７６０に送られる。多くの照合目的が存在しうる。目的が文書コレクション内で最良の画像の一致を発見することである場合、高得点により最多の指紋の一致を集めた画像ＩＤが返される。さらに、一致計数を信頼性の数値として用いて、指紋一致の所定の最小数より小さいページの一致を除外し、歪みおよび／またはノイズによる一時的な少数の孤立した計数を除外することができる。画像内容により、他よりも多くの指紋を有するページが存することがあるので、これらの計数をあるページ上の指紋の総数によって正規化し、より均一な測度を得ることができる。

代替的に、上記目的は、一致指紋計数の所定の最小値または最小の上記信頼性レベルを満たすコレクションまたはそのサブセット内の一致するすべての画像のリストを返すことであってもよい。

本願のある実施形態では、オリジナルの画像領域をサブイメージの格子に重ね合わせるか重ねずに細分化し、良好な指紋一致が得られる領域の大まかな密度プロファイルを得るため、各サブイメージ内で指紋照合解析を別個に実施してもよい。後者の解析は、オリジナル画像の一部が欠落または情景内の他の対象により部分的に隠されている状況に特に適している。この場合、質問と、欠落がないかまたは隠されていないオリジナルとの共通画像領域でも、なお、高い一致指紋計数が得られる。

本願のさらに別の実施形態では、上記で概説したようなサブイメージへの分割による画像のゾーニングを用いて、ある画像領域の他に対する重みを強くすることができる。例えば、焦点を合わせた対象において、画像の中心付近の指紋一致により大きな重みを付し、外縁部の指紋一致にはより小さな重みを付けることである。この方法は、画像の外側境界に沿ったフレーム境界アーティファクトの除去に関して特に有用である。例えば、電子的オリジナル、スキャナや携帯電話カメラなど（それらに限定されない）からの取り込まれた画像、画像の印刷物などの様々な供給源からの画像を照合する場合である。取り込まれた画像は、オリジナル画像の一部分でない縁部や白紙枠を含むことがある。後者の技法を用いて、上記画像ゾーニング技法を利用し紙の白色やブルースクリーンなどに対する回転した画像隅部などであるがそれらに限定されない、人工的背景の導入による画像境界に沿った候補代表点の形成を効果的に防止することができる。

図１７に引き続き注目すると、指紋解析モジュール１７６０の出力は、１個以上の一致画像ＩＤの最終リストである。（文書ＵＲＬ調査モジュール１７８０により実施される）次の工程において、このリストは、内部の固有画像ＩＤ整数表現から、一致する文書または文書セットの位置および対応するページ番号を識別する真の文書ＵＲＬに変換される。指紋データベース５５０の生成時に固有画像ＩＤモジュール（図５の５４０）により作成される逆写像表を用いて、固有画像ＩＤを表に対する索引として使用し、当該文書ＵＲＬが調査される。この時点で、一致した目標文書を、図１の構成要素の１つにより、印刷、電子的に伝達、表示および／または格納してもよい。上記説明において、単語モジュールの使用は、このシステムの方法で実施される１つの工程および／または複数の工程を含むものと理解してよいことが理解されるべきである。

１００ コンピュータネットワーク、１０２ ワイヤ、１０４ ワイヤ接合部、１０６ 第３ワイヤ、１０８ コンピュータ、１０９ コンピュータ、１１０ カラープリンタ、１１２ カラー以外のプリンタ、１２０ カラーレーザープリンタ、１２２ カラーレーザープリンタ、１２４ カラー以外のレーザープリンタ、１３０ スキャナ、１４０ ファクシミリ機器、１５０ 写真複写機、１５２ カラー写真複写機、１５４ 複合カラープリンタ／スキャナ／ファクシミリ機器、１６０ パーソナルコンピュータおよび／またはスタンドアロンのコンピュータ端末、１６４ スタンドアロンのハードドライブデータ記憶媒体、１７０ 無線ネットワーク送受信機、１７２ ラップトップコンピュータ、１７４ ラップトップコンピュータ、１８０ ネットワーク、１９０ 周辺データ捕捉装置、１９１ デジタルスチルカメラ、１９２ デジタルビデオカメラ、１９３ 携帯電話、１９４ スキャナ、１９５ 携帯データ端末、１９６ 文書索引付けシステム。

Claims (9)

1. 質問文書の質問画像内の代表点と、潜在的目標文書のコレクションの潜在的目標文書画像内の代表点とを含む、画像内の代表点を識別するステップと、
   前記代表点から指紋情報を生成するステップであって、該指紋情報と付随する画像とが、高次元空間における近傍探索を可能にするファンツリー構造に編成され、前記ファンツリー構造により提供される前記近傍探索が、前記質問画像の同一指紋より所定の許容差だけ少ない指紋を含むニアミス指紋の調査を支援する、指紋情報を生成するステップと、
   前記質問画像の前記指紋情報を、前記潜在的目標文書の前記コレクション内の前記潜在的目標文書画像の前記指紋情報と比較するステップと、
   前記質問画像と前記潜在的目標文書画像との前記指紋情報の最良の一致を判定するステップと、
   前記判定ステップに基づき少なくとも１個の目標文書画像を検索するステップと、
   検索された少なくとも１個の前記目標文書画像の表示、印刷、格納、伝送の少なくとも１つを行なうステップと、
   を含む、画像データを格納、索引付け、探索および／または検索する画像管理方法。
2. 請求項１に記載の方法であって、さらに、
   実現可能な指紋置換の必要最小限のセットを生成し、該必要最小限のセットを前記ファンツリーに登録するステップを含む。
3. 請求項１に記載の方法において、
   画像の原点中心は、画像の局所的な指紋の近傍で最も近い代表点であると判定された代表点の集合のサブセットから算出される。
4. 請求項１に記載の方法において、
   前記指紋は、量子化された変換不変な２次元持続的比率の列を用いて算出される。
5. 請求項１に記載の方法において、
   前記指紋は、該指紋を表す数字の列に適用される最小共通最小量子化数字法に基づき、代表点の近傍から算出され、
   前記最小共通最小量子化数字法は、
   指紋列における最小共通最小数字の値を決定するステップと、
   前記指紋列を走査して該列内の前記最小共通最小数字の位置を決定するステップと、
   前記指紋列の各位置に関し、前記最小共通最小数字の位置までの前記指紋列の開始部分を該指紋列の終端に置換し、前記開始部分および終端部分の内部配列は変更しない、ステップと、
   を含む。
6. 質問文書の質問画像内の代表点と、潜在的目標文書のコレクションの潜在的目標文書画像内の代表点とを含む画像内の代表点を識別するように構成された識別モジュールと、
   前記代表点から指紋情報を生成するように構成された指紋生成モジュールであって、該指紋情報の指紋が量子化された変換不変な２次元持続的比率の列であり、かつ前記指紋情報と付随する画像とがファンツリー構造に編成されている、指紋生成モジュールと、
   前記質問画像の前記指紋情報を、前記潜在的目標文書の前記コレクション内の前記潜在的目標文書画像の前記指紋情報と比較するように構成された比較モジュールと、
   前記質問画像と前記潜在的目標文書画像との前記指紋情報の最良の一致を判定するように構成された照合モジュールと、
   該判定に基づき少なくとも１個の目標文書画像を検索するように構成された検索モジュールと、
   検索された少なくとも１個の前記目標文書画像を表示、印刷、格納または伝送するための電子ディスプレイ、プリンタ、記憶装置またはコンピュータネットワークのうち少なくとも１つと、
   を備え、ノイズ防護法を用いて誤差を補償する、画像データを格納、索引付け、探索および／または検索するコンピュータで使用可能なシステム内の画像管理システム。
7. 請求項６に記載のシステムにおいて、
   前記指紋は、量子化された変換不変な２次元持続的比率の列を用いて算出される。
8. 請求項１に記載の方法において、
   前記ファンツリー構造により提供される高次元空間での近傍検索は、トレーニング画像、及びコンピュータビジョンにおける特定３次元物体の予想概念を使用することなく、単一の画像を使用するだけでニアミス指紋の調査を支援する。
9. 請求項１に記載の方法において、
   前記画像には、少なくともテキストが含まれ、
   前記テキストの検索は、画像の視覚的中心を算出する重心を使用して行われる。
   

Images