WO2015159417A1

WO2015159417A1 - 撮影映像による文書検索システム

Info

Publication number: WO2015159417A1
Application number: PCT/JP2014/060997
Authority: WO
Inventors: 直人秋良
Original assignee: 株式会社日立製作所
Priority date: 2014-04-18
Filing date: 2014-04-18
Publication date: 2015-10-22

Abstract

　撮影対象物に関連する図面が載っている文書を高精度に検索する。　文書構造を有する文書から、事前に写真や図面などの部分画像を取得し、取得した部分画像から局所特徴量を抽出し、撮影した視野画像から取得した局所特徴量と、部分画像から取得した局所特徴量との照合により、撮影対象物に関係の強い文書を検索する。

Description

撮影映像による文書検索システム

　本発明は、ユーザが撮影した映像を用いて、ネットワークに接続されている他のユーザのＰＣに保存されている文書を検索することが可能な文書検索システムに関する。

　ＡＲメガネやスマートフォンの普及により、撮影により情報検索をするサービスが登場している。例えば、街中で風景を撮影すると、映像中の店舗やランドマークの部分に名称等の情報が表示されるサービスが登場している。最近では、業務用のシステムへも普及が進み、装置の近くにＡＲタグと呼ばれるマーカーを設置し、そのＡＲタグに対応付いている情報をデータベースから取得し、装置の映像の上に重畳して表示するようなシステムが登場している。

　しかし、ＡＲタグの設置が難しい用途では、撮影している対象物と、表示すべき情報との対応付けが困難である。そこで、文書を撮影して、その文書の電子ファイルを検索する発明である特許文献１では、撮影した文書から文書を検索するという用途に対して、撮影した文書から生成した回転やスケールの変動に強い局所特徴量を取得し、検索対象の文書から取得した局所特徴量と照合することで、撮影した文書に対応する文書を検索する方法が述べられている。

特開２０１１－８７５２号公報

　前述した従来技術では、撮影した文書と同じ文書を検索する場合には、ある程度の検索精度が得られるが、物体を撮影して、その物体の写真などが埋め込まれている文書を検索する場合に、文字などエッジが多い部分から大量の特徴点が抽出されてしまったり、注目している物体以外の領域から抽出された特徴点が多かったりするなど、局所特徴量の照合で誤った対応付けがされる要因が多数存在し、実用上十分な精度が得られないとう問題があった。

　そこで、撮影した映像に映っている物体や図面などの画像が載っている文書を検索するシステムにおいて、高精度に検索することを課題とする。

　上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、文書検索システムであって、ユーザの視野である視野画像を撮像する撮像部と、部分画像または文章を含む文書を蓄積する記憶部と、文書が部分画像を含む第１文書であるか否かを判定する判定部と、視野画像に含まれる第１局所特徴量と、部分画像に含まれる第２局所特徴量を抽出する抽出部と、第１局所特徴量および第２局所特徴量を用いて、部分画像と前記視野画像との照合を行い、照合された部分画像の視野画像に対応する点を求める照合部と、第１文書のうち、照合部において照合されたものを出力する出力部と、を有することを特徴とする。

　あるいは、文書検索方法であって、ユーザの視野である視野画像を撮像する第1ステップと、部分画像または文章を含む文書を記憶装置に蓄積する第2ステップと、文書が部分画像を含む第１文書であるか否かを判定する第3ステップと、視野画像に含まれる第１局所特徴量と、部分画像に含まれる第２局所特徴量を抽出する第4ステップと、第１局所特徴量および第２局所特徴量を用いて、部分画像と視野画像との照合を行い、照合された部分画像の視野画像に対応する点を求める第5ステップと、第１文書のうち、照合部において照合されたものを出力する第6ステップと、を有することを特徴とする。

　本発明によれば、撮影した視野画像に含まれる物体と、物体の部分画像を含む文書との照合を高精度に行うことができる。

本発明の実施の形態の文書検索システムの構成を示す図である。本発明の実施の形態のＡＲメガネ制御ＰＣの構成の一例を示すブロック図である。本発明の実施の形態の文書検索ＰＣの構成の一例を示すブロック図である。文書情報データの一例を示す図である。検索用データ（部分画像）の一例を示す図である。検索用データ（文書画像）の一例を示す図である。画像特徴量の一例を示す図である。本発明の実施の形態の検索用データを生成する手順を示すフローチャートである。本発明の実施の形態の文書を検索する手順を示すフローチャートである。映像の生成方法の一例を示す図である。

　次に、本発明の第一の実施の形態について、図面を参照して説明する。

　図１は、本発明の実施の形態の文書検索システムの一例を示す構成図である。図１において、文書検索システムは、ユーザの視野の映像（視野画像）を撮影し、検索した文書をメガネに付いているカメラの視野映像に重畳表示するＡＲメガネ１０１と、ＡＲメガネ１０１の制御を行うＡＲメガネ制御ＰＣ１０２と、検索対象である文書を蓄積し、撮影した映像と局所特徴量の照合により検索する文書検索ＰＣ１０３と、各々の機器を接続するネットワーク１０４とを主体に構成される。尚、ＡＲメガネ制御ＰＣ１０２は、ＡＲメガネ１０１に同様の機能を組み込みなどで実装することで、省略しても構わない。また、ＡＲメガネ制御ＰＣ１０２や文書検索ＰＣ１０３は、クラウドサービスなどの仮想ＰＣ環境であっても構わない。また、ＡＲメガネ１０１と、ＡＲメガネ制御ＰＣは、スマートフォンやタブレットＰＣなど、カメラと画面を有する情報機器で代用しても構わない。また、ＡＲメガネ１０１と、ＡＲメガネ制御ＰＣ１０２を、国外などの遠方に設置し、文書検索ＰＣ１０３を国内に設置し、グローバルなネットワーク１０４で接続した構成など、ＡＲメガネ１０１と文書検索ＰＣ１０３の設置場所が異なっても構わない。

　次に、ＡＲメガネ１０１の構成要素について、以下に説明する。ＡＲメガネ１０１は、メガネに付いているカメラと、該カメラの映像に任意の情報を重畳表示するディスプレイなどの表示装置で構成され、ＡＲメガネ制御ＰＣ１０２とは、無線ＬＡＮやＵＳＢケーブルなど、無線または有線で接続される。尚、ＡＲメガネ１０１は、ウェブカメラと、ヘッドマウントディスプレイの組み合わせなどで同様の機能を実現しても構わない。

　次に、ＡＲメガネ制御ＰＣ１０２の構成要素について、図１乃至図２を参照しながら、以下に説明する。ＡＲメガネ１０１からの映像取得および表示映像を生成するＡＲメガネ制御ＰＣ１０２は、図２に例を示す構成図のように、ＣＰＵ２０１、主メモリ２０２、入力部２０３、表示部２０４、通信部２０５および記憶部２１０を含む計算機で構成される。記憶部２１０には、ＯＳ２１１と、キャッシュデータ２１２と、局所特徴量取得プログラム２１３と、局所特徴量照合プログラム２１４と、映像取得プログラム２１５と、映像生成プログラム２１６と、画面表示プログラム２１８とが格納される。

　キャッシュデータ２１２には、検索用データ３１４から取得した局所特徴量、およびＡＲメガネに表示するデータなど、文書検索ＰＣから取得した一時保存されるデータが格納される。尚、一時保存するタイミングは、文書が更新されたとき、ＡＲカメラ制御ＰＣを起動したときなど、どのようなタイミングでも構わない。

　局所特徴量取得プログラム２１３は、文書を構成する各ページの見た目のレイアウト画像（文書画像）や文書に含まれる図面や写真などの画像（部分画像）、および視野画像から、画像処理の分野で広く知られているＳＩＦＴ特徴量やＢＲＩＳＫ特徴量など、回転やスケールの変動に強い特徴量を抽出する。局所特徴量の抽出は、特徴点を抽出するステップと、特徴点の特徴を示す特徴量を抽出するステップの２ステップで行われ、特徴量は、局所特徴量の種別に応じて、１２８次元程度の数値ベクトルまたは数十ビットで記述されるバイナリ特徴量となる。

　局所特徴量照合プログラム２１４は、撮影された視野画像から抽出した複数の特徴点と、検索対象である文書画像や部分画像から取得した複数の特徴点の対応関係を、特徴点間の総当たりで距離を計算し、距離が閾値よりも小さい組を対応する点として計算する。ここで、距離の計算は、ＳＩＦＴ特徴量のように数値ベクトルであればユークリッド距離などを用い、ＢＲＩＳＫ特徴量のようにバイナリ特徴量であれば、一致しているビットの数で算出するハミング距離を用いる。尚、類似している特徴点の対応関係が取得すれば、特徴点の対応関係の取得は、どのような方法を用いても構わない。

　映像取得プログラム２１５は、ＡＲメガネ１０１などの撮影装置から視野画像を取得し、事前に指定した時間毎、または映像の変化が大きいフレーム毎に、フレーム画像を取得する。

　映像生成プログラム２１６は、検索結果の文書を視野画像に重畳した映像など、ＡＲメガネ１０１に表示する映像を生成する。

　画面表示プログラム２１８は、映像生成プログラム２１６で生成した映像を、ＡＲメガネ１０１に表示する。

　次に、文書検索ＰＣ１０３の構成要素について、図１乃至図３を参照しながら、以下に説明する。撮影された視野画像に写っている撮影対象物に関係する部分画像が含まれる文書を検索する文書検索ＰＣ１０３は、図３に例を示す構成図のように、ＣＰＵ３０１、主メモリ３０２、入力部３０３、表示部３０４、通信部３０５および記憶部３１０を含む計算機で構成される。記憶部３１０には、ＯＳ３１１と、文書データ３１２と、文書情報データ３１３と、検索用データ３１４と、文書解析プログラム３１５と、局所特徴量抽出プログラム３１６と、局所特徴量照合プログラム３１７と、類似画像検索プログラム３１８と、文書検索プログラム３１９とが格納される。

　文書データ３１２には、部分画像を含む文書等が保存されており、ＯＳ３１１のファイルシステム上に、ファイルの形式で保存されている。例えば、マイクロソフト社の文書作成プログラムを用いた場合には、Ｗｏｒｄ（登録商標）であればｄｏｃ形式、ＰｏｗｅｒＰｏｉｎｔ（登録商標）であればｐｐｔ形式、Ｅｘｃｅｌ（登録商標）であればｘｌｓ形式で保存される。尚、Ａｄｏｂｅ社のＰＤＦ形式など、閲覧用に作成された文書が混在していても構わない。

　文書情報データ３１３には、図４に例を示すように、文書ＩＤと、ファイルパスと、ファイル種別と、更新日時とが登録される。

　検索用データ３１４には、図５および図６に例を示すように、部分画像および文書画像から抽出した局所特徴量および画像特徴量が登録される。また、文書ＩＤ、文書の何ページ目かを示すページ情報、部分画像のページ内での位置情報など、検索結果の表示に必要な情報が併せて登録される。尚、局所特徴量は、一つの画像から複数の特徴点が抽出されるため、特徴点の数だけ、数十ビットまたは１２８次元程度の特徴量が存在する。また、画像特徴量は、画像の形状や色分布など、見た目の情報を数百次元程度のベクトルに圧縮した情報が登録される。

　文書解析プログラム３１５は、文書作成ソフトウェアの提供元が提供しているライブラリ、またはオープンソースのライブラリなどを用いて、文書構造から文書中のテキストや画像を抽出する。例えば、Ｍｉｃｒｏｓｏｆｔ　Ｏｆｆｉｃｅ（登録商標）の文書ファイルであれば、マイクロソフト社が提供しているＳＤＫ、ＰＤＦファイルであればオープンソースのｉＴｅｘｔ（登録商標）を利用して解析することができる。尚、文書のファイルから、テキストと画像と関連情報が取得できれば、どのようなライブラリやツールを用いても構わない。

　尚、本実施例では、文書は１ページ以上のページ集合で構成され、各々のページに含まれている画像を部分画像とし、１ページの領域全体の見た目を画像にしたものを文書画像と定義する。即ち、文書解析プログラム３１５は、文書データ３１２から、ページを取得し、各々のページから、組み込み構造の有無を判定し、組み込み構造が有るすなわち、部分画像を有しているページについて、部分画像および文書画像を取得する。

　局所特徴量取得プログラム３１６および局所特徴量照合プログラム３１７は、ＡＲメガネ制御ＰＣ１０２と同様であるため、説明を省略する。

　類似画像検索プログラム３１８は、検索要求の画像の画像特徴量と、検索対象の画像各々の画像特徴量とのベクトル間の距離を計算し、特徴量ベクトル空間における両者間の距離が小さい画像を、見た目の類似度が高い画像として取得するプログラムである。尚、画像特徴量は、画像から生成した画像の見た目の特徴を表す多次元ベクトルを利用できる。例えば、画像の画素値情報を用いて、画像中のエッジパターンの分布を示す多次元ベクトルを生成し、主成分分析法などを用いて多次元ベクトルを次元圧縮して数十～数百次元程度のベクトルを生成し、画像の検索用データとすることができる。ここで、エッジパターンの分布は、図７に例を示す図のように、特徴的なエッジパターンを予め複数設定し、格子状に領域分割を行い、各領域内に含まれるエッジパターン数を計数することによって多次元ベクトルを生成し、主成分分析法を用いて次元圧縮することにより生成される。尚、画像の見た目の特徴を示す特徴量であれば、一般に広く知られているＭＰＥＧ－７で規定されているエッジヒストグラム特徴など他の特徴量を用いても構わない。また、ベクトル間の距離の計算は、自乗距離など、ベクトル間の類似度を計算できれば、どのような方式を用いても構わない。

　文書検索プログラム３１９は、ＡＲメガネ制御ＰＣ１０２から取得した、部分画像が含まれている文書を、局所特徴量や画像特徴量を用いて検索する。

　次に、検索用データを生成する手順を、図８に示すフローチャートを用いて説明する。

　まず、文書検索プログラム３１９が、ＯＳ３１１のファイルシステムまたはネットワーク上の指定されたフォルダにある文書データ３１２で、検索用データ３１４に未登録の文書、または、文書情報データ３１３に登録されている更新日時よりも後に更新された文書を検出する（Ｓ８０１）。

　次に、文書解析プログラム３１５で、ステップＳ８０１で検出した新規文書や更新文書のファイルから、文書情報データ３１３に登録する情報と、文書画像と、部分画像を取得する（Ｓ８０２）。

　次に、局所特徴量取得プログラム３１６で、文書画像および部分画像から、ＳＩＦＴ特徴量やＢＲＩＳＫ特徴量などの局所特徴量を取得し、検索用データ３１４に登録する。特徴点の数が事前に定めた閾値よりも多い場合には、特徴点らしさを示す値の大きい事前に定めた個数の特徴点を用いても構わない（Ｓ８０３）。

　次に、類似画像検索プログラム３１８で、文書画像および部分画像から、画像の見た目の情報を表す画像特徴量を取得し、検索用データ３１４に登録する。

　次に、文書情報データ３１３に登録する情報や、検索用データ３１４に登録する部分画像の座標などの関連情報を、文書情報データ３１３および検索用データ３１３に登録する。新規文書または更新文書が無くなるまで、上記検索用データを生成するステップＳ８０１乃至Ｓ８０５を繰り返し、終了指示があった場合には処理を終了する（Ｓ８０６）。

　次に、文書を検索する手順を、図９に示すフローチャートを用いて説明する。

　まず、映像所得プログラム２１５で、ＡＲメガネ１０１から映像を取得し、指定時間毎または、映像の変化が大きいタイミングでフレーム画像を取得し、撮影している映像から視野画像を取得する（Ｓ９０１）。

　次に、局所特徴量取得プログラム２１３で、ステップＳ９０１で取得した視野画像から、局所特徴量を取得し、キャッシュデータ２１２に、取得した局所特徴量を登録する。尚、次のフレームの視野画像が取得された場合には、キャッシュデータ２１２に登録されている局所特徴量を新しいフレームの視野画像の局所特徴量に更新する（Ｓ９０２）。

　次に、文書検索プログラム３１９で、ユーザからの指示などの情報を用いて、撮影対象が、文書を印刷した紙であるか、それ以外の物体などであるかを判定し（Ｓ９０２）、文書であると判定された場合には、局所特徴量照合プログラム３１７で、文書画像の局所特徴量を用いて、ステップＳ９０２で取得した視野画像の局所特徴量（第１局所特徴量）と、検索用データ３１４に登録されている文書画像の局所特徴量（第３局所特徴量）とを比較し、対応点が多い文書を取得する（Ｓ９０５）。尚、撮影対象が物体であるか、文書であるかを判定するステップは、判定が困難な場合には省略しても構わない。ここで、撮影対象が文書であるか判定することで、検索対象の文書を印刷した紙を撮影した場合に、撮影画像と文書画像の照合を、局所特徴量（第３局所特徴量）で高精度に行えるため、文書から印刷した紙から、検索対象である文書の電子データの候補を効率的に絞り込めるという効果がある。

　次に、文書検索プログラム３１９で、検索用データ３１４から、部分画像の局所特徴量（第２局所特徴量）を取得し、局所特徴量照合プログラム３１６で、撮影した映像に含まれる物体や文書に対応する部分画像を取得する（Ｓ９０６）。ここで、ステップＳ９０４で、撮影対象が文書であると判定されている場合、ステップＳ９０５で、特に視野画像と文書画像との局所特徴量の対応点が多いと判定されている文書に含まれる部分画像に限定して照合を行うことで、部分画像を限定することができるので、視野画像と部分画像との照合に要する計算コストを削減できる効果がある。文書画像でなく、部分画像を照合に用いることで、視野画像に写っている撮影対象物の各々の特徴点が、同じ文書に含まれる異なる部分画像すなわち異なる対象物に、分散して対応付けれられてしまうことを抑止できるので、高精度に検索できるという効果がある。

　次に、文書検索プログラム３１９で、ステップＳ９０６で取得した特徴点の対応関係で、事前に指定した密度以上に対応がとれている特徴点の領域を特定し、その領域を含む矩形領域を、部分画像に対応する位置であると仮定し、撮影映像中の位置情報を取得する（Ｓ９０７）。

　次に、ステップＳ９０７で対応関係がとれている部分画像に関して、類似画像検索プログラム３１７で、完全には一致しないが、類似している部分画像を取得し、撮影映像に含まれる物体などと対応する部分画像の母集団を拡充する（Ｓ９０８）。ここで、検索目的が撮影映像中の物体と完全一致している写真が含まれている文書を検索したいなど、類似画像を検索結果に含めたくない場合は、ステップＳ９０８は省略しても構わない。

　次に、文書検索プログラム３１９で、ステップＳ９０６乃至ステップＳ９０８で取得した部分画像から、以下に示す第一乃至第四の方法で、検索結果の文書を特定する（Ｓ９０９）。

　第一の文書特定方法は、撮影映像から取得した画像と、局所特徴量の照合でマッチングした点が多い順に部分画像をソートし、上位の部分画像が含まれる文書を検索結果とする方法である。局所特徴量の照合のマッチングした点の個数が多いほど、一致がとれている可能性が高いため、信頼度の高い検索結果が取得できる効果がある。

　第二の文書特定方法は、部分画像の局所特徴量と照合するステップＳ９０６で取得した部分画像で、事前に定めた閾値よりも多いマッチングが得られた部分画像、およびステップＳ９０６で取得した部分画像の類似画像を取得するステップＳ９０８で取得した部分画像で、類似度が事前に定めた閾値よりも大きな部分画像を取得し、それらの面積が大きい順にソートした結果の上位に含まれる部分画像に対応する文書を検索結果とする方法である。撮影映像中に含まれる物体や文書が大きく写っている、すなわち、トピックをよく表しているという考えられる検索結果を取得できる効果がある。

　第三の文書特定方法は、第一乃至第二の文書特定方法と同様に、マッチングした点の個数や面積の閾値で、撮影映像中に含まれる物体や文書と関係の強い部分画像を取得し、部分画像が多く含まれる文書を検索結果とする方法である。撮影対象に複数の物体が含まれている場合に、すべての物体に対応する部分画像が含まれる文書は、撮影対象と関係の強い画像と考えられるため、撮影対象全体に関係の強い文書が検索できる効果がある。

　第四の文書特定方法は、第一乃至第三の文書特定方法で文書の特定に使用した部分画像すなわち、特定された文書に含まれる部分画像に類似する部分画像を類似画像検索プログラム３１８で取得し、取得した部分画像を含む文書を第一乃至第三の文書特定方法で特定した文書に追加する方法である。

　次に、映像生成プログラム２１６で、文書を特定するステップＳ９０９で取得した検索結果の文書を、ＡＲメガネ１０１の映像に合成した映像を生成する（Ｓ９１０）。ここで、文書の表示位置は、部分画像の位置を取得するステップＳ９０７で取得した領域を除いた領域に配置することで、注目している物体などの対象物が検索結果で確認できなくなることを防止できる効果がある。

　次に、画面表示プログラム２１７で、ＡＲメガネ１０１のディスプレイ部分に、映像を生成するステップＳ９１０で生成した映像を表示させる（Ｓ９１１）。

　次に、終了指示の有無を確認し、終了指示がない場合には、キャッシュデータ２１２から再度フレーム画像を取得し、ステップＳ９０１乃至ステップＳ９１１の処理を継続する（Ｓ９１２）。

　尚、ＡＲメガネ１０１の映像の変化が小さい場合は、直前に照合した画像の中で、マッチングした特徴点が多い部分画像の局所特徴量をキャッシュデータ２１２に保存し、ＡＲメガネ制御ＰＣ１０２で、照合を行うことで、計算量の削減と通信帯域の効率化が可能である。

　以上を踏まえると、本実施例に記載の発明は、文書検索システムであって、ユーザの視野である視野画像を撮像する撮像部と、部分画像または文章を含む文書を蓄積する記憶部と、文書が部分画像を含む第１文書であるか否かを判定する判定部と、視野画像に含まれる第１局所特徴量と、部分画像に含まれる第２局所特徴量を抽出する抽出部と、第１局所特徴量および第２局所特徴量を用いて、部分画像と前記視野画像との照合を行い、照合された部分画像の視野画像に対応する点を求める照合部と、第１文書のうち、照合部において照合されたものを出力する出力部と、を有することを特徴とする。

　本実施例の文書検索方法を用いることで、例えば、プラントなどの現場で、AR眼鏡を通して配電盤やメータなどの装置を眺めると、それらの写真が載っている保守資料や説明書類などの文書を簡単に検索できるので、検索要求の入力が困難な環境においても簡単に文書が検索できる効果がある。

　また、レイアウトの文書が図だけでなく、文書構造を利用して取得した部分画像から取得した局所特徴量を用いて照合を行うことで、物体や図面の単位でのマッチングが行えるため、誤った特徴点間のマッチングを抑止できる効果がある。

　さらに、部分的に完全一致している画像を検索することが得意な局所特徴量と、部分的な一致の検索が困難であるが全一致していなくても見た目が似ている画像を検索することに適した、画像特徴量を用いた類似画像検索と組み合わせることによって、ユーザが欲しい範囲で、情報を検索することができる。

　２０１　ＣＰＵ
　２０２　主メモリ
　２０３　入力部
　２０４　表示部
　２０５　通信部
　２１０　記憶部
　２１１　ＯＳ
　２１２　キャッシュデータ
　２１３　局所特徴量取得プログラム
　２１４　局所特徴量照合プログラム
　２１５　映像取得プログラム
　２１６　映像生成プログラム
　２１７　画面表示プログラム
　３０１　ＣＰＵ
　３０２　主メモリ
　３０３　入力部
　３０４　表示部
　３０５　通信部
　３１０　記憶部
　３１１　ＯＳ
　３１２　文書データ
　３１３　文書情報データ
　３１４　検索用データ
　３１５　文書解析プログラム
　３１６　局所特徴量取得プログラム
　３１７　局所特徴量照合プログラム
　３１８　類似画像検索プログラム
　３１９　文書検索プログラム。
　

Claims

　ユーザの視野である視野画像を撮像する撮像部と、
　部分画像または文章を含む文書を蓄積する記憶部と、
　前記文書が部分画像を含む第１文書であるか否かを判定する判定部と、
　前記視野画像に含まれる第１局所特徴量と、前記部分画像に含まれる第２局所特徴量を抽出する抽出部と、
　前記第１局所特徴量および前記第２局所特徴量を用いて、前記部分画像と前記視野画像との照合を行い、照合された前記部分画像の前記視野画像に対応する点を求める照合部と、
　前記第１文書のうち、前記照合部において照合されたものを出力する出力部と、を有することを特徴とする文書検索システム。
　請求項１に記載の文書検索システムであって、
　前記抽出部はさらに、前記第１文書を構成するページに含まれる第３局所特徴量を抽出し、
　前記第１局所特徴量と前記第３局所特徴量との対応する点を求め、前記第１文書から、前記視野画像と対応する点の数が多い前記部分画像を含む第２文書を検索する検索部と、をさらに有し、
　前記判定部は、前記第２文書に対して判定を行い、
　前記照合部は、前記第２文書に含まれる前記部分画像を用いて照合を行うことを特徴とする文書検索システム。
　請求項２に記載の文書検索システムであって、
　前記抽出部は、さらに、前記視野画像に含まれる第１画像特徴量と、前記部分画像に含まれる第２画像特徴量とを抽出し、
　前記検索部は、さらに、前記第２画像特徴量が前記第１画像特徴量と特徴量空間における距離が最も近い部分画像である第１部分画像を検索し、
　前記照合部は、前記第１部分画像をさらに用いて照合を行うことを特徴とする文書検索システム。
　請求項１に記載の文書検索システムであって、
　出力された前記第１文書を、前記ユーザの視野に重畳して表示する表示部を、さらに有し、
　前記表示部では、前記部分画像に対応する点の密度が所定以上の領域を、前記部分画像に対応する第１領域と決定し、前記第１領域よりも外側に前記第１文書を表示することを特徴とする文書検索システム。
　ユーザの視野である視野画像を撮像する第1ステップと、
　部分画像または文章を含む文書を記憶装置に蓄積する第2ステップと、
　前記文書が部分画像を含む第１文書であるか否かを判定する第3ステップと、
　前記視野画像に含まれる第１局所特徴量と、前記部分画像に含まれる第２局所特徴量を抽出する第4ステップと、
　前記第１局所特徴量および前記第２局所特徴量を用いて、前記部分画像と前記視野画像との照合を行い、照合された前記部分画像の前記視野画像に対応する点を求める第5ステップと、
　前記第１文書のうち、前記照合部において照合されたものを出力する第6ステップと、を有することを特徴とする文書検索方法。
　請求項５に記載の文書検索方法であって、
　前記第４ステップではさらに、記第１文書を構成するページに含まれる第３局所特徴量を抽出し、
　前記第１局所特徴量と前記第３局所特徴量との対応する点を求め、前記第１文書から、前記視野画像と対応する点の数が多い前記部分画像を含む第２文書を検索する第７ステップと、をさらに有し、
　前記第３ステップでは、前記第２文書に対して判定を行い、
　前記第5ステップでは、前記第2文書に含まれる前記部分画像を用いて照合を行うことを特徴とする文書検索方法。
　請求項６に記載の文書検索方法であって、
　前記第４ステップでは、さらに、前記視野画像に含まれる第１画像特徴量を、前記部分画像に含まれる第２画像特徴量を抽出し、
　前記第７ステップでは、さらに、前記第２画像特徴量が前記第１画像特徴量と特徴量空間における距離が最も近い部分画像である第１部分画像を検索し、
　前記第５ステップでは、前記第１部分画像をさらに用いて照合を行うことを特徴とする文書検索方法。
　請求項５に記載の文書検索方法であって、
　前記第１文書を、前記ユーザの視野に重畳して表示する第８ステップを、さらに有し、
　前記第８ステップでは、前記部分画像に対応する点の密度が所定以上の領域を、前記部分画像に対応する第１領域と決定し、前記第１領域よりも外側に前記第１文書を表示することを特徴とする文書検索方法。