JP5608680B2 - モバイルの画像検索及びインデキシングのシステム及び方法 - Google Patents

Description

関連する出願への相互参照
本願は、合衆国法典第３５巻第１１９条（ｅ）の下で、２００８年１２月３０日付けで出願された、名称が「モバイルの画像検索及びインデキシングのシステム及び方法（Ｍｏｂｉｌｅ Ｉｍａｇｅ Ｓｅａｒｃｈ ａｎｄ Ｉｎｄｅｘｉｎｇ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ）」である米国仮出願第６１／１４１，５４７号の優先権を主張し、２００９年１２月２２日付けで出願された、名称が「関心のあるオブジェクトを指定することにより動作を開始しフィードバックを提供するシステム及び方法（Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｉｎｔｉａｔｉｎｇ Ａｃｔｉｏｎｓ ａｎｄ Ｐｒｏｖｉｄｉｎｇ Ｆｅｅｄｂａｃｋ ｂｙ Ｐｏｉｎｔｉｎｇ ａｔ Ｏｂｊｅｃｔ ｏｆ Ｉｎｔｅｒｅｓｔ）」である米国出願第１２／６４５，２３１号と、２００９年１２月２２日付けで出願された、名称が「基準オブジェクトをポインティングすることにより３Ｄシーンを探索するシステム及び方法（Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｅｘｐｌｏｒｉｎｇ ３Ｄ Ｓｃｅｎｅｓ ｂｙ Ｐｏｉｎｔｉｎｇ ａｔ ａ Ｒｅｆｅｒｅｎｃｅ Ｏｂｊｅｃｔ）」である米国出願第１２／６４５，２４３号と、２００９年１２月２２日付けで出願された、名称が「ポインティングによって現実世界オブジェクトとオブジェクト表現とをリンクさせるシステム及び方法（Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｌｉｎｋｉｎｇ Ｒｅａｌ−Ｗｏｒｌｄ Ｏｂｊｅｃｔｓ ａｎｄ Ｏｂｊｅｃｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｂｙ Ｐｏｉｎｔｉｎｇ）」である米国出願第１２／６４５，２４８号との一部係属出願であり、これらの出願は、参照によって本明細書中に内容全体が組み込まれる。

技術分野
本発明は、一般に、画像検索及びインデキシング（見出し付け、索引化）のためのコンピュータで実施されるシステム及び方法に関する。より具体的には、本発明は、全体的又は部分的にモバイル機器（可動な機器、携帯可能な機器）に組み込まれることがある画像検索及びインデキシングのために使用されるコンピュータで実施されるシステム及び方法に関する。

視覚的に対象物を素早く区別し分類する人の能力は、意図的な行動を取る前に状況の評価を可能にさせる。これらの意図的な行動は、対象物の正体を判定する際に、位置、姿勢、及び、時刻／日付のような状況の情報（コンテキスト情報）にマッチする人の脳のパターン認識に基づくことがある。例えば、人は、歩道に穴を見つけ、負傷することを避けるためにこの穴の周りを歩くことがある。この目的のため使用されるように、「状況（コンテキスト）」は、教養、経歴、及び／又は、教育といった他の要因による影響を受けることがある。

現在のところ、従来型の画像検索エンジン、例えば、問い合わせ条件に応じて画像のウェブベースの検索を実施する「Ｇｏｏｇｌｅ画像検索」が存在する。「Ｇｏｏｇｌｅ」は、Ｇｏｏｇｌｅ社の登録商標である。しかし、従来型の画像検索エンジンは、実画像の情報内容（コンテンツ）の正体を判定するのに役立つために十分な画像に関する状況の情報を考慮しない。例えば、システムユーザが問い合わせとして画像検索エンジンに「アップル」をタイプするとき、検索エンジンは、画像の名前、又は、ウェブページ上で画像に関連付けられた語（タグ）を考慮するだけである。したがって、このような問い合わせに対する検索結果は、多数の偽陽性応答を生成した。一例として、システムユーザの意図が野菜の「ペッパー（唐辛子）」の画像にある時に、入力された画像検索の問い合わせ単語が「ペッパー」である場合、検索結果は、緑色の「ペッパー」の写真を返信の他に、名前が「ペッパー」である黒いラブラドール犬の画像もまた返信することがある。

システムユーザの問い合わせの望まれた意図に、より密接に関係する画像を受信する確率を改善するためのツール又はシステムを有することは、画像検索技術が人（システムユーザ）の視覚的な場（場面、シーン）の中に存在する対象物又は対象物の集合を識別するため使用されるポインティングシステム（指摘システム）に組み込まれた場合に、非常に役に立つことになる。より効果的には、これらのツール又はシステムは、システムユーザの周囲の認識を承認する必要がある。より詳しくは、このようなツール又はシステムがシステムユーザの周囲の考慮に基づいて、正確な画像検索決定を行うことが重要になる。

直前に記述した種類の望ましいツール又はシステムは、特に、多くの場合に不慣れな状況にいるか、又は、外国の対象物に遭遇した場合に、旅行者又は観光客のようなモバイルシステム（可動なシステム）のユーザにとって興味深いものになる。これらのモバイルツール（可動な器具）は、多種多様のデータ源から情報を受け取り、そして、システムユーザの視覚的な場に関連した画像に向けられた正確かつ時宜に適った結果を提供する能力を有することが必要になる。携帯電話機、個人情報端末（ＰＤＡ）、及び、高耐久型若しくは「頑丈な」ミニコンピュータを含めて、ネットワーク接続型のモバイル機器の急増によって、プラットフォームがこのようなツール及びシステムのため容易に利用できる。

携帯電話機、ＰＤＡ、及び、ミニコンピュータのようなモバイル機器は、入手可能であり、かつ、手頃な価格であるが、これらの情報システムは、典型的に、具体的なコンピュータに基づくデータサービスに合わされている。更に、これらの機器を使用して画像検索を実施することは、これらの機器が時間を浪費し、かつ、困難である小型キーボードを使用して情報が入力されることを要求することを考えると、扱いにくく、かつ、難しい。付加的に、防護服、又は、継続する偵察を実施する必要性は、このような機器を軍事戦闘用途のため利用することを非現実的にさせる。

携帯電話機及びＰＤＡのような小型のモバイル機器のためのデータ入力が自動化できるとしても、商用データベースは、典型的に、その後に、これらの型のモバイル機器に特につながらないキーワードの関連性及び語順によって格付けされる結果を生成するため半構造データに依存する。一例として、写真の「マッチ度」をシステムユーザに提供するため半構造データを使用する写真共有データベースＦＬＩＣＫＲ（ｈｔｔｐ：／／ｗｗｗ．ｆｌｉｃｋｒ．ｃｏｍ）を考える。「ＦＬＩＣＫＲ」は、Ｙａｈｏｏ社の登録商標である。結果の正確さは、システムユーザだけでなく、写真に解説を割り当てる人によって入力されたテキスト、例えば、写真に添付されたキーワードタグに依存する。このようにして、キーワード「アップル」をＦＬＩＣＫＲに入力することは、果物から衣服スタイル、コンピュータまで多岐に亘る写真を含む１０万件を越える返信候補を生成する。これらの結果は、システムユーザの実際の質問：果物である「アップル」を回答できずに終わることになる。

米国特許第７，２４５，９２３号公報

上記に注意すると、これらのモバイル機器のユーザによって策定された画像検索問い合わせに関係する視覚的画像による情報を要求するモバイル機器のユーザのための画像返信の正確さの増加、適時性、及び、包括性が必要である。より具体的には、「正確さ」に関して、返信された画像データは、システムユーザ入力に密接にマッチすることが必要である。よって、起こり得る多種多様の入力を考えると、返信された画像データが正確であるだけでなく、入力を考えると、重要でもあるという信頼度をシステムユーザに提供するため、確率が割り当てられるべきである。「適時性」に関して、画像データ返信は、迅速であること、すなわち、典型的に、５秒未満であることが必要である。返信時間は、所要の画像処理及びマッチングの量によって著しく影響される。返信時間がより長い場合、典型的に許容できないと考えられることになる。「包括性」に関して、画像データ問い合わせは、できる限り多くの適合相手候補にアクセスできることが必要である。したがって、画像データ源は、非構造及び半構造手法、すなわち、キーワード又はタグ手法による画像の中の対象物の解析を含むべきである。

本発明は、従来型の画像検索システムのこれらの問題を解決し、正確であり、時宜に適った、そして、包括的な結果をもたらす画像検索及びインデキシングのシステム及び方法を提供する。

本発明は、コンピュータで実施されるオブジェクトのポインティング（対象物の指摘）及び識別システムの一部であるモバイル機器に組み込まれることがある画像検索及び画像インデキシングのためコンピュータで実施されるシステム及び方法を含む。好ましくは、本発明は、米国特許第７，２４５，９２３号、又は、同時係属中の米国特許出願第１２／６４５，２３１号、米国出願第１２／６４５，２４３号、及び、米国出願第１２／６４５，２４８号に記載されるようなコンピュータで実施される、モバイルのポインティング及び識別システムと関連付けられることがある、コンピュータで実施されるモバイルの画像の検索及びインデキシングシステム（以下、ＭＩＳＩＳとも言う）のクライアントに関する。本発明によれば、画像検索は、データベースの中の画像を見つけることを指す。更に、画像インデキシングは、画像状況を解析し、画像の状況に注釈を付け、画像及びこの情報をこの情報を取り出すことを容易にさせる基準系と関係付けることを指す。

好ましくは、モバイル機器の中に組み込まれたＭＩＳＩＳのクライアントは、カメラと、全地球位置測定システム（ＧＰＳ）受信機又は他の測位決定ユニットと、デジタルコンパスとを含む。ＭＩＳＩＳクライアントは、局所的記憶装置（ローカルストレージ）が更に付属されることがあり、ＭＩＳＩＳクライアントは、記憶装置を含むか、又は、記憶装置にアクセスするＭＩＳＩＳサーバに無線接続する。これらの場所にある記憶装置は、ＭＩＳＩＳクライアントを含むモバイル機器上で局所的に、又は、ＭＩＳＩＳサーバ上で遠隔的に画像検索結果処理を可能にすることになる。ＭＩＳＩＳクライアントは、夜間画像化及びスケッチのための赤外線を含む他の入力を受け取るため拡張可能であると考えられる。この後者の用途は、電気光学的可視性が低下させられるときに役立つことがある。

ＭＩＳＩＳクライアントは、画像をインデキシングし、記憶し、更新し、取り出すためのコンピュータによる基幹設備を提供するＭＩＳＩＳクライアントシステムのサーバに無線接続する。ＭＩＳＩＳシステムサーバは、マルチメディアコンテンツ部（複合媒体の情報内容部）及び地理的情報システム（ＧＩＳ）データ部を含む記憶装置に有線又は無線で接続する。これらは、画像を記憶し、限定されることなく、地理的な位置及びこれらの地理的な位置を取り囲む環境に関する情報をはじめとして、画像にインデックスを付けるための基礎となる文脈情報を提供することを目的とする。

ＭＩＳＩＳクライアントは、好ましくは、そのままの画像を処理することを対象にする。したがって、ＭＩＳＩＳクライアントは、好ましくは、地表付近に位置しているシステムユーザの見え方から取得された地理的空間の中の静止画像のため使用されることになる。その結果、画像の姿勢は、ほぼ水平になる。これは、休暇中の典型的な観光客による視覚的な場の知覚認識的な見え方に対応する。しかし、本発明は、例えば、建物の２０階までの街路のレベルからの非常に傾斜した画像、又は、鳥の眼の見え方からの空中画像のような他の種類の画像を考える。

本発明によれば、ＭＩＳＩＳクライアントを組み込むモバイル機器は、画像を検索し、画像にインデックスを付けるためにＭＩＳＩＳクライアントの空間状況、すなわち、位置及び姿勢を使用することになる。これは、画像検索エンジンがより高速かつより効率的になり、そして、より少ない偽陽性結果をもたらすことを可能にさせる。ＭＩＳＩＳクライアントは、更に、偽陽性及び偽陰性を最小限に抑える品質フィルタリングも行うことになる。画像検索のためＭＩＳＩＳクライアントを組み込むモバイル機器は、システムユーザの検索能力と、自分の周囲における対象物に関して学習し、危険候補に重点を置く能力を向上させることになる。

本発明は、図面を参照して明細書の残りの部分でより詳細に記述される。

図１は、ＭＩＳＩＳクライアントと、ＭＩＳＩＳクライアントに接続するＭＩＳＩＳサーバを含む本発明のＭＩＳＩＳシステムを組み込む代表的な図を示す。 図２Ａは、異なるポインティング方向及び視角での２Ｄ平面への画像範囲の投影を示す図である。 図２Ｂは、異なるポインティング方向及び視角での２Ｄ平面への画像範囲の投影を示す図である。 図２Ｃは、異なるポインティング方向及び視角での２Ｄ平面への画像範囲の投影を示す図である。 図３Ａは、インデックス付けされた位置に基づく空間画像検索の誤ったヒットの異なる可能性を示す図である。 図３Ｂは、インデックス付けされた位置に基づく空間画像検索の誤ったヒットの異なる可能性を示す図である。 図３Ｃは、インデックス付けされた位置に基づく空間画像検索の誤ったヒットの異なる可能性を示す図である。 図４は、観察位置から情報内容を見る円錐視野の中に全体的又は部分的にある社会基盤の対象物と、情報内容を見る円錐視野の外にある社会基盤の対象物との実施例を示す図である。 図５Ａは、本発明による画像検索及びブーリアンインデキシングの進行を示す図である。 図５Ｂは、本発明による画像検索及びブーリアンインデキシングの進行を示す図である。 図５Ｃは、本発明による画像検索及びブーリアンインデキシングの進行を示す図である。 図５Ｄは、本発明による画像検索及びブーリアンインデキシングの進行を示す図である。

本発明は、対象物のポインティングと識別システムの一部であるモバイル機器に組み込まれることがある、画像検索及び画像インデキシングのためのコンピュータで実施されるシステム及び方法を対象にする。より詳しくは、本発明は、コンピュータで実施される、モバイルの（携帯可能な）ポインティング及び識別のシステムと関連付けられることがある、コンピュータで実施されるＭＩＳＩＳクライアント及びＭＩＳＩＳサーバに関する。本発明は、水平方向の見え方、傾斜した見え方、及び、空中での見え方をはじめとして、地表の付近に位置しているシステムユーザの見え方から取得された地理的空間におけるそのままの画像中の対象物の検索及びインデキシングのため使用されることがある。

図１を参照すると、一般的に１００で、本発明を組み込みシステムが記述される。図１では、モバイル機器１０２は、システムユーザの視覚的な場の中で関心のある対象物を指摘し、識別するため使用される米国特許第７，２４５，９２３号（特許文献１）によるモバイル機器でもよく、又は、同時係属中の米国出願第１２／６４５，２３１号、米国出願第１２／６４５，２４３号、及び、米国出願第１２／６４５，２４８号によるシステムクライアントでもよい。したがって、米国特許第７，２４５，９２３号と、同時係属中の米国特許出願第１２／６４５，２３１号、米国出願第１２／６４５，２４３号、及び、米国出願第１２／６４５，２４８号は、参照によって本明細書中に内容全体が組み込まれる。

本発明によれば、モバイル機器１０２は、ＭＩＳＩＳクライアント１０４と、カメラ１０６と、デジタルコンパス１２４と、ＭＩＳＩＳクライアント１０４に付属されている局所的記憶装置（図示しない）と、ＧＰＳ受信機（図示せず）とを含み、本発明の方法を実施する。デジタルコンパス１２４、局所的記憶装置、及び、ＧＰＳ受信機は、排他的にＭＩＳＩＳクライアントに専用でなくてもよく、モバイル機器のための他のタスクを実行することがあり、依然として本発明の範囲内にある。

ＭＩＳＩＳクライアント１０４は、有線又は無線接続を介してＭＩＳＩＳサーバ１０８に接続する。好ましくは、ＭＩＳＩＳクライアント１０４は、インターネット１０５のような無線接続を介してＭＩＳＩＳサーバ１０８に接続する。ＭＩＳＩＳサーバ１０８は、少なくとも地理的空間の検索エンジン１１０と、画像検索エンジン１１２と、検索／ナビゲート／追跡／ジオタグ／ジオブログ／広告（ＳＮＴＧＧＡ）ユニット１１４とを含む。ＭＩＳＩＳサーバは、好ましくは、少なくとも１１６にあるマルチメディアコンテンツ及び１１８にあるＧＩＳデータを記憶する記憶装置ユニット１１５が付属されている。

本発明によれば、ＭＩＳＩＳサーバ１０８に関して、地理的空間検索エンジン１１０は、地理的な領域（ドメイン）又は空間的な領域に関係した検索問い合わせを実行するために、システムユーザによってアクセス可能な検索エンジンであり、システムユーザは、この検索エンジンを介して、検索問い合わせに応答して検索エンジンによって生成された検索結果を受け取ることになる。地理的検索エンジンは、空間的領域に関する他の情報を表示することが更に可能であり、システムユーザは、この検索エンジンを介して、空間的な領域にリンクする属性などを受け取ることになる。

画像検索エンジン１１２は、ウェブ上又は専用データベースの中で写真又は画像を見つけるため特化された検索エンジンである。画像検索エンジンを使用して画像を検索するため、システムユーザは、キーワード、画像ファイル／リンク、又は、画像上のクリックのような検索条件を入力することになり、画像検索エンジンは、この問い合わせに「類似した」画像を返信することになる。検索規準のため使用される類似性指標は、限定されることなく、メタタグ（ＭＥＴＡタグ）、画像中の色分布、又は、領域／形状属性を含む。他の類似性指標が使用されてもよく、依然として本発明の範囲内にあることが分かる。

ＳＮＴＧＧＡユニット１１４は、ロケーションベースサービス（位置情報サービス、ＬＢＳ）のプロセス（工程）を支援するために使われる。ＬＢＳは、モバイルネットワークを介してモバイル機器によってアクセス可能な情報及び娯楽サービスである。ＬＢＳは、モバイル機器の地理的な位置を更に利用する。ＬＢＳは、モバイル機器の地理的な位置及び無線基盤に基づいて、ロケーションアウェアコンテンツ（位置認識内容）をシステムユーザに配信できる。

マルチメディアコンテンツ部１１６は、ＭＩＳＩＳクライアントによって取り込まれた、タグ付き及びインデックス付きのマルチメディアを記憶するため使われる。マルチメディアコンテンツ部１１６は、例えば、画像と、オーディオ又はビデオファイルとを記憶する。

ＧＩＳデータ部１１８は、画像検索エンジン１１２によるマルチメディアのインデキシング及び記憶のため状況を提供するために使用される。ＧＩＳデータ部１１８は、空間領域内で対象物を記述するため使用される地理的な点と、地理的な線と、地理的な領域と、３Ｄ構造物とのような地理的なデータを含む。

再び図１を参照すると、外部データ源／コンテンツプロバイダ／検索エンジンブロック１２０は、好ましくは、インターネット１０５を介してＭＩＳＩＳサーバ１０８に無線接続し、ＭＩＳＩＳサーバ１０８によって記憶装置ユニット１１５に局所的に記憶されない他のマルチメディアへのアクセスを行う。本発明の目的のため、外部データ源／コンテンツプロバイダ／検索エンジンブロック１２０からのマルチメディアは、ＭＩＳＩＳサーバ１０８によってインデックス付けされるか、又は、ＭＩＳＩＳクライアント１０４からのマルチメディアは、外部データ源／コンテンツプロバイダ／検索エンジンブロック１２０にリンクされ、ＭＩＳＩＳサーバ１０８へ送信されることが可能である。更にＧＰＳ衛星１２２は、カメラ１０６を含むモバイル機器の位置を決定するため緯度及び経度情報をモバイル機器１０２へ提供する。

好ましくは、モバイル機器１０２の一部として組み込まれるデジタルコンパス１１４は、本発明の目的のためカメラ１０６のポインティング方向（指し示す方向）を定義することになる。ポインティング方向は、カメラ１０６から発する、情報内容を見る円錐視野（ビューイングコンテンツコーン）の中心線を更に定義することになる。本発明によれば、この情報内容を見る円錐視野は、建物１２６のような関心のある対象物に関係する画像を高度の正確さ及び信頼度で識別するため画像の検索及びインデキシングの目的で使用される。

図１を参照すると、システムユーザがＭＩＳＩＳクライアント１０４を含むモバイル機器を用いて１２６に示されるような建物又は目印の写真又は映画を撮影するとき、この写真は、画像が画像検索エンジン１１２によってタグ付けされ、かつ、インデックス付けされるＭＩＳＩＳサーバ１０８へ送信される。タグ付けされ、かつ、インデックス付けされた画像は、その後、システムユーザ問い合わせの結果として後で取り出すためマルチメディアコンテンツ部１１６に記憶される。

図２Ａ、２Ｂ及び２Ｃを参照すると、異なるポインティング方向から、異なる視角を使う画像範囲の２次元（２Ｄ）平面への投影は、それぞれ、一般的に２００、２２０及び２３０で示される。図２Ａでは、位置２０２は、投影が発する起点である。好ましくは、本発明のＭＩＳＩＳクライアントを組み込むモバイル機器は、位置２０２に位置することになる。２０２に位置しているモバイル機器のポインティング方向は、２０１に点線で示される。視角２０４を考えると、光線２０６及び２０８は、２Ｄ平面内にモバイル機器の視野２１０を定義する。

図２Ｂを参照すると、２２２にあるモバイル機器は、点線で示されたポインティング方向２２１と共に示される。視角２２３は、視角２０４及び図２Ａと同じでもよく、異なっていてもよい。視角は、モバイル機器に依存することになる。視角２２３を考えると、光線２２４及び２２６は、２Ｄ平面内にモバイル機器の視野２２８を定義する。

図２Ｃを参照すると、２３２にあるモバイル機器は、点線で示されたポインティング方向２３１とともに示される。２３２にある新しいモバイル機器の視角は、２３３に示されている。視角２３３を考えると、光線２３４及び２３６は、視野２３８を定義する。図２Ｃに示されるように、２３２にあるモバイル機器の視野は、図２Ａにおける２０２にあるモバイル機器及び図２Ｂにおける２２２にあるモバイル機器の視野より遙かに小さい。

好ましくは、図２Ａ、２Ｂ及び２Ｃにおいて、それぞれ、２０２、２２２及び２３２にあるモバイル機器は、カメラ１０６（図１）を含むことになる。したがって、各視野は、モバイル機器上のカメラ位置から発することになり、視野の中心は、写真が撮影されたポインティング方向である。２Ｄ平面に投影された視野の範囲は、写真が撮影されたときのカメラの焦点距離から導出された水平方向視角に基づくことになる。視角は、カメラ対物レンズの型、すなわち、典型的に、６０°乃至１００°である広角、又は、典型的に１０°乃至１５°である望遠に基づいてかなり変化することがある。実際にカメラがズーム能力を有する場合、視角はこれらのパラメータを使用して変更されることがある。

そのままの画像のインデキシングのための従来型システムは、写真が撮影された時間、メタデータとして追加されたキーワード、又は、何らかの形式の色分布に限定されている。しかし、ＧＰＳ使用可能カメラは、カメラの位置に基づく画像のインデキシングを可能にした。これらのＧＰＳ機能は、画像検索のため利用できる少なくとも第１のレベルの空間状況を提供した。空間情報は、インデキシングのための位置詳細をもたらすが、カメラ位置は、画像上で実際に撮影されているものと直接的に関係していないので、検索時に高い誤りの陽性（肯定）と、場合によっては、誤りの陰性（否定）のヒット（的中）の確率とを引き起こす。更に、カメラ位置は画像の情報内容の優れた代替であるという仮定もまた信頼できない。例えば、写真が撮影された場所であるカメラ位置にある対象物は、写真の中に含まれることがない。したがって、ＧＰＳ位置単独は、図３に示されるように、画像検索及びインデキシングの信頼性を高めるために十分な状況ではない。

図３Ａ、３Ｂ及び３Ｃは、それぞれに一般的に３００、３２０及び３３０で、インデックス付き位置に基づいた空間画像検索の誤ったヒットの異なる確率を示す。図３Ａを参照すると、実際に取り込まれた画像が３０２に示される。この画像は、システムデータベースに記憶されることになる。ＧＰＳ使用可能カメラ３０４は、位置３０６に示される。カメラ３０４の視角は、３０３に示される。カメラ３０４のための視野は、カメラ３０４のレンズの焦点距離を考慮して、視角３０３により形成された光線３０８及び３１０によって定義されることになる。画像３０２の位置３０６で、カメラだけが画像検索エリアの中に位置しているので、誤った肯定的なヒットの高い確率が存在する。より詳しくは、視野の中に位置している画像の情報内容は存在しないことになる。

図３Ｂを参照すると、ＧＰＳ使用可能カメラ３０４は、位置３２２に示される。この場合も、カメラ３０４の視角は、３０３に示される。カメラ３０４の視角は、カメラ３０４のレンズの焦点距離を考慮して、視角３０３により形成された光線３０８及び３１０によって定義されることになる。カメラ３０４の位置が３２２であると仮定すると、図３Ａの場合より、誤った肯定的なヒット数は少なくなるが、すぐ近くの情報内容だけが結果の中に含まれ、画像の小さい部分だけが視野の範囲に入るので、画像３０２のエリア３２６の中のより可能性が高いコンテンツは、除外されることになる。

図３Ｃを参照すると、ＧＰＳ使用可能カメラ３０４は、画像エリア３０２の外側にある位置３３２に示される。図３Ｂ及び３Ｃの場合と同様に、カメラ３０４の視界は、カメラ３０４のレンズの焦点距離を考慮して、視角３０３により形成された光線３０８及び３１０によって定義されることになる。カメラ３０４の位置が画像エリア３０２の外側の３３２にあると仮定すると、このカメラ位置のために誤った否定的な陰ヒットの高い可能性が存在することになる。更に、対象物候補の大半は、画像のエリア３３６の中で見失われることになる。

図３Ａ、３Ｂ及び３Ｃに関して示されたように、そのままの画像のコンテンツは、画像記録時点でのカメラのポインティング方向と、従来型のインデキシングモデルにおける視角とによって制約される。

本発明は、カメラのＧＰＳ使用可能な能力を各画像の視方向及び視角と統合するので、そのままの画像のコンテンツの更に遙かに正確な評価が実行される。本発明によれば、好ましくは、そのままの画像のコンテンツのより正確な評価のため使用される空間パラメータは、ＧＰＳ受信機によって獲得された位置情報と、デジタルコンパスによるポインティング方向と、画像の記録時点での対象物の焦点距離によるカメラ角度とを含む。これらのパラメータの組み合わせは、情報内容の視野（情報内容を見る円錐視野）を生成することになる。この情報内容を見る円錐視野は、画像の中に撮影された社会基盤の内容として可能性のあるものにインデックスを付けるための、更に遙かに正確な基準系を提供することになる。

本発明によれば、情報内容を見る円錐視野の深さは、限定されることなく、霧又は煙のような水平方向又は視覚的な欠陥を含む付加的なパラメータによって定義されることがある。更に、視野深さは、システム管理者によって設定された既定値（初期設定値）であってもよい。本発明は、好ましくは、２Ｄ平面（情報内容を見る円錐視野）内のコンテンツ視野の深さに重点を置くが、３次元（３Ｄ）形状を含むその他の形状は、本発明の範囲内にあることが分かる。例えば、３Ｄ円錐又はピラミッド形状は、本発明の範囲内にある。

本発明による情報内容を見る円錐視野は、画像を検索するため品質フィルタを提供する。品質フィルタとして、情報内容を見る円錐視野は、画像の一部分ではないために情報内容を見る円錐視野に含まれていない画像の静的な対象物を考慮することになり、したがって、検索時に偽陽性にならない。このことは、図４を参照してより詳細に記述される。

図４を参照すると、一般的に４００で、対象物４１０、４１２、４１４、４１６、４１８、４２０及び４２２を含む画像が示される。本発明によれば、位置４０２にあるカメラは、視角４０４を有している。視角４０４を仮定すると、カメラ４０２のレンズの焦点距離により形成された光線４０６及び４０８は、情報内容を見る円錐視野４２５を定義することになる。したがって、本発明によれば、情報内容を見る円錐視野４２５は、品質フィルタとして作用する。したがって、対象物４１８、４２０及び４２２は、円錐の内部にあり、画像の一部と見なされることになる。対象物４２２は、部分的に視野円錐の中にあるが、依然としてこの視野円錐の内部にあると見なされることがあることに注意を要する。対象物４１０、４１２、４１４及び４１６は、情報内容を見る円錐視野４２５の外側にあるので、画像の一部とは見なされない。したがって、本発明の方法を使用して、本発明の検索の局面を実施中に誤った肯定的なヒットが低減される。

本発明によるＭＩＳＩＳのインデキシングは、１１８で記憶装置１１５に記憶された対象物に基づいたＧＩＳデータの集合（セット）の情報内容に基づいている。これらのデータの集合は、空間認識及び通信で使用される通りに個別の地理的空間インスタンス又はランドマークの足跡を格納する。これらのデータの集合は、情報内容を見る円錐視野の中の対象物の３Ｄ表現を更に格納することがある。

本発明は、ＭＩＳＩＳの空間コンテンツに基づいたインデキシング及び検索の目的のため情報内容を見る円錐視野をＧＩＳデータの集合とリンクさせる。更に、本発明による空間インデックスの使用は、システムユーザの視点から可視的である対象物の高速識別及び認識を可能にさせることになる。この視点は、インデキシングが行われる点であるため、主要な検討事項である。システムユーザの視点は、ＭＩＳＩＳクライアントの一部であるシステムユーザのカメラの位置を少なくとも意味することになることが分かる。

好ましくは、本発明によるリンク化のプロセスは、所定のインデックスツリーに基づくことになる。これらのインデックスツリーは、環境の画像の中に格納されている対象物にインデックスを付けるため使用されることがある。本発明の目的のため、「対象物にインデックスを付ける」への言及は、画像の中に含まれている対象物を識別し、これに応じて画像に注釈を付け、そして、画像をデータベースの中のインデックスツリーにリンクさせることを意味する。以下の４つのインデックスツリーが記述されるが、これらの４つより多い又は少ないインデックスツリーが使用されてもよく、依然として本発明の範囲内にある。

ＢＳＰ：バイナリ空間分割（ＢＳＰ）ツリーは、切断面に応じて空間内部の対象物を組織化する。切断面は、空間内の対象物がこの切断面の「前方」又は「後方」のいずれかにあるとして分類するため使用される。例えば、立方体と、この立方体を等しいサイズの区画に分割する切断面とを考える。見る方向が切断面に基づく場合、区画によって取り囲まれた対象物が今度は切断面の前方又は切断面の後方にあるとして記述することができる。このプロセスは、区画が単一の対象物だけを格納しているというようなある規準に適合するまで、各区画に反復的に適用される。

オクツリー（八分木）：原点の周りの空間は、８個のオクタントに分けられる。各オクタントは、表現されるべき環境内でこの位置を占有している対象物が存在するかどうかに応じて使用中又は空きとしてマークが付けられる。１つずつの使用中のオクタントは、その後、８個の副空間に再び分割され、このプロセスは、十分な分解能が達成されるまで、再帰的に継続する。より詳しくは、オクツリー法は、空間ユニットがツリーのリーフに十分に収容されるまで、空間を規則的な立方体に反復的に分割する。同様に、開始点として対象物の集合を収容する立方体を考えると、この立体は、８個の一様な立方体に再分割されることになる。このプロセスは、各対象物がツリーの中に地図化されるまで、反復的に適用される。

Ｒツリー：空間は、階層的に入れ子になり、そして、おそらく重なり合う最小外接矩形に分けられる。Ｒツリーの各ノードは、（ある予め定められた最大値までの）可変個のエントリを有している。非リーフノード内部の各エントリは、２個のデータ、すなわち、子ノードを識別する方法と、この子ノードの内部の全エントリの境界ボックスとを記憶する。例えば、対象物の集合を格納する２Ｄ平面を考える。この平面は、１つずつが最小外接矩形の集合を格納する最小限の外接矩形に再分割される。このプロセスは、各最小外接矩形が所定の最大個数より少ない個別の対象物の集合を格納するまで、反復的に適用される。

ＫＤツリー：ＫＤツリーは、あらゆるノードがｋ次元点であるバイナリツリーである。あらゆる非リーフノードは、空間を２つの副空間に分割する分割超平面を生成する。超平面の左側にある点は、この非リーフノードの左サブツリーを表現し、超平面の右側にある点は、右サブツリーを表現する。超平面方向は、サブツリーに分けられたあらゆるノードがｋ次元のうちの１つと関連付けられ、超平面がこの次元ベクトルと垂直になるように選ばれる。したがって、例えば、特有の分割に対し、ｘ軸が選択される場合、このノードより小さい「ｘ」値をもつサブツリー内のすべての点が左サブツリーの中に出現し、より大きい「ｘ」値をもつすべての点が右サブツリーに出現することになる。一実施例として、対象物の集合を格納している２Ｄ平面を考えると、この平面は、各区画が同数の対象物を格納している２つの区画に分割される。結果として得られる区画は、各区画が格納する対象物の数が所定数未満になるまで、同じ方法に従って更に分割される。

これらのインデックスツリーは、画像の中のコンテンツを識別し、これに応じて画像に注釈を付けるために、外部データ源／コンテンツプロバイダ／検索エンジンブロック１２０と、空間の対象物にリンクさせられたマルチメディアコンテンツ部１１６とからの主題に関するデータと組み合わせて使用される。したがって、本発明によれば、この組み合わせは、問い合わせ処理のための対象物の部分集合の効率的かつ高速な取り出しを支援する。更に、インデックスツリーは、画像の位相的セットアップに関する情報を提供するので、画像の信頼できるインデキシングが情報内容を見る円錐視野の内部で行われる。

本発明によれば、ＭＩＳＩＳのインデックスは、情報内容を見る円錐視野を画像が取得されたエリアを含む空間データの集合と交差させることにより生成される。このデータの集合は、２Ｄでも３Ｄでもよい。空間インデックスツリーの手順に基づく交差は、インデキシングのための候補である対象物を識別する。これに続いて、画像は、画像コンテンツに関する情報、すなわち、画像の中の空間対象物に関する主題に関するデータと、空間コンテンツ、すなわち、位置及び姿勢とを用いて更新され、この空間インデックスツリーは、利用可能な画像に関する情報を用いて更新される。

好ましくは、本発明によるインデキシング及び更新のワークフローは、４つのプロセスステップを含む。第一に、システムユーザは、ＭＩＳＩＳクライアントを含むモバイルポインティングデバイス（携帯可能な位置決め装置、可動指示装置）を用いて、写真のような何らかのマルチメディアを取り込む。第二に、メディア（写真）は、ＭＩＳＩＳサーバへ送信され、このＭＩＳＩＳサーバで、写真作成時にＭＩＳＩＳクライアントによって取り込まれた位置及び姿勢情報からの空間状況に基づいて、タグを付けられ、注釈を付けられ、インデックスを付けられる。第三に、注釈付き及びインデックス付きのメディアは、マルチメディアデータベースに蓄積される。第四に、第二のシステムユーザは、メディアにタグを付け、そして、注釈を付けた蓄積された状況の情報に基づいてメディアを問い合わせ、見つけ、そして、取り出すために、ＭＩＳＩＳクライアントを使用する。

新しいメディアがＭＩＳＩＳサーバへ提示されるとき、ＭＩＳＩＳのインデキシングシステムは、すべての追加及び変更を含めるために更新される。位置及び姿勢の様な空間状況は、メディアにインデックスを付けるために使用され、すなわち、システムユーザが自分の携帯電話機を用いて自分の休暇中に写真を撮影するとき、これらの写真は、自動的にタグ付けされることになる。タグは、例えば、「ギリシャ、アテネ市、パルテノン」又は「０４４７３メイン州、オロノ市、エルム通り８」などのように何の写真であるかを記述することになる。

本発明によれば、ＭＩＳＩＳのインデックスの２つの増分設定は、図５Ａ、５Ｂ、５Ｃ、及び、５Ｄを参照して記述されるブーリアン処理に応じて区別される。一般的に５００で示された図５Ａを参照すると、２つのインデックス点、すなわち、５０２にある点Ｐ１及び５０４にある点Ｐ２から撮影された２つの画像を有している場が示される。点Ｐ１にあるカメラのポインティング方向、視角、及び、レンズの焦点距離に応じて、情報内容を見る円錐視野５０６が生成される。図示されるように、情報内容を見る円錐視野５０６は、対象物５１０、５１２及び５１４を取り込む。

再び図５Ａを参照すると、点Ｐ２にあるカメラのポインティング方向、視角、及び、レンズの焦点距離に応じて、情報内容を見る円錐視野５２０が生成される。情報内容を見る円錐視野５２０は、対象物５１２、５１４、５２２及び５２４を獲得する。図５Ａに更に示されるように、対象物５３０及び５３２は、情報内容を見る円錐視野５０６又は５２０によって獲得されないので、画像の一部であるとみなされない。

図５Ｂを参照すると、一般的に５４０で、検索窓５４２が対象物５１０、５１２、５１４、５２２、５２４、５３０及び５３２を含む場に関して示される。図５Ｂでは、画像の検索中に、検索窓５４２は、５０２にある点Ｐ１に関係する情報内容を見る円錐視野５０６の中で見つけられた対象物を含まないことが分かる。しかし、対象物５２２は、５０４にある点Ｐ２に関係する情報内容を見る円錐視野５２０の中で見つけられることが分かる。

図５Ｃを参照すると、一般的に５５０で、検索窓５５２が対象物５１０、５１２、５１４、５２２、５２４、５３０及び５３２を含む場に関して示される。図５Ｃでは、画像の検索中に、検索窓５５２は、５０２にある点Ｐ１に関係する情報内容を見る円錐視野５０６の中で見つけられた対象物５１０、５１２及び５１４を含むことが分かる。検索窓５５２は、５０４にある点Ｐ２に関係する情報内容を見る円錐視野５２０の中で見つけられた対象物５１２及び５１４を含むことが更に分かる。したがって、対象物５１２及び５１４は、両方の情報内容を見る円錐視野において見つけられるが、対象物５１０だけが情報内容を見る円錐視野５０６の中で見つけられる。

図５Ｄを参照すると、一般的に５６０で、検索窓５６２が対象物５１０、５１２、５１４、５２２、５２４、５３０及び５３２を含む場に関して示される。図５Ｄでは、画像の検索中に、検索窓５６２は、５０２にある点Ｐ１に関係する情報内容を見る円錐視野５０６の中で見つけられた対象物を含まないことが分かる。検索窓５６２は、５０４にある点Ｐ２に関係する情報内容を見る円錐視野５２０の中で見つけられた対象物５２４を含むことが更に分かる。

図５Ａ、５Ｂ、５Ｃ及び５Ｄによる処理の結果は、画像にタグ及び注釈を付けるため使用されることになる対象物のリストである。

図５Ａ、５Ｂ、５Ｃ及び５Ｄに関して記述されたＭＩＳＩＳのブーリアン処理は、画像が特有の社会基盤の対象物を格納しているかどうか、又は、逆に、社会基盤の対象物が特有の画像の内部だけに示されるかどうかを判定する。この処理プロセスは、ＭＩＳＩＳサーバ１０８の一部である関連型データベース（リレーショナルデータベース）又はＭＩＳＩＳクライアント上を含む他の記憶装置場所に記憶可能であり、かつ、この関係型データベース又は他の記憶装置場所から取り出し可能である２組を越えるインデックスを使用して実施されることがある。取り出された情報は、例えば、オーク通り１１の南側と、エルム通り８の北側とを示す画像でもよい。２組を越えるインデックスを使用する情報の取り出しは、取り出し時間に関して非常に高速であり、好ましくは、数秒以内とすることができる。２組を越えるインデックスの実施例は、限定されることなく、以下の＜対象物ＩＤ、画像ＩＤ＞＜画像ＩＤ、対象物ＩＤ＞を含む。

ＭＩＳＩＳブーリアン処理は、少なくとも以下の３種類の問い合わせを可能にさせる。
（１）対象物Ｘに対して入手できる画像は何か？
（２）画像Ａの中に示された対象物は何か？
（３）対象物Ｘは画像Ａに示されているか？

最初の２つの問い合わせの結果は、好ましくは、ＳＱＬ問い合わせ文を用いて、ある程度の数のこれらの種類の問い合わせの結果と論理的に結合することができる識別子の集合を含む。識別子の２つの集合は、好ましくは、画像識別子の集合及び対象物識別子の集合である。これらの結果は、視覚的ブラウジングのため、又は、より時間がかかる画像処理解析のための入力として役立つことができる。

本発明によれば、ＭＩＳＩＳにおける関連性は、各画像が対象物をどの程度うまく表現するかを示すために各対象物に添付される。好ましくは、関連性の値は、０（表現されない）と１（完全に表現される）との間で変化する。例えば、ＭＩＳＩＳの関連性の値は、０．５ということがある。この関連性値は、画像が対象物の完全な表現となり得る画像の５０％という形で対象物を表現することを意味することになる。更に、好ましくは、関連性値は、限定されることなく、接近性、中心性及び重なり合いを含む規準に基づいて生成される。これらの３つの規準が次に記述されるが、これらの３つの規準より多いか、又は、少ない規準が使用されることがあり、依然として本発明の範囲内にあることが分かる。

接近性：接近性は、情報内容を見る円錐視野の内部の、カメラ位置までの対象物の位置のことを指す。好ましくは、この関連性の指標は、対象物がカメラに接近して位置すればするほど高い値になる。しかし、対象物がカメラレンズに接近しすぎると、対象物はピンぼけになり、非常に接近した対象物の関連性の指標はより低くなる。

中心性：中心性は、カメラの視角に対する対象物の位置のことを指す。好ましくは、この第二の関連性の指標は、情報内容を見る円錐視野の中心線のすぐ近くにある対象物に対して高く、情報内容を見る円錐視野の限界を定義する光線に近づけば近づくほど低い。中心性指標は、主な関心のある対象物は、写真の中心に位置する傾向があり、関心の低い対象物は、典型的に周辺の付近に位置しているという仮定に基づいている。

重なり合い：重なり合いは、情報内容を見る円錐視野の内部の、対象物の撮影のことを指す。好ましくは、この第３の関連性の指標は、完全に撮影された対象物に対して高く、対象物の部分的な写真に対して低い。画像中の対象物の重なり合い又は妨害は、ＧＩＳデータ部１１８による空間インデキシング情報からの情報と相関関係があり、重なり合い規準の測定のための測定基準の詳細をもたらすことになる。

ＭＩＳＩＳの関連性のインデックスは、情報内容を見る円錐視野の中の各空間の対象物と関連付けられる。画像インデックスは、ＧＩＳデータ部１１８、又は、１１４にあるＭＩＳＩＳサーバ１０８に対象物毎に記憶されるが、モバイル機器１０２に記憶されてもよい。記憶されるＭＩＳＩＳの画像インデックスは、好ましくは、６組を含む。１１４及び１１８でＭＩＳＩＳサーバ１０８に記憶される６組の画像インデックスの実施例は、限定されることなく、以下の画像インデックス、すなわち、＜対象物ＩＤ、画像ＩＤ、関連性の指標、カメラ位置、カメラ角度、日付／時刻＞を含む。ＭＩＳＩＳの関連性のインデックスは、システムユーザが以下の種類の問い合わせ：
（１）対象物Ａに対し利用できるｎ個の最も代表的な画像はどれか？
（２）ほぼ同じ方向から対象物を表す対象物Ａに対し利用できるｎ個の最も代表的な画像はどれか？
（３）対象物Ａに対し利用できる画像が存在しない見え方はどれか？
（４）（ほぼ）反対（直交）方向から対象物Ａを表す画像はどれか？
を入力することを可能にさせる。

更に、ＭＩＳＩＳの関連性のインデックスは、画像のより高度な視覚的解析を可能にすることになる。例えば、ＭＩＳＩＳの関連性のインデックスを使用して、システムユーザは、時計回り又は反時計回りの順序で画像をソートすることにより、対象物の周りの視覚的な歩行を作成することができる。システムユーザは、特定の位置から始まり対象物へ向かう視覚的な歩行を更に作成することができる。システムユーザは、更に、社会基盤の対象物に関して、移動中の対象物の地理的な位置情報を取得し、移動している対象物を追跡することができる。

本発明のシステムの要素は、有線又は無線接続によって電子的に接続されることがあり、依然として本発明の範囲内にあることが分かる。

本発明のシステム及び方法の実施形態又は実施形態の一部分は、コンピュータハードウェア、ファームウェア、及び／又は、プロセッサとプロセッサによって読み取り可能な（揮発性メモリ及び不揮発性メモリ、及び／又は、記憶素子を含む）記憶媒体とをそれぞれに含むプログラマブルコンピュータ又はサーバ上で動くコンピュータプログラムで実施されることがある。コンピュータプログラムはどれでも、コンピュータに基づくシステムの内部又は外部で通信するため、高水準の手続型又はオブジェクト指向型プログラミング言語で実施されることがある。

コンピュータプログラムはどれでも、記憶媒体（例えば、ＣＤ−ＲＯＭ、ハードディスク、又は、磁気ディスケット）、又は、機器（例えば、コンピュータ周辺機器）のような製造品に記憶されることがあり、これらの記憶媒体又は機器は、実施形態の機能を実行するためコンピュータによって読まれるとき、コンピュータを構成し動作させるため汎用又は専用プログラマブルコンピュータによって読み取り可能である。実施形態又は実施形態の一部分は、コンピュータプログラムを用いて構成された機械読み取り可能な記憶媒体として更に実施されることがあり、実行中にコンピュータプログラム中の命令は、上述の実施形態の機能を実行するように機械を動作させる。

上述の本発明のシステム及び方法の実施形態又は実施形態の一部分は、多種多様のアプリケーションで使用されることがある。実施形態又は実施形態の一部分は、この点で限定されることはないが、実施形態又は実施形態の一部分は、数ある電子コンポーネントの中でも、マイクロコントローラ、汎用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、縮小命令セットコンピュータ（ＲＩＳＣ）、及び、複雑命令セットコンピュータ（ＣＩＳＣ）においてメモリ機器と共に実施されることがある。更に、上述の実施形態又は実施形態の一部分は、マイクロプロセッサによって実行されるべき電子命令を記憶するか、又は、算術演算で使用されることがあるデータを記憶するメインメモリ、キャッシュメモリ、又は、その他の型のメモリと称される集積回路ブロックを使用して実施されることもある。

説明は、いずれのコンピュータを使用する環境又は処理環境においても適用できる。実施形態又は実施形態の一部分は、ハードウェア、ソフトウェア、又は、両者の組み合わせで実施されることがある。例えば、実施形態又は実施形態の一部分は、プログラマブルロジック（例えば、ＡＳＩＣ）、ロジックゲート、プロセッサ、及び、メモリのうちの１つ以上のような回路構成を使用して実施されることがある。

開示された実施形態への種々の変形が当業者に明白であり、後述される一般的な原理がその他の実施形態及びアプリケーションに適用される。このように、本発明は、本明細書中に示され、又は、記述された実施形態に限定されないことが意図されている。

Claims (28)

1. 現実世界の視覚的な場の少なくとも一つのデジタル画像表現において画像コンテンツを識別する画像検索及び画像インデキシングのためのコンピュータで実施される方法であって、
   モバイルポインティングデバイスのために、モバイル機器の地理的な位置と、ポインティング方向と、視角とを決定するステップ（Ａ）と、
   第一の蓄積場所から、前記モバイルポインティングデバイスの地理的な位置と関連付けられた前記現実世界の視覚的な場に関係するデジタル画像を取り出すステップ（Ｂ）と、
   前記モバイルポインティングデバイスのポインティング方向を含む少なくとも第一の情報内容を見る円錐視野を生成し、前記モバイルポインティングデバイスの地理的な位置が前記円錐視野のインデックスであり、前記デジタル画像に前記円錐視野を重ねるステップ（Ｃ）と、
   前記デジタル画像の中で前記円錐視野の限界の範囲内にある対象物の候補を判定するステップ（Ｄ）と、
   第二の蓄積場所から、ステップ（Ｄ）で前記円錐視野の限界の範囲内にあると判定された前記対象物の候補に関係する情報を少なくとも含む対象物に基づいたデータの集合を取り出すステップ（Ｅ）と、
   ステップ（Ｄ）で前記円錐視野の限界の範囲内にあると判定された前記対象物の候補に対して、インデキシングの手順を用いて前記対象物の候補のそれぞれにインデックスを付け、前記対象物の候補のそれぞれと関連付けられた少なくとも主題に関する情報を評価することによって、ステップ（Ｅ）で取り出された対象物に基づいた前記データの集合の情報を前記対象物の候補のそれぞれとリンクさせるステップ（Ｆ）と、
   画像位置及び方向性姿勢、並びに前記円錐視野の限界の範囲内にあると判定された少なくとも前記対象物の候補のそれぞれの主題に関する情報を用いて前記デジタル画像に電子的に注釈を付けるステップ（Ｇ）と、
   を備えていることを特徴とする方法。
2. 前記対象物の候補に対し利用可能な画像に関する情報を用いてステップ（Ｆ）での前記インデキシングの手順を更新するステップ（Ｈ）を更に含んでいることを特徴とする請求項１に記載の方法。
3. 前記モバイルポインティングデバイスの地理的な位置が、全地球位置測定システム（ＧＰＳ）によって決定されることを含んでいる請求項１に記載の方法。
4. 前記モバイルポインティングデバイスのポインティング方向が、デジタルコンパスによって決定されることを含んでいる請求項１に記載の方法。
5. 前記モバイルポインティングデバイスの視角は、前記モバイルポインティングデバイスに付属した光学系によって決定されることを含んでいる請求項１に記載の方法。
6. 前記モバイルポインティングデバイスの視角は、システムの既定値の設定として決定されていることを含んでいる請求項１に記載の方法。
7. インデキシングの手順を用いてインデックスを付けることが、バイナリ空間分割（ＢＳＰ）ツリー、オクツリー、Ｒツリー、又は、ＫＤツリー（ｋ次元）のいずれかを使用してインデックスを付けることを含んでいる請求項１に記載の方法。
8. 前記第一の蓄積場所と前記第二の蓄積場所とが、単一の蓄積場所であることを含んでいる請求項１に記載の方法。
9. 前記対象物の候補毎に、前記デジタル画像の内部での対象物の候補の表現の完全性についての数値判定を行うステップを更に含むことを特徴とする請求項１に記載の方法。
10. 前記数値判定は、前記円錐視野の前記インデックスへの前記対象物の候補の接近性、ステップ（Ａ）で決定された前記ポインティング方向に関する前記対象物の候補の位置、又は、前記対象物の候補が前記円錐視野の前記限界の範囲内にある割合に基づいて判定されることを含んでいる請求項９に記載の方法。
11. 現実世界の視覚的な場を表す少なくとも２つのデジタル画像表現において画像コンテンツを識別する画像検索及び画像インデキシングのためのコンピュータで実施される方法であって、
    第一のモバイルポインティングデバイスに関して、モバイル機器の地理的な位置と、ポインティング方向と、視角とを決定するステップ（Ａ）と、
    第二のモバイルポインティングデバイスに関して、モバイル機器の地理的な位置と、ポインティング方向と、視角とを決定するステップ（Ｂ）と、
    第一の蓄積場所から、第一のモバイルポインティングデバイスの地理的な位置と関連付けられた前記現実世界の視覚的な場に関係する第一のデジタル画像を取り出すステップ（Ｃ）と、
    前記第一の蓄積場所から、第二のモバイルポインティングデバイスの地理的な位置と関連付けられた前記現実世界の視覚的な場に関係する第二のデジタル画像を取り出すステップ（Ｄ）と、
    前記第一のモバイルポインティングデバイスのポインティング方向を含んでいる第一の情報内容を見る円錐視野を生成し、前記第一のモバイルポインティングデバイスの地理的な位置が前記第一の情報内容を見る円錐視野のインデックスであり、前記第一のデジタル画像に前記第一の情報内容を見る円錐視野を重ねるステップ（Ｅ）と、
    前記第一のデジタル画像の中で前記第一の情報内容を見る円錐視野の限界の範囲内にある対象物の候補を判定するステップ（Ｆ）と、
    前記第二のモバイルポインティングデバイスのポインティング方向を含んでいる第二の情報内容を見る円錐視野を生成し、前記第二のモバイルポインティングデバイスの地理的な位置が前記第二の情報内容を見る円錐視野のインデックスであり、前記第二のデジタル画像に前記第二の情報内容を見る円錐視野を重ねるステップ（Ｇ）と、
    前記第二のデジタル画像の中で前記第二の情報内容を見る円錐視野の限界の範囲内にある対象物の候補を判定するステップ（Ｈ）と、
    第二の蓄積場所から、ステップ（Ｆ）で前記第一の情報内容を見る円錐視野の限界の範囲内にあると判定された前記対象物の候補に関係する情報を少なくとも含む対象物に基づいたデータの集合を取り出すステップ（Ｉ）と、
    第二の蓄積場所から、ステップ（Ｈ）で前記第二の情報内容を見る円錐視野の限界の範囲内にあると判定された前記対象物の候補に関係する情報を少なくとも含む対象物に基づいたデータの集合を取り出すステップ（Ｊ）と、
    ステップ（Ｆ）で前記第一の情報内容を見る円錐視野の限界の範囲内にあると判定された前記対象物の候補に対して、インデキシングの手順を用いて前記対象物の候補のそれぞれにインデックスを付け、前記対象物の候補のそれぞれと関連付けられた少なくとも主題に関する情報を評価することによって、ステップ（Ｉ）で取り出された前記対象物に基づいた前記データの集合の情報を前記対象物の候補のそれぞれとリンクさせるステップ（Ｋ）と、
    ステップ（Ｈ）で前記第二の情報内容を見る円錐視野の限界の範囲内にあると判定された前記対象物の候補に対して、インデキシングの手順を用いて前記対象物の候補のそれぞれにインデックスを付け、前記対象物の候補のそれぞれと関連付けられた少なくとも主題に関する情報を評価することによって、ステップ（Ｊ）で取り出された前記対象物に基づいた前記データの集合の情報を前記対象物の候補のそれぞれとリンクさせるステップ（Ｌ）と、
    前記第一のモバイルポインティングデバイスに関係するステップ（Ａ）での決定に基づく画像位置及び方向性姿勢、並びに前記第一の情報内容を見る円錐視野の限界の範囲内にあると判定された少なくとも前記対象物の候補のそれぞれの主題に関する情報を用いて前記第一のデジタル画像に電子的に注釈を付け、そして、前記第二のモバイルポインティングデバイスに関係するステップ（Ｂ）での決定に基づく画像位置及び方向性姿勢、並びに前記第二の情報内容を見る円錐視野の限界の範囲内にあると判定された少なくとも前記対象物の候補のそれぞれの主題に関する情報を用いて前記第二のデジタル画像に電子的に注釈を付けるステップ（Ｍ）と、
    前記第一の情報内容を見る円錐視野の限界の範囲内及び前記第二の情報内容を見る円錐視野の限界の範囲内に別々にある対象物の候補と、前記第一の情報内容を見る円錐視野の限界の範囲内及び前記第二の情報内容を見る円錐視野の限界の範囲内の両方にある対象物の候補と、前記第一の情報内容を見る円錐視野の限界の範囲内又は前記第二の情報内容を見る円錐視野の限界の範囲内のいずれかにない対象物の候補とを識別するステップ（Ｎ）と、
    を含んでいることを特徴とする方法。
12. 前記第一の情報内容を見る円錐視野の限界の範囲内にあると判定された対象物の候補に対し利用可能な画像に関する情報を用いてステップ（Ｋ）での前記インデキシングの手順を更新するステップ（Ｏ）を更に含んでいることを特徴とする請求項１１に記載の方法。
13. 前記第二の情報内容を見る円錐視野の限界の範囲内にあると判定された対象物の候補に対し利用可能な画像に関する情報を用いてステップ（Ｌ）での前記インデキシングの手順を更新するステップ（Ｐ）を更に含んでいることを特徴とする請求項１１に記載の方法。
14. 前記第一のモバイルポインティングデバイスの地理的な位置は、全地球位置測定システム（ＧＰＳ）によって決定されることを含んでいる請求項１１に記載の方法。
15. 前記第二のモバイルポインティングデバイスの地理的な位置は、全地球位置測定システム（ＧＰＳ）によって決定されることを含んでいる請求項１１に記載の方法。
16. 前記第一のモバイルポインティングデバイスのポインティング方向は、デジタルコンパスによって決定されることを含んでいる請求項１１に記載の方法。
17. 前記第二のモバイルポインティングデバイスのポインティング方向は、デジタルコンパスによって決定されることを含んでいる請求項１１に記載の方法。
18. 前記第一のモバイルポインティングデバイスの視角は、前記モバイルポインティングデバイスに付属した光学系によって決定されることを含んでいる請求項１１に記載の方法。
19. 前記第二のモバイルポインティングデバイスの視角は、前記モバイルポインティングデバイスに付属した光学系によって決定されることを含んでいる請求項１１に記載の方法。
20. インデキシングの手順を用いてインデックスを付けることは、バイナリ空間分割（ＢＳＰ）ツリーと、オクツリーと、Ｒツリーと、ＫＤツリー（ｋ次元）とのいずれかを使用してインデックスを付けることを含んでいる請求項１１に記載の方法。
21. 前記第一の情報内容を見る円錐視野又は前記第二の情報内容を見る円錐視野の前記限界の範囲内にあると判定された対象物の候補毎に、前記第一のデジタル画像又は前記第二のデジタル画像の内部での対象物の候補の表現の完全性についての数値判定を行うステップを更に含んでいることを特徴とする請求項１１に記載の方法。
22. 前記数値判定は、前記第一の情報内容を見る円錐視野の前記インデックス又は前記第二の情報内容を見る円錐視野の前記インデックスへの前記対象物の候補の接近性と、ステップ（Ａ）又はステップ（Ｂ）で決定された前記ポインティング方向に関する前記対象物の候補の位置と、又は、前記対象物の候補が前記第一の情報内容を見る円錐視野又は前記第二の情報内容を見る円錐視野の前記限界の範囲内にある割合に基づいて判定されることを特徴とする請求項２１に記載の方法。
23. 現実世界の視覚的な場の少なくとも一つのデジタル画像表現において画像コンテンツを識別する画像検索及び画像インデキシングのためのコンピュータで実施されるシステムであって、
    モバイル機器の地理的な位置と、ポインティング方向と、視角とを決定する少なくともセンサを有し、前記視覚的な場の少なくとも一部分のデジタル画像に処理することができる前記視覚的な場の少なくとも一部分の写真を生成する能力を有しているモバイルポインティングデバイスと、
    前記モバイルポインティングデバイスに接続され、前記モバイルポインティングデバイスによって生成された前記デジタル画像を受信する能力があり、前記モバイルポインティングデバイスのポインティング方向を含む少なくとも第一の情報内容を見る円錐視野を生成し、前記モバイル機器の地理的な位置が第一の情報内容を見る前記円錐視野のインデックスであり、前記デジタル画像に前記円錐視野を重ね、前記円錐視野の限界の範囲内にある前記デジタル画像の対象物の候補を判定し、第二の蓄積場所から、前記円錐視野の限界の範囲内にあると判定された対象物の候補に関係する情報を少なくとも含む対象物に基づいたデータの集合を取り出し、前記円錐視野の限界の範囲内にあると判定された前記対象物の候補に対してインデキシングの手順を用いて前記対象物の候補のそれぞれにインデックスを付け、前記対象物の候補のそれぞれと関連付けられた少なくとも主題に関する情報を評価することによって、取り出された対象物に基づいた前記データの集合の情報を各対象物の候補とリンクさせ、画像位置及び方向性姿勢、並びに前記円錐視野の限界の範囲内にあると判定された少なくとも前記対象物の候補のそれぞれの主題に関する情報を用いて前記デジタル画像に電子的に注釈を付けるのに使われるシステムサーバと、
    前記システムサーバに接続し、少なくとも第一の蓄積場所及び第二の蓄積場所を含むシステム記憶装置と、
    を備えていることを特徴とするシステム。
24. 第一のモバイルポインティングデバイスのセンサは、前記モバイルポインティングデバイスの地理的な位置を決定する全地球位置測定システム（ＧＰＳ）のセンサを含んでいることを特徴とする請求項２３に記載のシステム。
25. 第二のモバイルポインティングデバイスのセンサは、前記モバイルポインティングデバイスのポインティング方向を決定するデジタルコンパスを備えていることを特徴とする請求項２３に記載のシステム。
26. 第３のモバイルポインティングデバイスのセンサは、前記モバイルポインティングデバイスの視角を決定する光学系を備えていることを特徴とする請求項２３に記載のシステム。
27. 前記光学系は、カメラレンズ系を備えていることを特徴とする請求項２６に記載のシステム。
28. 前記モバイルポインティングデバイスは、前記視覚的な場の少なくとも一部分の写真を生成するカメラを備えていることを特徴とする請求項２３に記載のシステム。

Images