JP7578366B2 - 回転ジェスチャ入力を用いて画像を検索する方法、システム - Google Patents

Description

本開示は、画像検索に関し、より詳細には、回転ジェスチャ入力を用いて画像を検索することに関する。

ディスプレイ装置は、２次元（「２Ｄ」）または３次元（「３Ｄ」）で物体を表示することができる。物体が２Ｄで（例えば、車の平面写真のように）表示される場合、コンピューティング・システムは、物体のビューを異なる角度の観点（perspective：視点）に変えるのに必要な情報が欠如している。しかしながら、３Ｄで表示される物体は、さまざまな異なる角度配向（orientation：方向）または観点で２次元のディスプレイ装置上で見ることができる。例えば、コンピュータ支援設計（「ＣＡＤ」）プログラムによって、ユーザは、物体のソリッド（またはワイヤ・フレーム）表現を回転させ、異なる角度の観点から物体を見ることができる。物体の３次元モデルは、ユーザが観点の変化を要求するたびに、プログラムが物体の新しい画像を再生することができる追加情報（例えば、Ｘ、ＹおよびＺ軸情報）を含む。しかしながら、２Ｄで見られる物体の場合、回転ジェスチャ（またはユーザ入力の他の形）は、結果として物体の異なる視野角を生じない。それゆえ、ユーザは、２Ｄ画像の回転の見える観点を変えるための入力を提供することができない。それゆえ、従来技術において上述した問題に対処する必要がある。

第１の態様から見て、本発明は、画像を検索する方法を提供し、方法は、２次元の基準画像内の基準物体を識別することと、基準物体の少なくとも１つの属性に基づいて、基準物体の３次元の基準配向軸を決定することと、基準物体の３次元観点の変化を要求する入力を受信することと、入力および基準配向軸に基づいて、新しい配向軸を決定することと、新しい配向軸および基準物体の少なくとも１つの属性に基づく検索クエリを２次元画像のセット上で実行することと、新しい配向軸との相関および基準物体の少なくとも１つの属性に基づいてランク付けされた画像検索結果を表示することと、を含む。

さらなる態様から見て、本発明は、プログラム命令が格納されたコンピュータ可読記憶媒体と、プログラム命令を実行して方法を実行するように構成される１つまたは複数のプロセッサと、を備えるコンピュータ・システムを提供し、方法は、２次元の基準画像内の基準物体を識別することと、基準物体の少なくとも１つの属性に基づいて、基準物体の３次元の基準配向軸を決定することと、基準物体の３次元観点の変化を要求する入力を受信することと、入力および基準配向軸に基づいて、新しい配向軸を決定することと、新しい配向軸および基準物体の少なくとも１つの属性に基づく検索クエリを２次元画像のセット上で実行することと、新しい配向軸との相関および基準物体の少なくとも１つの属性に基づいてランク付けされた画像検索結果を表示することと、を含む。

さらなる態様から見て、本発明は、画像を検索するためのコンピュータ・プログラム製品を提供し、コンピュータ・プログラム製品は、コンピュータ可読記憶媒体を備え、コンピュータ可読記憶媒体は、処理回路によって可読であり、本発明のステップを実行するための方法を実行するように処理回路により実行される命令を格納する。

さらなる態様から見て、本発明は、コンピュータ可読媒体に格納され、デジタル・コンピュータの内部メモリ内にロード可能なコンピュータ・プログラムを提供し、コンピュータ・プログラムは、前記プログラムがコンピュータ上で動作するときに本発明のステップを実行するためのソフトウェア・コード部分を備える。

さらなる態様から見て、本発明は、画像を検索する方法を実施するためのコンピュータ・プログラム製品を提供し、コンピュータ・プログラム製品は、実施されるプログラム命令を有するコンピュータ可読記憶媒体を備え、プログラム命令は、少なくとも１つのコンピュータ・プロセッサによって実行可能であり、コンピュータ・プロセッサに、２次元の基準画像内の基準物体を識別することと、基準物体の少なくとも１つの属性に基づいて、基準物体の３次元の基準配向軸を決定することと、基準物体の３次元観点の変化を要求する入力を受信することと、入力および基準配向軸に基づいて、新しい配向軸を決定することと、新しい配向軸および基準物体の少なくとも１つの属性に基づく検索クエリを２次元画像のセット上で実行することと、新しい配向軸との相関および基準物体の少なくとも１つの属性に基づいてランク付けされた画像検索結果を表示することと、を行わせる。

本開示の実施形態は、画像を検索する方法に関する。方法は、２次元の基準画像内の物体を識別することを含む。方法は、物体の少なくとも１つの属性に基づいて、物体の３次元の基準配向軸を決定することを含む。方法は、物体の３次元観点の変化を要求する入力を受信することを含む。方法は、入力および基準配向軸に基づいて、新しい配向軸を決定することをさらに含む。方法は、新しい配向軸および物体の少なくとも１つの属性に基づく検索クエリを２次元画像上のセット上で実行することを含む。方法はまた、新しい配向軸との相関および物体の属性に基づいてランク付けされた画像検索結果を表示することを含む。

本開示の他の実施形態は、方法の実施のためのコンピュータ・システムおよびコンピュータ・プログラム製品に関する。

上記の概要は、本開示の各図示の実施形態またはすべての実施態様を記載することを意図していない。

本出願に含まれる図面は、明細書内に組み込まれ、明細書の一部を形成する。図面は、本開示の実施形態を示し、説明とともに開示の原則を説明する。図面は、特定の実施形態を図示するだけであり、開示を限定するものではない。

実施形態に従う処理システムのブロック図である。 実施形態に従う、クラウド顧客により用いられるローカル・コンピューティング装置が通信する１つまたは複数のコンピューティング・ノードを有する図示するクラウド・コンピューティング環境のブロック図である。 実施形態に従う、クラウド・コンピューティング環境により提供される機能的な抽象化レイヤのセットのブロック図である。 実施形態に従う画像検索方法のフローチャートである。 一実施形態に従って、２つの異なる視覚配向のうちの１つで示される物体の一例を示す図である。 一実施形態に従って、２つの異なる視覚配向のうちの１つで示される物体の一例を示す図である。 一実施形態に従って、物体およびユーザの回転ジェスチャの一例を示す図である。 一実施形態に従って、物体および画像検索結果において利用できる視点を示す球面モデルの一例を示す図である。 一実施形態に従って、画像検索結果における利用できる視点を示すとともに、利用できる画像と基準画像との間の相関の程度を示す球面モデルの一例を示す図である。

画像検索エンジンは、画像内の物体の特定の視野角に基づく２Ｄ画像結果を提供せず、ユーザに、見るための特定の角度を特定させない。しかしながら、３Ｄ画像モデルによって表現されることに必ずしもつながらない特定の物体を、異なる角度から２Ｄ画像として見ることができることは望ましい。

本願明細書において記載されている実施形態は、ユーザが、２Ｄ画像内の物体の視点の所望の変化を入力し、所望の視点を表す２Ｄ画像検索結果を受信することができるシステム、方法およびコンピュータ・プログラム製品を提供する。さらに、本願明細書において記載されている実施形態は、特定の観点から特定の物体を見るためのユーザ要求に基づいて、欠けている視点のための新しい画像のクラウドソーシングを可能にする。

以下、類似の数字が同一または類似の要素を表現する図面を参照し、最初に図１を参照すると、本実施形態が適用されてもよい例示的な処理システム１００は、一実施形態に従って示される。処理システム１００は、システム・バス１０２を介して他の構成要素に動作可能に結合された少なくとも１つのプロセッサ（ＣＰＵ）１０４を含む。キャッシュ１０６、読み取り専用メモリ（ＲＯＭ）１０８、ランダム・アクセス・メモリ（ＲＡＭ）１１０、入出力（Ｉ／Ｏ）アダプタ１２０、音声アダプタ１３０、ネットワーク・アダプタ１４０、ユーザ・インタフェース・アダプタ１５０およびディスプレイ・アダプタ１６０は、システム・バス１０２に動作可能に結合される。

第１の記憶装置１２２および第２の記憶装置１２４は、Ｉ／Ｏアダプタ１２０によってシステム・バス１０２に動作可能に結合される。記憶装置１２２および１２４は、ディスク記憶装置（例えば、磁気または光ディスク記憶装置）、固体磁気装置などのいずれかでもよい。記憶装置１２２および１２４は、同じタイプの記憶装置または異なるタイプの記憶装置でもよい。

スピーカ１３２は、音声アダプタ１３０によってシステム・バス１０２に動作可能に結合される。トランシーバ１４２は、ネットワーク・アダプタ１４０によってシステム・バス１０２に動作可能に結合される。ディスプレイ装置１６２は、ディスプレイ・アダプタ１６０によってシステム・バス１０２に動作可能に結合される。

第１のユーザ入力装置１５２、第２のユーザ入力装置１５４および第３のユーザ入力装置１５６は、ユーザ・インタフェース・アダプタ１５０によってシステム・バス１０２に動作可能に結合される。ユーザ入力装置１５２、１５４および１５６は、キーボード、マウス、キーパッド、画像取込装置、動き検出装置、マイクロホン、前の装置の少なくとも２つの機能を組み込んだ装置、または、任意の他の適切なタイプの入力装置でもよい。ユーザ入力装置１５２、１５４および１５６は、同じタイプのユーザ入力装置または異なるタイプのユーザ入力装置でもよい。ユーザ入力装置１５２、１５４および１５６を用いて、システム１００との間で情報を入出力する。

画像分析コンポーネント１７２は、システム・バス１０２に動作可能に結合される。画像分析コンポーネント１７２（またはエンジン）は、画像に対して実行される画像分析、画像処理、計測学、エッジ検出、物体検出、分類などに基づいて、画像の物体を識別する。画像分析コンポーネント１７２は、物体の多くの異なる属性に基づいて、種々の異なる物体を識別するように構成される。物体の属性は、色、モデル、物体のタイプ、物体の形状、物体のサイズなどに基づいて識別されてもよい。さらに、関連する画像分類技術を用いて、画像物体は、識別された属性に基づいて分類される。

画像検索エンジン・コンポーネント１７４は、システム・バス１０２に動作可能に結合される。画像検索エンジン・コンポーネント１７４は、キーワード、ピクチャ、ピクチャに対するウェブ・リンク、画像メタデータ、色の分布、形状、回転視点などに基づいて、画像を検索する。

処理システム１００は、直ちに当業者によって考察されるように、他の要素（図示せず）を含んでもよいし、特定の要素を省略してもよい。例えば、さまざまな他の入力装置または出力装置あるいはその両方は、直ちに当業者によって理解されるように、同一の特定の実施態様に応じて、処理システム１００内に含まれてもよい。例えば、種々のタイプの無線または有線あるいはその両方の入力装置または出力装置あるいはその両方を用いることができる。さらに、さまざまな構成における追加のプロセッサ、コントローラ、メモリなどもまた、直ちに当業者によって認められるように利用可能である。処理システム１００のこれらおよび他のバリエーションは、本願明細書に提供されている本開示の教示を与えられる当業者によって直ちに考察される。

本開示はクラウド・コンピューティングの詳細な説明を含むが、本願明細書において詳述される教示の実施態様がクラウド・コンピューティング環境に限定されるものではないことを理解されたい。むしろ、本開示の実施形態は、現在公知であるかまたは後に開発されるコンピューティング環境の他の任意のタイプに関連して実施可能である。

クラウド・コンピューティングは、最小の管理作業またはサービスのプロバイダとの相互作用によって迅速に提供およびリリースが可能な構成可能な計算リソース（例えば、ネットワーク、ネットワーク帯域、サーバ、処理、メモリ、記憶、アプリケーション、仮想機械およびサービス）の共有プールに対する便利なオンデマンドのネットワーク・アクセスを可能にするためのサービス提供モデルである。

クラウド・コンピューティング環境は、無国籍、疎結合、モジュラリティおよび意味論的相互運用性にフォーカスして方向付けられるサービスである。クラウド・コンピューティングの中心には、相互接続したノードのネットワークを含むインフラストラクチャがある。

次に図２を参照すると、図示するクラウド・コンピューティング環境２５０が描写される。示すように、クラウド・コンピューティング環境２５０は、クラウド消費者、例えば、携帯情報端末（ＰＤＡ）または携帯電話２５４Ａ、デスクトップ・コンピュータ２５４Ｂ、ラップトップ・コンピュータ２５４Ｃまたは自動車コンピュータ・システム２５４Ｎあるいはその組合せにより用いられるローカル・コンピューティング装置が通信してもよい１つまたは複数のクラウド・コンピューティング・ノード２１０を含む。ノード２１０は、互いと通信してもよい。それらは、例えば、前述のようにプライベート、コミュニティ、パブリックまたはハイブリッド・クラウドあるいはその組合せで１つまたは複数のネットワーク内で物理的にまたは仮想的にグループ化されてもよい（図示せず）。これによって、クラウド・コンピューティング環境２５０は、インフラストラクチャ、プラットフォームまたはソフトウェアあるいはその組合せを、クラウド消費者がローカル・コンピューティング装置上のリソースを維持する必要がないサービスとして提供することができる。図２に示されるコンピューティング装置２５４Ａ－Ｎのタイプが、図示することのみを意図しており、コンピューティング・ノード２１０およびクラウド・コンピューティング環境２５０が、任意のタイプのネットワークまたは（例えば、ウェブ・ブラウザを用いて）ネットワーク・アドレス指定可能な接続あるいはその両方を介して、任意のタイプのコンピュータ化された装置と通信することができることを理解されたい。

次に図３を参照すると、クラウド・コンピューティング環境２５０（図２）により提供される機能的な抽象化レイヤのセットが示される。図３に示されるコンポーネント、レイヤおよび機能は、図示することのみを意図しており、本発明の実施形態がそれらに限定されるものではないことを予め理解されたい。描写されるように、以下のレイヤおよび対応する機能が提供される。

ハードウェアおよびソフトウェア・レイヤ３６０は、ハードウェアおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例は、メインフレーム３６１、ＲＩＳＣ（縮小命令セット・コンピュータ）アーキテクチャ・ベースのサーバ３６２、サーバ３６３、ブレード・サーバ３６４、記憶装置３６５ならびにネットワークおよびネットワーキング・コンポーネント３６６を含む。いくつかの実施形態において、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア３６７およびデータベース・ソフトウェア３６８を含む。

仮想レイヤ３７０は、仮想エンティティの以下の例、すなわち、仮想サーバ３７１、仮想記憶３７２、仮想プライベート・ネットワークを含む仮想ネットワーク３７３、仮想アプリケーションおよびオペレーティング・システム３７４ならびに仮想クライアント３７５が提供されてもよい抽象化レイヤを提供する。

一例において、管理レイヤ３８０は、後述する機能を提供してもよい。リソース提供３８１は、計算リソースの動的な調達およびクラウド・コンピューティング環境内でタスクを実行するために利用される他のリソースを提供する。計測および価格設定３８２は、リソースがクラウド・コンピューティング環境内で利用されるとき、コストの追跡を提供し、これらのリソースの消費のための請求書の作成または送付を提供する。一例において、これらのリソースは、アプリケーション・ソフトウェア・ライセンスを含んでもよい。セキュリティは、クラウド消費者およびタスクのための本人確認と同様に、データおよび他のリソースの保護を提供する。ユーザ・ポータル３８３は、クラウド・コンピューティング環境に対するアクセスを消費者およびシステム管理者に提供する。サービス・レベル管理３８４は、必要なサービス・レベルが満たされるように、クラウド・コンピューティング・リソースの配分および管理を提供する。サービス・レベル合意書（ＳＬＡ）の計画および遂行３８５は、将来の要求がＳＬＡに従って予想されるクラウド・コンピューティング・リソースのための事前取り決めおよび調達を提供する。

作業負荷レイヤ３９０は、クラウド・コンピューティング環境が利用されてもよい機能の例を提供する。このレイヤから提供される作業負荷および機能の例は、マッピングおよびナビゲーション３９１、ソフトウェア開発およびライフサイクル管理３９２、仮想教室教育配信３９３、データ分析処理３９４、トランザクション処理３９５ならびに画像検索エンジン処理３９６を含む。

特定の実施形態では、画像検索エンジンは、画像内の２Ｄ物体の角度の観点の変化に関するユーザからの入力を受信し、この新しい観点に整合する記憶装置に格納された既存の画像を検索する。したがって、複数の異なる角度の観点で格納された物体の異なる２Ｄ画像の集合が存在する。これは、視野角またはズーム・レベルあるいはその両方に変化があるたびにシステムが完全に新しい画像をプログラム的に生成する、３次元の物体（例えば、ＣＡＤプログラム内で生成される物体）に対する角度の見える観点を変化させるメカニズムと異なる。

次に図４を参照すると、特定の実施形態では、ステップ４００において、画像検索エンジンは、画像内の物体を識別する。ステップ４０２において、検索エンジンは、識別された物体の配向ベクトルを決定する。ステップ４０４において、検索エンジンは、画像内の物体の回転のためのユーザからの入力を受信する。一例において、さらに詳細に本願明細書において述べられるように、ユーザからの入力は、ユーザの手の回転ジェスチャとすることができる。ユーザからの入力および配向ベクトルの変化の大きさに基づいて、画像検索エンジンは、物体の他の２Ｄ画像が新しい配向ベクトルで利用できるかを決定するために、画像のセットを検索する。ステップ４０６において、検索エンジンは、新しい配向ベクトルに基づいて、かつ、画像の１つまたは複数の属性（例えば、物体の色）に基づいて、検索クエリを実行する。ステップ４０８において、検索エンジンが、他の２Ｄ画像が利用できると決定する場合、ステップ４１０において、この新しい画像は、ディスプレイ装置上でユーザに表示される。ステップ４０８において、検索エンジンが、２Ｄ画像が新しい配向ベクトルに利用できないと決定する場合、ユーザに表示される画像は存在しないであろう。検索エンジンは、欠けている情報があると認識し、ステップ４１２において、検索エンジンは、欠けている情報を１つまたは複数のソースから要求する。さらに詳細に本願明細書において述べられるように、特定の実施形態では、追加情報の要求は、クラウドソーシング要求とすることができる。クラウドソーシングを用いて、多数の人々は、自分自身の画像を画像検索エンジンに提供するように求められ、ユーザが任意の３６０度回転の観点から物体を見ることができるように、これらの提供された画像は、画像のセットを完成させるのを支援する。ステップ４１０またはステップ４１２が完了した後、ユーザが他の回転ジェスチャを入力してもよいように、システムはステップ４０４に戻る。さらに、特定の実施形態では、ステップ４１２において、欠けている画像の要求がこの種の画像を提供する外部ソースによって満たされる場合、画像の保存場所は、（例えば、自動的に、または、システム管理者による画像の承認の後に）新しい画像によって更新されてもよく、将来の検索クエリは、画像の更新された保存場所に基づいて実行される。

特定の実施形態では、ユーザには、１つまたは複数の物体を含む２Ｄ画像が提示される。ステップ４００において、画像検索エンジンは、２Ｄ画像を分析し、画像内に存在する物体を識別する。物体の識別は、画像に対して実行される画像分析、画像処理、計測学、エッジ検出、物体検出、分類などに基づく。画像分析エンジンは、物体の多くの異なる属性に基づいて、さまざまな異なる物体を識別することができる。物体の属性は、色、モデル、物体のタイプ、物体の形状、物体のサイズなどに基づいて識別されてもよい。さらに、関連する画像分類技術を用いて、画像物体は、識別された属性に基づいて分類される。

物体の存在を識別した後、検索エンジンは、ステップ４０２において、物体がどの方向に向いているかを決定する。特に、検索エンジンは、画像内の各物体のためのベースライン方向（または配向ベクトル）を識別する。一実施形態において、配向ベクトルは、物体の計算された質量中心を通過する軸であり、このベクトルは、物体の前から物体の後ろまでの方向に延在する。物体のこの最初の配向ベクトルは、ユーザの回転ジェスチャとともに、新しい配向ベクトルを計算するために用いられる基準である。一実施形態において、２Ｄ画像内に現れている物体の最初の配向ベクトルは、画像のメタデータの一部を形成し、新しい画像を検索するとき、検索エンジンによって用いられる。特定の実施形態では、配向ベクトルは、物体の質量中心を通過せず、前側から後側まで延在せず、物体に対して異なる方向に延在してもよいことを理解されたい。

特定の実施形態では、物体の異なる分類タイプのための異なる配向方向のライブラリが存在する。これらの実施形態では、ライブラリ内のデータは、動物（例えば、顔の前）、または車（例えば、車の前側）、または家（例えば、正面玄関を有する建物の側）、または他の任意の分類タイプのための基準配向を示す。これらの実施形態では、一旦画像物体の基準側が決定されると、画像分析モジュールは、基準配向軸を画像物体に割り当てる。割り当てられた軸は、認識された物体のための基準軸である。一旦任意の画像物体の基準軸が識別されると、同一か異なる画像内に存在する他の画像物体は、比較され、相対的な基準配向または側が計算される。異なる画像物体の相対的な物体配向は、基準画像物体と比較され、配向軸は、相違に基づいて計算される。一実施形態において、異なる画像物体の配向は、基準画像物体に対して計算され、物体の現在の角度配向として割り当てられる。物体の角度配向は、３Ｄ軸に対して計算され、したがって、３Ｄ軸の角度配向は、計算され、画像物体のメタデータの一部である。

次に図５Ａおよび５Ｂを参照すると、特定の実施形態では、少なくとも１つの物体（例えば、車）を含む２Ｄ画像（例えば、写真のデジタル画像）がディスプレイ装置上に表示される。画像は２Ｄ画像であり、物体は、最初の３次元の角度視点（すなわち観点）からユーザに表示される。図５Ａを参照すると、物体５００のための基準画像視点が存在する。図５Ａに示される例において、基準画像は、ＺおよびＸ軸上にあり得る物体５００の正面図である。しかしながら、正面図以外の他の任意の適切な視点を基準視点のために用いることができることを理解されたい。基準視点はまた、他の２軸に垂直な対応する基準配向ベクトルを有する。図５Ａを参照すると、Ｘ軸５０４およびＺ軸５０２は、水平および垂直方向に延在して示され、基準配向は、他の軸に垂直なＹ軸５０６方向に沿う（図５Ｂにおいて、Ｙ軸５０６参照）。一実施形態において、Ｙ軸５０６は、物体の配向軸（または配向ベクトル５０６）であり、配向ベクトル５０６は、物体の質量中心を通り物体の前側から後側まで進む。図５Ｂを参照すると、物体５００は、前方左にかつわずかに下方に向いている角度の配向ベクトル５０６を有する。図５Ｂの配向ベクトル５０６の方向は、図５Ａの基準配向ベクトルから、Ｘ軸５０４、Ｙ軸５０６およびＺ軸５０２方向の各々において、特定の角度オフセットを有する。

次に図６を参照すると、一実施形態では、ユーザが異なる配向または観点から物体６００を見ることを望む場合、入力を画像検索エンジンに提供することによって異なる角度視点を要求することができる。ユーザの回転ジェスチャまたは他の入力（例えば、ユーザの手６０２の回転ジェスチャ６０４）に応答して、画像検索エンジンは、２Ｄ画像内の物体６００の回転視点の所望の量の変化を決定し、ユーザによって要求された新しい視点に対応する異なる２Ｄ画像を検索する。例えば、図６に示すように、ユーザは、回転ジェスチャ６０４を実行し、物体６００の観点における角度変化６０６を要求した。図５Ｂを再度参照すると、物体５００は、図５Ａまたは図６に示される基準視点に対して異なる角度の観点でユーザに提示される。ユーザは、ジェスチャ入力を任意の回数だけ提供することによって、角度視点に対する変化を要求することができる。特定の実施形態では、新しい回転視点のための異なる２Ｄ画像が存在しない場合、検索エンジンは、１つまたは複数のリソースに対する要求を開始し、欠けている画像情報を提供する。

ユーザが回転の観点の変化のための検索エンジンに提供する回転ジェスチャ入力は、ユーザが利用できる入力装置のタイプに応じて異なるよう構成することができる。

一実施形態において、入力装置がマウスである場合、ユーザはマウス上でクリック・アンド・ドラッグ動作を実行し、物体の新しい観点を要求することができる。例えば、クリック・アンド・ドラッグ動作は、原点（例えば、マウスがクリックされた位置またはマウス・ダウン・イベント）に対する距離および角度を特定することができる。原点からの最終的なマウス位置（例えば、マウスが放された位置またはマウス・アップ・イベント）までの距離および角度は、物体の所望の回転を決定するのに用いることができるベクトルである。他の例では、物体は、中心位置を有し、この中心位置と、マウス・ダウン・イベントおよびマウス・アップ・イベントの位置と、の間の距離は、すべて物体の所望の回転を決定するために用いられる。

一実施形態において、入力装置がタッチスクリーン対応ディスプレイ装置である場合、ユーザは、１つまたは複数の指を用いて、タッチ、ドラッグおよび回転動作を実行し、配向の変化を要求することができる。１つの指を用いて、この回転要求は、上記のマウスのクリック・アンド・ドラッグ入力と同じように実行可能である。複数の指を用いて、ユーザは、ズームインまたはズームアウト動作をさらに可能にするために、タッチスクリーンをピンチまたはストレッチすることができる。

一実施形態において、入力装置が拡張現実（または仮想現実）ディスプレイ装置である場合、ユーザは、（例えば、自分の手を回転させることによって）回転ジェスチャを実行し、配向の変化を要求することができる。これらの特定の実施形態において、ユーザは、２Ｄ物体に対して、インターネット・オブ・シングス（「ＩｏＴ」）データまたは他のカメラ出力に基づいて、３Ｄ回転ジェスチャを実行することができ、この情報を用いて、システムは、ジェスチャの回転方向および角運動を識別することができる。例えば、カメラは、人の手の写真を撮ることができ、画像処理を通して、手の位置、サイズおよび配向の変化を決定することができる。これらの変化に基づいて、回転ジェスチャが決定される。入力が物体の角度の観点の所望の変化を反映するという条件で、他の任意の適切なタイプの入力がユーザによって供給されてもよいことを理解されたい。

一実施形態において、ユーザによる回転ジェスチャ（または他の適切な入力）に応答して、検索エンジンは、回転ジェスチャの方向、回転ジェスチャの角運動、回転ジェスチャの大きさ、および２Ｄ画像内に現在表示されている物体の角度配向（すなわち、配向ベクトル）の少なくとも１つを用いる。したがって、入力は、現在の配向ベクトルに対する配向ベクトルの変化を示す。この入力データに基づいて、検索エンジンは、物体の新しい配向ベクトルを計算し、検索エンジンは、このデータに基づいて、新しい検索クエリを構築する。検索エンジンは、検索クエリを実行し、計算された新しい配向ベクトルに整合している（かまたは少なくとも近似の）配向ベクトルを有する物体の１つまたは複数の画像を返す。この新しい画像は、ディスプレイ装置上でユーザに表示される。このように、ユーザは、単に異なる２Ｄ画像の集合を利用することによって、複雑な３Ｄ物体操作プログラム（例えば、ＣＡＤプログラム）を頼りにすることなく、どのように物体が異なる観点から見えるかを理解することができる。さらに、物体は、ＣＡＤプログラム内の３次元の物体として見るのに適していなくてもよい（例えば、山脈、旅行者のランドマーク、家、建物など）。新しい観点を選択するこのプロセスは、ユーザによって任意の回数だけ繰り返され、異なる方法で物体を見ることができる。

特定の実施形態では、検索エンジンは、２Ｄ画像内で識別された物体の１つまたは複数の属性を用いて、検索クエリを実行する。上記のように、検索エンジンは、２Ｄ画像内の物体の画像分析を実行し、物体のベースラインの配向ベクトルを決定する。しかしながら、画像分析を用いて、物体の１つまたは複数の追加の属性を識別し、検索クエリを支援することができる。さらに、画像ファイルのメタデータを用いて、検索クエリを支援することができる。他の属性の例は、物体のサイズ、物体の色、物体のタイプまたはカテゴリ、画像が取り込まれた地理的な位置、画像が取り込まれたときのタイムスタンプ、物体の製品部分番号、画像ファイルの他のメタデータ、例えば画像解像度、物体の図形特徴などを含む。

一実施形態において、ユーザからの回転ジェスチャ入力に応答して、検索エンジンは、検索クエリを実行し、元の２Ｄ画像の属性に相関する特定の属性を有する物体の新しい２Ｄ画像を検索する。例えば、ユーザが第１の視野角から赤いセダン車のピクチャを見ていて、回転ジェスチャを入力し、新しい視点を見る場合、検索エンジンが、青い軽トラックの新しい２Ｄ画像をユーザに提示すると、これは、ユーザにとって有効ではないであろう。これらは、両方とも自動車であるが、それらはまったく異なるように見える。新しい画像が元の画像に少なくとも実質的に視覚的に対応しない場合、ユーザは、元の画像との切断の感覚を感じ得る。これらの識別された属性に基づいて、検索エンジンは、元の２Ｄ画像と類似（または同一）の視覚の属性を有する新しい配向で新しい２Ｄ画像を発見することを試みる。したがって、視聴者は、正確に同じ３Ｄ物体の異なる視点を実際には見ていないが、非常に類似の視覚特性を有する異なる２Ｄ画像を見ることが、ユーザにとってより自然に感じられなければならない。

特定の実施形態では、検索エンジンは、すべての２Ｄ画像が正確に同じ物体であることを要求する。例えば、会社がオンライン製品カタログを用いたウェブサイトを有する場合、その会社は、製品を購入するときの潜在的な顧客の混乱を回避するために、物体の異なるビューがわずかに異なる製品からではないことを確実にすることを望み得る。一例において、製品部品番号（またはシリアル番号）は、異なる２Ｄ画像の画像メタデータ属性であり、これは、画像検索結果が異なる製品のビューを返さないことを確実にするのを支援する。

特定の実施形態では、検索エンジンが２Ｄ画像検索結果を表示するとき、検索エンジンはまた、どんな他の視点が利用できるかに関する指示をユーザに表示する。検索エンジンが、前を向く視点からの物体の多くの格納された画像を配置したが、後ろを向くビューからの製品の画像の集合はほとんどない（またはまったくない）ことがある状況が存在し得る。システムは、ユーザが次にどの回転ビューを選択するべきかについての情報に基づいた決定をできるように、２Ｄ画像の入手可能性の視覚的指示をユーザに提示する。例えば、ユーザが集合内の２Ｄ物体の後ろを向くビューがないということを知っている場合、後ろを向く方向の回転ジェスチャを実行して、時間を無駄にすることはない。

次に図７を参照すると、実施形態では、画像検索結果における物体７０２の利用できる視点のユーザに対する視覚的指示は、３次元球体７０６として示される。この例では、球体７０６は、異なる角度視点で物体７０２の２Ｄ画像の存在を示す陰影部分を有する。図７に示すように、球体７０６の３Ｄワイヤ・フレーム表現は、配向ベクトル７０４を有する。ユーザによる回転ジェスチャの入力の前に、ディスプレイ装置は、球体７０６の配向ベクトル７０４と同一である配向ベクトル７０４を有する物体７０２の現在の視点を表示する。特定の実施形態では、ユーザは、回転ジェスチャによって入力装置と相互作用してもよく、画像検索エンジンは、ディスプレイ装置上の球体７０６の回転を生ずる。球体７０６の新しい配向ベクトル７０４は、物体７０２の新しい視点が何であるかに関するプレビューをユーザに提供する。特定の実施形態では、ユーザが回転ジェスチャを完了するまで、画像検索エンジンは、物体７０２の２Ｄ画像を更新しない。他の実施形態では、ユーザが球体７０６の回転を継続するとき、画像検索エンジンは、（利用できる場合）物体７０２の画像を連続的に検索し、更新する。

図７に示される例において、ワイヤ・フレーム球体７０６の部分は、バイナリの方法で陰影をつけられ（例えば、黒い部分７０８および白い部分７１０）、それらの角度視点が利用できる２Ｄ画像を有するかを示す。この例では、ユーザが回転ジェスチャを球体７０６に提供する場合、それは、球体の新しい最前面の部分的な部分を示すように回転するであろう。この最前面を向く球状部分が陰影のついた黒である場合、これは、この角度の画像検索が結果を生成しないことを意味するであろう。それゆえ、ユーザは、画像結果を有するであろう異なる角度に回転ジェスチャを継続することを知るであろう。一実施形態において、ユーザが、画像結果を有さない角度に球体７０６を回転させる場合、検索画像は、ユーザによって要求されたものに最も厳密に近似した異なる角度視点での結果を発見する。球体の最前面の部分が新しい視点の部分であることは必須ではなく、任意の適切な部分が使用可能であることを認識されたい。特定の実施形態では、選択される新しい視点に対応する球体７０６の部分は、強調されるか、色をつけられるか、または、なんらかの方法でユーザに示される。

特定の実施形態では、ワイヤ・フレーム球体の部分は、バイナリの方法でユーザに提示されることに限定されるものではなく、部分は、ユーザに表示される追加の視覚的指示または兆候を有する。例えば、物体の元の２Ｄ画像が青いセダン車である場合、異なる視点のいくつかは、青いセダン車の異なる２Ｄ画像を有してもよい。この状況では、これらの視点に対応するワイヤ・フレーム球体の部分は、青に着色されてもよい。しかしながら、他の角度視点のために、赤いセダン車の画像のみが存在してもよい。これらの角度視点のために、これらの視点に対応するワイヤ・フレーム球体の部分は、赤に着色されてもよい。これは、これらの視点に関して、ユーザは依然としてセダン車を見るが、物体の元の２Ｄ画像の色と同じ色でないということをユーザに警告する。球体上の指示または兆候のタイプが異なる色に限定されるものではないことを理解されたい。兆候のタイプは、物体のなんらかの他の視覚の属性（例えば、サイズ、タイプ、高さなど）を表現してもよい。

図８を参照すると、特定の実施形態では、兆候のタイプはまた、異なるビューの物体がどれくらい厳密に物体の元の２Ｄ画像に整合するかの任意の適切な視覚表示でもよい。一実施形態において、図８に示すように、すべての異なる３次元視点が物体の既存の２Ｄ画像を有する場合でも、異なる視点の物体が物体の元の画像に整合する（かまたは異なる）程度を表現する球体８００のヒート・マップが提示される。図８を参照すると、球体８００は、配向ベクトル８０２とともに示される。この例では、球体８００は、複数の表面部分を有する。部分のいくつかは、白い部分８０４（またはクリア）であり、その見える観点のための既存の画像が存在しないことを示す。他の部分は、灰色の異なる陰影である。薄い灰色の部分８０６は、その見える観点のための既存の画像が存在するが、その画像内の物体の視覚特性があまり厳密には元の画像に整合しないことを示す。部分内の陰線の暗さは、既存の画像がどれくらい厳密に元の画像に整合するかを示す。この点に関しては、黒い部分８０８は、薄い灰色の部分（例えば、灰色の部分８０６）より非常に厳密に元の画像に整合する。したがって、球体８００のこのヒート・マップは、どこに厳密に整合する画像が存在するか否かを容易に把握できるマップをユーザに提供する。

特定の実施形態では、元の画像（例えば、同じ色およびサイズ）に非常に厳密に整合する角度ビューは、３６０度のヒート・マップ上に１色で示すことができ、一方、あまり厳密に整合しない（例えば、要求された角度の基準を満たすが、元の画像の色またはサイズあるいはその両方において異なる）他の角度ビューは、３６０度のヒート・マップ上に異なる色で示す（例えば、緑に対してヒート・マップ上の赤として示す）ことができる。球体８００（または他のインジケータ）が必ずしも個々の表面部分に分割される必要があるというわけではなく、他の任意の適切な視覚的指示を用いて、ヒート・マップおよび異なる既存の２Ｄ画像が元の画像に整合する程度を表現することができることを理解されたい。

他の実施形態では、新しい角度配向は、ユーザのジェスチャおよび元の画像物体の角度配向に基づいて決定され、画像検索結果は、新しい角度配向からの偏差に基づいてランク付けされる。検索結果が表示されるとき、画像検索エンジンは、画像物体の属性を分析し、異なるソースからの他の画像の入手可能性を識別する。

視点インジケータが３Ｄワイヤ・フレーム球体である必要がないことを理解されたい。それは、ユーザが回転ジェスチャ（または他の入力タイプ）によって異なる３次元視点を選択することができる他の任意の適切な物体または視覚的指示とすることができる。したがって、物体が牛である場合、視覚的指示は、牛または他の任意の適切に形成された物体の３Ｄワイヤ・フレーム表現とすることができる。さらに、視覚的指示は、３Ｄワイヤ・フレーム・モデルである必要はない。視覚的指示は、画像検索結果の量（または不在）を示す異なる表面兆候を有する他の任意の適切な３次元形状でもよい。例えば、視覚的兆候は、異なる角度での検索結果の入手可能性を示すヒート・マップ（または色勾配）を有する滑らかな球体でもよい。他の実施形態では、視覚的指示は、３次元モデルよりもむしろ２Ｄ表現である。

特定の実施形態では、検索エンジンは、欠けている画像情報を識別し、要求し、補充する（または、より良好な画像情報を要求する）方法を実施する。２Ｄ画像の完全なセットが、所定の物体のためのあらゆる可能な角度視点のために存在しない状況が存在し得る。回転ジェスチャおよび結果を返さない画像検索クエリに応答して、検索エンジンは、１人または複数の受取人に対して、追加の画像データを求める要求を開始する。一実施形態において、１人または複数の受取人に対する要求は、クラウドソーシング画像獲得の努力を含む。一般に、クラウドソーシングは、提供者（例えば、インターネット・ユーザ）の大規模かつ動的グループから、個人または組織がアイディアおよび財源を含む商品および役務を取得するソーシング・モデルを意味する。したがって、クラウドソーシングは、努力を多くの参加者で分担し、累積的な結果を達成する。本実施形態の文脈において、ゴールは、多種多様な異なる物体のため、かつ、物体のための多数の異なる配向において、極めて多数の関連画像を取得することである。したがって、２Ｄ画像のこの種の多数の集合を作成するために必要な非常に大規模な努力が存在し得るし、クラウドソーシングは、この努力の大きさを軽減または少なくするために利用可能である。例えば、ターゲット物体がアイフェル・タワーのような観光名所である場合、観光客は、多くの異なる角度から塔の自分たちの休暇写真を進んで提出し得る。これは、さまざまな観点からの塔の２Ｄ画像の非常に関連したセットを作成するのを支援する。特定の実施形態では、クラウドソーシングの提供者は、一般市民（例えば、すべてのインターネット・ユーザ）である。他の実施形態では、クラウドソーシングの提供者は、限定されたグループのユーザ、例えば会社の従業員である。一実施形態において、元のコンテンツ・プロバイダは、親画像の他の見える角度の提供者に、それらの画像の提供に対する報酬（例えば、金銭的報酬、製品／サービス上の割引など）を提供する。

一実施形態において、画像のためのクラウドソーシング要求を作成するためのトリガは、ユーザが、特定の視点から物体を見るために回転ジェスチャを実行するときである（その視点のための既存の画像が存在しないというさらなる要件とともに）。図４に関して上述したように、ステップ４０６において、新しい回転ベクトルのための画像が存在しないと決定される場合、次に、画像検索エンジンは、ステップ４１０において、欠けている画像情報の要求を送信する。換言すれば、ユーザが特定の観点から物体を見るための要求を実行した場合、それは、その角度から物体を見るという実際の要求が存在することを示す。しかしながら、例えば後ろから製品を見るための要求がこれまでされなかった場合、クラウドソーシング努力を通して、後ろからのその物体の写真を蓄積することは、努力に価しないことがある。物体が車である一例において、車の下側を見るという要求はほとんどまたはまったく存在しないことがある。この例では、人々は、その角度から物体を見ることに興味がない。

一実施形態において、提供者が追加の画像を提供することによって要求に反応するとき、親画像（すなわち基準画像）の所有者は、画像を検討する選択肢を有する。基準画像の所有者は、提供された画像を検討し、それらが受け入れられる品質であるかまたは親画像の視覚の属性に十分な程度整合しているかを決定してもよい。親画像の所有者が、提供された画像が受け入れられると決断する場合、彼らは、画像を記憶装置に格納し、画像の追加の視野角を見るために公表することができる。他の実施形態では、親画像の所有者が存在しないことがあり、提供された画像を手動で検討する人が存在しない。本実施形態において、画像処理は、提供された画像に対して実行され、それが親画像に適切に整合するものであるかを決定する。

一実施形態において、画像検索クエリがいくつかの結果を生ずる場合であっても、その回転ビューア用の画像の整合品質が低い場合、画像検索エンジンは、依然として追加の画像データの要求を開始してもよい。例えば、元の基準画像内の物体に対する非常に低い相関を有する特定の角度の観点のための物体の既存の２Ｄ画像が存在し得る。一例において、元の基準画像は、灰色の短い荷台の軽トラックでもよく、他の観点のための保存された画像は、元のものとは異なる製造およびモデルを有する茶色の長い荷台の軽トラックである。この例では、おそらく、茶色の長い荷台の軽トラックは、受け入れられる整合と考えられるなんらかの閾値を満たしたいくつかの視覚の属性を有した。しかしながら、この茶色のトラックは、元の画像との整合は非常に低い。本実施形態において、回転ジェスチャおよび新しい配向ベクトルのための格納された画像が基準画像と低い相関を有する（すなわち、特定の相関閾値未満である）という決定に応答して、検索エンジンは、画像を更新し、整合の品質を改善するための要求を１人または複数の受取人に送信する。要求に応答して、提供者から新しい画像を受信するとすぐに、システムは、新しく受信した画像を以前の画像と比較する。新しい画像がより良好な整合するものである（すなわち、現在の画像より、元の基準画像の属性によって良好に相関する）と決定される場合、検索画像は、現在の画像を新しい画像に置換する。一例において、受信した画像の基準配向軸および受信した画像物体の少なくとも１つの属性が、基準配向軸および基準画像の少なくとも１つの属性に所定の程度対応するとき（例えば、これは、コンテンツ・プロバイダによって設定可能である）、システムは、受信した画像を２次元画像のセットに追加する。このようにして、新しい画像を受け入れ、古い画像を潜在的に置換することによって、所定の物体のための２Ｄ画像の３６０度の回転集合は、時間とともに連続的に改善可能である。

一実施形態において、システムは、物体セッションの使用タイプ、タスク、目的、以下に関係している物体の論理的進行、すなわち、ローカル・ユーザの歴史的な機械学習、（コンテキストを共有する）さまざまなユニークなユーザのためのクラウド・ベースの使用、物体配向に基づくクラウドソースによるユーザの機械学習、および、ユーザ回転物体パタパタ音の予測、に基づいて、動的な文脈上の関連するコンテキスト再レンダリングを利用する。

一実施形態において、モデルまたは目的を完成するために提供されるコンテンツを最も支援可能である地理的にピンポイントの人々に対するクラウドソーシングによって、システムは、物理的な位置改善を利用する。例えば、地理上のフェンスの境界にある領域が存在する場合、システムは、各人の現在の動的な位置を選択的に見て、彼らのユニークな観点が視点および時間（すなわち、時間的決定）のために有益かに関する判断をする。この方法は、特定のマークされた位置内の特定の人々のみを選択的に含み、時間的イベントまたはスケジュールを目標とするため、したがってユニークかつより完全なモデルを引き出すための方法を有する。

本発明は、任意の可能な技術的詳細レベルの統合におけるシステム、方法またはコンピュータ・プログラム製品あるいはその組合せでもよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含んでもよい。

コンピュータ可読記憶媒体は、命令実行装置が使用するための命令を保持し、記憶することができる有形の装置とすることができる。コンピュータ可読記憶媒体は、例えば、限定されることなく、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または前述の任意の適切な組合せでもよい。コンピュータ可読記憶媒体のより具体的な例の包括的ではないリストは、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチ・カードまたは命令が記録された溝内の隆起構造などの機械的に符号化された装置および前述の任意の適切な組合せを含む。本願明細書で使用されるようなコンピュータ可読記憶媒体は、電波または他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を通って伝播する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）またはワイヤを通して送信される電気信号などの、それ自体一過性の信号であると解釈されるべきではない。

本願明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置にあるいはネットワーク、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークまたは無線ネットワークあるいはその組合せを介して外部コンピュータもしくは外部記憶装置にダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータまたはエッジ・サーバあるいはその組合せを含んでもよい。各コンピューティング／処理装置のネットワーク・アダプタ・カードまたはネットワーク・インタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令をそれぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に記憶するために転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用の構成データまたはＳｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語および「Ｃ」プログラミング言語もしくは同様のプログラミング言語などの手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組合せで記述されたソース・コードまたはオブジェクト・コードのいずれかでもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンド・アローンのソフトウェア・パッケージとして、部分的にユーザのコンピュータ上でおよび部分的に遠隔コンピュータ上であるいは完全に遠隔コンピュータまたはサーバ上で実行されてもよい。後者のシナリオでは、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、あるいは（例えばインターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに接続されてもよい。いくつかの実施形態では、例えば、プログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個人専用にすることによって、コンピュータ可読プログラム命令を実行することができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）およびコンピュータ・プログラム製品のフローチャートまたはブロック図あるいはその両方を参照して本願明細書に記載されている。フローチャートまたはブロック図あるいはその両方の各ブロックならびにフローチャートまたはブロック図あるいはその両方のブロックの組合せは、コンピュータ可読プログラム命令によって実施可能であることを理解されたい。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方のブロックにおいて指定された機能／動作を実施するための手段を作成するように、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサに提供されて、マシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令は、内部に命令が記憶されたコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方のブロックで指定された機能／動作の態様を実施する命令を含む製品を含むように、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブル・データ処理装置または他の装置あるいはその組合せに特定の態様で機能するように指示することができるものであってもよい。

また、コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブル装置または他の装置上で実行される命令が、フローチャートまたはブロック図あるいはその両方のブロックで指定された機能／動作を実施するように、コンピュータ実施プロセスを生成すべく、コンピュータ、他のプログラマブル・データ処理装置または他の装置にロードされて、コンピュータ、他のプログラマブル装置または他の装置上で一連の動作ステップを実行させるものであってもよい。

図のフローチャートおよびブロック図は、本発明の種々の実施形態によるシステム、方法およびコンピュータ・プログラム製品の可能な実施態様のアーキテクチャ、機能および動作を示す。この点に関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実施するための１つまたは複数の実行可能命令を含む、モジュール、セグメントまたは命令の一部を表すことができる。いくつかの代替実施態様では、ブロックに記載された機能は、図に記載された順序とは異なって行われてもよい。例えば、連続して示されている２つのブロックは、実際には、１つのステップとして達成されてもよいし、部分的または全体的に時間的に重なって同時にまたは実質的に同時に実行されてもよいし、または、ブロックは、関与する機能に依って、時には逆の順序で実行されてもよい。ブロック図またはフローチャートあるいはその両方の各ブロックおよびブロック図またはフローチャートあるいはその両方のブロックの組合せは、指定された機能または行為を実行するあるいは専用ハードウェアおよびコンピュータ命令の組合せを実行する専用のハードウェア・ベースのシステムによって実施可能であることにも留意されたい。

各種実施形態の説明は、説明のために提示され、包括的であることを意図せず、開示される実施形態に限定されることも意図しない。多くの変更およびバリエーションは、記載されている実施形態の範囲を逸脱することなく、当業者にとって明らかである。本願明細書において用いられる用語は、実施形態の原則、実用的な適用または市場で見つかる技術の上の技術的な改善を最も良く説明するために、または、当業者が本願明細書において開示される実施形態を理解することを可能にするために選択された。

Claims (17)

1. 画像を検索する方法であって、
   ２次元の基準画像内の基準物体を識別することと、
   前記基準物体の少なくとも１つの属性に基づいて、前記基準物体の３次元の基準配向軸を決定することと、
   前記基準物体の３次元観点の変化を要求する入力を受信することと、
   前記入力および前記基準配向軸に基づいて、新しい配向軸を決定することと、
   前記新しい配向軸および前記基準物体の前記少なくとも１つの属性に基づく検索クエリを２次元画像のセット上で実行することと、
   前記検索クエリにより得られた２次元画像と、前記基準物体の前記少なくとも１つの属性との相関に基づいて画像検索結果を表示することと、
   を含む、方法。
2. 前記入力は、ユーザによって実行される回転ジェスチャに関する情報を含む、
   請求項１に記載の方法。
3. 前記情報は、前記回転ジェスチャの方向および前記回転ジェスチャの角運動を含む、
   請求項２に記載の方法。
4. 前記画像検索結果がいかなる結果も生成しないとき、前記方法は、前記新しい配向軸および前記基準物体の前記少なくとも１つの属性に対応する画像を供給するように、要求を外部の画像プロバイダ・リソースに送信することをさらに含む、
   請求項１ないし３のいずれか１項に記載の方法。
5. 前記方法は、
   前記外部の画像プロバイダ・リソースから画像を受信することと、
   前記受信した画像内の受信した画像物体を識別することと、
   前記受信した画像物体の受信した画像基準配向軸を決定することと、
   前記受信した画像基準配向軸および前記受信した画像物体の少なくとも１つの属性が前記基準配向軸および前記基準画像の前記少なくとも１つの属性に所定の程度対応するとき、前記受信した画像を２次元画像の前記セットに追加することと、
   をさらに含む、
   請求項４に記載の方法。
6. 前記外部の画像プロバイダ・リソースは、クラウドソーシング・ソースである、
   請求項４または５に記載の方法。
7. 前記基準配向軸は、前記基準物体の計算された質量中心を通過し、前記基準物体の前を向く側から前記基準物体の後ろを向く側まで延在する軸である、
   請求項１ないし６のいずれか１項に記載の方法。
8. 前記方法は、
   球体の３次元観点をユーザに表示することと、
   前記球体の回転の見える観点を更新して、前記ユーザの入力ジェスチャを追跡することと、
   をさらに含む、
   請求項１ないし７のいずれか１項に記載の方法。
9. 前記球体は、前記基準物体の複数の異なる視野角に対応する複数の表面部分を含み、前記表面部分は、前記基準物体の関連画像が前記対応する視野角のための２次元画像の前記セット内に存在するか否かを示す視覚の属性を有する、
   請求項８に記載の方法。
10. 前記表面部分の前記視覚の属性は、画像の前記セットの前記関連画像と前記基準画像との間の対応の程度をさらに示す、
    請求項９に記載の方法。
11. 画像を検索するためのシステムであって、
    プログラム命令が格納されたコンピュータ可読記憶媒体と、
    前記プログラム命令を実行して方法を実行するように構成される１つまたは複数のプロセッサと、
    を備え、前記方法は、
    ２次元の基準画像内の基準物体を識別することと、
    前記基準物体の少なくとも１つの属性に基づいて、前記基準物体の３次元の基準配向軸を決定することと、
    前記基準物体の３次元観点の変化を要求する入力を受信することと、
    前記入力および前記基準配向軸に基づいて、新しい配向軸を決定することと、
    前記新しい配向軸および前記基準物体の前記少なくとも１つの属性に基づく検索クエリを２次元画像のセット上で実行することと、
    前記検索クエリにより得られた２次元画像と、前記基準物体の前記少なくとも１つの属性との相関に基づいて画像検索結果を表示することと、
    を含む、システム。
12. 前記入力は、ユーザによって実行される回転ジェスチャに関する情報を含む、
    請求項１１に記載のシステム。
13. 前記情報は、前記回転ジェスチャの方向および前記回転ジェスチャの角運動を含む、
    請求項１２に記載のシステム。
14. 前記画像検索結果がいかなる結果も生成しないとき、前記方法は、前記新しい配向軸および前記基準物体の前記少なくとも１つの属性に対応する画像を供給するように、要求を外部の画像プロバイダ・リソースに送信することをさらに含む、
    請求項１１ないし１３のいずれか１項に記載のシステム。
15. 前記システムは、
    前記外部の画像プロバイダ・リソースから画像を受信することと、
    前記受信した画像内の受信した画像物体を識別することと、
    前記受信した画像物体の受信した画像基準配向軸を決定することと、
    前記受信した画像基準配向軸および前記受信した画像物体の少なくとも１つの属性が前記基準配向軸および前記基準画像の少なくとも１つの属性に所定の程度対応するとき、前記受信した画像を２次元画像の前記セットに追加することと、
    をさらに含む、
    請求項１４に記載のシステム。
16. 請求項１ないし１０のいずれか１項に記載の方法を、コンピュータに実行させる、コンピュータ・プログラム。
17. 請求項１６に記載の前記コンピュータ・プログラムを、コンピュータ可読記憶媒体に記憶した、記憶媒体。