JP7224350B2 - 画像キャプチャ装置及び画像キャプチャ方法 - Google Patents

Description

本発明はシーンの画像のキャプチャに関し、特に、シーンの3次元表現を提供する画像のキャプチャに関するが、これに限定されるものではない。

近年、画像およびビデオアプリケーションの多様性および範囲が大幅に増加しており、ビデオを利用し消費する新しいサービスおよび方法が、継続的に開発され、導入されている。

例えば、ますます一般的になっている一つのサービスは、視聴者が能動的かつ動的にシステムと相互作用してレンダリングのパラメータを変更することができるような態様で画像シーケンスを提供することである。多くのアプリケーションにおいて非常に魅力的な特徴は例えば、視聴者が、提示されているシーン内で動き回って「見回る」ことを可能にするなど、視聴者の有効な視聴位置および視聴方向を変更する能力である。

そのような特徴は特に、仮想現実体験がユーザに提供されることを可能にすることができる。これにより、ユーザは仮想環境内で(比較的)自由に動き回ることができ、ユーザの位置およびユーザが見ている場所を動的に変更することができる。典型的にはこのような仮想現実アプリケーションはシーンの3次元モデルに基づいており、このモデルは特定の要求されたビューを提供するために動的に評価される。このアプローチは例えば、ファーストパーソンシューター（first person shooter）のゲームカテゴリーにおけるような、コンピュータ及びコンソールのためのゲームアプリケーションから周知である。

また、特にバーチャルリアリティアプリケーションでは、提示される画像が3次元画像であることが望ましい。実際、視聴者の没入感を最適化するために、典型的にはユーザが提示されたシーンを3次元シーンとして体験することが好ましい。実際、仮想現実体験は、好ましくはユーザが自分の位置、カメラ視点、および仮想世界に対する時間の瞬間を選択することを可能にすることはずである。

多くのこのような新しいアプリケーションおよびサービスをサポートするために、シーンを正確にキャプチャすることができることが望ましい。単一の視点に対して単一のビューポートで典型的には十分である従来のアプリケーション(例えば、従来のビデオシーケンス)とは対照的に、シーン内の完全な3D情報を正確にキャプチャすることができることが望ましい。

例えば、6DoF(視点の位置に対する3つの自由度及び向きに対する3つの自由度に対応する6つの自由度)仮想現実キャプチャでは、シーン全体に関する正確で完全な情報をキャプチャするために、シーンは通常、複数の方向における複数の位置からキャプチャされる。このようなキャプチャからの6DoFコンテンツの再生中に、典型的なアプリケーションにおいて、視聴者は、視聴者の現在の仮想的な姿勢に対応するために動的に合成されるビューを有するシーン内を自由に移動することができる。提示されるビューは例えば、適切なアルゴリズムを使用して最初にキャプチャされたビューから合成された補間ビューであってもよい。これは、スムーズな遷移を可能にし、及び/又はキャプチャされた光照射野データの必要な量を低減する。典型的には、このようなビュー補間では、奥行き情報が合成のために使用され、この奥行き情報は典型的にはステレオ画像から直接キャプチャされるか又は推定される。別の例は、キャプチャされたビューを使用してシーンの3次元モデルを構築することであり得る。

多くのアプリケーションでは、ハンドヘルドカメラを動かすことによって静的シーンがキャプチャされることができる。キャプチャ後、キャプチャされた画像に対するカメラ位置と視方向が導出されて、ビュー合成のためのベース画像として、あるいはシーンのための三次元モデルを生成するために用いられる。

しかしながら、キャプチャされた画像に基づくそのような表現が十分に正確であるためには、十分な量の関連情報が画像によってキャプチャされることが必要である。これは比較的高い空間キャプチャ頻度/密度を必要とする傾向があり、実際にはユーザが典型的にはサンプル空間または角度の下にあり、その結果、任意の仮想カメラは理想的に配置されないことが分かっている。これは、重大な意味を持ち得る。たとえば、向きの微調整などの連続した処理ステップは、十分なカメラ位置がキャプチャされなかった領域では失敗する可能性がある。

このようなキャプチャアプローチの問題は以下を含む:
1. 得られる光場が空間的に十分に高密度に(およびすべての方向で)サンプリングされるようにハンドヘルドカメラを位置決めすることは困難である。
2. 例えば最適な6DoF再生のためにはカメラのスキャンパターンがどのようなものであるかを先験的に判断することは困難である。これが個々のシーンの特性に密接に依存するためである。

解決策は、実質的に全ての可能なビュー位置及び方向を網羅的にキャプチャすることである。しかし、特にハンドヘルドカメラシステムを使用して、そのように手動で行うことは(または駆動ロボットのような自動化された移動システムを使用してさえ)、よくても非常に時間がかかり、典型的には非実用的であり、意図された全ての位置および方向がキャプチャされることを保証することは典型的に不可能である。

さらに、データストレージ、配信および処理リソース要件が過剰にならないようにするために、後で削除または圧縮する必要がある余分なビューがキャプチャされる。

ロボットおよび/または専用のマルチカメラリグを使用することで、これらの問題のいくつかに対処できる可能性がある。しかしながら、このようなアプローチは費用がかかり、扱いにくく、入手してセットアップするには複雑な装置を必要とする傾向がある。マルチカメラリグはまた、自己遮蔽の問題を引き起こす場合があり、すなわち、カメラがシーンの互いの視界を遮る。

手動画像キャプチャにおける問題に対処するために、それぞれのキャプチャ間でカメラの向きをどのように変えるべきかを示すグラフィックシンボルを画像にオーバーレイすることが提案されている。例えば、パノラマ写真のために使用される携帯電話キャプチャアプリケーションが開発されており、それは、一緒に繋ぎ合わされてカメラの有効視野角を拡大することができる複数の画像をキャプチャするために、どのようにカメラを回転させるべきかをディスプレイ上で示す。しかしながら、このようなアプローチは依然としてシーンの最適以下のキャプチャをもたらし、シーンのモデルを構築するために正確な3次元情報が必要とされる場合のような、より複雑なアプリケーションには典型的には不適切である。

したがって、改善された画像キャプチャシステムおよびアプローチが有利である。特に、改善された動作、促進されたキャプチャ、シーンの改善された表現、増加した柔軟性、促進された実装、促進された動作、低減されたデータストレージ、配信および処理リソース要件、改善された適応性、ならびに/または改善された性能を可能にするアプローチが有利であろう。

US2014/0300775A1は、カメラ位置情報および/またはカメラ姿勢情報を決定するために1つまたは複数の画像を処理するためのアプローチを開示する。この文献は、ユーザ機器が現在の位置から写真を撮るための好ましいスポットまでのルートの形でユーザにガイダンスを表示することができるアプリケーションを開示している。

したがって、本発明は、好ましくは上記の欠点の1つ以上を単独でまたは任意の組み合わせで低減、軽減または排除しようとするものである。

本発明の一態様によれば、シーンの画像をキャプチャするためのキャプチャユニットと、キャプチャユニットの姿勢を動的に決定するためのトラッカと、所望のキャプチャ姿勢のセットに対するキャプチャユニットの現在の姿勢を決定するための姿勢プロセッサと、ディスプレイと、キャプチャユニットの画像面の外側の方向における所望のキャプチャ姿勢のセットに対するキャプチャユニットの現在の姿勢の位置の表示を含む、現在のキャプチャ姿勢表示を提示するようにディスプレイを制御するために姿勢プロセッサに結合されたディスプレイコントローラと、シーンについてキャプチャされたデータに応じて所望のキャプチャ姿勢のセットのキャプチャ姿勢の少なくともいくつかを決定するように構成されたキャプチャプロセッサとを備える画像キャプチャ装置が提供される。

このアプローチは、シーンの改善されたキャプチャ、特に、シーンの3次元表現をキャプチャしようとするキャプチャ動作を容易にし、可能にし、かつ/またはサポートすることができる。このアプローチは、多くのシナリオにおいて、より単純で扱いやすいキャプチャ操作およびプロセスによって生成される改善されたキャプチャデータをもたらすことができる。

画像キャプチャ装置は物理的シーンがどのようにキャプチャされるかをより正確に反映する出力表示を提供して、例えば、ビュー合成またはシーンのためのモデルの開発のための改善されたデータを提供することができる。この表示は、現実世界のシーンの許容可能な又は望ましいキャプチャを実行するためにキャプチャユニット101に必要とされる動き又は向きを反映することができる。表示は任意の適切な形態で提供されてもよく、例えば、それぞれの実施形態で異なる視覚的表示が使用されてもよい。

画像面の外側の位置の表示は、具体的にはキャプチャユニットのカメラの奥行き又はz方向の表示であってもよい。表示は、カメラの画像面に垂直な方向の成分を含む相対位置を示すことができる。したがって、画像面の外側の位置の表示は、単に画像面に平行な(またはその中の)相対位置の表示ではなく、単に回転の表示ではない。画像キャプチャ装置は、単に横方向の画像面並進またはキャプチャユニットのカメラの回転ではない方向に対応する相対位置表示を提供することができる。画像面の外側の位置の表示はこれが所望のキャプチャ姿勢のセットの姿勢と空間的に一致するために、キャプチャユニット/カメラの必要とされる前方または後方への移動の指示を具体的に提供することができる。多くのアプリケーションにおいて、ディスプレイコントローラは、画像面の外側の位置の指標を提示するようにディスプレイを制御することに加えて、画像面内の相対位置の指標および/または所望のキャプチャ姿勢のセットに対する現在の姿勢の向きの指標を提供するようにも制御することができる。

所望のキャプチャ姿勢のセットは、シーンの許容可能なキャプチャを達成するために決定または推定された姿勢のセットに具体的に対応し得る。所望のキャプチャ姿勢のセットはいくつかのアプリケーションでは予め決定されてもよく、他のアプリケーションでは特定のシーン特性に適合されてもよい。

ディスプレイコントローラは、ディスプレイによって提示されるビデオまたは類似の表示信号を生成することによって、表示を提示するようにディスプレイを制御するように構成されてもよい。ビデオ信号は、現在のキャプチャ姿勢表示を示す画像を含むように生成されてもよい。ビデオ信号は多くのアプリケーションにおいて、キャプチャユニットによって現在キャプチャされている画像を含むこともでき、したがって、ディスプレイは、キャプチャユニットによってキャプチャされたシーンの画像を示すこともできる。

ディスプレイは従来の二次元ディスプレイであってもよく、または、例えば、三次元ディスプレイであってもよい。

いくつかの実施形態では、所望のキャプチャ姿勢のセットに対するキャプチャユニットの現在の姿勢の位置の表示が二次元または三次元の位置表示を含む。

所望のキャプチャ姿勢のセットはシーンの特性に応じて適応させることができ、これにより、多くの状況およびアプリケーションにおいて改善されたキャプチャ動作を可能にすることができる。

データは具体的にはライトフィールドデータ(画像)および/または深度データ(例えば、深度マップ)であってもよい。いくつかの実施形態では、キャプチャプロセッサが1つまたは複数の姿勢でキャプチャされた画像に応答して、所望のキャプチャ姿勢のセットを決定するように構成され得る。いくつかの実施形態では、キャプチャプロセッサがシーン内の1つまたは複数の姿勢でキャプチャされた奥行きデータに応答して、所望のキャプチャ姿勢のセットを決定するように構成される。いくつかのそのような実施形態では、奥行きデータがわずかに異なる視点で(例えば、ステレオ画像から)キャプチャされた画像から決定または導出されてもよい。

データは、シーン内の1つまたは複数の姿勢についてキャプチャすることができる。データ(またはその少なくともいくつか)は所望のキャプチャ姿勢のセットに属するいくつかの姿勢について具体的にキャプチャされ得る(例えば、キャプチャされたデータに応じて後に修正される所望のキャプチャ姿勢の元の公称セットにおいて)。

いくつかの実施形態では、キャプチャプロセッサは、増加したテクスチャ変動を示す第1の姿勢でキャプチャされた画像に応じて、第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を変化させるように構成されてもよい。

本発明の任意選択の特徴によれば、現在のキャプチャ姿勢表示は、所望のキャプチャ姿勢のセットに対するキャプチャユニットの向きの表示を含む。

これは、多くの実施形態およびシナリオにおいて、改善されたおよび/または容易にされた動作および/または実装を提供することができる。多くのアプリケーションでは、シーンのキャプチャを改善することができる。

本発明の任意の特徴によれば、ディスプレイは三次元ディスプレイであり、現在のキャプチャ姿勢表示は、所望のキャプチャ姿勢のセットのうちの或る姿勢への方向の三次元表示である。

これは、多くの実施形態において、現在の姿勢と所望のキャプチャ動作との間の基礎となる関係の改善された表示を提供することができる。

本発明の任意の特徴によれば、ディスプレイは拡張現実ヘッドセットのディスプレイであり、現在のキャプチャ姿勢表示は、現在の姿勢の位置に対する所望のキャプチャ姿勢の位置を示す。

これは、多くの実施形態において、現在の姿勢と所望のキャプチャ動作との間の基礎となる関係の改善された指標を提供することができる。拡張現実ヘッドセットは例えば、仮想現実ヘッドセットまたは拡張現実メガネであってもよい。

本発明の任意選択の特徴によれば、キャプチャユニットは、ハンドヘルドデバイスに含まれる。

本発明は、シーンをキャプチャするために、ハンドヘルドスチルまたはビデオカメラなどのハンドヘルド装置を使用して、シーンの大幅に改善されたおよび/または容易にされたキャプチャを可能にすることができる。このアプローチは、例えば、非専門家が例えばスマートフォンなどのハンドヘルドデバイスのみを使用して複雑なシーンを正確にキャプチャすることを実用的にすることができる。

本発明の任意の特徴によれば、キャプチャプロセッサは、第1の姿勢でキャプチャされたデータに応じて、第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を変化させるように構成される。

これは、多くの実施形態およびシナリオにおいて、改善されたおよび/または容易にされた動作および/または実装を提供することができる。多くのアプリケーションでは、シーンのキャプチャを改善することができる。

本発明の任意の特徴によれば、キャプチャプロセッサは、第1の姿勢でキャプチャされたデータが増加する深度変動を示すことに応じて、第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を増加させるように構成される。

これは、多くの実施形態およびシナリオにおいて、改善されたおよび/または容易にされた動作および/または実装を提供することができる。多くのアプリケーションでは、シーンのキャプチャを改善することができる。

いくつかの実施形態では、キャプチャプロセッサは、第1の姿勢でキャプチャされたデータが減少する深度変動を示すことに応じて、第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を減少させるように構成されてもよい。

本発明の任意の特徴によれば、キャプチャプロセッサは、第1の姿勢でキャプチャされたデータがシーンのオブジェクトまでの距離の減少を示すことに応答して、第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を増加させるように構成される。

これは、多くの実施形態およびシナリオにおいて、改善されたおよび/または容易にされた動作および/または実装を提供することができる。多くのアプリケーションでは、シーンのキャプチャを改善することができる。

いくつかの実施形態では、キャプチャプロセッサは、シーンのオブジェクトまでの距離の増加を示す第1の姿勢でキャプチャされたデータに応じて、第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を減少させるように構成され得る。

本発明の任意選択の特徴によれば、キャプチャプロセッサは、シーンのオブジェクトの表面の粗さの増加を示す第1の姿勢でキャプチャされたデータに応じて、第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を増加させるように構成される。

これは、多くの実施形態およびシナリオにおいて、改善されたおよび/または容易にされた動作および/または実装を提供することができる。多くのアプリケーションでは、シーンのキャプチャを改善することができる。

いくつかの実施形態では、キャプチャプロセッサは、シーンのオブジェクトの表面の粗さの減少を示す第1の姿勢でキャプチャされたデータに応答じ、第1の姿勢の近傍における所望のキャプチャ姿勢の密度を減少させるように構成されてもよい。

本発明の任意選択の特徴によれば、データは奥行きデータを含む。

本発明の任意選択の特徴によれば、キャプチャプロセッサは、姿勢の数のうちの第1の姿勢の近傍の所望のキャプチャ姿勢の空間密度を、前記近傍の所望のキャプチャ姿勢の所定のセットに少なくとも1つの所望のキャプチャ姿勢を追加することによって、増加させるように構成される。

これは、所望のキャプチャ姿勢のセットの効果的かつ低複雑度の適応を提供することができる。

いくつかの実施形態では、キャプチャプロセッサは、第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を、前記近傍における所望のキャプチャ姿勢の所定のセットの少なくとも1つの所望のキャプチャ姿勢を除去することによって、低減するように構成され得る。

本発明の任意選択の特徴によれば、ディスプレイコントローラは、キャプチャユニットによって現在キャプチャされている画像を表示することなく、現在のキャプチャ姿勢表示を提示するようにディスプレイを制御するように構成される。

本発明の一態様によれば、シーンの画像をキャプチャすることができるキャプチャユニットの姿勢を動的に決定するステップと、一組の所望のキャプチャ姿勢に対するキャプチャユニットの現在の姿勢を決定するステップと、現在のキャプチャ姿勢表示を提示するようにディスプレイを制御するステップであって、前記現在のキャプチャ姿勢表示が前記キャプチャユニットの画像面の外の方向における前記所望のキャプチャ姿勢のセットに対する前記キャプチャユニットの現在の姿勢の位置の表示を含む、ステップと、前記キャプチャユニットがシーンの画像をキャプチャするステップと、前記シーンについてキャプチャされたデータに応じて、前記所望のキャプチャ姿勢のセットのうちの前記キャプチャ姿勢の少なくとも一部を決定するステップと、を含むことを特徴とする、画像キャプチャ方法が提供される。

本発明のこれらおよび他の態様、特徴および利点は以下に記載される実施形態から明らかになり、それを参照して説明される。

本発明の実施形態は、単なる例として、図面を参照して説明される。
本発明の一部の実施形態による画像キャプチャ装置の要素の一例を示す図。 所望のキャプチャ姿勢のパターンの一例を示す図。 キャプチャ姿勢への近接度を決定する例を示す図。 本発明のいくつかの実施形態による、所望のキャプチャ姿勢のセットを適応させる例を示す図。

以下の説明はハンドヘルド画像キャプチャシステムおよびアプローチに適用可能な本発明の実施形態に焦点を当てるが、本発明はそのようなアプリケーションに限定されず、多くの他の画像キャプチャシステムに適用され得ることが理解されるのであろう。

図1は、本発明のいくつかの実施形態による画像キャプチャ装置の一例を示す。画像キャプチャ装置は例えば、3Dシーンをキャプチャするために使用することができ、その結果、例えば、仮想現実アプリケーションで使用するために、そのシーンについて詳細な表現又はモデルを生成することができる。そうするために、典型的には、多くの異なる位置において多くの異なる方向からシーンをキャプチャすることが必要であり、すなわち、多数の姿勢に対するキャプチャが必要である。しかしながら、これは、非常に煩わしく、時間がかかり、かなりの努力を必要とする傾向がある。このような欠点はキャプチャ姿勢の選択が最適化される場合、例えば、キャプチャ間の冗長性を除去し、シーンに必要な対象範囲がより少ないキャプチャで達成されることを保証することによって、低減され得る。いくつかのシナリオでは、これはキャプチャの慎重な計画および手動編成によって達成することができる。しかしながら、多くのシナリオ及びアプリケーションにおいて、例えば、シーンのキャプチャがスマートフォンのようなハンドヘルドデバイスを使用して一般消費者によって意図される場合には、これは実用的ではない。

図1の画像キャプチャ装置は、所与のシーンに対する適切なキャプチャ姿勢に関するフィードバックを提供することによってキャプチャプロセスを支援し、それによって、有利な姿勢からキャプチャするようにユーザを導くことができる。このフィードバックは、多くのシナリオにおいて、シーンのための改善されたキャプチャデータを提供するキャプチャ姿勢へとユーザが向けられるので、より少ないキャプチャに基づくシーンの改善された全体的なキャプチャを提供することができる。

画像キャプチャ装置は、典型的にはシーンをキャプチャするカメラを含み得るキャプチャユニット101を含む。このカメラは通常、従来のカメラであってもよく、あるいは、例えば、ステレオカメラであってもよい。キャプチャユニットは、シーンの(光照射野)画像をキャプチャするように構成され、幾つかの実施例では、深度情報をキャプチャすることもできる(例えば、視差から深度を推定するステレオ画像、又は直接的な深度測定(例えば、深度測距カメラを使用する)によって決定されるz値のような専用の深度情報)。

カメラユニットは、キャプチャユニットの姿勢を決定するように構成されたトラッカ103に結合されている。従って、シーンの画像をキャプチャするカメラのための姿勢は、トラッカ103によって決定される。これは、所与の時点に対して、その時点にキャプチャされた画像に対する視点姿勢に対応するキャプチャユニットの姿勢を測定/推定することができる。

この分野では、配置または姿勢という用語は、位置および/または方向/向きに関する一般的な用語として使用される。例えば、オブジェクト、カメラ、またはビューの位置および方向/向きの組み合わせが、姿勢または配置と呼ばれることがある。したがって、配置または姿勢表示は、6つの値/成分/自由度を含み得、各値/成分は、通常、対応するオブジェクトの位置/場所または方向/向きの個々の特性を記述する。もちろん、多くの状況において、例えば、1つ以上の成分が固定または無関係であると考えられる場合、配置または姿勢はより少ない成分で考慮または表現されてもよい(例えば、全てのオブジェクトが同じ高さにあり、水平方向を有すると考えられる場合、4つの成分がオブジェクトの姿勢の完全な表現を提供することができる)。以下では、姿勢という用語は、1乃至6個の値(最大の可能な自由度に対応する)によって表され得る位置および/または向きを指すために使用される。説明は、姿勢が最大自由度、すなわち、合計6個の自由度をもたらす、位置および向きのそれぞれの3個の自由度を有する実施形態および例に焦点を当てる。したがって、姿勢は6つの自由度を表す6つの値のセットまたはベクトルによって表すことができ、したがって、姿勢ベクトルは、3次元位置および/または3次元方向表示を与えることができる。しかしながら、他の実施形態では、姿勢がより少ない値によって表されてもよいことが理解されるのであろう。

本例では、トラッカ103は、キャプチャユニット101のカメラの視点の姿勢を動的に決定するように構成され、キャプチャ動作中(または場合によってはそのような動作の期間においてのみ)、現在の姿勢を連続的に決定することができる。キャプチャユニット101は、具体的には現在の姿勢を反映する6つの値の姿勢ベクトルを決定することができる。

キャプチャユニット101の、および典型的にはキャプチャユニットのカメラの、姿勢の正確な決定は、個々の実施形態の特定の設定および要件に依存するであろう。多くの実施形態では、キャプチャユニット101は、キャプチャユニット101を備えるデバイスの位置および向きの両方を追跡することを可能にする、またはより具体的にはキャプチャユニット101のカメラを追跡することを可能にする加速度計などを含むことができる(通常、カメラの姿勢は、キャプチャユニット101が実装されるデバイスを追跡することによって追跡される)。例えば、キャプチャユニット101はスマートフォンに実装されてもよく、内蔵ロケーション機能(例えば、GPSベース)、加速度計などを使用して、スマートフォンの、したがってカメラ視点の位置および向き(視点位置および視点向き)を決定してもよい。多くの実施形態では、トラッカ103は、別個のデバイスではなく、キャプチャユニット101と同じデバイスの一部であり、実際、多くの実施形態では、図1の画像キャプチャ装置全体を単一のデバイスに実装することができる。多くの典型的な実施形態において、リアルタイムで姿勢を決定することは、ステレオカメラ画像または画像+奥行きセンサにおいて検出される特徴点に基づいて達成され得る。他のセンサ(例えば、加速度計、ジャイロ、磁気センサ)は、センサ融合アプローチにおいて助けとなり得る。

例えば、多くの実施形態では、トラッカ101は、例えば、決定された測定値または推定値にローパスフィルタリングを適用することによって、以前の姿勢に少なくとも部分的に基づいて現在の姿勢を決定するように構成されることが理解されるであろう。しかしながら、いくつかの実施形態では、現在の姿勢は、専ら現在のプロパティにに基づいて決定されてもよく、現在の決定された姿勢を以前の(または将来の)姿勢と相関させるために実行される演算が存在しなくてもよい。

トラッカ103は、トラッカ103によって示される現在の姿勢を所望のキャプチャ姿勢のセットと比較するように構成された姿勢プロセッサ105に結合される。この例では、姿勢プロセッサ105は、姿勢プロセッサ105に所望のキャプチャ姿勢のセットを提供するキャプチャプロセッサ111に結合されている。いくつかの実施形態では、キャプチャプロセッサ111は、所望のキャプチャ姿勢のセット全体を姿勢プロセッサ105に同時に、具体的には多くの実施形態ではキャプチャ動作の開始時に、提供するように構成されることができる。他の実施形態では、所望のキャプチャ姿勢のセットは、前の姿勢についてキャプチャが実行された後、次の所望のキャプチャ姿勢のみをキャプチャプロセッサ111が提供するように、徐々に、例えば一度に1つずつ、提供されてもよい。同様に、いくつかの実施形態およびシナリオでは、所望のキャプチャ姿勢のセットは、キャプチャ姿勢の予め定められたセットであってもよく、他の実施形態では、キャプチャプロセス中に動的に決定されてもよい。例えば、いくつかの実施形態では、キャプチャプロセッサ111は、キャプチャプロセスの開始時に、予め定められたキャプチャパターンに対応する所望のキャプチャ姿勢の完全なセットを提供することができる。他の実施形態では、キャプチャプロセッサ111は、以前の姿勢に基づいて、具体的には以前の姿勢からのキャプチャ結果に基づいて、次の所望のキャプチャ姿勢を適応的に決定するように構成されることができ、したがって、キャプチャプロセッサ111は、以前の動作に基づいて次のキャプチャ姿勢を動的に決定することができる。

姿勢プロセッサ105は、所望のキャプチャ姿勢のセットに対する現在の姿勢を決定するように構成される。多くの実施形態では、第2のプロセッサ309からの所望のキャプチャ姿勢のセットおよびトラッカ103からの現在の姿勢は同じ座標系で提供されることができ、したがって、現在の姿勢を所望のキャプチャ姿勢のセットと容易に比較することができる。他の実施形態では、姿勢プロセッサ105は、座標変換を実行するか、あるいは、現在の姿勢および所望のキャプチャ姿勢のセットに対する基準座標系の差を補償するように構成されてもよい。

姿勢プロセッサ105は、ディスプレイ109を制御するように構成されたディスプレイコントローラ107に結合されている。姿勢プロセッサ105は、所望のキャプチャ姿勢のセットに対する現在の姿勢を反映するデータをディスプレイコントローラ107に提供し、それに応答して、ディスプレイコントローラ107は、所望のキャプチャ姿勢のセットに対するキャプチャユニットの現在の姿勢を示し、具体的には、所望のキャプチャ姿勢のセットに対するキャプチャユニットの現在の姿勢の位置を示す現在のキャプチャ姿勢表示を提示するようにディスプレイを制御する。したがって、システムは、ディスプレイを制御して、所望のキャプチャ姿勢に対する現在のカメラ姿勢の表示をユーザに提供し、それによって、ユーザを次の適切なキャプチャ姿勢に導く。これにより、ユーザは、所望のキャプチャ姿勢のセットに含まれる姿勢についてキャプチャが生成されるようにキャプチャユニット101を移動させることができ、それによって、低減された労力で改善されたキャプチャを提供する。

姿勢プロセッサ105は、様々な実施形態において、所望のキャプチャ姿勢のセットに対する現在の姿勢を示す様々なデータを提供することができることが理解されよう。＠同様に、データの処理およびディスプレイの制御はそれぞれの実施形態では異なり、具体的には、ディスプレイが異なる実施形態では所望のキャプチャ姿勢のセットに対する現在の姿勢の異なる表示を提供するように制御されてもよいことが理解されるであろう。

例えば、いくつかの実施形態では、姿勢プロセッサ105は、現在の姿勢に最も近い所望のキャプチャ姿勢を決定するために、現在の姿勢、所望のキャプチャ姿勢のセット、および以前のキャプチャ動作を評価することができる。次に、それは、例えば、単に2つの適切な姿勢ベクトルを互いから減算して差分姿勢ベクトルをもたらすことによって、キャプチャユニット101を現在の姿勢から次の所望の姿勢に変更するために必要な姿勢の変化を示す姿勢差分を決定することができる。次いで、この姿勢ベクトルは、ディスプレイコントローラ107に提供され得る。

ディスプレイコントローラ107は、例えば、フレーム/画像が差分ベクトルのグラフィック表現から成るか又はそれを含む。ディスプレイのためのビデオ信号を生成することができる。グラフィック表現は例えば、ディスプレイが3Dディスプレイである場合、一方がキャプチャユニット101を移動させる方向を指し、他方が必要な回転(向きの変化)を示す2つの3次元矢印を含むことができる。2次元ディスプレイの場合、3D表示は、例えば、シーンの画像の表現上への投影によって表される矢印によって提供されてもよく、または、例えば、2つの矢印が位置および場所表示のそれぞれのために使用されてもよい。他の例として、ディスプレイコントローラ107は単に、差分ベクトルの成分値を直接表示するようにディスプレイを制御してもよい。

別の例として、いくつかの実施形態では、姿勢プロセッサ105は、(例えば、同じ座標系を参照する)現在の姿勢および所望のキャプチャ姿勢のセットを個別に記述するデータをディスプレイコントローラ107に提供することができ、ディスプレイコントローラ107は、所望のキャプチャ姿勢のセットの3次元位置および現在の姿勢の3次元位置の表現を表示することに進むことができる。さらに、提示された所望のキャプチャ姿勢ごとに、現在の向きに対する所望の向きを示す矢印を含めることができる。2次元ディスプレイの場合、3次元情報は、例えば、これが表示される場合にシーン上への投影によって提供されてもよく、または、例えば、各キャプチャ姿勢のための複数のインジケータを含めることによって達成されてもよい。

画像キャプチャ装置は、キャプチャユニットの画像面の外側の方向における所望のキャプチャ姿勢のセットに対するキャプチャユニットの現在の姿勢の位置の表示を含むように、所望のキャプチャ姿勢のセットに対する現在の姿勢の表示を生成するように構成される。キャプチャユニット101は、シーンの画像をキャプチャするように構成されており、この画像は、具体的には三次元シーンの二次元画像への投影に対応する画像面を有する二次元画像であってもよい。例えば、従来のカメラは2次元画像をキャプチャし、このようなカメラを含むキャプチャユニット101は本質的に2次元画像をキャプチャし、対応する2次元画像面を有する。二次元画像面は、典型的にはシーンが投影される、CCDセンサのような二次元像センサによって与えられる。

シーンの従来のキャプチャは、典型的には、キャプチャされる画像の二次元の性質に基づいているキャプチャするプロセスによるこのような二次元画像に基づく。

例えば、いくつかの従来のキャプチャ動作は、複数の典型的には重なり合う画像を結合することによって結合画像を生成することを含む。例えば、パノラマ写真はある方向において写真を撮影し、カメラを一方に動かし、場合によってはカメラを回転させ、別の写真を撮影することによって、生成される。次いで、ソフトウェアを使用して、画像を組み合わせてパノラマ画像を生成することができる。場合によっては、そのようなアプリケーションは、次の画像をキャプチャするためにユーザがカメラを左または右に動かすべきであるという表示を含むことができる。特定のカメラの視野角で可能な領域を越えてカバーされる領域を増加させるために、画像面内の画像領域をシフトすることによって、画像面内の現在の画像領域がどのように拡張されるかを示す、ユーザへのフィードバックを提供することができる。

このような従来のアプローチは本質的に二次元平面内で動作し、単にカメラの有効視野角を増大しようとするだけである。

図1のシステムでは、ディスプレイコントローラ107は、キャプチャユニットの画像面の外側の方向における所望のキャプチャ姿勢のセット（の1つまたは複数の位置)に対するキャプチャユニットの現在の姿勢の位置の表示を含む表示を生成するように構成される。したがって、表示は、キャプチャユニット101が(画像面に対して)どのように前方または後方に移動されるべきか、および所望のキャプチャ姿勢、具体的には所望のキャプチャ位置に到達するためにどのように移動されるべきかに関する情報を提供することができる。このアプローチは、二次元平面(具体的には画像面)に限定されず、シーンの完全な広がりを考慮するキャプチャアプローチを利用するキャプチャに基づいて、シーンの完全な三次元キャプチャを可能にする、フィードバック及びガイダンスをユーザに提供するために使用され得る。このアプローチは、シーン内の所望のキャプチャ位置を識別することができるシーンベースのキャプチャを提供し、観察者は、ユーザが2次元ビュー平面のキャプチャエリアを拡張するように視点位置または向きをシフトするように案内される観察者ベースのキャプチャアプローチを単に使用するのではなく、これらのキャプチャ位置に導かれると考えることができる。対象とされる画像面の有効な視野角/面積を増加させることに向けられた従来のアプローチとは対照的に、図1の画像キャプチャ装置はデータをキャプチャすることに向けられて、シーンをより正確に表現し、特にシーンの三次元特性を表現する。

したがって、図1のシステムは、ユーザを案内し、画像面キャプチャ領域をどのように拡張することができるかの単なる表示ではなく、むしろ、改善されたキャプチャを提供するためにユーザが実際のシーン/環境内で動き回ることを可能にする情報をユーザに提供するフィードバックを提供するように構成される。したがって、画像領域における単純な画像面表示ではなく、図1の画像キャプチャ装置は、現実世界/シーン領域におけるフィードバックを導出し、提示するように構成される。このフィードバックは、画像領域がどのように拡張されるかを示すだけでなく、画像面の外側のキャプチャユニット101に要求されるまたは所望される移動も示す。

具体的には、表示は、画像面自体に限定されない所望のキャプチャ姿勢のセットに対する現在の姿勢の表示を含むことができる。むしろ、位置表示は、画像面内にない方向において、現在位置が所望のキャプチャ姿勢にどのように関係しているかの表示も含む。具体的には、表示は、画像面に垂直な方向において、現在の姿勢が所望のキャプチャ姿勢にどのように関係しているかを示すことができ、したがって、ユーザがどのようにキャプチャユニット101を画像面に「出入り」させるべきかについてのフィードバックを提供することができる。したがって、この表示は、現実の3次元世界における複雑なキャプチャパターンをユーザに指示することができる情報を提供し、これは、シーンのはるかに良好な3次元キャプチャを提供することができる。

したがって、位置表示は、画像面内にない、すなわち画像面に平行ではない方向であって、画像面に垂直な方向または軸上に非ゼロ投影を有する方向に、現在の姿勢と少なくとも1つの所望のキャプチャ姿勢との間の相対的な位置差を示す成分を有することができる。したがって、表示はz方向の位置差を示すことができる（画像面は三次元座標系x、y、zのx、y平面に対応する）。

いくつかの実施形態では、キャプチャユニット101は、従来の二次元カメラではなく、三次元カメラであってもよいことに留意されたい。しかしながら、そのような場合には、キャプチャユニット101は依然として、(典型的には)1つの画像面にリンクされる。例えば、測距3Dカメラは、画像及び対応する深度マップの形の出力を提供することができる。この場合、画像(および奥行きマップ)は、画像面を定義する。また、ステレオ(またはより一般的にはマルチビュー)カメラの場合、提供される各画像は画像面を画定し、実際には、提供されるすべての画像の画像面は同じである。

所望のキャプチャ姿勢のセットは、典型的には、画像/キャプチャが実行されることが望まれる姿勢のセットを反映する。所望のキャプチャ姿勢は以下ではアンカー姿勢とも呼ばれる(同様に、所望のキャプチャ位置/向きは、アンカー位置/向きとも呼ばれる)。

表示コントローラ107は例えば、次のアンカー位置に対する現在位置の差の表示を生成することに加えて、所望のキャプチャ姿勢のセットに対する現在姿勢の向きの表示を生成することもでき、具体的には、次のアンカー姿勢の向きに対する現在姿勢の表示を生成することもできる。これは、ユーザに改善されたフィードバックを提供することができ、例えば、ユーザにフィードバックおよびガイダンスを提供するシステムをもたらすことができ、ユーザは例えば、各アンカーポイントについて複数のアンカー向きを有するアンカー位置のパターンに基づいてキャプチャを実行することができる。その結果、例えば、オブジェクトが異なる方向から見られること、シーンの全ての領域の十分なカバレージが達成されること等を保証するガイダンスによって、3次元シーンの効率的なキャプチャが達成され得る。

多くの実施形態では、画像キャプチャ装置は、所望のキャプチャ姿勢のセット(の少なくともいくつか)についてキャプチャされた画像からシーンのモデルを生成するためのモデルプロセッサ(図示せず)をさらに備えることができる。多くの実施形態では、所望のキャプチャ姿勢のセットからキャプチャされた(および典型的には画像に関連付けられた)奥行きデータを使用して、モデルを生成することもできる。そのようなモデルを開発するための任意の適切なアプローチが使用されてもよく、多くの異なるアプローチが当分野で知られていることが理解されるであろう。このアプローチは、多くの実施形態において、改善されたキャプチャに基づいてシーンの改善されたモデルを生成するために使用されてもよい。このモデルはその後、例えば、仮想現実アプリケーションの基礎として使用されることができる。

いくつかの実施形態では、画像キャプチャ装置は、所望のキャプチャ姿勢のセットに属さない姿勢のための1つまたは複数の画像を、所望のキャプチャ姿勢のセットのためのシーンの画像から合成するように構成された画像合成器をさらに備えることができる。したがって、画像合成器は、画像がキャプチャされた姿勢とは異なる姿勢の新しい画像を合成するように構成されてもよい。このような画像合成は、当業者に周知の視点シフトアルゴリズムに基づくことができる。したがって、このアプローチは、シーンをキャプチャするための特に効率的なアプローチを提供することができ、それによって、例えば、シーンは限られたセットのキャプチャ姿勢からのみキャプチャされるにもかかわらず、すべての可能な姿勢からシーンを見る画像を生成することができる、画像合成のための適切な基礎を提供することができる。

キャプチャユニット101、および実際には多くの実施形態では画像キャプチャ装置全体を、例えばスマートフォンまたはハンドヘルドの静止画またはビデオカメラなどのハンドヘルドデバイスで実施することができる。このアプローチは、ユーザが姿勢インジケータによって提供されるガイドラインに従ってスマートフォン/カメラを単に移動させることができ、その結果、異なる有利なキャプチャ位置からシーンの3D特性を効果的にキャプチャするキャプチャプロセスを有利にサポートすることができる。

画像キャプチャ装置は、いくつかの実施形態では、キャプチャユニット101によってキャプチャされた画像を動的に表示するように構成されてもよい。例えば、いくつかの実施形態では、キャプチャユニット101は、動的にキャプチャされた画像を含むビデオ信号を効果的に提供するなど、ストリーミングキャプチャストリームを提供することができる。ディスプレイコントローラ107は、これらの画像を含む表示信号を生成することができ、これにより、キャプチャユニット101によって現在キャプチャされているものであるリアルタイム画像を提供することができる。ディスプレイコントローラ107はさらに、例えば、現在の姿勢を次のアンカー姿勢に変更するために必要な動きを示す1つまたは複数の矢印によって画像をオーバーレイすることによって、このリアルタイム画像を姿勢表示によってオーバーレイすることができる。別の例として、ディスプレイコントローラ107は、アンカーポイントが画像の上に重なって、アンカーポイントが三次元シーンのどこに配置されているかを示す表示信号を生成することができる。

しかしながら、多くの実施形態では、画像キャプチャ装置は、現在キャプチャされている画像を動的に表示しないように有利に構成される。これは、例えば、ビデオカメラではなく、静止画像カメラを使用することを可能にし、それによって、より高品質のキャプチャを提供することができる。さらに、多くの実施形態では、1つまたは複数の矢印などの単純な表示がユーザに表示され、アンカー姿勢に向かうガイダンスを提供する、容易化された動作を可能にすることができる。

一実施形態の特定の例として、シーンのキャプチャは、アンカー位置の事前定義されたグリッドを使用し、各アンカー位置について事前定義されたアンカー向きを用いて達成されるように意図されてもよい。例では、仮想カメラのグリッドが地表の上に1 つの水平面を形成する。姿勢のパターン/グリッドを図2に示す。図では、アンカー位置は、各アンカーに対してキャプチャされる４つの水平方向/向きを示す4つの矢印を持つ球/円として視覚化されている。図示するように、グリッドは、各位置に対して4つのアンカー方向を有する25のアンカー位置から成り、その結果、合計100のアンカー姿勢をもたらす。この例では、グリッドは、ほぼ目の高さ(1.7m)にある水平グリッドであり、ハンドヘルドデバイスを有するユーザがデバイスを比較的容易に移動させて所望のキャプチャを達成することを可能にする。例では、高さ(例えばy方向)はアンカー位置に対して一定であるが、横方向(x)とイン/アウト方向(z)の両方はアンカー位置によって異なる。同様に、向きについては、y成分は固定され、xおよびz方向は変化する。事実、向きについては、すべてのキャプチャ方向は水平であり、カメラの回転も静的である(画像は水平)。そのため、向きは、例えば、x方向に対する角度のように、単一の変数で表すことができる。したがって、この例では、姿勢は3つの成分を有する姿勢ベクトルによって表されることができる。

この例では、画像キャプチャ装置のディスプレイは、ユーザが前方(画像の中へ)または後方(画像の外へ)に移動すべきであるという表示をユーザに表示することができる。同時に、ユーザが右に移動すべきか左に移動すべきかを示すことができ、さらに、ユーザが時計回りに回転すべきか反時計回りに回転すべきかを示すことができる。これらの表示は、キャプチャユニット101の現在の姿勢を反映するように動的に更新されてもよく、ユーザが提供されたガイダンスに従う場合、これはユーザを次のアンカー姿勢に導く。キャプチャがこのアンカー姿勢に対して実行されたとき、表示は、次のキャプチャされていないアンカー姿勢を基準とするように変更されてもよい。したがって、ガイダンスに従うユーザは、すべての所望のアンカー位置から、およびすべての所望の方向におけるキャプチャをもたらすキャプチャシーケンスを通して導かれる。

別の例として、ディスプレイは、アンカー位置/姿勢がカメラに対してどこにあるかを連続的に示すパターンを呈示することができ、例えば、単一の円または球が、各アンカー位置に対して(おそらく、これらのためのアンカー方向を示すために延びる矢印と共に)示されてもよい。例えば、ディスプレイコントローラ107は、カメラから、すなわち現在のカメラ姿勢に対して見られるときの、シーン内のキャプチャ位置の位置を示すオーバーレイ又はグラフィック画像を効果的に生成することができる。カメラが動かされると、姿勢インジケータの位置は視点の変化を反映するように変化し、その結果、シーンの実際の3D空間におけるアンカー位置(または姿勢)の印象をユーザに提供する3D効果(例えば、視差)がもたらされる(事実上、仮想3D位置表示が生成される)。次いで、ユーザは、次のアンカー姿勢に移動するために、キャプチャユニット101を仮想位置表示に向かって移動させることができる。

したがって、このアプローチは、ハンドヘルドカメラまたはユーザが移動可能なカメラに基づく、便利でかつ効率的なキャプチャプロセスを可能にすることができる。注意すべきことであるが、このようなキャプチャ動作は、カメラが他のカメラの視界を隠すことになるので、単一のマルチカメラリグを使用しては不可能である。静的シーンのシーケンシャルスキャンは、実用的な解決策を提供することができる。

多くの実施形態では、画像キャプチャ装置は、現在の姿勢がキャプチャされていないアンカー姿勢に十分に近いという検出に応じて、キャプチャを実行するように構成されてもよい。例えば、キャプチャユニット101が或るアンカー姿勢の所与の距離および方向内であることが検出された場合、図3に例示されているように、そのアンカー姿勢に対して画像が自動的に取得されて記録されることができる。スキャンされたアンカーに関する視覚的フィードバックが、いくつかの実施形態では例えば、姿勢または位置表示の外観、例えば、色を変更することによって提供されてもよい。

多くの実施形態では、ディスプレイは3次元ディスプレイであってもよく、姿勢インジケータは３つ全ての次元を利用してもよい。例えば、次のアンカーポイントへの方向を示す3次元矢印を提示することができる。別の例として、アンカー位置のパターンを三次元で示すことができる。

多くの実施形態では、ディスプレイは、拡張現実ヘッドセット(例えば、拡張現実メガネまたは仮想現実ヘッドセット)のディスプレイであってもよい。このような場合の表示は、現在の頭の向きに対して示されてもよい。例えば、現在の頭位置に対するキャプチャユニット101の位置を、次のアンカーポイントの位置とともに示すことができる。したがって、ユーザはキャプチャユニット101の位置および現在の頭部姿勢に対応するアンカー位置の仮想表現を効果的に見ることになり、したがって、キャプチャユニット101を、キャプチャ位置にこれを位置決めするように移動させることができる。

したがって、このアプローチは、仮想または拡張現実眼鏡に関する向きで、所望のカメラ位置の予め定められたパターンおよび/または動的に決定されたパターンを視覚化することを含むことができる。このようなメガネを装着すると、ユーザは、キャプチャユニット101のカメラを仮想カメラ位置の近くに位置決めすることができる。カメラがアンカー姿勢から予め定められた距離および角度内にあるとき、カメラは自動的に写真を撮ることができ、対応するアンカー姿勢表示は、この姿勢についてキャプチャが実行されたこと、およびオペレータが次のアンカー姿勢に進むことができることを示すために色を変えることができる。

前述の例では、所望のキャプチャ姿勢のセットは、アンカーの向きが固定されたアンカー位置の規則的な格子又は立方体のような、アンカー姿勢の所定のセットに対応する。しかしながら、他の実施形態では、画像キャプチャ装置は、キャプチャされているシーンの特性に応じて所望のキャプチャ姿勢のセットを適応させるように構成されてもよい。

多くの実施形態では、姿勢プロセッサ105は、シーンについてキャプチャされたデータに応じて所望のキャプチャ姿勢のセットを決定するように構成されたキャプチャプロセッサ111に結合されてもよい。このようにして、所望のキャプチャ姿勢のセットを、特定のシーンの特性に適合させることができる。低複雑度の例として、画像キャプチャ装置は最初に、ランダムな視点から少数の画像をキャプチャし、例えば、シーンの変化の程度に依存するなど、画像の特性に依存して、キャプチャ領域の空間密度または範囲を調整することができる。

多くの実施形態では、アンカー姿勢の最適なセットは、現在の条件を反映するように適応的に決定される。

具体的には、キャプチャプロセッサ111は、シーンのためにキャプチャされたデータに応じて、所望のキャプチャ姿勢のセットのうちのキャプチャ姿勢の少なくとも幾つかを決定するように構成されてもよい。データは、具体的には、所望のキャプチャ姿勢のセット内のいくつかのキャプチャ姿勢についてキャプチャされた光強度画像データおよび/または奥行きデータ(および具体的には奥行き関連画像データ)とすることができる。したがって、キャプチャ姿勢のセットは、所望のキャプチャ姿勢のセットに既に含まれているキャプチャ姿勢について行われたキャプチャに基づいて動的に更新および修正され得る。

一例として、キャプチャプロセスは、予め定められたまたはデフォルトのキャプチャ姿勢のセットによって初期化されてもよく、例えば、このセットは、キャプチャ姿勢間の所与の距離を有する規則的なグリッドに対応するキャプチャ姿勢で初期化されてもよい。これに基づいて、キャプチャプロセスは、ユーザが適切な姿勢に案内され、それに応じてキャプチャが行われる状態で開始されることができる。次に、結果として得られる画像を処理して、例えば、シーンの奥行き特性を決定することができる。光強度および/または奥行きが分析されてもよく、この分析に基づいて、キャプチャプロセッサ111は例えば、いくつかのキャプチャ姿勢を所望のキャプチャ姿勢のセットに追加してもよい。例えば、1つの領域内のキャプチャ姿勢が、(例えば、大きな奥行き変動を有するシーンのこの部分によって推定される)特に複雑なシーンの一部をキャプチャしていることが分かった場合、キャプチャプロセッサ111は、シーンのその部分のための追加データを提供するために、その領域内にキャプチャ姿勢を追加することができる。たとえば、既存のキャプチャ姿勢の間にキャプチャ姿勢を追加できる。

キャプチャ姿勢のセットの適応は、どの程度うまくシーンがモデル化され得るか、またはアンカー姿勢のセットに含まれるアンカー姿勢に基づいて異なる視点についての画像が合成され得るかの評価に基づいてもよい。十分に正確な合成/モデリングが達成され得ないと推定される場合、これが達成され得ることを確実にするために、さらなるアンカー姿勢が含まれ得る。いくつかの実施形態では、キャプチャプロセッサ111は、図2のものと同様のグリッドシステムのような予め定められたパターンを適用することができるが、例えば、得られたモデリング/合成がこのグリッドに対してどれだけ正確であると仮定されるかに基づいて、グリッドに含まれるアンカー位置のサイズおよび数を変化させることができる。他の実施形態では、シーンをモデル化/合成することが他の領域より困難である領域において、アンカーポイントのより高い空間的集中/密度が導入される、アンカーポイントの局所的な変化が採用されてもよい。

いくつかの実施形態では、モデル/合成品質の評価がキャプチャプロセスを開始するときにのみ考慮されてもよく、所望のキャプチャ姿勢のセットの適応決定は1回のみ実行されてもよい。多くの他の実施形態では、所望のキャプチャ姿勢のセットは、キャプチャ動作中に適応的かつ動的に決定されてもよく、所望のキャプチャ姿勢のセットはプロセスの以前のキャプチャに応じて変更されてもよい。

例えば、キャプチャプロセス中に、シーンの所与のビューを隣接する(キャプチャされた)ビューからどの程度良好に合成することができるかの推定を行うことができる。これが高品質で達成可能であると期待されるとき、例えば、シーンの複雑さが低い、または視点補間アルゴリズムが効率的であるとき、アンカー姿勢のセットは、例えばアンカー姿勢を除去することによって、この領域ではより低密度にされることができる。逆に、合成されるビューの品質が低いと予想される場合、例えばアンカー姿勢を追加することによって、アンカー姿勢の空間密度を維持または増加させることができる。このようにして、アンカー姿勢のセット、および、例えば、対応する表示されるパターンは、キャプチャプロセスの間に変化し得る。

多くの実施形態では、キャプチャプロセッサ111は、可能な品質のかなり複雑で正確な分析を実行することができる。例えば、キャプチャプロセッサ111は、既存のアンカー姿勢からのキャプチャの異なるセットから同じ視点のためのビューを合成し、得られた合成されたビューを比較することさえ可能である。ビューが十分に類似している場合、追加の姿勢は追加されないが、結果として得られるビューが大幅に異なる場合、視点に対応する新しいアンカー姿勢がアンカー姿勢のセットに追加される。

多くの実施形態では、より単純なアプローチを使用して、所望のキャプチャ姿勢のセットを適応させるのに適した手段を決定することができる。例えば、多くの実施形態では、シーンについてキャプチャされたデータに応じてシーンの複雑さの尺度が決定されてもよく、所望のキャプチャ姿勢のセットはこの複雑さの尺度に応じて適応されてもよい。典型的には、シーンの複雑さが増加すると、キャプチャプロセッサ111は、アンカー姿勢の数/密度を増加させ、シーンの複雑さが減少すると、アンカー姿勢の数/密度を減少させる。従って、実際のカメラビューが近隣のアンカーキャプチャからどの程度良好に補間できるかを推定するための発見的手法として、シーン複雑性が使用される。

多くの実施形態では、キャプチャプロセッサ111は、シーンの奥行きデータに基づいて所望のキャプチャ姿勢のセットを適応させるように構成されてもよい。奥行きデータは、具体的には視差、z値、または奥行き値が提供される画像位置に対応するシーン内のカメラからオブジェクトまでの距離を示す任意の他の値とすることができる。

したがって、多くの実施形態では、画像キャプチャ装置は、シーンのキャプチャのための奥行き値を決定するように構成された奥行きプロセッサ113を備えることができる。したがって、所与のキャプチャ姿勢について、奥行きプロセッサ113は、キャプチャユニット101から、その所与のキャプチャ姿勢に対するシーンのオブジェクトまでの距離を反映する奥行き値を決定することができる。

いくつかの実施形態では、奥行きプロセッサ113は、奥行き測定機能を直接備えることができ、例えば、測距機能を備えることができる。他の実施形態では、奥行きプロセッサ113は、例えばキャプチャユニット101によってキャプチャされた画像から奥行き値を決定するように構成されてもよい。例えば、キャプチャユニット101がステレオカメラを備える場合、奥行きプロセッサ113は、(典型的には当業者には周知であるように、視差推定を使用して)キャプチャユニット101によって生成されたステレオ画像から奥行き値を決定するように構成されてもよい。別の例として、キャプチャユニット101が2Dカメラを備える場合、奥行きプロセッサ113は、異なる姿勢についての画像を比較することによって、(ここでも、典型的には、視差推定に基づいて)奥行き値を決定するように構成され得る。

実際、奥行きプロセッサ113は図1では別個の機能ブロックとして示されているが、キャプチャユニット101の一部と考えられることが多い。

多くの実施形態では、キャプチャプロセッサ111は、追加的に又は代替的に、シーンの光照射場データ/画像データに基づいて、所望のキャプチャ姿勢のセットを適応させるように構成されてもよい。したがって、多くの実施形態では、キャプチャプロセッサ111は、視覚画像データを考慮することができる。

一例として、シーンの複雑さの尺度は、多くの場合、奥行きデータ、画像データ、または奥行きデータと画像データの両方に基づいて決定されることができる。例えば、奥行きデータが、例えば比較的頻繁で比較的急峻なステップ変化を伴う、シーンにおける大きな奥行き変動があることを示す場合、これは、シーンが複雑であり、アンカー姿勢のより高い空間密度を必要とすることの指標であると考えることができる。同様に、画像が非常に異なる視覚特性を有する画像セグメントに関する大きな変動を有する場合、これは、シーンの高い複雑性の指標として見ることができ、したがって、キャプチャプロセッサ111は、アンカーセットの空間密度を増加させることができる(例えば、画像セグメント化が多くの比較的小さい画像オブジェクトをもたらし、これらのオブジェクトが非常に異なる色および/または強度を有する場合)。対照的に、奥行きおよび/または視覚的変動が低い場合、シーンは比較的低い複雑性を有していると考えられ、アンカー姿勢の空間的密度は低減され得る。

このアプローチは例えば、比較的多数の小さなオブジェクトを有するシーンでは、オブジェクトが少ないか又は全くないシーンよりも、より多数のキャプチャ姿勢が典型的に必要とされることを反映することができる。

多くの実施形態では、所望のキャプチャ姿勢のセットを適応させるために使用されるデータは、既存のアンカー位置からキャプチャされたデータであってもよい。これは、追加のキャプチャを行う必要も処理される必要もないので、多くの実施形態での動作を容易にすることができる。また、多くの実施形態では、アンカー点から見られたときの推定シーン特性を直接反映するので、改善された結果を提供することができる。

いくつかの実施形態では、適応がグローバル適応であってもよく、すなわち、シーンの複雑さが増加する場合、すべてのアンカー姿勢間の距離が減少し、より多くのアンカー姿勢の総数が増加する。しかしながら、多くの実施形態では、データがキャプチャされたところの近傍におけるアンカーポイントの数のみが変更される、より局所的な効果が採用される。これは、シーンの複雑さの変化が考慮されて、シーンの複雑さを反映するためにアンカー姿勢の密度が変化する、より柔軟なアプローチを可能にし得る。

このようなアプローチの例を図4に示す。この図は、2つの異なるシーン(又は異なるシーン複雑度を見る2つの位置でシーンをキャプチャしようとする2つの異なる位置)のためのキャプチャユニット101を示す。右側の例はシーンが比較的低いシーン複雑度を有し、アンカー姿勢401の予め定められた規則的なグリッドが、この近傍からキャプチャするために使用され得るシナリオを示す。対照的に、左側のシナリオは、シーンが比較的高い複雑さを有し、これがアンカーポイントの空間密度の増加をもたらした例を示す。具体例において、これは、アンカー姿勢の予め定められたグリッドに新しいアンカー姿勢403を追加することによって達成される。

前の例は、シーン全体について、シーンの複雑さおよび所望のキャプチャ姿勢のセットの適応が考慮された例に焦点を当てた。しかしながら、多くの実施形態では、適応がより局所化されてもよく、シーンのそれぞれの部分に対して変化してもよい。従って、アンカー位置の空間密度は、シーンの複雑さがより高い領域では増加され、シーンの複雑さが低い領域では減少されることができる。図4は、アンカー姿勢のパターンが局所的特徴に応じてシーンの異なる領域に対してどのように変化し得るかかの例と考えられ、すなわち、2つのシナリオは同じシーンの異なる領域/部分を反映し得る。

いくつかの実施形態では、キャプチャプロセッサ11は、第1の姿勢においてキャプチャされたデータが奥行き変動の増加を示すことに応じて、第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を増加させるように、および/または、第1の姿勢でキャプチャされたデータが奥行き変動の減少を示すことに応答して、近傍における空間密度を減少させるように、特に構成されてもよい。

前述したように、異なる奥行きにおける比較的多数の異なるオブジェクトの存在に対応する複数の奥行き遷移の存在(または非存在)を反映しようとする奥行き変動推定値が生成されることができる。これは、例えば、奥行きマップ内の奥行き遷移に基づいてセグメントを識別し、次いで、そのようなセグメントがいくつ見つかったかを判定することによって達成されることができる。多くの他のアプローチが、適切な奥行き変動尺度を決定するために使用されてもよいことが理解されるであろう。

いくつかの実施形態では、キャプチャプロセッサ111は、シーンのオブジェクトの表面の粗さの増加を示す尺度に応じて、所望のキャプチャ姿勢のセットを適応させるように構成されてもよい。例えば、キャプチャプロセッサ111は、キャプチャユニット101のカメラによってキャプチャされた画像内の特定のオブジェクト(例えば、最大のオブジェクト)を識別することができる(例えば、当業者に知られているように、適切な特性を有するセグメントの識別に基づいて)。次いで、キャプチャプロセッサ111は、関連する奥行きマップの対応するセクションを分析して、この領域内の奥行き変動を決定することができる。奥行き変動が比較的小さい場合、オブジェクトの表面は比較的滑らかであり得、オブジェクトは、粗い表面を有するオブジェクトを反映する奥行き変動が比較的大きい場合よりも少ないアンカー姿勢を使用して正確に表され得る。

幾つかの実施形態では、キャプチャプロセッサ111は、付加的に又は代替的に、画像、特にオブジェクト表面に対応する画像セグメントが、どの程度高度にテクスチャ化されているかを考慮することができる。例えば、奥行きデータに基づいて表面がどのくらい粗いかを評価するために識別されたオブジェクトは、代替的に又は追加的に、画像データを使用して評価されてもよい。オブジェクトが大きなテクスチャ変動を示す場合、これは、オブジェクトが複雑で変動する表面を有する可能性があり、したがって、表面が正確にキャプチャされることを確実にするためにアンカー姿勢の空間密度を増大させることができることを示唆する。逆に、テクスチャ変動が非常に小さい場合、これは、滑らかな表面を示す可能性があり、より少ないアンカー姿勢を使用することができる。

いくつかの実施形態では、キャプチャプロセッサ111は、第1の姿勢でキャプチャされたデータがシーンのオブジェクトまでの距離の減少を示すことに応じて、第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を増加させるように構成される。代替的に又は典型的には追加的に、キャプチャプロセッサ111は、第1の姿勢でキャプチャされたデータがシーンのオブジェクトまでの距離の増加を示すことに応じて、第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を減少させるように構成されてもよい。

オブジェクトがカメラから比較的遠く離れている場合には、これは典型的には異なる側面の改善された視認性を提供し、ビュー姿勢を変更したときの変化が少なくなるため、シーンは特に複雑ではないとみなされる。また、シーンの他の部分のオブジェクトによる遮蔽が少なくなる傾向がある。同様に、オブジェクトがカメラに比較的近い場合、オブジェクトの変動を正確に反映するためにより詳細なキャプチャを必要とし、さらに、オブジェクトが一般にシーンのより大きな部分を遮蔽し、それによって遮蔽解除を可能にするために追加のアンカー姿勢を必要とするので、シーンはより複雑であると考えることができる。

所望のキャプチャ姿勢の空間密度の増加および減少は例えば、既存の所望のキャプチャ姿勢のセットに新しい所望のキャプチャ姿勢を追加することによって、および/または、既存の所望のキャプチャ姿勢のセットに新しい所望のキャプチャ姿勢を除去することによって、前述のように達成され得る。これは、多くの実施形態において、所望のキャプチャ姿勢のセットの効果的な生成を可能にし、有利には所望のキャプチャ姿勢の考慮される公称セットの周りの変動をもたらす傾向があり得る。例えば、経験から、オブジェクトから1/2度ごとに視点をキャプチャする必要がある。オブジェクトまでの奥行きを知ることにより、キャプチャユニットの空間サンプル間隔が自動的に提供される。しかしながら、キャプチャプロセッサ111は、これを修正して、局所的な変動を反映することができ、具体的には、複雑さが高いところでアンカー位置を追加し、複雑さが低いところでアンカー位置を除去することができる。しかしながら、キャプチャが予め定められたセットに基づくので、追加または除去する必要があるアンカー位置の量は多くの場合比較的少なく、低い複雑さの動作を達成することができる。さらに、このアプローチは、適応が極端すぎないように制御することが比較的容易であることを保証する。例えば、それは、低い複雑さの近傍に対してさえも依然として十分なアンカー位置があること、及び高い複雑さの近傍に対してさえもあまり多くのアンカー位置がないことを保証するための容易な制御を可能にする。

どのキャプチャ姿勢を除去または追加するかを決定するために、異なる選択基準を使用することができることが理解されよう。例えば、いくつかの実施形態では、キャプチャプロセッサ111は、空間密度を減少させるために1つおきのキャプチャ位置を単に除去するか、または空間密度を増加させるために既存のキャプチャ位置の中間に新しいキャプチャ位置を追加することができる。

明確にするための上記の説明は、異なる機能回路、ユニット、およびプロセッサを参照して本発明の実施形態を説明したことが理解されるのであろう。しかしながら、本発明から逸脱することなく、異なる機能回路、ユニット、またはプロセッサ間での機能の任意の適切な分散を使用できることは明らかであろう。例えば、別々のプロセッサまたはコントローラによって実行されるように示された機能が同じプロセッサまたはコントローラによって実行されてもよい。したがって、具体的な機能ユニットまたは回路への言及は、厳密な論理的または物理的な構成または編成を示すのではなく、記載された機能を提供するための好適な手段への言及としてのみ見なされるべきである。

「の近傍にある」のような用語は当業者にとって不明瞭な用語ではなく、そのような用語の絶対値はいくつかの特許請求の範囲を不公平に制限するので、本特許出願において一般的には与えられ得ない。当業者は任意の絶対値が本発明の画像キャプチャ装置を設計する当業者の選択である所望の品質に依存することを認識して、「の近傍にある」の定義を自由に決定することができる(かつ、自由に決定すべき)ことを理解するのであろう。近傍の正確な選択は、個々の実施形態の特定の設計選択および要件に依存する。

本発明は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組合せを含む任意の適切な形態で実施することができる。本発明は、任意選択で、1つまたは複数のデータプロセッサおよび/またはデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実装され得る。本発明の実施形態の要素および構成要素は、任意の適切な方法で物理的、機能的、および論理的に実装され得る。実際、機能は、単一のユニットで、複数のユニットで、または他の機能ユニットの一部として実装されてもよい。したがって、本発明は、単一のユニットで実施されてもよく、または異なるユニット、回路、およびプロセッサの間で物理的および機能的に分散されてもよい。

本発明はいくつかの実施形態に関連して説明されてきたが、本明細書に記載された特定の形態に限定されることは意図されていない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。さらに、特徴は特定の実施形態に関連して説明されるように見えるかもしれないが、当業者は説明された実施形態の様々な特徴が本発明に従って組み合わされ得ることを認識するのであろう。請求項において、「有する(comprising)」という用語は、他の要素又はステップの存在を排除するものではない。

さらに、個別に列挙されているが、複数の手段、要素、回路、または方法ステップは例えば、単一の回路、ユニット、またはプロセッサによって実装され得る。さらに、個々の特徴が異なる請求項に含まれてもよいが、これらは場合によっては有利に組み合わされてもよく、異なる請求項に含まれることは特徴の組み合わせが実現可能ではなく、かつ/または有利ではないことを意味しない。また、請求項の1つのカテゴリに特徴を含めることは、このカテゴリへの限定を意味するものではなく、むしろ、その特徴が必要に応じて他の請求項カテゴリに等しく適用可能であることを示す。さらに、請求項中の特徴の順序は、それらの特徴を実施しなければならない特定の順序を意味するものではなく、特に、方法請求項の個々のステップの順序は、当該ステップをこの順序で実施しなければならないことを意味するものではない。むしろ、ステップは、任意の適切な順序で実行されてもよい。さらに、単数形の参照は、複数形を除外しない。従って、「a」、「an」、「第1」、「第2」等を参照しても、複数を排除するものではない。特許請求の範囲の参照符号は、単に実施例を明確にするために記載されているにすぎず、特許請求の範囲を何らかの形で限定するものと解釈してはならない。

Claims (16)

1. シーンの画像をキャプチャするためのキャプチャユニットと、
   前記キャプチャユニットの姿勢を動的に決定するためのトラッカと、
   所望のキャプチャ姿勢のセットに対する前記キャプチャユニットの現在の姿勢を決定するための姿勢プロセッサと、
   ディスプレイと、
   前記姿勢プロセッサに結合され、現在のキャプチャ姿勢表示を提示するように前記ディスプレイを制御するためのディスプレイコントローラであって、前記現在のキャプチャ姿勢表示が、キャプチャユニットの画像面の外側の方向における前記所望のキャプチャ姿勢のセットに対する前記キャプチャユニットの現在の姿勢の位置の表示を含む、ディスプレイコントローラと、
   前記シーンについてキャプチャされたデータに応じて前記所望のキャプチャ姿勢のセットのうちのキャプチャ姿勢の少なくともいくつかを決定するように構成されたキャプチャプロセッサと、
   を有し、
   前記キャプチャプロセッサが、第1の姿勢でキャプチャされたデータに応じて、前記第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を変化させるように構成される、画像キャプチャ装置。
2. 前記キャプチャプロセッサが、前記第1の姿勢でキャプチャされたデータが増加する奥行き変動を示すことに応じて、前記第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を増加させるように構成される、請求項１に記載の画像キャプチャ装置。
3. 前記キャプチャプロセッサが、前記第1の姿勢でキャプチャされたデータが前記シーンのオブジェクトまでの距離の減少を示すことに応じて、前記第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を増加させるように構成される、請求項１または２に記載の画像キャプチャ装置。
4. 前記キャプチャプロセッサが、前記第1の姿勢でキャプチャされたデータが前記シーンのオブジェクトの表面の粗さの増加を示すことに応じて、前記第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を増加させるように構成される、請求項１から３のいずれか一項に記載の画像キャプチャ装置。
5. 前記データが奥行きデータを含む、請求項1から４のいずれか一項に記載の撮像装置。
6. シーンの画像をキャプチャするためのキャプチャユニットと、
   前記キャプチャユニットの姿勢を動的に決定するためのトラッカと、
   所望のキャプチャ姿勢のセットに対する前記キャプチャユニットの現在の姿勢を決定するための姿勢プロセッサと、
   ディスプレイと、
   前記姿勢プロセッサに結合され、現在のキャプチャ姿勢表示を提示するように前記ディスプレイを制御するためのディスプレイコントローラであって、前記現在のキャプチャ姿勢表示が、キャプチャユニットの画像面の外側の方向における前記所望のキャプチャ姿勢のセットに対する前記キャプチャユニットの現在の姿勢の位置の表示を含む、ディスプレイコントローラと、
   前記シーンについてキャプチャされたデータに応じて前記所望のキャプチャ姿勢のセットのうちのキャプチャ姿勢の少なくともいくつかを決定するように構成されたキャプチャプロセッサと、
   を有し、
   前記キャプチャプロセッサが、複数の姿勢のうちの第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を、前記近傍における所望のキャプチャ姿勢の予め定められたセットに少なくとも1つの所望のキャプチャ姿勢を追加することによって、増加させるように構成される、画像キャプチャ装置。
7. 前記キャプチャプロセッサが、複数の姿勢のうちの第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を、前記近傍における所望のキャプチャ姿勢の予め定められたセットに少なくとも1つの所望のキャプチャ姿勢を追加することによって、増加させるように構成される、請求項1から5のいずれか一項に記載の画像キャプチャ装置。
8. シーンの画像をキャプチャするためのキャプチャユニットと、
   前記キャプチャユニットの姿勢を動的に決定するためのトラッカと、
   所望のキャプチャ姿勢のセットに対する前記キャプチャユニットの現在の姿勢を決定するための姿勢プロセッサと、
   ディスプレイと、
   前記姿勢プロセッサに結合され、現在のキャプチャ姿勢表示を提示するように前記ディスプレイを制御するためのディスプレイコントローラであって、前記現在のキャプチャ姿勢表示が、キャプチャユニットの画像面の外側の方向における前記所望のキャプチャ姿勢のセットに対する前記キャプチャユニットの現在の姿勢の位置の表示を含む、ディスプレイコントローラと、
   前記シーンについてキャプチャされたデータに応じて前記所望のキャプチャ姿勢のセットのうちのキャプチャ姿勢の少なくともいくつかを決定するように構成されたキャプチャプロセッサと、
   を有し、
   前記ディスプレイコントローラが、前記キャプチャユニットによって現在キャプチャされている画像を表示することなく、前記現在のキャプチャ姿勢表示を提示するように前記ディスプレイを制御するように構成される、画像キャプチャ装置。
9. 前記ディスプレイコントローラが、前記キャプチャユニットによって現在キャプチャされている画像を表示することなく、前記現在のキャプチャ姿勢表示を提示するように前記ディスプレイを制御するように構成される、請求項1から7のいずれか一項に記載の画像キャプチャ装置。
10. 前記現在のキャプチャ姿勢表示が、前記所望のキャプチャ姿勢のセットに対する前記キャプチャユニットの向きの表示を含む、請求項1から9のいずれか一項に記載の画像キャプチャ装置。
11. 前記ディスプレイが三次元ディスプレイであり、前記現在のキャプチャ姿勢表示は、前記所望のキャプチャ姿勢のセットのうちの或る姿勢への方向の三次元表示である、請求項10に記載の画像キャプチャ装置。
12. 前記ディスプレイが拡張現実ヘッドセットのディスプレイであり、前記現在のキャプチャ姿勢表示は、前記現在の姿勢の位置に対する所望のキャプチャ姿勢の位置を示す、請求項１から１１のいずれか一項に記載の画像キャプチャ装置。
13. 前記キャプチャユニットがハンドヘルド装置に含まれる、請求項１から１２のいずれか一項に記載の画像キャプチャ装置。
14. - 前記所望のキャプチャ姿勢のセットのための前記シーンの画像から前記所望のキャプチャ姿勢のセットに属さない姿勢のための画像を合成するための画像合成器、
    - 前記所望のキャプチャ姿勢のセットのための前記シーンの画像から前記シーンのモデルを生成するためのモデルプロセッサ、
    のうちの少なくとも1つをさらに含む、請求項1から請求項１３のいずれか一項に記載の画像キャプチャ装置
15. シーンの画像をキャプチャすることができるキャプチャユニットの姿勢を動的に決定するステップと、
    所望のキャプチャ姿勢のセットに対する前記キャプチャユニットの現在の姿勢を決定するステップと、
    現在のキャプチャ姿勢表示を提示するためにディスプレイを制御するステップであって、前記現在のキャプチャ姿勢表示は、前記キャプチャユニットの画像面の外側の方向における前記所望のキャプチャ姿勢のセットに対する前記キャプチャユニットの現在の姿勢の位置の表示を含む、ステップと、
    シーンの画像をキャプチャするステップと、
    前記シーンについてキャプチャされたデータに応じて、前記所望のキャプチャ姿勢のセットのうちのキャプチャ姿勢の少なくともいくつかを決定するステップであって、第1の姿勢でキャプチャされたデータに応じて、前記第1の姿勢の近傍における所望のキャプチャ姿勢の空間密度を変化させるステップと、
    を有する、画像キャプチャ方法
16. 画像キャプチャ装置のコンピュータで実行されて、前記コンピュータに請求項１５に記載の全てのステップを実行させる、コンピュータプログラム。

Images