JP6469080B2 - １つ以上の衛星デバイスを有する能動的なステレオ - Google Patents

Description

能動的なステレオシステムによって使用されるような能動深度感知において、プロジェクタは、赤外（ＩＲ）ドット又はＩＲ線のような光のパターンを投影して、感知されているシーンを照明する。プロジェクタは、約１Ｗの電力を消費するレーザを使用し得ることに留意されたい。これは、プロジェクタが多くの電力を消費するために、典型的に壁コンセントにプラグインされるデバイスの一部とする代わりに、スマートフォンやタブレットといった小さな衛星デバイスに組み込むことは、ほとんどできないことを意味する。

投影されるパターンは、次いで、深度マップ又は同様のものを計算するよう処理される画像（複数可）とともに、カメラ／センサ（ステレオシステム内では２つ以上）によってキャプチャされる。例えばステレオシステムでは、ステレオカメラが異なる視点から２つの画像をキャプチャする。次いで、例えば画像のステレオペアを伴う深度推定を実行する１つの方法は、画像間の対応を見つけること、例えば左の画像内の投影及び感知されたドットと、右画像内の対応するドットを相関させることである。マッチすると、両画像内の投影されたパターンは相互に相関され、そして可能であれば、相関されたドットの１つ以上の特徴（例えば強度を含む）の間の差異とともに三角測量を使用して、その特定の投影ドットによって照らされる対象物までの深度を推定することができる。

ほとんどのシナリオにおいて、ステレオ画像をキャプチャするカメラは、部屋のように比較的大きな空間を感知するように配置され、比較的大きい可能性がある。その結果、顔のように遠くの対象物（object）は、比較的少ない数のカメラピクセルのみにしか現れない。したがって、顔認識等のような多くのアプリケーションによって必要とされるほど十分な詳細及び／又は正確な深度推定は利用可能でない。

この「発明の概要」における記載は、以下で「発明を実施するための形態」において更に説明される代表的な概念の選択を簡略化した形で紹介するために提供される。この「発明の概要」における記載は、特許請求に係る主題の主要な特徴又は本質的な特徴を特定するようには意図されておらず、また特許請求に係る主題の範囲を限定するような方法で使用されることも意図されていない。

簡潔に言うと、本明細書で説明される主題の様々な態様の１つ以上は、衛星（例えばモバイル）デバイスからの情報を使用して、基地局のような別のデバイスによって計算される深度データを強化することを対象とする。１つ以上の態様は、衛星デバイスからの画像関連のデータを他のデバイスにおいて受け取り、この画像関連のデータ及び衛星デバイスのポーズ（pose）情報に少なくとも部分的に基づいて、深度データの第１のセットを強化することを対象とする。

１つ以上の態様において、基地局は、衛星デバイスのポーズ情報を決定し、１つ以上の画像をキャプチャするように構成される。基地局は、画像関連のデータを衛星デバイスから受け取り、ポーズ情報及び画像関連のデータに少なくとも部分的に基づいて、深度マップを計算する。

１つ以上の態様は、基地局において衛星デバイスからの画像関連のデータを受け取り、基地局において、能動的に照明される（actively illuminated）ステレオ画像をキャプチャすることを対象とする。衛星デバイスに対応するポーズ情報が決定される。能動的に照明されるステレオ画像は、基地局の視点から、画像関連のデータに対応する深度情報によって強化される深度マップを決定するように処理される。

他の利点は、以下の詳細な説明を図面と関連して考慮するときに、以下の詳細な説明から明らかになり得る。

本発明は、限定ではなく例として添付の図面に図示されている。図面において、同様の参照番号は類似する要素を示す。
１つ以上の例示の実装に従って、シーンに光パターンを投影する基地局を表す図であって、衛星デバイスが、シーンの少なくとも一部をキャプチャする様子を示す図である。 １つ以上の例示の実装に従って、深度データへと処理するために画像を投影してキャプチャするのに使用され得る例示のコンポーネントを表すブロック図である。 １つ以上の例示の実装に従って、基地局データと衛星データを深度データへと処理する例を表すブロック図である。 １つ以上の例示の実装に従って、ある衛星デバイスのデータと別の衛星デバイスのデータとを深度データへと処理する例を表すブロック図である。 １つ以上の例示の実装に従って、基地局に信号伝達するように構成される衛星デバイスを表す図である。 １つ以上の例示の実装に従って、単一の衛星デバイスカメラから深度データを決定し得る方法を表す図である。 １つ以上の例示の実装に従って、単一の衛星デバイスカメラから深度データを決定し得る方法を表す図である。 １つ以上の例示の実装に従って、深度マップを決定する際に使用するために、衛星デバイスから画像関連のデータを取得する例示のステップを表すフロー図である。 本明細書で説明される様々な実施形態の１つ以上の態様を実装することができる、モバイルデバイスの形式の例示の非限定的なコンピューティングシステム又は動作環境を表すブロック図である。

本明細書で説明される技術の様々な態様は、概して、スマートフォンやタブレットコンピュータといった衛星（例えばモバイル）デバイスを使用して、例えば深度感知を向上させ、更なる画像の詳細を提供し、かつ／又はポーズを推定すること等のために、能動的な照明の基地局との間で情報を通信することを対象とする。同時に、衛星デバイスは、衛星デバイス自体の能動的な感知のために、基地局の能動的な照明を利用するので、衛星デバイスは、光パターンを投影するのにバッテリ電力を消費する必要がない。

１つ以上の代替形態では、複数の衛星デバイスが、外部ソースからの投影された光を使用して、画像／深度／これらから計算される位置データを相互間で通信することができる。深度及びシーンに関する他の有益なデータは、固定の基地局の必要性なしに、これらのデバイスに利用可能にすることができる。

本明細書における例示のいずれも、非限定的であることを理解されたい。例えば衛星デバイスは、本明細書では概してモバイルとして例示されるが、１つ（又は１つより多くの）補助デバイスが、所望により基地局と較正され得る「固定の衛星（fixed satellite）」として配置されてもよい。これは、例えばシーンの何らかの顕著な部分により近いカメラを提供するのに使用され得る。したがって、本明細書で使用されるとき、「衛星」という用語は、モバイルである必要はなく、任意の補助デバイスを含んでもよい。別の例として、飛行時間（time-of-flight）カメラが、少なくとも何らかのデータを決定するのに使用されてもよい。したがって、本発明は、本明細書で説明されるいずれかの特定の実施形態、態様、概念、構造、機能又は例に限定されない。むしろ、本明細書で説明される実施形態、態様、概念、構造、機能又は例はいずれも非限定的であり、本発明は、能動的な深度感知及び画像キャプチャ及び一般的な処理における利点及び効果を提供する様々な方法で使用され得る。

図１は、基地局１００が、異なる視点からシーン１０４の画像をキャプチャするステレオ（例えば赤外）カメラ１０２及び１０３を含む一実装を例示している。プロジェクタ１０６は、光パターン（例えば約１００，０００ポイント）でシーン１０４を照らす。光パターンは疑似乱数であってもよく、回折光素子を通してレーザ光を放射することにより生成され得る。代わりに線パターンや他の形状のスポット等が生成され、感知されることもあるが、簡潔性の目的で、本明細書では、放射されたパターンのポイント／コンポーネントを一般的にドットと称する。

カメラ１０２及び１０３は、シーン２２２及び（場合によっては）背景内の物体面からドットが反射されると、これらのドットをキャプチャする。一般に一方のカメラ（例えば１０２）によって感知されるドットは、画像処理１０８（例えばシステム又はサブシステム）を介して他のカメラ（例えば１０３）によって感知されるドットと相関され、これにより、各ドットが入射した反射面までの距離を（例えば三角測量により）提供することができる。図１は、いずれかのサイズ、距離、ドットの分散パターン、ドットの密度についてスケーリングするよう意図されておらず、またこれらを示すようにも意図されていないことに留意されたい。

また、基地局１００は、クリーンなＩＲカメラ、例えば能動照明パターンをブロックするフィルタを有するＩＲカメラ及び／又は可視光をキャプチャするＲＧＢカメラを含むこともあり、その双方が存在する場合は、これらのカメラを単一のカメラに組み合わせてもよい。図１のカメラ１１２は、これらの代替的なカメラのうちのいずれかを表す。

図１に示されるように、シーン１０４内で感知される対象物の１つは、モバイルのスマートフォン又はタブレットコンピューティングデバイスといった、衛星デバイス１１０であり得る。同時に、衛星デバイスは、例えばその深度を含め、シーン内の他の対象物を感知していることがあり、これは、例えば照明パターンを感知し、場合によっては、そのクリーンＩＲ及び／又はＲＧＢ画像を感知するステレオＩＲカメラ等を介して行われる。

図２は、例示の基地局１００を示しており、基地局１００内では、画像キャプチャシステム又はサブシステム２２４のステレオカメラ１０２及び１０３が、時間で同期される画像をキャプチャする（例えばこれらのカメラは“ゲンロック（genlocked）”される）。一実装において、カメラは赤外（ＩＲ）画像をキャプチャするが、これは、ＩＲがシーンの視覚的外観に影響しないためである（このことは、例えばビデオ会議やオブジェクトモデル化アプリケーションにおいて非常に有利である）。容易に認識されるように、スタジオ環境のような一部のシナリオでは、２つより多くのＩＲ深度感知カメラが存在してもよい。さらに、ＲＧＢカメラのような１つ以上の他のカメラが、所与のシステム内に存在してもよく、そのような他のカメラを使用して、例えば画像を整列させ、異なるステレオ画像内のドットのペアを相関させること等を助けることができる。

図２では、プロジェクタ１０６は、ＩＲパターンをシーン上に投影する。シーンを比較的多数の分散赤外ドットで照らすことにより、カメラ１０２及び１０３は、更なるテクスチャデータを赤外画像データの一部としてキャプチャすることができる。プロジェクタ１０６の配置は、カメラの外側（例えば図２）であっても、カメラの間（例えば図１）であってもよく、あるいは、双方の又は一方のカメラの上又は下のような別の位置であってもよいことに留意されたい。この説明における例は、カメラ１０２、１０３及び／又はプロジェクタ１０６が互いに対して配置される場所を限定するものではなく、カメラを、互いに対して異なる位置に配置してよい。

一実装において、例示の画像キャプチャシステム又はサブシステム２２４は、カメラインタフェース２３０を介してカメラ１０２及び１０３の動作を制御し、存在する場合にはカメラ１１２の動作も制御するコントローラ２２８を含む。例示されるコントローラは、プロジェクタインタフェース２３２を介してプロジェクタ１０６の動作も制御する。例えばカメラ１０２及び１０３は、例えば１つのコントローラの信号（あるいはカメラ毎に異なる信号）等によって、ステレオ画像を同時にキャプチャするように同期（ゲンロック）される。プロジェクタ１０６は、例えばターンオン又はターンオフされるか、パルス化されるか、そうでなくとも制御可能に変化する１つ以上のパラメータを有することがある。

カメラ１０２及び１０３（存在する場合は、更にカメラ１１２）によってキャプチャされる画像は、ハードウェア及び／又はソフトウェアで（例えばコンピュータ読取可能命令として）実装されるロジックを備える画像処理１０８システム又はサブシステムに提供される。一部の実装では、画像処理システム１０８と画像キャプチャシステム又はサブシステム２２４を、あるいはこれらの一部を組み合わせて、単一のデバイスにしてもよい。例えばホームエンターテイメントデバイスが、図１に示されるコンポーネント（並びに図示されないコンポーネント）の全てを含んでもよい。他の実装では、カメラ及びプロジェクタといった、画像キャプチャシステム又はサブシステム２２４の一部（又は全て）が、ゲームコンソール、パーソナルコンピュータ、衛星デバイス、専用の処理デバイス及び／又は同様のものに結合する別個のデバイスであってもよい。

１つ以上の実装において、画像処理システム又はサブシステム１０８は、プロセッサ２４０と、１つ以上の画像処理アルゴリズム２４４を含むメモリ２４２とを含む。１つ以上の深度マップ２４６は、アルゴリズム１２４により、例えば合致する（ドット及び／又は線といった）特徴を抽出すること等によって取得され得る。例えば既知であるように、例えば米国特許出願公開第２０１３／０，１００，２５６号で説明されるように、異なるドット又は他の投影される素子は、キャプチャされるとき、プロジェクタから反射面までの距離及び／又はカメラから反射面までの距離に応じて、強度（明度）を含め異なる特徴を有する。これもまた知られているように、（例えばゲンロックされるステレオカメラにより）同時に撮られた異なる画像内のドットは、同じ瞬間にキャプチャされた同じシーンのＲＧＢ画像の間の小さい（例えばＲＧＢ）パッチを合致させること等により、相互に相関され得る。したがって、キャプチャされた画像により、既知のアルゴリズムは、深度を決定するために合致したドット間の特定の特徴の三角測量／差異を使用して、各画像内の投影された光コンポーネント（例えばドット）を合致させることにより、個々の深度に関連する特徴（深度マップ）を決定することができる。これは、ステレオ画像処理を介して深度マップを取得し得る１つの方法である。

また、図１には、基地局への１つ以上のインタフェース、例えば深度マップを用いるアプリケーション等と対話をするのにユーザにとって適切であるように、キーボード、ゲームコントローラ、ディスプレイ、音声コマンドのためのポインティングデバイスマイクロフォン及び／又は同様のものを接続するためのインタフェースが示されている。少なくとも１つのインタフェース１３２は、衛星デバイス１１０が、本明細書で説明されるように基地局と（例えば無線で）通信するのを可能にする。

１つ以上の実装は、レーザーパターンを放射して深度を計算する、室内の基地局１００を備える。ユーザが、スマートフォンやタブレットといった衛星デバイス１１０を使用するとき、衛星デバイス１１０上のカメラ又はステレオカメラは、ベースユニット（基地局）の放射レーザーパターンを観察することができる。衛星デバイス１１０は、したがって、その外部生成されたレーザーパターンに基づいて、ステレオを計算し、さらに、情報を基地局１００に通信することができる。

本明細書で説明されるように、衛星デバイスのデータを使用して、基地局が計算することができる解像度よりも、高い解像度で深度マップを生成することができる（本明細書で使用されるとき、「高解像度」は、カメラ自体の解像度を指してはおらず、衛星デバイスが対象物、例えばユーザの顔により近いために、基地局上の遠くにあるカメラよりも多くのピクセルで対象物をキャプチャすることができる能力を指していることに留意されたい）。さらに、空間的解像度が向上するだけでなく、深度解像度／精度も向上し得る。画像情報又は情報に対応するデータ（例えば衛星デバイスで計算される深度マップ）がベースユニットに伝送されることがある。本明細書で使用されるとき、「画像関連のデータ」とは、（全体又は部分的に、１つ以上のＩＲ及び／ＲＧＢの能動的に照明される画像及び／又はクリーンＩＲ及び／又はＲＧＢ画像の）実際の画像データ、任意の関連付けられるメタデータ及び／又は例えば深度マップのような画像データから処理される任意の対応する情報を指す。したがって、画像関連のデータは、基地局へ及び基地局から、そして衛星デバイスへ及び衛星デバイスから通信され得る。

加えて、衛星デバイス及びベースユニットで撮られた画像及び／又は深度マップを相関させることができる。これは、ベースユニットに対するモバイルユニットの位置のポーズ推定に対して、６つの自由度（６ＤｏＦ）を提供する。

ポーズ推定は、画像整列によって、かつ／又はパターンマッチング／ドット相関により決定され得る。例として、衛星デバイスが、基地局も感知することができる（例えばユーザ又はデバイスが、同じエリアを基地局が「見る」ことをブロックしていない）画像をキャプチャする場合、ピクセル（又は各ピクセルの対応する周囲のパッチ）を既知の方法で合致させることができる。基地局から計算される深度データを、衛星デバイスから計算される深度データと整列させることによって、整列を確立することもできる。したがって、衛星デバイスのポーズが推定され得る。

これは、一般的に図３に示されており、図３では、基地局３００はプロジェクタ３０６からの光パターンを投影し、この光パターンが、基地局のカメラ３０１及び２０３によって、並びに衛星デバイス３３０（２つ以上の衛星デバイスが存在することもある）上の１つ以上のカメラによって感知される。カメラ３０１及び３０２は、衛星デバイスデータ３３４とともに画像処理に供給される基地局画像３３２を提供する。衛星デバイスデータ３３４は、各衛星デバイスにおいて画像からローカルで処理される深度マップのような画像又は情報であり得る。

デバイス３３０からの破線により示されるように、オプションの（例えば低電力の）プロジェクタが、１つ以上の衛星デバイスのいずれか又は全てに含まれてもよい。衛星デバイスによって投影されるデータは、基地局から投影されるデータを強調する。衛星デバイス３３０内のプロジェクタは、距離的に制限され、空間的に制限され（例えば非常にまばらなパターンであるか、小さな画像領域のみでフォーカスされる）及び／又は時間的に制限される（例えば数フレームごとのみ放射される）ために、低電力であり得る。

基地局画像３３２は、衛星デバイス３３０のポーズ／３Ｄ位置を決定するのに処理され得る。この情報により、画像処理３０８は深度データ３３６を出力する。深度データ３３６は、衛星デバイスデータ３３４によって強化される、基地局自体のカメラからの従来的な深度データであってよい。一般に、基地局カメラによってキャプチャされる投影ドットは、解像度の差に起因するサイズの差等を調整した後、衛星デバイスによってキャプチャされるドットと相関され得る。ポーズデータ３３８は、例えば他の衛星デバイスへ出力されることもある。

衛星デバイスが、基地局に、その画像データを強化するためのデータを提供する代わりに、基地局が、（デバイスのポーズとともに）近似深度マップを衛星デバイスに送信してもよいことに留意されたい。これは、正確性を向上させ、かつ／又は衛星デバイス自体の深度推定のために必要とされる計算を低減させるのに使用され得る。

基地局の深度マップ（並びにＲＧＢデータ）は、高解像度のデータを部分的な深度マップへとダウンサンプリングすることによって強化され得る。部分的な深度マップは、適切な座標において初期の基地局の深度マップと結合され、例えばポーズについて深度を調整した後、これらの座標における精度が改善され得る。基地局の深度マップを強化し得る別の方法は、例えば元の深度マップを、より高解像度の深度マップと関連付けて（例えばポーズに基づいて深度を調整した後に）保持することである。このようにして、深度マップを使用するアプリケーションは、望むときに、より精細な粒度の深度データに「ズームイン」することができ、例えばアプリケーションは、元の深度マップのピクセル解像度に制限される必要がない。

幾つかのモバイルデバイスは、正面及び背面のカメラを有することに留意されたい。そのような場合、あるシナリオではカメラを異なる目的で使用することになる。例えば背面カメラを使用してポーズ計算のための画像をキャプチャし、一方、正面カメラが、ユーザの顔の画像、例えば強化される深度計算に使用され得る画像をキャプチャしてもよい。

図４は、別の代替形態を示しており、図４では、複数の衛星デバイス４４０（１）〜４４０（ｎ）がピアとして動作し、したがって、基地局を必要とせずに、シーンについての深度情報を計算することができる。しかしながら、衛星デバイスは電池式なので、１つの（又は２つ以上の）外部プロジェクタ４０６からの光パターンが利用され得る。基地局は、基本的に、一般的にはモバイルでないことを除いて、単に別のデバイスであることに留意されたい（基地局は、比較的コンパクトでポータブルであるが、大きな又は固定式の電源を使用するので、タブレットデバイスやスマートフォンとは異なり、典型的には持ち運びされない）。

図４に示されるように、衛星デバイス４４０（１）〜４４０（ｎ）の各々は、そのデータを相互に交換する。デバイス４４０（２）のうちの１つが、画像処理４０８を有するように示されており、画像処理４０８は、デバイス４４０（２）自身の画像データ４４２及び他の衛星デバイスのデータ４４４を処理して、１つ以上の他の衛星デバイスのデータによって強化される深度データ４４６を取得する。理解されるように、任意の衛星デバイスが、同様の画像処理能力を有してもよく、かつ／又は別の衛星デバイスから深度データを受け取ってもよい。

別の態様として、図５は、例えば赤外光を介して基地局５００に識別子をフラッシュするなどして、信号を提供するように構成される衛星デバイス５５０及び５５２を示している。識別子は、デバイスのタイプ、能力等を含め、任意のタイプの情報を含むか、このような任意のタイプの情報をルックアップするのに使用され得る。信号は、衛星デバイスのポーズをより効果的に決定する際の助けにもなり得る。

基地局が衛星デバイスを識別し、かつ／又はそのポーズを推定する代わりに、衛星デバイスが基地局を識別し、その情報に基づいて、自身のポーズを推定してもよいことに留意されたい。これは、衛星デバイスが、基地局と通信する必要なくそのポーズを決定することを可能にし、これは一部の状況（例えば比較的多くの数の衛星デバイスが存在する場合）に有益なものとなり得る。

別の態様として、図６Ａは、時間とともに動く衛星デバイスが、単一のカメラで深度データをどのように計算することができるかについて示している。ドットは動かないので、デバイスのいずれかの動きが、ドットの位置を、カメラの以前の視点から新たな視点へと変化させる。

図６Ｂは、衛星モバイルデバイス上の１つのカメラによって感知される、２つのプロジェクタ６０６及び６０７を示している。投影されるパターンは異なり、これにより、衛星デバイスは一方のソースを別のソースから区別することができ、あるいは、これらのプロジェクタは交互に入れ替わって、一度に１つのプロジェクタが、感知されている同じ対象物／シーンの２つの異なる視点を提供するように投影することができる。

実際、プロジェクタが、光パターンの知識を有することがあり、そのような場合は基本的に、反対に、カメラである。したがって、単一のプロジェクタと単一の衛星デバイスカメラを使用して、ステレオ深度データを計算することができる。

図７は、衛星デバイスを介して、強化された深度情報（及び場合によっては、ＲＧＢ画像のような他の情報）を取得するのに行われ得るステップの例示のセットを表す、簡略化されたフロー図である。例えば基地局上で実行されるか、基地局に結合されるアプリケーションプログラムが、基地局から比較的離れており、かつ近くに移動するのが特に容易ではないか望ましくない対象物についての詳細なクローズアップ表現を生成することを望むという状況を考える。以下では、例示のステップにおいて基地局について説明するが、理解されるように、基地局の代わりに、別のモバイルデバイス又はデバイスのセットを使用してもよい。

ステップ７０２において、基地局のプログラム（又はこれに結合されるプログラム）が、ユーザに、一部のクローズアップビデオフレームを取得するために衛星デバイスを対象物に向けるようにユーザに指示するメッセージを通信する。ステップ７０４において、ユーザがそのようにすると、これにより衛星デバイスは、基地局へのデータ（例えば画像のストリーム又はそれから処理されるべき深度データ）の伝送を開始する。各フレームでは、ステップ７０６において、基地局は、基地局自体のキャプチャされた画像を処理して、衛星カメラのポーズを決定し、初期の深度マップを計算する。

ステップ７０８は、衛星デバイスからデータを受け取ることを表しているが、これらのステップの少なくとも一部は、並行に及び／又は異なる順序で生じてもよく、例えば基地局の処理の前に、処理の間に又は処理の後に、データの一部又は全てが衛星デバイスから受け取られることがあることに留意されたい。さらに、アプリケーションに応じて、フレームごとではなく、より低速のサンプリングレートが使用されてもよいことにも留意されたい。

ステップ７１０は、衛星データを使用して、例えばより正確な深度データで深度マップを強化し、かつ／又はキャプチャされた対象物について別個の深度マップを保持することを表す。ステップ７１２は、ユーザに通知されるときまで、処理を繰り返す。

ユーザは、異なる方向から対象物のビデオをキャプチャするように要求され得る。投影された光が衛星デバイスによって感知されている場合、ユーザは、対象物の異なる部分が異なる時間にプロジェクタに面するように対象物を回転させるよう指示され得る（ユーザは、赤外光のパターンを見ることはできないので、これが投影されていることを知らないことがあり、このため、その指示が、基地局デバイスに面するように対象物を回転させるようにし得ることに留意されたい）。あるいは、異なる方向からの複数のプロジェクタが存在してもよい。このようにして、基地局がキャプチャすることができるレベルよりも非常に高い詳細レベルで、対象物についての完全な３次元のメッシュ又は同様のものが生成され得る（ＲＧＢ画像データがこれと組み合わされてもよい）。

衛星デバイス及び基地局（又は他のモバイルデバイス）は、人の介入なしに一緒に動作することがある。例えばモバイルデバイスアプリケーションは、デバイスカメラを介して興味ある何かを検出し、画像データを基地局に通信することがある。周期的又は何らかの他のスケジュールで、基地局は、衛星デバイスに１つ以上の画像を要求することがある。基地局は（例えばアプリケーションプログラムによって指示されるように）、（ポーズデータを介して知られるような）衛星デバイスのカメラが向いている何らかの物について改善された画像を持ちたいことがある。例えばこれにより、望むときはいつでも、より高解像度の画像を取得できることになる。

別の例として、衛星デバイスからのデータを使用して、１つ又は複数の衛星デバイスがキャプチャした画像内のデータを置き換えてもよい。具体的な例として、何かがシーンの所望の部分を基地局の視点からブロックしていること、例えば衛星デバイスがキャプチャしようとしているシーン内の興味ある部分の前を人が歩いていることを考える。衛星デバイス又は衛星デバイスのセットを用いてシーンを（異なるアングルから、そして場合によっては異なる解像度で）キャプチャし、これにより、人がシーンのその部分をブロックしていないかのように、シーンの深度（及びＲＧＢ若しくはクリーンＩＲデータ）を再計算することができる。

＜例示の動作環境＞
図８は、本明細書で説明される主題の態様が実装され得る適切なモバイルデバイス８００の例を図示している。モバイルデバイス８００は、デバイスの単なる一例であり、本明細書で説明される主題の態様の使用又は機能の範囲に関して何らかの限定を示唆するようには意図されていない。また、モバイルデバイス８００は、例示のモバイルデバイス８００内に図示されるコンポーネントのいずれか１つ又は組合せに関して、何らかの依存性又は要件を有するものとして解釈されるべきでもない。

図８を参照すると、本明細書で説明される主題の諸態様を実装するための例示のデバイスは、モバイルデバイス８００を含む。一部の実施形態において、モバイルデバイス８００は、携帯電話、他者への音声通信を可能にするハンドヘルドデバイス又は何らかの他の音声通信デバイス等を備える。これらの実施形態では、モバイルデバイス８００に、写真を撮るためのカメラを搭載することができるが、他の実施形態ではこれは必ずしも必要とされない。他の実施形態では、モバイルデバイス８００は、パーソナルデジタルアシスタント（ＰＤＡ）、ハンドヘルドゲームデバイス、ノートブックコンピュータ、プリンタ、セットトップを含む機器、メディアセンター又は他の機器又は他のモバイルデバイス等を備えてもよい。更に他の実施形態では、モバイルデバイス８００は、パーソナルコンピュータやサーバ等といった一般的には非モバイルと考えられるデバイスを備えてもよい。

モバイルデバイスは、リモートコントロールにデータを入力する方法とともに制御ロジックを提供する追加の回路を有する、機器又は玩具のハンドヘルド型のリモートコントロールを備えてもよい。例えば入力ジャック又は他のデータ受信センサは、デバイスが、非制御コードデータ伝送のために目的変更されることを可能にする。これは、伝送すべきデータの多くを格納する必要なく達成されることがあり、例えばデバイスは、スマートフォンのような（場合によっては幾らかのバッファリングを伴う）別のデバイスへのデータ中継として機能し得る。

モバイルデバイス８００のコンポーネントには、これらに限られないが、処理ユニット８０５と、システムメモリ８１０と、システムメモリ８１０を含め、様々なシステムコンポーネントを処理ユニット８０５に結合するバス８１５が含まれ得る。バス８１５は、様々なバスアーキテクチャのいずれかを使用するメモリバス、メモリコントローラ、周辺バス及びローカルバス等を含め、幾つかのタイプのバス構造のうちのいずれかを含み得る。バス８１５は、モバイルデバイス８００の様々なコンポーネント間でデータが伝送されるのを可能にする。

モバイルデバイス８００は、様々なコンピュータ読取可能媒体を含み得る。コンピュータ読取可能媒体は、モバイルデバイス８００によりアクセスすることができる任意の利用可能な媒体とすることができ、揮発性及び不揮発性媒体と、取外し可能及び取外し不可能媒体の双方を含む。限定ではなく例として、コンピュータ読取可能媒体は、コンピュータ記憶媒体と通信媒体を備えることがある。コンピュータ記憶媒体は、コンピュータ読取可能命令、データ構造、プログラムモジュール又は他のデータといった、情報の記憶のための任意の方法又は技術で実装される揮発性及び不揮発性、取外し可能及び取外し不可能媒体を含む。コンピュータ記憶媒体は、これらに限られないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又は他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又は他の磁気記憶デバイス、あるいは所望の情報を格納するのに使用することができ、かつモバイルデバイス８００によりアクセス可能な任意の他の媒体を含む。

通信媒体は、典型的に、コンピュータ読取可能命令、データ構造、プログラムモジュール又は他のデータを、搬送波や他の伝送機構といった変調データ信号に具現化し、任意の情報伝達媒体を含む。「変調データ信号」という用語は、信号内に情報を符号化するような手法で設定又は変更された特性の１つ以上を有する信号を意味する。限定ではなく例として、通信媒体は、有線ネットワークや直接有線接続といった有線媒体と、音響、ＲＦ、Bluetooth（登録商標）、無線ＵＳＢ、赤外線、Wi-Fi、WiMAX及び他の無線媒体といった無線媒体とを含む。上記の任意の組合せもコンピュータ読取可能媒体の範囲内に含まれるべきである。

システムメモリ８１０は、揮発性及び／又は不揮発性メモリの形式のコンピュータ記憶媒体を含み、読取専用メモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）を含むこともある。携帯電話のようなモバイルデバイスでは、時々、オペレーティングシステムコード８２０がＲＯＭに含まれるが、他の実施形態ではこれは必要とされない。同様に、アプリケーションプログラム８２５はしばしばＲＡＭに配置されるが、やはり、他の実施形態では、アプリケーションプログラムは、ＲＯＭ又は他のコンピュータ読取可能メモリに配置されてよい。ヒープ８３０は、オペレーティングシステム８２０及びアプリケーションプログラム８２５に関連付けられる状態をメモリに提供する。例えばオペレーティングシステム８２０及びアプリケーションプログラム８２５は、変数及びデータ構造を、これらの動作中にヒープ８３０内に格納し得る。

モバイルデバイス８００は、他の取外し可能／取外し不可能、揮発性／不揮発性メモリを含んでもよい。例として、図８は、フラッシュカード８３５、ハードディスクドライブ８３６及びメモリスティック８３７を図示している。ハードディスクドライブ８３６は、例えばメモリスロットにフィットするよう小型化され得る。モバイルデバイス８００は、取外し可能メモリインタフェース８３１を介して、これらのタイプの不揮発性の取外し可能媒体とインタフェースしてよく、あるいはユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ８３９４、有線ポート８４０のうちの１つ以上又はアンテナ８６５を介して接続され得る。これらの実施形態では、取外し不可能なメモリデバイス８３５〜８３７は、通信モジュール８３２を介してモバイルデバイスとインタフェースし得る。一部の実施形態では、これらのタイプのメモリの必ずしも全てが単一のモバイルデバイスに含まれなくてもよい。他の実施形態では、これら及び他のタイプの取外し可能メモリのうちの１つ以上が、単一のモバイルデバイスに含まれ得る。

一部の実施形態において、ハードディスクドライブ８３６は、モバイルデバイス８００により恒久的に取り付けられるような方法で接続され得る。例えばハードディスクドライブ８３６は、パラレルＡＴＡ（ＰＡＴＡ）、シリアルＡＴＡ（ＳＡＴＡ）又は他の方法デバイス８１５に接続され得るインタフェースへ接続される。そのような実施形態では、ハードドライブを取り外すことは、モバイルデバイス８００のカバーを取外し、ハードドライブ８３６をモバイルデバイス８００内の支持構造に接続するネジ又は他の留め具を取り外すことを要することがある。

上述及び図８に図示される取外し可能なメモリデバイス８３５〜８３７及びその関連するコンピュータ記憶媒体は、コンピュータ読取可能命令、プログラムモジュール、データ構造及びモバイルデバイス８００のための他のデータのストレージを提供する。例えば１つ以上の取外しメモリデバイス８３５〜８３７は、モバイルデバイス８００が撮った画像、音声記録、連絡先情報、プログラム、プログラム用のデータ等を格納することがある。

ユーザは、コマンド及び情報を、キーパッド８４１及びマイクロフォン８４２といった入力デバイスを介してモバイルデバイス８００に入力することができる。一部の実施形態では、ディスプレイ８４３は、タッチセンサ式画面であってよく、ユーザがその上にコマンド及び情報を入力するのを可能にすることができる。キーパッド８４１及びディスプレイ８４３は、バス８１５に結合されるユーザ入力インタフェース８５０を介して処理ユニット８０５に接続され得るが、通信モジュール８３２及び有線ポート８４０といった他のインタフェース及びバス構造によって接続されてもよい。動き検出８５２を使用して、デバイス８００を用いて行われたジェスチャを決定することができる。

ユーザは、例えばマイクロフォン８４２に話すことにより、そしてキーパッド８４１又はタッチセンサ式のディスプレイ８４３上に入力されるテキストメッセージにより、他のユーザと通信してもよい。オーディオユニット８５５は、スピーカ８４４を駆動する電子信号を提供し、そしてマイクロフォン８４２からオーディオ信号を受け取り、受け取ったオーディオ信号をデジタル化することができる。

モバイルデバイス８００は、カメラ８６１を駆動する信号を提供するビデオユニット８６０を含んでもよい。ビデオユニット８６０は、カメラ８６１によって取得された画像を受け取ることもあり、これらの画像を処理ユニット８０５及び／又はモバイルデバイス８００に含まれるメモリに提供することがある。カメラ８６１によって取得される画像は、ビデオ、ビデオを形成しない１つ以上の画像又はこれらの何らかの組合せを備え得る。

通信モジュール８３２は、１つ以上のアンテナ８６５に信号を提供し、１つ以上のアンテナ８６５から信号を受け取ることがある。アンテナ８６５のうちの１つが、携帯電話ネットワークのためのメッセージを送受信し得る。別のアンテナはBluetooth（登録商標）のメッセージを送受信し得る。更に別のアンテナ（又は共有アンテナ）は、無線のEthernet（登録商標）のネットワーク規格を介してネットワークねっセージを送受信し得る。

またさらに、アンテナは、位置ベースの情報、例えばＧＰＳ信号をＧＰＳインタフェース及び機構８７２に提供する。次いで、ＧＰＳ機構８７２は、対応するＧＰＳデータ（例えば時間と座標）を処理に利用可能にする。

一部の実施形態では、単一のアンテナが、１つより多くのタイプのネットワークのためのメッセージを送信及び／又は受信するのに使用され得る。例えば単一のアンテナが音声及びパケットメッセージを送受信し得る。

ネットワーク環境で操作されるとき、モバイルデバイス８００は１つ以上のリモートデバイスに接続することがある。リモートデバイスは、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、携帯電話、メディア再生デバイス、ピアデバイス又は他の一般的なネットワークノードを含んでよく、典型的には、モバイルデバイス８００に関連して上述したような要素の多く又は全てを含む。

本明細書で説明される主題の態様は、多数の他の汎用又は専用のコンピューティングシステム環境又は構成で動作する。本明細書で説明される主題の態様とともに使用するのに適切であり得る周知のコンピューティングシステム、環境及び／又は構成の例には、これらに限られないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド又はラップトップデバイス、マルチプロセッサシステム、マルチコントローラベースのシステム、セットトップボックス、プログラマブル家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステム若しくはデバイスのいずれかを含む分散コンピューティング環境及び同様のものが含まれる。

本明細書で説明される主題の態様は、プログラムモジュールのように、モバイルデバイスによって実行されるコンピュータ実行可能命令の一般的なコンテキストで説明され得る。一般に、プログラムモジュールは、特定のタスクを実行するか特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。本明細書で説明される主題の態様は、通信ネットワークを介してリンクされるリモート処理デバイスによってタスクが実行される、分散コンピューティング環境においても実施され得る。分散コンピューティング環境において、プログラムモジュールは、メモリ記憶デバイスを含め、ローカルとリモートの記憶媒体の双方に配置されてもよい。

さらに、本明細書ではサーバという用語が使用され得るが、この用語は、クライアント、１つ以上のコンピュータ上で分散される１つ以上のプロセスのセット、１つ以上のスタンドアロンの記憶デバイス、１つ以上の他のデバイスのセット、上記のうちの１つ以上の組合せ等も含み得る。

＜結論＞
本発明は、様々な修正及び代替的構成を許容するが、その特定の例示の実施形態を図面に示し、上記で詳細に説明してきた。しかしながら、本発明を、開示した特定の形式に限定するという意図はなく、反対に、全ての修正、代替的構成並びに本発明の精神及び範囲に入る均等物を網羅するよう意図されることを理解されたい。

Claims (8)

1. 基地局において、衛星デバイスから画像関連データを受け取るステップであって、前記画像関連データが、前記基地局から投影された光パターンによって照明されたシーンを備え、前記衛星デバイスが、前記照明されたシーン内にある、ステップと；
   前記基地局によって、前記照明されたシーンの画像をキャプチャするステップと；
   前記基地局によってキャプチャされた前記画像に基づいて、前記衛星デバイスのポーズ情報を決定し、前記画像に関連する深度データのセットを計算するステップと；
   前記画像関連データ及び前記衛星デバイスのポーズ情報に少なくとも部分的に基づいて、前記深度データのセットを強化して深度データマップを計算するステップと；
   を備える、方法。
2. 前記深度データのセットを強化することは、前記深度データのセット内のデータの少なくとも一部を、前記画像関連データの少なくとも一部に対応する他の深度データと置換するステップを含む、
   請求項１に記載の方法。
3. 前記深度データのセットを強化することは、前記深度データのセットに対応する第１の深度マップを、前記画像関連データに対応する第２の深度マップと関連付けて保持するステップを含む、
   請求項１に記載の方法。
4. 前記衛星デバイスによってキャプチャされる少なくとも１つの画像に基づいて、前記衛星デバイスにおいて計算される少なくとも一部の深度データを受け取るステップを更に備え、
   前記少なくとも一部の深度データは、前記画像関連データの少なくとも一部であり、
   前記少なくとも一部の深度データは、前記衛星デバイスによってキャプチャされる、１つ以上の能動的に照明された画像を処理することによって計算されるか、前記衛星デバイスによってキャプチャされる１つ以上の能動的に照明されたステレオ画像及び前記衛星デバイスから放射される少なくとも一部の能動的照明を処理することによって計算される、
   請求項１に記載の方法。
5. 基地局を備えるシステムであって、前記基地局は、
   当該基地局により、当該基地局から投影された光パターンによって照明されたシーンの１つ以上の画像をキャプチャし、
   当該基地局によってキャプチャされた前記１つ以上の画像に基づいて、前記照明されたシーン内にある衛星デバイスのポーズ情報を決定し、前記１つ以上の画像に関連する深度データのセットを計算し、
   前記衛星デバイスから前記照明されたシーンの画像関連データを受け取り、
   前記衛星デバイスの前記ポーズ情報及び前記画像関連データに少なくとも部分的に基づいて、前記深度データのセットを強化して深度データマップを計算する
   ように構成される、プロセッサ
   を具備する、システム。
6. 前記基地局によってキャプチャされる前記１つ以上の画像は、能動的に照明された画像データである、
   請求項５に記載のシステム。
7. 前記衛星デバイスは、深度データを計算し、該深度データを、前記画像関連データの少なくとも一部として前記基地局に通信するように構成される、
   請求項５に記載のシステム。
8. 実行されると、基地局のプロセッサに、
   前記基地局において、衛星デバイスから画像関連データを受け取るステップであって、前記画像関連データが、前記基地局から投影された光パターンによって照明されたシーンを備え、前記衛星デバイスは、前記照明されたシーン内にある、ステップと；
   前記基地局によって、前記照明されたシーンの画像をキャプチャするステップと；
   前記基地局によってキャプチャされた前記画像に基づいて、前記衛星デバイスのポーズ情報を決定し、前記画像に関連する深度データのセットを計算するステップと、
   前記画像関連データ及び前記衛星デバイスのポーズ情報に少なくとも部分的に基づいて、前記深度データのセットを強化して深度データマップを計算するステップと；
   を含むステップを実行させる１つ以上のコンピュータプログラム。

Images