JP6946188B2 - 複数技術奥行きマップ取得および融合のための方法および装置 - Google Patents

Description

[0001]本出願は、一般に、視野（ＦＯＶ）の奥行きマップの生成に関し、より詳細には、個々に生成された奥行きマップによってもたらされることがある欠点を補償するように構成されたＦＯＶの融合または集合型の（fused or aggregate）奥行きマップを自動的に生成するためのシステム、方法、およびデバイスに関する。

[0002]ユーザは、写真またはビデオに取り込み、後日および／または後の時刻に再び見たい瞬間または出来事、たとえば子供の最初の歩みもしくは言葉、卒業式、眺めのよい風景、または結婚式に、しばしば遭遇する。多くの場合、これらの瞬間または出来事は、静的であり、一般に予測可能な発生であり得（たとえば、結婚式、卒業式、穏やかな景観、またはポートレート）、ユーザがイメージング機器、たとえば、カメラ、ビデオレコーダ、スマートフォンなどを利用することによって特定の奥行きで完全に取り込まれ得る。しかしながら、時には、適切な時に特定の奥行きで対象物または出来事をもつ光景（scenes）を取り込むことは、特に光景が移動対象物を含んでいる場合またはカメラがパニングにかけられている場合、課題をもたらすことがある。たとえば、子供を伴ってカメラがパンしなければならない間、一群の木を通って飛んでいる鳥を取り込むこと、または歩いている子供を取り込むこと。これは、イメージング機器がＦＯＶの奥行きマップを生成する際に有し得る難しさに少なくとも部分的に起因することがある。奥行きマッピングシステムは、目標対象物の相対奥行きを決定するために使用され得、いくつかのプロセス、たとえば、とりわけ、オートフォーカシング、対象物検出、顔認識のいずれかを制御するために使用され得る。したがって、正確で信頼できる奥行きマップを生成することの難しさは、その機能において奥行きマッピングシステムを使用するイメージングデバイスに対して難しさをもたらすことがある。したがって、イメージング機器において使用するために光景の奥行きマップを生成するのを容易にするシステムおよび方法が有益であろう。

[0003]本発明のシステム、方法、およびデバイスは各々いくつかの態様を有し、いくつかの態様のうちの単一のものが、望ましい属性への責任を単独で負うものではない。本明細書で開示される実施態様は各々いくつかの革新的な態様を有し、いくつかの革新的な態様のうちの単一のものが、本発明の望ましい属性への責任を単独で負うものではない。以下の特許請求の範囲によって表されるような本発明の範囲を限定することなく、いくつかの特徴が次に簡単に論じられる。この議論を検討した後、および特に「発明を実施するための形態」と題するセクションを読んだ後、改良型の取込みを含み、またはフレーム内の目標対象物を所望の奥行きで識別する本発明の様々な実施形態の特徴がどのように利点を提供するかを理解するであろう。

[0004]本開示で説明される主題の１つの態様は、奥行きマップを生成するための装置を提供する。装置は、画像取込みデバイスの視野（ＦＯＶ）の画像を感知し記録するように構成された画像取込みデバイス（またはイメージングデバイス）を備える。画像取込みデバイスは、画像取込みデバイスのＦＯＶ中の光景を表す、複数の画素を備える、画像を電子的に記録するように構成された少なくとも１つのセンサを含む。いくつかの実施形態は、２つ以上のセンサを含むことができる。装置（および本明細書で説明される方法）は、複数の「奥行き感知モジュール」をさらに備えることができ、奥行き感知モジュールの各々は、いくつかの処理技法を使用して視野の奥行きマップを生成するように構成される。そのような奥行き感知モジュールは、たとえば、ソフトウェアモジュール、ハードウェアに実装された機能、または両方の組合せとすることができる。言い換えれば、本明細書で使用される「奥行き感知モジュール」は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの両方で実装された機能を指すことができ、ザ（the）は画像取込みデバイスのＦＯＶの少なくとも一部の奥行き情報を決定するためのアクションを実行する。奥行き情報は、たとえば、センサ（または画像取込みデバイスの別の部分）から画像取込みデバイスのＦＯＶ（またはその一部）中の様々な対象物、フィーチャ、またはバックグラウンドまでの距離を示す情報を含むことができる。画像取込みデバイスは、複数の奥行き感知モジュールの各々の視野の奥行きマップを生成するように構成された構成要素を含むことができ、あるいはそのような構成要素にバイ接続され、かつ／またはそのような構成要素と通信している。装置は、処理システムをさらに含む。処理システムは、複数の奥行き感知モジュールから第１の奥行き感知モジュールを選択し、第１の選択された奥行き感知モジュールを使用してイメージングデバイスの視野の第１の奥行きを感知するように構成される。処理システムは、さらに、第１の選択された奥行き感知モジュールの第１の感知された奥行きに基づいて視野の第１の奥行きマップを生成するように構成される。第１の奥行きマップは、視野のすべてのポイントの奥行き測定値を備え、第１の奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する第１の奥行きマップの１つまたは複数のポイントの領域を識別する。処理システムは、１つまたは複数の不正確な奥行き測定値を有する１つまたは複数のポイントを有する領域を識別することに基づいて、複数の奥行き感知モジュールうちの第２の選択された奥行き感知モジュールを介した追加の奥行き感知が保証されるかどうかを決定するように構成される。

[0005]本開示で説明される主題の別の態様は、奥行きマップを生成する方法を提供する。方法は、イメージングデバイスの視野を識別することを備える。イメージングデバイスは、視野の少なくとも１つの画像を取り込むように構成される。方法は、複数の奥行き感知方法から第１の奥行き感知方法を選択することをさらに備える。方法は、第１の選択された奥行き感知方法を使用してイメージングデバイスの視野の第１の奥行きを感知することと、第１の選択された奥行き感知方法の感知された奥行きに基づいて少なくとも１つの視野の第１の奥行きマップを生成することとをさらに含む。第１の奥行きマップは、視野のすべてのポイントの奥行き測定値を備える。方法は、第１の奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する第１の奥行きマップの１つまたは複数のポイントの領域を識別することをさらに備える。方法は、１つまたは複数の不正確な奥行き測定値を有する１つまたは複数のポイントを有する領域を識別することに基づいて、第２の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することをも備える。

[0006]説明される主題の別の態様は、奥行きマップを生成するために別の装置を提供する。装置は、視野の画像を取り込むための手段を備える。装置は、奥行きを感知するための複数の手段と、複数の奥行き感知手段の各々が視野の奥行きを感知するように構成される、複数の奥行き感知手段から第１の奥行き感知手段を選択するための手段とをさらに備える。装置は、第１の選択された奥行き感知手段を使用して画像取込み手段の視野の第１の奥行きを感知するための手段と、第１の選択された奥行き感知手段の感知された奥行きに基づいて視野の第１の奥行きマップを生成するための手段と、第１の奥行きマップが視野のすべてのポイントの奥行き測定値を備える、をさらに含む。装置は、第１の奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する第１の奥行きマップの１つまたは複数のポイントの領域を識別するための手段をさらに備える。装置は、１つまたは複数の不正確な奥行き測定値を有する領域を識別することに基づいて、複数の奥行き感知手段うちの第２の選択された奥行き感知手段を介した追加の奥行き感知が保証されるかどうかを決定するための手段をさらに含む。

[0007]上記の態様、ならびに本技術の他の特徴、態様、および利点が、添付図面を参照して様々な実施形態に関連してここで説明される。しかしながら、示される実施形態は例にすぎず、限定的であることは意図されていない。図面の全体にわたって、文脈が別段規定しない限り、同様のシンボルは、一般に、同様の構成要素を特定する。以下の図の相対的な寸法は縮尺通りに描かれていないことがあることに留意されたい。

[0008]例示的な実施形態による、画像取込みシステムのＦＯＶの奥行きマップを生成するように構成されたステレオカメラシステムの簡略化ブロック図。 [0009]例示的な実施形態による、陰影に基づく奥行きシステム（depth from shading system）を使用して画像取込みシステムのＦＯＶの奥行きマップを生成するように構成された画像取込みシステムの簡略化ブロック図。 [0010]例示的な実施形態による、構造化光システムを使用して画像取込みシステムのＦＯＶの奥行きマップを生成するように構成された画像取込みシステムの簡略化ブロック図。 [0011]本明細書で説明される使用事例のための、例示的な実施形態による、独立した奥行きマップまたは融合奥行きマップを生成するために使用され得る画像取込みデバイスの１つの実施形態のブロック図。 [0012]例示的な実施形態による、ステレオカメラシステム、陰影に基づく奥行きシステム、または構造化光システムのうちの少なくとも１つを使用して１つまたは複数の奥行きマップを生成するために使用され得るような図２の画像取込みデバイスの構成要素を示すチャート。 [0013]例示的な実施形態による、奥行きマップを生成し、必要に応じてそれを追加の奥行きマップと融合させる例示的な方法を具現する流れ図。

[0014]新規なシステム、装置、および方法の様々な態様が、添付図面を参照してより完全に以下で説明される。しかしながら、本開示は多くの異なる形態で具現され得、本開示の全体にわたって提示される任意の特定の構造または機能に限定されると解釈されるべきでない。むしろ、これらの態様は、本開示が周到で完全になり得、本開示の範囲を当業者に十分に伝え得るように与えられる。本明細書の教示に基づいて、本開示の範囲は、本発明の他のいずれかの態様とは独立に実施されるかまたは本発明の他のいずれかの態様と組み合わせて実施されるかにかかわらず、本明細書で開示される新規のシステム、装置、および方法のあらゆる態様を含むように意図されることを当業者は理解されたい。たとえば、本明細書に記載される任意の数の態様を使用して、装置が実装されてもよく、または方法が実践されてもよい。加えて、本発明の範囲は、本明細書に記載される本発明の様々な態様に加えてまたはそれ以外に他の構造、機能、または構造および機能を使用して実践されるそのような装置または方法を含むように意図される。本明細書で開示されるいかなる態様も請求項の１つまたは複数の要素によって具現され得ることを理解されたい。

[0015]特定の態様が本明細書で説明されるが、これらの態様の多くの変更および置換は本開示の範囲内にある。好ましい態様のいくつかの利益および利点が述べられるが、本開示の範囲は、特定の利益、使用、または目的に限定されるように意図されていない。詳述された説明および図面は、限定ではなく単に本開示の例証であり、本開示の範囲は、添付の特許請求の範囲およびその均等物によって定義される。

[0016]写真撮影において、ユーザは、取り込まれた光景内に様々な奥行きで対象物または出来事を含む画像を、イメージングデバイスの視野（ＦＯＶ）に取り込みたいことがある。使用されるイメージング機器に応じて、目標対象物または光景またはＦＯＶの奥行きマップを決定するための１つまたは複数の方法（奥行き推定）が、オートフォーカシング、前景／背景分離、顔認識または検出、３Ｄスキャニング、自動屋内／屋外場所検出、フレーム内の対象物検出などの特徴、および他の多くの機能を可能にするために使用され得る。しかしながら、奥行きマップを生成するための様々なシステムは異なる欠点を有することがある。たとえば、あるシステムは、計算負荷の高いことがあり、または複雑なアルゴリズムを利用することがある。いくつかのシステムは、奥行きマップを生成するために使用される様々な構成要素、たとえば、複数のフレッシュバルブ構成要素または複数のカメラもしくは光学部品に供給される追加の電力を利用することがある。代替として、複数の画像取込みシステムが、奥行きマップを生成するために必要とされることがあり、それは、追加の計算スループットを必要とすることがあり、またはＦＯＶへの追加の露光時間を必要とすることがある。したがって、利用可能な奥行きマッピングシステムのうちの１つまたは複数は、イメージング機器の状態または環境によっては適切でないかまたは利用できないことがある。

[0017]ユーザがイメージング機器を能動的にモニタし、イメージング機器を手動で制御している場合、ユーザは、目標対象物が視野（ＦＯＶ）中で所望の奥行きにあるときに目標対象物の画像を、または目標対象物に焦点があっているときに光景を取り込むことができる可能性がある。しかしながら、イメージング機器を手動で制御する場合でさえ、光景が複数の移動対象物を含むとき、またはイメージング機器がパンされている（たとえば、目標対象物を追跡するように移動されているか、または目標象物を検出するように移動されている）場合、またはデフォルトもしくは選択された奥行きマッピング方法によって生成された奥行きマップが完全に正確であるとは限らない場合、所望の奥行きで目標対象物を取り込むことは困難であることがある。追加として、ユーザが、所与の環境および主題に対して使用するための最良の奥行きマッピングシステムを決定することが困難であることがあり、またはイメージング機器が、取り込まれたＦＯＶについて不十分に策定された奥行きマップを生成することがある。たとえば、装置は、近接して配置されたステレオ光学部品を含むことがあり、それは、イメージング機器からかなりの距離（たとえば、１０メートルを超える）のＦＯＶ内の対象物の奥行きマップを効果的に信頼性高く提供することができないことがある。

[0018]ユーザがイメージング機器を能動的に制御していない場合、たとえば、イメージング機器が画像を自動的に取り込むように設定されている場合、正確で信頼できる奥行きマップを使用したＦＯＶの取込みは、特にイメージング機器が単一の奥行きマッピング方法またはシステムを備える場合、ますます複雑になることがある。残念ながら、イメージング機器によって作られる奥行きマップは、オートフォーカシング、前景／背景分離、顔検出／認識、３Ｄスキャニング、対象物検出、場所検出、および自動イメージング機器の様々な他の機能による使用のための情報が不十分であることがある。これは、単一の奥行きマッピング方法またはシステムが様々な環境でＦＯＶの奥行きを正確に信頼性高く決定することが困難であることに起因することがある。ＦＯＶの奥行きを正確に信頼性高く決定することは、ＦＯＶ中の対象物ごとに正しい奥行きを示すＦＯＶの奥行きマップを生成できることを含むことができる。いくつかの実施形態では、正確で信頼できる奥行きマップは、ＦＯＶ中の対象物の７５％に対して正しい奥行きを示すことができる。いくつかの実施形態では、正確で信頼できる奥行きマップは、ＦＯＶ中の対象物の９０％に対して正しい奥行きを示すことができる。いくつかの実施形態では、ユーザは、正確で信頼できる奥行きマップに対応することになるＦＯＶ内の対象物の正しい奥行き測定値の割合を選択および／または決定することができる。正確で信頼できる奥行きは、１メートルの距離で１ｃｍ以内であるとして測定され得る。いくつかの実施形態では、ユーザは、正確で信頼できる奥行きの範囲および尺度を選択および／または決定することができる。

[0019]奥行きマップを生成する異なるシステムの確度および信頼性は変わることがある。たとえば、外部照明が制限されている１０’×１０’室内で機能するように構成された奥行きマッピングシステムを有する近接配置ステレオカメラシステムは、目標対象物が２０メートルの距離にある屋外光景では、屋外光景のために構成された構造化光奥行きマッピングシステムと同様の正確なまたは信頼できる奥行きマップを提供しないことがある。したがって、ＦＯＶに応じて、ＦＯＶの奥行きマップを生成する異なるシステムまたは方法のうちの１つまたは複数が、ＦＯＶの奥行きマップを生成する他のシステムまたは方法よりも正確で信頼できることがある。追加として、奥行きマップを生成する異なるシステムまたは方法の各々は異なる欠点を有することがある。たとえば、陰影に基づく奥行きシステムの欠点は、ステレオカメラシステムの欠点と異なることがある。

[0020]奥行きマップを生成するために使用され得る異なる方法の本質的な限界および欠点を考慮して、様々なプロセスまたは構成が、所望の奥行きで目標対象物を取り込む見込みを改善するように試みられ得る。いくつかの実施形態では、所望の奥行きで目標対象物の画像を取り込むために、イメージング機器は、複数のフレームを連続して取り込む（たとえば、単一のカメラのマルチショットモード、または、フレーム取込みのバーストモードを実行する）ように構成され得る。イメージング機器は、イメージング機器の奥行きマッピングシステムが決定できる最高の理想的な奥行きの近くに目標対象物があるときマルチショットバーストを始めることができる。しかしながら、そのようなマルチショット実施態様は、メモリおよび処理時間のかなり大きいオーバヘッドと、複数のフレームを取り込みそれらをユーザレビューのためにメモリに格納するための電力とを必要とする。追加として、そのようなマルチショットバーストは、所望の対象物またはアクションを取り込むことを少しも保証することができない。代替として、目標対象物は、フレームに取り込まれ得るが、所望の奥行きで取り込まれ得ない。所望の対象物またはアクションが、所望の奥行きでマルチショットバーストのフレームに取り込まれる場合、マルチショット実施態様は、目標対象物に適切に合焦せず、代わりに、フレームの背景または別の対象物に合焦することがあり、または、特に、目標対象物が動いている場合および／またはイメージング機器が動いている場合、ＦＯＶ中のいかなる対象物にも合焦しないことがある。単一の奥行きマッピングシステムを有するシステムに存在し得る技術的困難に加えて、ユーザおよび／またはイメージング機器は、取り込まれたフレームをレビューし、もしあれば、どのフレームが、マルチショットバーストのすべての取込フレームに関して所望の奥行きでおよび適切に合焦して目標対象物を取り込んだかを決定するために時間を費やす。

[0021]いくつかの実施形態では、イメージング機器は、個々の奥行きマップを生成するための複数のシステムを備えることができる。たとえば、イメージング機器は、とりわけ、ステレオビジョン奥行きマッピングが可能であるシステムと、構造化光奥行きマッピングが可能であるシステムと、陰影基づく奥行きの奥行きマッピングが可能であるシステムとをマイ（my）備える。追加として、イメージング機器は、最大の数の正確で信頼できる領域をもつ単一の融合奥行きマップを提供することができる組合せ奥行きマップに個々の奥行きマップを動的に融合させるように構成された融合システムを備えることができる。融合奥行きマップは、単一の奥行きマップのいずれかに関する限界を克服することができる。単一の奥行きマップに融合されると、個々の奥行きマップの各々は、他の奥行きマップが失敗することがあるかまたは不正確かもしくは信頼できない（またはあまり正確でないかもしくはあまり信頼できない）ことがある場合にシナリオおよび使用のために最適化され得、それにより、個々の奥行きマップの各々は、その強度に従って使用され、その弱点を無視することができる。

[0022]したがって、イメージング機器は、ＦＯＶの複数の奥行きマップを生成するのに必要な構成要素または装置を備えることができる。たとえば、上述のように、ステレオビジョンを使用して奥行きマップを生成するための構成要素は、２つの画像センサ（またはカメラもしくは光学部品）と、単一の光源とを含むことができ、陰影を使用して奥行きマップを生成するための構成要素は、２つの光源と、単一の画像センサとを含むことができ、構造化光を使用して奥行きマップを生成するための構成要素は、単一の構造化光源と、単一の画像センサとを含むことができる。光源および画像センサに加えて、奥行きマップを生成するための個々のシステムの各々は、取り込まれたＦＯＶまたは光景のポイントごとに奥行きを測定し、画像センサによって取り込まれたデータから関連する奥行きマップを生成するように構成された個々の処理システムおよび回路を備えることができるが、いくつかの実施形態では、複数の奥行きマッピングシステムが処理システムおよび回路を共有することができる。

[0023]図１Ａは、例示的な実施形態による、画像取込みシステムの視野の奥行きマップを生成するために使用され得るステレオカメラシステム１００の例示的なブロック図を示している。図１Ａに示すように、ステレオカメラシステム１００は、複数の構成要素を備えることができる。複数の構成要素は、単一の光源１０５と、第１のカメラ１１０と、第２のカメラ１１５とを備える。いくつかの実施形態では、筐体１２０で表されるような単一の筐体が、光源１０５、第１のカメラ１１０、および第２のカメラ１１５の各々を収容することができる。いくつかの実施形態では、光源１０５、第１のカメラ１１０、および第２のカメラ１１５は、２つ以上の筐体に収容されてもよく、構成要素のうちの１つまたは複数は、ステレオカメラシステム１００の１つまたは複数の他の構成要素から隔置される。第１のカメラ１１０および第２のカメラ１１５は、ポイント１２７への焦点線１２６を有するように示されている。これらの焦点線は、第１のカメラ１１０および第２のカメラ１１５の異なる注視点を表すことができる。追加として、距離１２５は、２つの第１のカメラ１１０および第２のカメラ１１５の間に示されている。距離１２５は、ステレオカメラの奥行き計算またはマッピングの範囲に影響を与え得る。たとえば、第１のカメラ１１０および第２のカメラ１１５が近接して配置された場合、第１のカメラと第２のカメラの両方によって取り込まれるフレーム内の対象物の知覚奥行きは、第１のカメラ１１０と第２のカメラ１１５との間の距離１２５が大きい場合よりも制限されることになる（たとえば、知覚奥行きは、それほど遠くないことになる）。

[0024]異なる好都合なポイントから対象物またはエッジを見ると、対象物またはエッジは異なる場所にあるように見えることになることがある。たとえば、第１のカメラ１１０がポイント１３５を見る場合、ポイント１３５は、第２のカメラ１１５によって同時に見られる同じポイント１３５とは異なる場所にあるように見えることがある。これは、第１のカメラ１１０および第２のカメラ１１５が異なる（または本質的に異なる）場所にあるからである。したがって、第１のカメラ１１０および第２のカメラ１１５に応じて、目標対象物は、それぞれ第１のカメラ１１０および第２のカメラ１１５の位置に関連して１つの方向においてわずかにシフトされ得る。第１のカメラ１１０と第２のカメラ１１５との間の距離１２５と、それぞれ、第１のカメラ１１０および第２のカメラ１１５におけるポイント１３５の結果として生じた画像の観察された視差とを使用することによって、ステレオカメラシステム１００は、第１のカメラ１１０および第２のカメラ１１５によって共有される視野中の対象物の奥行きマップを生成することが可能であり得る。この方法は、第１のカメラ１１０および第２のカメラ１１５のＦＯＶまたは光景中のすべての点に適用され得、ポイント１３５はＦＯＶまたは光景中のすべての点に置かれる。

[0025]この図には示されていないが、ステレオカメラシステム１００は、画像を取り込むおよび／または奥行きマップを生成するために、光源１０５、第１のカメラ１１０、および第２のカメラ１１５を制御するように構成された１つまたは複数の処理構成要素をさらに備えることができる。いくつかの実施形態では、これらの１つまたは複数の構成要素はコントローラまたはプロセッサを備えることができる。コントローラまたはプロセッサは、ステレオカメラシステムの１つまたは複数の構成要素を制御し（すなわち、視野の画像を取り込むために光源１０５、第１のカメラ１１０、および第２のカメラ１１５を作動させ）、第１のカメラ１１０と第２のカメラ１１５との間で共有されるＦＯＶの奥行きマップを生成するために、それぞれ、第１のカメラ１１０および第２のカメラ１１５によって生成された画像を処理するように構成され得る。いくつかの実施形態では、１つまたは複数の処理構成要素は、生成された奥行きマップを格納するためのメモリ（この図には示されていない）をさらに含むことができる。

[0026]ステレオカメラシステム１００を使用する奥行き感知は、多くの理由で有益であると立証することができる。たとえば、ステレオカメラシステム１００は、ＦＯＶの奥行きマップを能動的または受動的のいずれかで生成するように構成され得る。追加として、いくつかの実施形態では、ステレオカメラシステム１００は、一般に、良好な確度を有することができ、多くの場合、ステレオカメラシステム１００に近接して配置されたＦＯＶ中の目標対象物から、ステレオカメラシステム１００から無限距離に配置されたＦＯＶ中のそれらの目標対象物までの奥行きを決定することができる範囲を備えることができる。しかしながら、ステレオカメラシステム１００は、観察されたＦＯＶの正確で信頼できる奥行きマップを生成することに関していくつかの負の側面を有することがある。いくつかの実施形態では、良好な確度の決定はステレオカメラシステム１００からの目標対象物の距離に対応することがあり、距離が増加するにつれて誤差が増加する。さらに、いくつかの実施形態では、良好な確度の決定は、ステレオカメラシステム１００の使用法に依存することがある。たとえば、識別などの確実性の高い用途で使用される場合、確実性の低い用途、たとえば、動き検出などで使用される場合よりも高い確度が必要とされ得る。

[0027]上述のように、いくつかの実施形態では、第１のカメラ１１０と第２のカメラ１１５との間の距離１２５は、両方のカメラ１１０および１１５によって観察される対象物の知覚奥行きに影響を与え得る。したがって、ＦＯＶ中の対象物の知覚奥行きは、処理構成要素が第１のカメラ１１０および第２のカメラ１１５によって取り込まれた画像からＦＯＶの奥行きマップを正確に信頼性高く生成する能力に影響を及ぼすことがある。したがって、ステレオカメラシステム１００によって生成された奥行きマップは、第１のカメラ１１０および第２のカメラ１１５が近接して配置される（たとえば、距離１２５が小さい（たとえば、数ミリメートル間隔））場合、または第１のカメラ１１０および第２のカメラ１１５がステレオカメラシステム１００において遠く離して配置される（たとえば、距離１２５がより大きい（たとえば、数インチ以上））の場合、影響されやすいことがある（すなわち、それほど正確でないことがあり、および／またはそれほど信頼できないことがある）。ステレオカメラ奥行き感知方法に関する１つの潜在的な欠点は、第１のカメラ１１０と第２のカメラ１１５の両方が向けられ合焦されるＦＯＶ中の合焦点をステレオカメラが使用することである。これらの光景依存「キーポイント」がなければ、第１のカメラ１１０および第２のカメラ１１５から得られた画像は、個々では、ＦＯＶ中の同じ目標対象物または場所に対応していないことがあるので、２つのカメラ１１０および１１５はＦＯＶ中の対象物の奥行きを決定することができないことがある。

[0028]図１Ｂは、例示的な実施形態による、システムの視野（ＦＯＶ）の奥行きマップを生成するために使用され得る陰影に基づく奥行きシステム１３０の例示的なブロック図を示している。図１Ｂに示すように、陰影に基づく奥行きシステム１３０は、複数の構成要素を備えることができる。複数の構成要素は、第１の光源１４０と、第２の光源１４５と、カメラ１３５とを備える。いくつかの実施形態では、筐体１５０で表されるような単一の筐体が、第１の光源１４０、第２の光源１４５、およびカメラ１３５の各々を収容することができる。いくつかの実施形態では、第１の光源１４０、第２の光源１４５、およびカメラ１３５は、２つ以上の筐体に収容されてもよく、構成要素のうちの１つまたは複数は、陰影に基づく奥行きシステム１３０の１つまたは複数の他の構成要素から隔置される。第１の光源１４０および第２の光源１４５は、対象物１５５から反射され得る光を生成するように示されている。カメラ１３５は、対象物１５５から反射する光を吸収することができる。対象物１５５から反射された光の強度は、光を画像センサ１３５に反射して戻す表面の形状に基づいて変化し得る。したがって、反射光の強度の変化は、光が反射された対象物１５５の表面の形状情報を決定するために使用され得る。

[0029]対象物１５５の表面の形状情報は、対象物１５５の各ポイントに対応する表面の方位を計算することによって決定され得る。陰影に基づく奥行きシステム１３０は、そのポイントにおける対象物１５５の表面の法線（対象物１５５のポイントが面している方向）を決定するために、対象物１５５の各ポイントから反射された光の強度を使用することができる。対象物１５５の表面の法線は、次いで、対象物１５５を再構築するために使用され得る。しかしながら、陰影に基づく奥行きシステム１３０は、対象物１５５の表面が滑らかであると仮定することがあり、表面の輪郭が対象物１５５を再構築する際の困難さを増加させることがある。

[0030]この図には示されていないが、陰影に基づく奥行きシステム１３０は、画像を取り込むおよび／または奥行きマップを生成するために第１の光源１４０、第２の光源１４５、およびカメラ１３５を制御するように構成された１つまたは複数の処理構成要素をさらに備えることができる。いくつかの実施形態では、これらの１つまたは複数の構成要素は、コントローラまたはプロセッサを備えることができる。コントローラまたはプロセッサは、陰影に基づく奥行きシステム１３０の１つまたは複数の構成要素を制御するように構成され得る。これは、対象物１５５を照明するために、それぞれ、第１の光源１４０および第２の光源１４５を作動させることと、視野の画像を取り込むためにカメラ１３５を作動させることとを備えることができる。コントローラまたはプロセッサは、さらに、カメラ１３５によって生成された画像を処理し、再構築された対象物１５５に基づいて（たとえば、対象物１５５の表面からの光の計算に基づいて）ＦＯＶの間接奥行きマップを生成するように構成され得る。いくつかの実施形態では、１つまたは複数の処理構成要素は、生成された奥行きマップを格納するためのメモリ（この図には示されていない）をさらに含むことができる。

[0031]陰影に基づく奥行きシステム１３０を使用する奥行き感知は、多くの理由で有益であると立証することができる。たとえば、陰影に基づく奥行きシステム１３０は、陰影システム１３０のＦＯＶ内のキーポイントを使用せず、したがって、陰影に基づく奥行きシステム１３０を、ＦＯＶの取込みとは独立したものにすることができる。追加として、陰影に基づく奥行きシステム１３０は、ＦＯＶの奥行きマップを能動的に生成するように構成され得る。しかしながら、陰影に基づく奥行きシステム１３０は、観察されるＦＯＶの広範囲の距離に対して正確で信頼できる奥行きマップを生成することに関していくつかのさらなる負の側面を有することがある。たとえば、いくつかの実施形態では、ステレオカメラシステム１００は、一般に、良好な確度（たとえば、１メートルの距離で１センチメートル未満の誤差を有する）を有することができ、多くの場合、ステレオカメラシステム１００に近接して配置されたＦＯＶ中の目標対象物から、ステレオカメラシステム１００からほぼ無限の距離に置かれたＦＯＶ中のそれらの目標対象物までの奥行きを決定することができる範囲を備えることができるが、陰影システム１３０は、陰影システム１３０の近くから陰影システム１３０から遠い距離までの目標対象物に制限されることがあるが、ステレオカメラシステム１００の無限大の範囲を有していないことがある。上述のように、いくつかの実施形態では、対象物１５５の表面は、カメラ１３５へと戻る対象物１５５の表面の反射特性を表面のテクスチャが変化させることがあるので陰影に基づく奥行き感知の奥行き感知に影響を与え、したがって、対象物１５５の表面の知覚奥行きに影響を与えることがある。したがって、ＦＯＶ中の対象物１５５の知覚奥行きは、対象物１５５によって反射されカメラ１３５によって取り込まれる光に基づいてＦＯＶのための奥行きマップを正確に信頼性高く生成するための処理構成要素の能力に影響を与えることがある。追加として、上述で論じたように、陰影に基づく奥行きシステム１３０から生成された奥行きマップの確度は、ステレオカメラシステム１００によって生成された奥行きマップと比較して、「おおむね良好」であるにすぎないことがある。さらに、陰影に基づく奥行きシステムは、ＦＯＶまたは光景に存在する明るい外部光に影響されやすいことがある。

[0032]図１Ｃは、例示的な実施形態による、システムの視野（ＦＯＶ）の奥行きマップを生成するために使用され得る構造化光感知システム１６０の例示的なブロック図を示している。図１Ｃに示すように、構造化光感知システム１６０は、複数の構成要素を備えることができる。複数の構成要素は、構造化光源１６５と、カメラ１７０とを備える。いくつかの実施形態では、筐体１８０で表されるような単一の筐体が、構造化光源１６５とカメラ１７０の両方を収容することができる。いくつかの実施形態では、構造化光源１６５およびカメラ１７０は、２つ以上の筐体に収容されてもよく、構造化光源１６５およびカメラ１７０は互いに隔置される。図１Ｃに示すように、構造化光源１６５とカメラ１７０とは、距離１８５だけ隔てられ得る。構造化光源１６５は、対象物１８６から反射され得る光を生成するように示されている。構造化光源１６５によって生成される光は既知パターンのものとすることができる。カメラ１７０は、対象物１８６から反射する光を吸収することができる。既知パターンの光が反射または表面への衝突の際に反射または変形する方法により、カメラ１７０は、光景またはＦＯＶ中の対象物の奥行きおよび表面情報を計算することが可能になる。したがって、反射は、対象物１８６の奥行き情報を決定するために使用され得る。様々なタイプの構造化光システム１６０、たとえば、光平面、グレーコードパターン、および一連の正弦波が存在し得る。

[0033]この図には示されていないが、構造化光システム１６０は、画像を取り込むおよび／または奥行きマップを生成するために構造化光源１６５およびカメラ１７０を制御するように構成された１つまたは複数の処理構成要素をさらに備えることができる。いくつかの実施形態では、これらの１つまたは複数の構成要素は、コントローラまたはプロセッサを備えることができる。コントローラまたはプロセッサは、構造化光システム１６０の１つまたは複数の構成要素を制御するように構成され得る。これは、既知の光パターンを有する対象物１８６を生成および照明するために構造化光源１６５を作動させることと、視野の画像を取り込むためにカメラ１７０を作動させることとを備えることができる。コントローラまたはプロセッサは、さらに、カメラ１７０によって生成された画像を処理し、ＦＯＶまたは光景中の対象物１８６および任意の対象物の表面から反射された光の計算に基づいてＦＯＶの奥行きマップを生成するように構成され得る。いくつかの実施形態では、１つまたは複数の処理構成要素は、生成された奥行きマップを格納するためのメモリ（この図には示されていない）をさらに含むことができる。

[0034]構造化光システム１６０を使用する奥行き感知は、多くの理由で有益であると立証することができる。たとえば、陰影に基づく奥行きシステム１３０と同様に、構造化光システム１６０は、ＦＯＶまたは光景内のキーポイントを使用せず、したがって、構造化光システム１６０をＦＯＶの取込みとは独立したものにすることができる。追加として、構造化光システム１６０は、ＦＯＶの奥行きマップを能動的に生成するように構成され得る。さらに、構造化光システム１６０によって生成される奥行きマップは、良好な確度および信頼性を有することができる。しかしながら、構造化光システム１６０は、観察されるＦＯＶの広範囲の距離に対して正確で信頼できる奥行きマップを生成することに関していくつかの負の側面を有することがある。いくつかの実施形態では、対象物１８６またはカメラ１７０の移動は、対象物１８６から反射する既知のパターンの光を構造化光システムが検出する能力を妨害することがある。追加として、構造化光システム１６０は限定された範囲を有し、したがって、対象物１８６の知覚奥行きに影響を与えることがある。したがって、ＦＯＶ中の対象物１８６の知覚奥行きは、処理構成要素がＦＯＶの正確で信頼できる奥行きマップを生成する能力に影響を与えることがある。さらに、構造化光システムは、ＦＯＶまたは光景に存在する明るい外部光に影響されやすいことがある。

[0035]本明細書で説明される奥行きマッピングシステムは、例示であることが意図されており、本発明によって含まれる奥行きマッピングシステムを限定していない。追加の奥行きマッピングシステムは、不正確なまたは信頼できない奥行きの区域または領域が最小である融合奥行きマップを生成するためのシステムまたは方法に組み込まれ得る。

[0036]図２は、複数のカメラまたは光学部品２１５ａ〜２１５ｎと、複数の光源２１６ａ〜２１６ｍとに連結された画像プロセッサ２２０を含む１組の構成要素を有する画像取込みデバイス２００の１つの可能な実施形態のハイレベルブロック図を示す。画像プロセッサ２２０は、さらに、作業メモリ２０５、メモリ２３０、およびデバイスプロセッサ２５０と通信することができ、そして次に、デバイスプロセッサ２５０は、電子記憶モジュール２１０、電子ディスプレイ２２５、および奥行き感知システム２６０と通信することができる。いくつかの実施形態では、シングルプロセッサが、図２に示されたような２つの別個のプロセッサの代わりに、画像プロセッサ２２０とデバイスプロセッサ２５０の両方を備えることができる。いくつかの実施形態は３つ以上のプロセッサを含むことができる。いくつかの実施形態では、上述された構成要素のうちのいくつかは画像取込みデバイス２００に含まれないことがあり、または上述されていない追加の構成要素が画像取込みデバイス２００に含まれることがある。いくつかの実施形態では、上述された、または画像取込みデバイス２００に含まれるとして説明された構成要素のうちの１つまたは複数は、画像取込みデバイス２００の任意の他の構成要素に組み合わされてもよくまたは統合されてもよい。

[0037]画像取込みデバイス２００は、携帯電話、デジタルカメラ、タブレットコンピュータ、携帯情報端末などとすることができ、またはそれらの一部とすることができる。本明細書で説明されるような奥行きマップ融合システムが有利であるとわかる多くの携帯コンピューティングデバイスがある。画像取込みデバイス２００は、さらに、奥行きマップ融合システムが有利である据置コンピューティングデバイスまたは任意のデバイスとすることができる。複数のアプリケーションが、画像取込みデバイス２００においてユーザに利用可能となり得る。これらのアプリケーションは、従来の写真およびビデオアプリケーション、高ダイナミックレンジ画像化、パノラマ写真およびビデオ、または３Ｄ画像もしくは３Ｄビデオなどの立体画像化を含むことができる。

[0038]画像取込みデバイス２００は、外部画像を取り込むためのカメラまたは光学部品２１５ａ〜２１５ｎを含む。各カメラまたは光学部品２１５は、少なくとも１つのセンサ、画像取込みデバイス２００のＦＯＶから受け取った光を少なくとも１つのセンサ（たとえば、レンズ系）に合焦する少なくとも１つの光学結像構成要素、および／または少なくとも１つの光学結像構成要素に結合されたオートフォーカスアセンブリを含むことができる。一般に、Ｎ個のカメラ２１５ａ〜２１５ｎが使用され得、ここで、Ｎ≧１である。しかしながら、いくつかの実施形態は１つの画像センサアセンブリのみを利用することができ、カメラまたは光学部品２１５ａ〜２１５ｎは本明細書で説明される奥行きマップ融合システムの実施態様に好適な任意の数の画像センサアセンブリを備えることができることを理解されよう。カメラまたは光学部品の数は、所与の視野のより大きい奥行き決定能力を達成するために増やされてもよい。カメラまたは光学部品２１５ａ〜２１５ｎは、取り込まれた画像を画像プロセッサ２２０に送信するために画像プロセッサ２２０に結合され得る。カメラまたは光学部品２１５ａ〜２１５ｎによって取り込まれる画像は、光源２１６ａ〜２１６ｍによって照明され得る。光源２１６ａ〜２１６ｍは、とりわけ、フレッシュバルブ、リフレクタ、および幾何学的光パターン発生器を含むことができる。一般に、Ｍ個の光源２１６ａ〜２１６ｍが使用され得、ここで、Ｍ≧２である。画像プロセッサ２２０またはデバイスプロセッサ２５０は、取り込まれた画像を受け取り、それに応じて、その中に取り込まれた光景またはＦＯＶの奥行きを決定するように構成され得る。いくつかの実施形態では、カメラまたは光学部品２１５は、光景またはＦＯＶの奥行きマップを生成するために使用される「予備」画像を取り込むことができる。いくつかの実施形態では、カメラまたは光学部品２１５ａ〜２１５ｎと、それらに結合された処理装置とは、対象物の奥行きを決定するために画像を取り込むのではなく、むしろ画像を実際に取り込むことなしに「ライブ」ビューからＦＯＶの奥行きマップを生成することができる。

[0039]画像プロセッサ２２０は、高品質画像を出力するために目標画像の一部分を備える受取画像データに様々な処理動作を実行するように構成され得る。プロセッサ２２０は、汎用処理ユニット、または画像化アプリケーションのために特に設計されたプロセッサとすることができる。画像処理動作の例は、奥行きマッピング、奥行き整合、奥行き決定動作、または奥行きマップ融合動作を含む。これらの動作は、クロッピング、スケーリング（たとえば、異なる分解能への）、画像スティッチング（image stitching）、画像フォーマット変換、色補間、色処理、画像フィルタ処理（たとえば、空間画像フィルタ処理）、レンズアーティファクトまたは欠陥補正、ビネット（vignette）によって引き起こされる光レベルのレンズ光ロールオフまたは低減などを実行する同じまたは異なるプロセッサによって実行され得る。プロセッサ２２０は、いくつかの実施形態では、複数のプロセッサを備えることができる。いくつかの実施形態は、各画像センサに専用のプロセッサを有することができる。画像プロセッサ２２０は、１つまたは複数の専用画像信号プロセッサ（ＩＳＰ）またはプロセッサのソフトウェア実装とすることができる。

[0040]図示のように、画像プロセッサ２２０は、メモリ２３０と作業メモリ２０５とに接続される。図示の実施形態では、メモリ２３０は、取込み制御モジュール２３５、奥行きマップ融合モジュール２４０、オペレーティングシステム２４５、およびオートフォーカスモジュール２５５を格納する。いくつかの実施形態では追加モジュールが含まれてもよく、またはいくつかの実施形態ではより少ないモジュールが含まれてもよい。これらのモジュールは、様々な画像処理およびデバイス管理タスクを実行するためにデバイス２００の画像プロセッサ２２０を構成する命令を含む。作業メモリ２０５は、メモリ２３０のモジュールに含まれるプロセッサ命令の作業セットを格納するために画像プロセッサ２２０によって使用され得る。代替として、作業メモリ２０５は、さらに、デバイス２００の動作の間に作り出される動的データ（たとえば、単一の融合奥行きマップに融合されるべき１つまたは複数の奥行きマップ）を格納するために画像プロセッサ２２０によって使用されてもよい。追加モジュール、または外部デバイスもしくはハードウェアへの接続が、この図に示されていない可能性があるが、それらは、他の奥行きトリガオプションまたはアクションを行うために存在し得る。

[0041]上記のように、画像プロセッサ２２０は、メモリ２３０に格納されているいくつかのモジュールによって構成され得る。取込み制御モジュール２３５は、デバイス２００の画像取込み機能と奥行き決定機能との全体を制御する命令を含むことができる。たとえば、取込み制御モジュール２３５は、カメラ／光学部品２１５ａ〜２１５ｎを使用して目的画像光景の生画像データを取り込むために画像プロセッサ２２０を構成する命令を含むことができる。次いで、取込み制御モジュール２３５は、複数の奥行きマップを一緒に融合させるために奥行き融合モジュール２４０を呼び出すことができる。

[0042]奥行きマップ融合モジュール２４０は、画像プロセッサ２２０またはデバイスプロセッサ２５０が複数の奥行きマップを単一の空間依存奥行きマップに融合または組み合わせることを可能にする命令を備えることができる。融合奥行きマップのポイントの各々は、複数の奥行き感知モジュール２６５ａ〜２６５ｏからの最も信頼でき最も正確な奥行き情報を備えることができる。空間依存性は、奥行きマップ融合モジュール２４０が、１つの奥行きマップの不正確なまたは信頼できない部分を、奥行きマップのＦＯＶ中の同じ物理的場所に対応する別の奥行きマップの正確で信頼できる部分と取り替えるように画像プロセッサ２２０を構成することを確実にすることを備えることができる。たとえば、奥行きマップ融合モジュール２４０は、ステレオカメラシステムによって生成され奥行きマップを、陰影に基づく奥行きシステムによって生成された奥行きマップと融合させるように画像プロセッサ２２０を構成することができる。結果として生じる融合奥行きマップは、２つの個々の奥行きマップの欠点を避けながら、各奥行きマップの利点（ステレオカメラ奥行きマップからの良好な確度および陰影奥行きマップからのキーポイントの必要なし）から利益を得ることができる。したがって、奥行きマップの各々によってマッピングされたＦＯＶまたは光景は、上述のように、融合奥行きマップが空間的に依存するように、実質的に同じであるかまたは実質的に同じ対象物を備えることができる。

[0043]オペレーティングシステムモジュール２４５は、デバイス２００の作業メモリ２０５および処理リソースを管理するように画像プロセッサ２２０を構成する。たとえば、オペレーティングシステムモジュール２４５は、カメラ２１５ａ〜２１５ｎなどのハードウェアリソースを管理するためのデバイスドライバを含むことができる。したがって、いくつかの実施形態では、上述で論じた画像処理モジュールに含まれる命令は、これらのハードウェアリソースと直接対話するのではなく、代わりに、オペレーティングシステム構成要素２４５中にある標準サブルーチンまたはＡＰＩを通して対話することができる。次いで、オペレーティングシステム２４５内の命令は、これらのハードウェア構成要素と直接対話することができる。オペレーティングシステムモジュール２４５は、さらに、情報をデバイスプロセッサ２５０と共有するように画像プロセッサ２２０を構成することができる。

[0044]オートフォーカスモジュール２５５は、カメラ２１５ａ〜２１５ｎの各々の焦点位置を、たとえば対応するオートフォーカスアセンブリの移動および位置決めを制御することによって調節するように画像プロセッサ２２０を構成する命令を含むことができる。オートフォーカスモジュール２５５は、いくつかの実施形態では、合焦分析を実行し、合焦パラメータを自動的に決定するように画像プロセッサ２２０を構成する命令を含むことができ、いくつかの実施形態では、ユーザ入力合焦コマンドに応答するように画像プロセッサ２２０を構成する命令を含むことができる。いくつかの実施形態では、オートフォーカスモジュール２５５は、ＦＯＶ中の目標対象物が特定の奥行きおよび目標対象物への適切な合焦であるときを決定するために、奥行きマップ融合モジュール２４０によって生成された融合奥行きマップからの情報を使用することができる。いくつかの実施形態では、アレイ中の各カメラのレンズ系は別個に合焦され得る。いくつかの実施形態では、アレイ中の各カメラのレンズ系はグループとして合焦され得る。いくつかの実施形態では、オートフォーカスモジュール２５５は、奥行きマップ融合モジュール２４０からまたはプロセッサ２２０もしくはプロセッサ２５０の一方からコマンドを受け取るように構成され得る。

[0045]デバイスプロセッサ２５０は、取り込まれた画像または取り込まれた画像のプレビューをユーザに表示するためにディスプレイ２２５を制御するように構成され得る。ディスプレイ２２５は、イメージングデバイス２００の外部にあってもよく、またはイメージングデバイス２００の一部であってもよい。ディスプレイ２２５は、さらに、画像を取り込む前にユーザにプレビュー画像を表示するビューファインダを設けるように構成されてもよく、またはメモリに格納されているかもしくはユーザによって最近取り込まれた、取り込まれた画像を表示するように構成されてもよい。ディスプレイ２２５は、パネルディスプレイ、たとえば、ＬＣＤスクリーン、ＬＥＤスクリーン、または他のディスプレイ技術を含むことができ、タッチセンシティブ技術を実装することができる。デバイスプロセッサ２５０は、さらに、ユーザからの入力を受け取るように構成され得る。たとえば、ディスプレイ２２５は、さらに、タッチスクリーンとなるように構成されてもよく、それにより、ユーザからの入力を受け取るように構成されてもよい。ユーザは、プロセッサが奥行きマップ融合モジュール２４０に供給できる情報を入力するためにタッチスクリーンディスプレイ２２５を使用することができる。たとえば、ユーザは、ディスプレイ２２５に示された視野から目標対象物を選択するか、または融合奥行きマップ向けに最小限の確度または信頼性を確立するためにタッチスクリーンを使用することができる。デバイスプロセッサ２５０は、その入力を受け取り、それを奥行きマップ融合モジュール２４０に供給することができ、奥行きマップ融合モジュール２４０は、融合動作に向けて奥行きマップを選択するのに入力を使用することができ、または光景もしくはＦＯＶで使用するための特定の奥行きマッピング方法を選択することができる。

[0046]いくつかの実施形態では、デバイスプロセッサ２５０は、奥行き感知システム２６０を制御するように、または奥行き感知システム２６０からの入力を受け取るように構成され得る。奥行き感知システム２６０は、画像取込みデバイス２００の特定のＦＯＶまたは光景の奥行きマップを生成するためにどの１つまたは複数の奥行き感知モジュール２６５ａ〜２６５ｏを使用すべきかを決定するように構成され得る。たとえば、奥行き感知システム２６０は、利用可能な作業メモリ２０５および／または利用可能なバッテリもしくは電力を評価し、奥行き感知モジュール２６５ａ〜２６５ｏのうちのどれが所与の条件に対してその時点で最も適切であり得るかを決定するためにその情報を使用することができる。追加として、奥行き感知システム２６０は、奥行きマップが生成されるべき環境または光景もしくはＦＯＶにとってどの奥行き感知モジュール２６５ａ〜２６５ｏが最もよく適しているかを決定するためにカメラまたは光学部品２１５ａ〜２１５ｎからの「ライブ」ビューを評価することができる。いくつかの実施形態では、奥行き感知システム２６０は、後続の奥行きマップのＦＯＶまたは光景のためにユーザにとってどの奥行き感知モジュール２６５ａ〜２６５ｏかを評価または決定するためにＦＯＶまたは光景の以前に取り込まれたフレームを見ることができる。

[0047]いくつかの実施形態では、デバイスプロセッサ２５０または奥行き感知システム２６０は、複数の奥行き感知モジュール２６５ａ〜２６５ｏを選択することができ、選択された奥行き感知モジュール２６５ａ〜２６５ｏによって生成された個々の奥行きマップから単一の融合奥行きマップを生成するために奥行きマップ融合モジュール２４０を使用するように決定することができる。複数の奥行き感知モジュール２６５ａ〜２６５ｏの選択は、画像取込みデバイス２００の環境または光景もしくはＦＯＶのうちの１つまたは複数、画像取込みデバイスの１つまたは複数のパラメータに基づくことができる。一般に、Ｏ個の奥行き感知モジュール２６５ａ〜２６５ｏが使用され得、ここで、Ｏ≧２である。いくつかの実施形態では、奥行き感知モジュール２６５ａはステレオカメラシステム１００を備えることができ、奥行き感知モジュール２６５ｂは陰影に基づく奥行きシステム１３０を備えることができ、奥行き感知モジュール２６５ｃは構造化光システム１６０を備えることができる。

[0048]デバイスプロセッサ２５０は、データ、たとえば取り込まれた画像を表すデータを、記憶モジュール２１０に書き込むことができる。記憶モジュール２１０は従来のディスクデバイスとして図式的に表されているが、いくつかの実施形態では、記憶モジュール２１０は任意の記憶媒体デバイスとして構成され得る。たとえば、記憶モジュール２１０は、フロッピー（登録商標）ディスクドライブ、ハードディスクドライブ、光ディスクドライブ、または光磁気ディスクドライブなどのディスクドライブ、またはＦＬＡＳＨメモリ、ＲＡＭ、ＲＯＭ、および／またはＥＥＰＲＯＭ（登録商標）などの固体メモリを含むことができる。記憶モジュール２１０は複数のメモリユニットをさらに含んでもよく、メモリユニットのうちの任意の１つは、画像取込みデバイス２００内にあるように構成されてもよく、または画像取込みデバイス２００の外側にあってもよい。たとえば、記憶モジュール２１０は、画像取込みデバイス２００内に格納されたシステムプログラム命令を含むＲＯＭメモリを含むことができる。記憶モジュール２１０は、カメラから取外し可能とすることができる、取り込まれた画像を格納するように構成されたメモリカードまたは高速メモリをさらに含むことができる。

[0049]図２は、プロセッサ、画像センサ、およびメモリを含むように別個の構成要素を有するデバイスを示しているが、いくつかの実施形態では、これらの別個の構成要素は特定の設計目的を達成するために様々な方法で組み合わされてもよい。たとえば、代替の実施形態では、メモリ構成要素は、コストを節約し性能を改善するために、プロセッサ構成要素と組み合わされてもよい。

[0050]追加として、図２は、いくつかのモジュールを備えるメモリ構成要素２３０と、作業メモリを備える別個のメモリ２０５とを含むいくつかのメモリ構成要素を示しているが、いくつかの実施形態では、異なるメモリアーキテクチャが利用されてもよい。たとえば、設計は、メモリ２３０に含まれるモジュールを実装するプロセッサ命令を格納するためにＲＯＭまたはスタティックＲＡＭメモリを利用することができる。プロセッサ命令は、画像プロセッサ２２０による実行を容易にするためにＲＡＭにロードされ得る。たとえば、作業メモリ２０５はＲＡＭメモリを備えることができ、命令は、画像プロセッサ２２０による実行の前に作業メモリ２０５にロードされる。いくつかの実施形態では、奥行き感知システム２６０は、メモリ２３０に格納されたソフトウェアとすることができ、またはソフトウェア構成要素と組み合わされたハードウェアシステムとすることができる。

[0051]図３は、例示的な実施形態による、ステレオ光学、陰影、または構造化光技法のうちの少なくとも１つを使用して１つまたは複数の奥行きマップを生成するために使用され得るような図２の画像取込みデバイス２００の構成要素を示すチャート３００を示す。図３のチャート３００は、チャートの最上部の行に沿って、第１のカメラ２１５ａ、第１の光源２１６ａ、第２のカメラ２１５ｂ、第２の光源２１６ｂ、および第３の光源２１６ｃを含む、図２の画像取込みデバイス２００の様々な構成要素を備える。いくつかの実施形態において、カメラ２１５ａまたはカメラ２１５ｂのうちの１つまたは複数は、赤／緑／青カメラ（ＲＧＢカメラ）、または赤外線カメラ（ＩＲカメラ）、または組合せＲＧＢ／ＩＲカメラを備えることができる。いくつかの実施形態では、光源２１６ａ〜２１６ｃのうちの１つまたは複数は構造化光源を備えることができ、構造化光源は、既知のパターン（たとえば、幾何学的パターンまたは時間経過パターン）を有する光を生成し放出する。チャート３００の縦軸は、時間（頁の上から下に進む）と、３つの例示的な奥行きマッピングシステムステレオカメラシステム１００、陰影に基づく奥行きシステム１３０、および構造化光システム１６０とを備える。

[0052]チャート３００は、さらに、画像取込みデバイス２００のどの構成要素が奥行きマッピングシステムの各々によって使用され得るかを示している。たとえば、行３１０に示すように、ステレオカメラシステムでは、第１のカメラ２１５ａ、第１の光源２１６ａ、および第２のカメラ２１５ｂが、画像取込みデバイス２００によって取り込まれるべきＦＯＶまたは光景中のすべてのポイントの奥行きを測定しＦＯＶまたは光景の奥行きマップを生成するために使用され得る。行３１２に示された陰影による奥行きシステムでは、第１の光源２１６ａ、第２のカメラ２１５ｂ、および第２の光源２１６ｂが、ＦＯＶまたは光景中のすべてのポイントの奥行きを測定しＦＯＶまたは光景の奥行きマップを生成するために使用され得る。同様に、行３１４の構造化光システムでは、第２のカメラ２１５ｂおよび第３の光源２１６ｃが、ＦＯＶまたは光景中のすべてのポイントの奥行きを測定しＦＯＶまたは光景の奥行きマップを生成するために使用され得る。

[0053]チャートの時間要素（time element）は、画像取込みデバイス２００が本発明の例示的な実施形態に従って利用できるプロセスを示している。上述で論じたように、任意の他の奥行きマッピングシステムの中のステレオカメラシステム、陰影に基づく奥行きシステム、および構造化光システムのうちの１つまたは複数は、欠点を備えることがあり、またはＦＯＶもしくは光景のための生成された奥行きマップに不正確または非信頼性をもたらすことがある。したがって、本明細書で説明されるシステム、方法、および装置を使用して、２つ以上の奥行きマップが、２つ以上の奥行きマッピングシステムを使用して生成され得、個々に生成された奥行きマップは、単一の空間依存奥行きマップに融合され得る。

[0054]融合奥行きマップは、第１の奥行きマッピングシステムによって生成された第１の奥行きマップの正確で信頼できるポイントを、および第２の奥行きマッピングシステムによって生成された第２の奥行きマップの正確で信頼できるポイントと組み合わせることによって生成され得る。いくつかの実施形態では、第１の奥行きマッピングシステムは、画像取込みデバイス２００によって取り込まれるべきＦＯＶもしくは光景、または画像取込みデバイス２００の１つまたは複数のパラメータに基づいて選択され得る。たとえば、画像取込みデバイス２００、またはターゲットＦＯＶもしくは光景中の１つまたは複数の対象物が動いている場合、ステレオカメラシステム１００は、陰影に基づく奥行きシステム１３０または構造化光システム１６０に優先して第１の奥行きマッピングシステムであるように選択され得、その理由は、ステレオカメラシステム１００は、動いているＦＯＶもしくは光景の最も完全で最も正確な奥行きマップを生成することが可能であり得るからである。いくつかの実施形態では、画像取込みデバイス２００が作業メモリまたは一時的に複数の画像を格納する能力を欠いている場合、陰影に基づく奥行きシステム１３０が、ステレオ取込みシステム１００および構造化光システム１６０に優先して第１の奥行きマッピングシステムとして選択され得る。第１の奥行きマップが、第１の奥行きマッピングシステムによって生成された情報および測定値から生成された後、画像取込みデバイス２００は、第１の生成された奥行きマップと融合させるための第２の奥行きマップを生成する必要性を決定することができる。いくつかの実施形態では、第２の奥行きマップが必要であると画像取込みデバイス２００が決定すると、第２の奥行きマッピングシステムが、残りの利用可能な奥行きマッピングシステムから選択され得る。第２の奥行きマッピングシステムは、欠陥（すなわち、第１の奥行きマップの不正確で信頼できない部分）の認識または識別に基づいて選択され得る。したがって、第２の奥行きマップは、第１の奥行きマップの不正確なまたは信頼できない奥行き測定値を埋める意図を持って選択され得る。追加の奥行きマップが必要でないと画像取込みデバイス２００が決定する場合、画像取込みデバイス２００は第２の奥行きマップを生成しなくてもよい。したがって、画像取込みデバイス２００は、画像取込みデバイス２００への最小限の要求により最も完全で最も正確な奥行きマップを生成することができる。

[0055]上記のように、画像取込みデバイス２００は、取り込まれるべき光景またはＦＯＶに基づいて奥行きマッピングシステムのうちの１つを選択することができる。たとえば、ＦＯＶまたは光景が良好なテクスチャを備える場合、ステレオカメラシステム１００は、画像取込みデバイス２００の光源なしでＦＯＶまたは光景がどれくらい十分に照らされるかに依存して、第１の奥行きマップを生成するために受動（もしくは低電力）モードまたは能動（もしくは高電力）モードのいずれかで使用され得る。追加として、明るい外部光があるかまたは屋外環境にある場合、ステレオカメラシステム１００が使用され得る。いくつかの実施形態において、ＦＯＶまたは光景がテクスチャをほとんど備えていない場合、ステレオカメラシステム１００は、奥行き測定値を得ることが困難であることがあり、ステレオカメラシステム１００によって生成された第１の奥行きマップは、陰影に基づく奥行きシステム１３０または構造化光システム１６０の一方から生成された第２の奥行きマップと融合され得る。ＦＯＶまたは光景がテクスチャを備えないかまたは平坦な区域しか備えない場合、陰影に基づく奥行きシステム１３０または構造化光システム１６０のいずれかが、第１の奥行きマップを生成するために選択され得る。ＦＯＶまたは光景中の対象物が、低い光レベルで中間距離（たとえば、０．５ｍから５メートル）にある場合、構造化光システム１６０が、第１の奥行きマップを生成するために使用され得る。しかしながら、ＦＯＶまたは光景中の対象物がＦＯＶまたは光景において無限遠にある場合、ステレオカメラシステム１００または陰影に基づく奥行きシステム１３０が、第１の奥行きマップを生成するために使用され得る。小さい距離は０ｍから０．５ｍであり得、無限遠は１０ｍを超えた任意距離であり得る。

[0056]さらに上記のように、画像取込みデバイス２００は、画像取込みデバイス２００の１つまたは複数のパラメータに基づいて奥行きマッピングシステムのうちの１つを選択することができる。たとえば、バッテリ容量または電力が節約されるべきである場合、画像取込みデバイス２００は、ステレオカメラシステム１００が、陰影に基づく奥行きシステム１３０または構造化光システム１６０のいずれよりも電力消費が少ないので、ステレオカメラシステム１００を選択することができる。しかしながら、上記のように、メモリが貴重である場合、画像取込みデバイス２００は、陰影に基づく奥行きシステム１３０または構造化光システム１６０の一方を選択することができる。追加として、陰影に基づく奥行きシステム１３０は、取り込まれるべき静止画像が短寿命である場合、陰影に基づく奥行きシステム１３０が最も適切となり得るように、ＦＯＶまたは光景において最小の露光時間を要し得る。追加として、画像取込みデバイス２００は、所望の奥行き分解能に基づいて奥行きマッピングシステムのうちの１つを選択することができる。いくつかの実施形態において、画像取込みデバイス２００の１つまたは複数のパラメータは、取り込まれるべきＦＯＶまたは光景に鑑みて考慮されてもよい。

[0057]いくつかの実施形態において、画像取込みデバイス２００のユーザは、上述で列記されたパラメータおよび光景またはＦＯＶの特性の評価に基づいて所与の時に使用すべき奥行きマッピングシステムを選択することができる。いくつかの実施形態では、画像取込みデバイス２００は、上述で列記されたパラメータおよび光景またはＦＯＶの特性の分析に基づいて使用すべき奥行きマッピングシステムを自動的に選択することができる。追加として、いくつかの実施形態では、画像取込みデバイス２００は、以前に取り込まれた光景またはＦＯＶの内容に基づいて奥行きマッピングシステムの選択を自動的に修正するように構成され得、その結果、奥行きマッピングシステムの選択は動的となり得る。

[0058]図４は、例示的な実施形態による、奥行きマップを生成し、必要に応じてそれを追加の奥行きマップと融合させる例示的な方法を具現する流れ図を示す。図４の方法４００は、任意のイメージングデバイス、またはデバイスのＦＯＶもしくは光景の奥行きマップを生成することができるイメージング機器を備える任意の他の電子デバイスによって実施され得る。いくつかの実施形態では、上述のように、イメージングデバイスまたは他の電子デバイスは、ステレオ光学カメラシステム、構造化光カメラシステム、および／または陰影に基づく奥行きカメラシステム、またはイメージングデバイスのＦＯＶもしくは光景の奥行きマップを生成することができる他のタイプのカメラシステムを備える複数の奥行きマッピングシステムを備えることができる。方法４００は、ブロック４０２において開始することができる。開始ブロック４０２は、イメージングデバイスの少なくとも１つの視野を識別することを備える方法４００のブロック４０４に進む。イメージングデバイスの識別された視野は、イメージングデバイスによって取り込まれ得る光景、またはイメージングデバイスによって見られ得る視界を備えることができる。いくつかの実施形態では、視野を識別することは、イメージングデバイスが取り込むことができるフレーム内に所望の光景または対象物が存在するようにイメージングデバイスの位置を変えることを備えることができる。いくつかの実施形態では、少なくとも１つの視野は、方法４００を実行するイメージングデバイスによって自動的に識別され得、またはユーザによって識別され得る。少なくとも１つの視野が識別された後、方法４００はブロック４０６に進む。

[0059]ブロック４０６は、複数の奥行き感知方法から第１の奥行き感知方法を選択することを備える。いくつかの実施形態では、複数の奥行き感知方法から第１の奥行き感知方法を選択することは、イメージングデバイスのユーザによって実行されてもよい。いくつかの実施形態では、選択することは、イメージングデバイス自体によって自動的に実行されてもよい。いくつかの実施形態では、選択することは、奥行き感知方法のうちの１つまたは複数が、奥行き感知方法の別のものよりも信頼でき正確な奥行きマップを生成するという決定に基づいて実行され得る。いくつかの実施形態では、選択することは、イメージングデバイスの１つまたは複数のパラメータ、たとえば、利用可能なメモリ、利用可能な電力、感度、または閾値奥行きレベルに基づいて実行され得る。いくつかの実施形態では、選択することは、少なくとも１つの対象物の奥行き、少なくとも１つの対象物の環境、少なくとも１つの対象物のフレーム内の場所、またはイメージングデバイスの特性に少なくとも部分的に基づいて実行され得る。第１の奥行き感知方法が選択された後、方法４００はブロック４０８に進む。

[0060]ブロック４０８は、第１の選択する奥行き感知方法を使用してイメージングデバイスに対する少なくとも１つの視野の奥行きを感知することを備える。少なくとも１つの視野の奥行きを感知することは、イメージングデバイスによって取り込まれた光景の奥行きを測定するためにステレオカメラシステムを使用することを備えることができる。いくつかの実施形態では、奥行きを感知することは、陰影に基づく奥行きシステムまたは構造化光システムを使用することを備えることができる。いくつかの実施形態では、感知することは、識別された少なくとも１つの視野に視差整合を適用することを備え、イメージングデバイスはステレオ光学部品を備える。いくつかの実施形態では、奥行きを感知することは、奥行きを測定することを備えることができ、視野または光景の各ポイントの奥行きが測定される。第１の選択された奥行き感知方法を使用して視野の奥行きが感知された後、方法はブロック４１０に進む。

[0061]ブロック４１０は、第１の選択された奥行き感知方法の感知された奥行きに基づいて少なくとも１つの視野の第１の奥行きマップを生成することを備える。第１の奥行きマップを生成することは、視野または光景の各ポイントの感知または測定された奥行きを視野または光景全体の単一のマップに編集することを備えることができ、ここで、すべての奥行きが単一の奥行きマップに存在する。第１の奥行きマップが生成された後、方法４００はブロック４１２に進む。

[0062]ブロック４１２は、不正確な奥行き測定値を有する第１の奥行きマップの１つまたは複数のポイントの領域を識別することを備える。いくつかの実施形態では、コントローラまたは他のプロセッサは、第１の奥行きマップを分析し、奥行きマップの１つまたは複数のポイントの奥行き測定値が正確でないかまたは信頼できないと決定することができる。信頼性の欠如または不正確の決定は、ブロック４０６において選択された奥行き感知方法に少なくとも部分的に基づいてなされ得る。いくつかの実施形態では、決定は、奥行きマップを光景のポイントの既知の奥行き測定値と比較することに基づいてなされ得る。いくつかの実施形態では、奥行き測定値は、奥行きが特定の閾値内にあるオブ（of）否かを決定することによって不正確であると決定されてもよい。いくつかの実施形態では、奥行き測定値は、たとえば、奥行きのばらつきを比較すること、および／または奥行きのばらつきが光景における対象物の対応するエッジと一致しているかどうかを決定することにより、データの不正確な統計分析であると決定されてもよい。不正確な奥行き測定値を有する領域がブロック４１２において識別された後、方法４００はブロック４１４に進む。

[0063]ブロック４１４において、方法４００は、１つまたは複数の不正確な奥行き測定値を有する領域の識別の１つまたは複数の特性に基づいて、第２の選択された奥行き感知方法を介した追加の奥行き感知が必要であるどうかを決定する。たとえば、閾値をイズ（is）超える不正確な領域を奥行きマップが有するかまたは追加の奥行き感知を実行する他の要件を満たすと方法４００が決定した場合、方法４００は、複数の奥行き感知方法から第２の奥行き感知方法を選択し、奥行きマップが不正確なまたは信頼できない領域を有していない（または追加の奥行き感知方法を必要とする最小限の不正確さ、非信頼性、もしくは誤差閾値を満たさない）と方法４００が決定するまでブロック４０８からブロック４１４を繰り返すことができる。ブロック４１４における決定することは、さらに、利用可能な奥行きマッピングシステムのいずれかが既存の奥行きマップに情報を加えることができるという決定に基づくことができる。追加の奥行きマップが必要であると決定された場合、生成された奥行きマップは、単一の空間依存奥行きマップに融合され得る。この時点で、方法４００はブロック４１６において終了する。いくつかの実施形態では、方法４００は、複数の奥行き感知方法の各々が、奥行きマップを発生させるために使用され終わるまで終了しないことがある。

[0064]本明細書で使用される「決定すること」という用語は多種多様なアクションを包含する。たとえば、「決定すること」は、計算すること、算出すること、処理すること、導出すること、調査すること、探索すること（たとえば、テーブル、データベース、または別のデータ構造において探索すること）、確認することなどを含むことができる。さらに、「決定すること」は、受け取ること（たとえば、情報を受け取ること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含むことができる。さらに、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含むことができる。さらに、本明細書で使用される「チャネル幅」は、いくつかの態様では帯域幅を包含することがあり、または帯域幅と呼ばれることもある。

[0065]本明細書で使用されるとき、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ〜ｂ、ａ〜ｃ、ｂ〜ｃ、およびａ〜ｂ〜ｃを範囲に含むように意図される。

[0066]上述の方法の様々な動作は、様々なハードウェアおよび／またはソフトウェア構成要素、回路、および／またはモジュールなどの、動作を実行することができる任意の好適な手段によって実行され得る。一般に、図に示されたいかなる動作も、その動作を実行することが可能な対応する機能的手段によって実行され得る。

[0067]本明細書で使用されるインターフェースという用語は、２つ以上のデバイスを一緒に接続するように構成されたハードウェアまたはソフトウェアを指すことができる。たとえば、インターフェースは、プロセッサまたはバスの一部であり得、デバイス間での情報またはデータの通信を可能にするように構成され得る。インターフェースは、チップまたは他のデバイスに統合され得る。たとえば、いくつかの実施形態では、インターフェースは、あるデバイスからの情報または通信を別のデバイスにおいて受信するように構成された受信機を備えることができる。インターフェース（たとえば、プロセッサまたはバスの）は、フロントエンドまたは別のデバイスによって処理された情報またはデータを受信することができ、あるいは受信された情報を処理することができる。いくつかの実施形態では、インターフェースは、情報またはデータを別のデバイスに送信または通信するように構成された送信機を備えることができる。したがって、インターフェースは、情報またはデータを送信することができ、あるいは送信（たとえば、バスを介した）のために出力するための情報またはデータを準備することができる。

[0068]本開示に関連して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明された機能を実施するように設計されたそれらの任意の組合せを用いて実施または実行され得る。汎用プロセッサはマイクロプロセッサとすることができるが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることができる。プロセッサは、さらに、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。

[0069]１つまたは複数の態様では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装された場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体に格納され得、またはコンピュータ可読媒体を通じて送信され得る。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送しやすくする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体とすることができる。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、もしくは他の光ディスク記憶デバイス、磁気ディスク記憶デバイスもしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形態の所望のプログラムコードを搬送もしくは格納するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を含むことができる。さらに、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用されるディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）は、コンパクトディスク（ｄｉｓｃ）（ＣＤ）、レーザディスク（登録商標）（ｄｉｓｃ）、光ディスク（ｄｉｓｃ）、デジタル多用途ディスク（ｄｉｓｃ）（ＤＶＤ）、フロッピーディスク（ｄｉｓｋ）、およびブルーレイ（登録商標）ディスク（ｄｉｓｃ）を含み、ここで、ディスク（ｄｉｓｋ）は、通常、データを磁気的に再生し、一方、ディスク（ｄｉｓｃ）は、データをレーザで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は、非一時的コンピュータ可読媒体（たとえば、有形媒体）を備えてもよい。加えて、いくつかの態様では、コンピュータ可読媒体は、一時的コンピュータ可読媒体（たとえば、信号）を備えてもよい。上述のものの組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0070]本明細書で開示される方法は、説明された方法を達成するための１つまたは複数のステップまたはアクションを含む。方法ステップおよび／またはアクションは、特許請求の範囲の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されていない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲の範囲から逸脱することなく修正され得る。

[0071]説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装された場合、機能は、１つまたは複数の命令としてコンピュータ可読媒体に格納され得る。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体とすることができる。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、もしくは他の光ディスク記憶デバイス、磁気ディスク記憶デバイスもしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形態の所望のプログラムコードを搬送もしくは格納するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を含むことができる。本明細書で使用されるディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）は、コンパクトディスク（ｄｉｓｃ）（ＣＤ）、レーザディスク（ｄｉｓｃ）、光ディスク（ｄｉｓｃ）、デジタル多用途ディスク（ｄｉｓｃ）（ＤＶＤ）、フロッピーディスク（ｄｉｓｋ）、およびブルーレイディスク（ｄｉｓｃ）を含み、ここで、ディスク（ｄｉｓｋ）は、通常、データを磁気的に再生し、一方、ディスク（ｄｉｓｃ）は、データをレーザで光学的に再生する。

[0072]したがって、いくつかの態様は、本明細書で提示された動作を実行するためのコンピュータプログラム製品を備えることができる。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明された動作を実施するために１つまたは複数のプロセッサによって実行可能である命令をその上に格納した（および／または符号化した）コンピュータ可読媒体を備えることができる。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含むことができる。

[0073]ソフトウェアまたは命令は、さらに、送信媒体を通じて送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、送信媒体の定義に含まれる。

[0074]さらに、本明細書で説明された方法および技法を実行するためのモジュールおよび／または他の適切な手段は、該当する場合ユーザ端末および／または基地局によってダウンロードされ得るおよび／または他の方法で得られ得ることを理解されたい。たとえば、そのようなデバイスは、本明細書で説明された方法を実行するための手段を転送しやすくするためにサーバに結合され得る。代替として、本明細書で説明された様々な方法は、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理的記憶媒体など）を介して提供され得、その結果、ユーザ端末および／または基地局は、記憶手段をデバイスに結合または提供する際様々な方法を得ることができる。その上、本明細書で説明された方法および技法をデバイスに提供するための任意の他の好適な技法が利用され得る。

[0075]特許請求の範囲は、上述で示された厳密な構成および構成要素に限定されないことを理解されたい。様々な修正、改変、および変更が、上述の方法および装置の構成、動作、および詳細において特許請求の範囲の範囲から逸脱することなくなされ得る。

[0076]前述は本開示の態様に関するが、本開示の他のおよびさらなる態様がその基本的な範囲から逸脱することなく考案され得、その範囲は以下の特許請求の範囲によって決定される。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
奥行きマップを生成するための装置であって、
イメージングデバイスの視野（ＦＯＶ）中の光景の少なくとも画像を取り込むように構成された前記イメージングデバイスと、
複数の奥行き感知モジュールと、前記奥行き感知モジュールの各々が前記光景の奥行きマップを生成するように構成される、
プロセッサを備える処理システムとを備え、前記処理システムが、
前記複数の奥行き感知モジュールから第１の奥行き感知モジュールを選択し、
前記第１の選択された奥行き感知モジュールおよび前記イメージングデバイスを使用して、前記イメージングデバイスのＦＯＶ中の前記光景の第１の奥行き情報を感知し、
前記第１の奥行き情報に基づいて第１の奥行きマップを生成し、前記第１の奥行きマップが前記光景の複数のポイントの奥行き測定値を備える、
１つまたは複数の不正確な奥行き測定値を有する前記第１の奥行きマップの１つまたは複数のポイントの少なくとも１つの領域を識別し、
前記識別された少なくとも１つの領域の特性に基づいて、前記複数の奥行き感知モジュールのうちの第２の選択された奥行き感知モジュールを使用して追加の奥行き感知を実行すべきかどうかを決定するように構成される、装置。
［Ｃ２］
前記処理システムが、
追加の奥行き感知を実行するという決定に基づいて、前記複数の奥行き感知モジュールから前記第２の奥行き感知モジュールを選択し、
前記第２の選択された奥行き感知モジュールを使用して、前記イメージングデバイスの前記ＦＯＶ中の前記光景の第２の奥行き情報を感知し、
前記第２の奥行き情報に基づいて第２の奥行きマップを生成し、

前記第１の奥行きマップと前記第２の奥行きマップの少なくとも一部を一緒に使用して融合奥行きマップを作り出す、前記融合奥行きマップが、１つまたは複数の不正確な奥行き測定値を有する前記第１の奥行きマップの前記少なくとも１つの領域に対応する前記第２の奥行きマップの少なくとも一部を使用する、ようにさらに構成される、Ｃ１に記載の装置。
［Ｃ３］
前記処理システムが、
１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの少なくとも第２の領域を識別し、
前記識別された第２の領域の特性に基づいて、第３の選択された奥行き感知モジュールを使用して追加の奥行き感知を実行すべきかどうかを決定するようにさらに構成される、Ｃ２に記載の装置。
［Ｃ４］
前記処理システムが、前記第１の奥行きマップと前記第２の奥行きマップとの空間依存融合を生成することによって、前記第１の奥行きマップと前記第２の奥行きマップとを融合させるようにさらに構成される、Ｃ２に記載の装置。
［Ｃ５］
前記処理システムが前記複数の奥行き感知モジュールから前記第２の奥行き感知モジュールを選択するように構成されることが、前記ＦＯＶの以前に取り込まれたフレームのレビューに基づいて、前記第１の奥行きマップの前記奥行き測定値を改善しないことになる前記複数の奥行き感知モジュールのうちの１つまたは複数の奥行き感知モジュールを識別するように前記処理システムが構成されることを備える、Ｃ２に記載の装置。
［Ｃ６］
前記処理システムが前記複数の奥行き感知モジュールのうちの第３の選択された奥行き感知モジュールを介して追加の奥行き感知を実行すべきかどうかを決定するように構成されることは、前記複数の奥行き感知モジュールのうちのいずれかの奥行き感知モジュールが前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように前記処理システムが構成されることを備える、Ｃ３に記載の装置。
［Ｃ７］
前記処理システムが前記複数の奥行き感知モジュールのうちの第２の選択された奥行き感知モジュールを介して追加の奥行き感知を実行すべきかどうかを決定するように構成されることが、前記複数の奥行き感知モジュールのうちのいずれかの奥行き感知モジュールが前記第１の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように前記処理システムが構成されることを備える、Ｃ１に記載の装置。
［Ｃ８］
前記第１の奥行き感知モジュールが、ステレオビジョン奥行き感知モジュール、構造化光奥行き感知モジュール、または陰影奥行き感知モジュールのうちの少なくとも１つから選択される、Ｃ１に記載の装置。
［Ｃ９］
前記ステレオビジョン奥行き感知モジュール、前記構造化光奥行き感知モジュール、および前記陰影奥行き感知モジュールが、前記イメージングデバイスのハードウェア構成要素を共有する、Ｃ８に記載の装置。
［Ｃ１０］
前記第１の奥行き感知モジュールの前記選択が、前記イメージングデバイスにおける利用可能な記憶空間、前記イメージングデバイスの利用可能なバッテリ電力、利用可能な奥行き分解能、前記イメージングデバイスの環境、または前記イメージングデバイスによって取り込まれるべき光景のうちの少なくとも１つに基づく、Ｃ１に記載の装置。
［Ｃ１１］
前記第１の奥行き感知モジュールの前記選択が、前記少なくとも１つの対象物の奥行き、前記少なくとも１つの対象物の環境、前記少なくとも１つの対象物のフレーム内の場所、または前記イメージングデバイスの特性に少なくとも部分的に基づく、Ｃ１に記載の装置。
［Ｃ１２］
前記イメージングデバイスが、ステレオイメージングシステムを備え、前記光景の２つ以上の画像を取り込み、前記処理システムが、前記２つ以上の画像に視差整合を実行することによって第１の奥行き情報を感知するように構成される、Ｃ１に記載の装置。
［Ｃ１３］
奥行きマップを生成する方法であって、
イメージングデバイスの視野を識別することと、前記イメージングデバイスが前記視野の少なくとも１つの画像を取り込むように構成される、
複数の奥行き感知方法から第１の奥行き感知方法を選択することと、
前記第１の選択された奥行き感知方法を使用して前記イメージングデバイスの前記視野の第１の奥行きを感知することと、
前記第１の選択された奥行き感知方法の前記第１の感知された奥行きに基づいて前記視野の第１の奥行きマップを生成することと、前記第１の奥行きマップが前記視野のすべてのポイントの奥行き測定値を備える、
前記第１の奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記第１の奥行きマップの１つまたは複数のポイントの領域を識別することと、
１つまたは複数の不正確な奥行き測定値を有する１つまたは複数のポイントを有する前記領域を前記識別することに基づいて、第２の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することとを備える、方法。
［Ｃ１４］
前記複数の奥行き感知方法から前記第２の奥行き感知方法を選択することと、
追加の奥行き感知が保証されるという前記決定に基づいて、前記第２の選択された奥行き感知方法を使用して前記イメージングデバイスに対する前記少なくとも１つの視野の第２の奥行きを感知することと、
前記第２の選択された奥行き感知方法の前記第２の感知された奥行きに基づいて前記少なくとも１つの視野の第２の奥行きマップを生成することと、
融合奥行きマップを作り出すために前記第１の奥行きマップと前記第２の奥行きマップとを一緒に融合させることと、前記融合奥行きマップが、前記第１の奥行きマップおよび前記第２の奥行きマップの各々よりも少ない数の信頼できない領域を有するように構成される、
前記融合奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの第２の領域を識別することと、

１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの前記第２の領域を前記識別することに基づいて、第３の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することとをさらに備える、Ｃ１２に記載の方法。
［Ｃ１５］
前記第１の奥行きマップと前記第２の奥行きマップとを前記融合させることが、前記第１の奥行きマップと前記第２の奥行きマップとの空間依存融合を生成することを備える、Ｃ１３に記載の方法。
［Ｃ１６］
前記複数の奥行き感知方法から前記第２の奥行き感知方法を選択することが、前記少なくとも１つの視野の以前に取り込まれたフレームのレビューに基づいて、前記複数の奥行き感知方法のうちの奥行き感知方法を識別することを備える、Ｃ１３に記載の方法。
［Ｃ１７］
前記第３の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することは、前記複数の奥行き感知方法のうちのいずれかの奥行き感知方法が前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定することを備える、Ｃ１３に記載の方法。
［Ｃ１８］
前記第２の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することは、前記複数の奥行き感知方法のうちのいずれかの奥行き感知方法が前記第１の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定することを備える、Ｃ１２に記載の方法。
［Ｃ１９］
前記第１の奥行き感知方法が、ステレオビジョン奥行き感知方法、構造化光奥行き感知方法、および陰影奥行き感知方法のうちの少なくとも１つから選択される、Ｃ１２に記載の方法。
［Ｃ２０］
前記ステレオビジョン奥行き感知方法、前記構造化光奥行き感知方法、および前記陰影奥行き感知方法が、前記イメージングデバイスのハードウェア構成要素を共有する、Ｃ１８に記載の方法。
［Ｃ２１］
前記第１の奥行き感知方法の前記選択が、前記イメージングデバイスにおける利用可能な記憶空間、前記イメージングデバイスの利用可能なバッテリ電力、利用可能な奥行き分解能、前記イメージングデバイスの環境、および前記イメージングデバイスによって取り込まれるべき光景のうちの少なくとも１つに基づく、Ｃ１２に記載の方法。
［Ｃ２２］
前記第１の奥行き感知方法の前記選択が、前記少なくとも１つの対象物の奥行き、前記少なくとも１つの対象物の環境、前記少なくとも１つの対象物のフレーム内の場所、または前記イメージングデバイスの特性に少なくとも部分的に基づく、Ｃ１２に記載の方法。
［Ｃ２３］
前記少なくとも１つの視野の前記奥行きを感知することが、前記識別された少なくとも１つの視野に視差整合を適用することを備え、前記イメージングデバイスがステレオ光学部品を備える、Ｃ１２に記載の方法。
［Ｃ２４］
奥行きマップを生成するための装置であって、
視野の画像を取り込むための手段と、
奥行きを感知するための複数の手段と、前記複数の奥行き感知手段の各々が前記視野の奥行きマップを生成するように構成される、
前記複数の奥行き感知手段から第１の奥行き感知手段を選択するための手段と、
前記第１の選択された奥行き感知手段を使用して前記画像取込み手段の前記視野の第１の奥行きを感知するための手段と、
前記第１の選択された奥行き感知手段の前記第１の感知された奥行きに基づいて前記視野の第１の奥行きマップを生成するための手段と、前記第１の奥行きマップが前記視野のすべてのポイントの奥行き測定値を備える、
前記第１の奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記第１の奥行きマップの１つまたは複数のポイントの領域を識別するための手段と、
１つまたは複数の不正確な奥行き測定値を有する１つまたは複数のポイントを有する前記領域を前記識別することに基づいて、前記複数の奥行き感知手段うちの第２の選択された奥行き感知手段を介した追加の奥行き感知が保証されるかどうかを決定するための手段とを備える、装置。
［Ｃ２５］
前記複数の奥行き感知手段から前記第２の奥行き感知手段を選択するための手段と、
追加の奥行き感知が保証されているという前記決定に基づいて、前記第２の選択された奥行き感知手段を使用して前記画像取込み手段に対する前記視野の第２の奥行きを感知するための手段と、
前記第２の選択された奥行き感知モジュールの前記感知された第２の奥行きに基づいて前記視野の第２の奥行きマップを生成するための手段と、
融合奥行きマップを作り出すために前記第１の奥行きマップと前記第２の奥行きマップとを一緒に融合させるための手段と、前記融合奥行きマップが、前記第１の奥行きマップおよび前記第２の奥行きマップの各々よりも少ない数の信頼できない領域を有するように構成される、
前記融合奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの第２の領域を識別するための手段と、

１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの前記第２の領域を前記識別すること基づいて、第３の選択された奥行き感知モジュールを介した追加の奥行き感知が保証されるかどうかを決定するための手段とをさらに備える、Ｃ２３に記載の装置。
［Ｃ２６］
前記第１の奥行きマップと前記第２の奥行きマップとを融合させるための手段が、前記第１の奥行きマップと前記第２の奥行きマップとの空間依存融合を生成するように構成される、Ｃ２４に記載の装置。
［Ｃ２７］
前記複数の奥行き感知手段から前記第２の奥行き感知手段を選択するための前記手段が、前記少なくとも１つの視野の以前に取り込まれたフレームのレビューに基づいて、前記第１の奥行きマップの前記奥行き測定値を改善しないことになる前記複数の奥行き感知手段のうちの１つまたは複数の奥行き感知手段を識別するように構成される、Ｃ２４に記載の装置。
［Ｃ２８］
前記複数の奥行き感知手段のうちの前記第３の選択された奥行き感知手段を介した追加の奥行き感知がどうかを決定するための前記手段が、前記複数の奥行き感知手段のうちのいずれかの奥行き感知手段が前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように構成される、Ｃ２４に記載の装置。
［Ｃ２９］
前記複数の奥行き感知手段のうちの前記第２の選択された奥行き感知手段を介した追加の奥行き感知が必要とされるかどうかを決定するための前記手段が、前記複数の奥行き感知手段のうちのいずれかの奥行き感知手段が前記第１の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように構成される、Ｃ２３に記載の装置。
［Ｃ３０］
前記第１の奥行き感知手段が、ステレオ奥行き画像を取り込むための手段、構造化光奥行き画像を取り込むための手段、および陰影奥行き画像を取り込むための手段のうちの少なくとも１つから選択される、Ｃ２３に記載の装置。

Claims (14)

1. 奥行きマップを生成する方法であって、
   複数の奥行き感知方法を備えるイメージングデバイスの視野を識別することと、前記イメージングデバイスが前記視野の少なくとも１つの画像を取り込むように構成される、
   前記複数の奥行き感知方法から第１の奥行き感知方法を選択することと、
   前記第１の選択された奥行き感知方法を使用して前記イメージングデバイスの前記視野の第１の奥行きを感知することと、
   前記第１の選択された奥行き感知方法の前記第１の感知された奥行きに基づいて前記視野の第１の奥行きマップを生成することと、前記第１の奥行きマップが前記視野のすべてのポイントの奥行き測定値を備える、
   前記第１の奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記第１の奥行きマップの１つまたは複数のポイントの第１の領域を識別することと、前記第１の領域は、前記視野内の１つまたは複数の対象物に対応し、
   １つまたは複数の不正確な奥行き測定値を有する１つまたは複数のポイントを有する前記第１の領域を前記識別することに基づいて、前記複数の奥行き検知方法のうちの第２の選択された奥行き感知方法を介した追加の奥行き感知が必要であるかどうかを決定することと、前記決定することは、前記第１の領域の前記１つまたは複数の不正確な奥行き測定値が、前記第２の選択された奥行き感知方法を介した前記追加の奥行き感知を必要とする誤差閾値を満たすか否かを決定することを備え、前記第１の領域の前記１つまたは複数の不正確な奥行き測定値が前記誤差閾値を満たすとき、前記第２の選択された奥行き感知方法を介した追加の奥行き感知が必要であると決定され、前記第１の領域の前記1つまたは複数の不正確な奥行き測定値が前記誤差閾値を満たさないとき、前記第２の選択された奥行き感知方法を介した追加の奥行き感知は行われない、
   追加の奥行き感知が必要であると決定されたとき、前記第２の選択された奥行き感知方法を使用して前記イメージングデバイスに対する前記視野の第２の奥行きを感知することと、
   前記第２の選択された奥行き感知方法の前記第２の感知された奥行きに基づいて前記視野の前記第２の奥行きマップを生成することと、
   融合奥行きマップを作り出すために、前記第１の奥行きマップと前記第２の奥行きマップとを一緒に融合させることと、前記融合奥行きマップは、前記第１の奥行きマップおよび前記第２の奥行きマップの各々よりも少ない数の信頼できない領域を有するように構成され、
   前記融合奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの第２の領域を識別することと、
   １つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの前記第２の領域を前記識別することに基づいて、前記複数の奥行き感知方法のうちの第３の選択された奥行き感知方法を介した追加の奥行き感知が必要であるかどうかを決定することと、
   を備え、
   前記第１の奥行き感知方法を選択することは、
   前記イメージングデバイスにおける利用可能な記憶空間、および前記イメージングデバイスの利用可能なバッテリ電力、を備える、前記イメージングデバイスの複数のパラメータのうちの少なくとも１つ、
   前記視野内の少なくとも１つの対象物の奥行き、
   前記少なくとも１つの対象物の環境、および
   前記少なくとも１つの対象物のフレーム内の場所、
   のうちの少なくとも１つに基づいて、前記第１の奥行き感知方法を選択することを備える、
   方法。
2. 前記複数の奥行き感知方法から前記第２の奥行き感知方法を選択すること、
   をさらに備える、請求項１に記載の方法。
3. 前記第１の奥行きマップと前記第２の奥行きマップとを前記融合させることが、前記第１の奥行きマップと前記第２の奥行きマップとの空間依存融合を生成することを備える、請求項１に記載の方法。
4. 前記複数の奥行き感知方法から前記第２の奥行き感知方法を選択することが、前記少なくとも１つの視野の以前に取り込まれたフレームのレビューに基づいて、前記複数の奥行き感知方法のうちの奥行き感知方法を識別することを備える、請求項２に記載の方法。
5. 前記第３の選択された奥行き感知方法を介した追加の奥行き感知が必要であるかどうかを決定することは、前記複数の奥行き感知方法のうちのいずれかの奥行き感知方法が前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定することを備える、請求項２に記載の方法。
6. 前記第２の選択された奥行き感知方法を介した追加の奥行き感知が必要であるかどうかを決定することは、前記複数の奥行き感知方法のうちのいずれかの奥行き感知方法が前記第１の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定することを備える、請求項１に記載の方法。
7. 前記複数の奥行き感知方法は、ステレオビジョン奥行き感知方法、構造化光奥行き感知方法、および陰影奥行き感知方法を備える、請求項１に記載の方法。
8. 前記視野の前記奥行きを感知することが、前記識別された視野に視差整合を適用することを備え、前記イメージングデバイスがステレオ光学部品を備える、請求項１に記載の方法。
9. 奥行きマップを生成するための装置であって、
   視野の画像を取り込むための手段と、
   奥行きを感知するための複数の手段と、前記複数の奥行き感知手段の各々が前記視野の奥行きマップを生成するように構成される、
   前記複数の奥行き感知手段から第１の奥行き感知手段を選択するための手段と、
   前記第１の選択された奥行き感知手段を使用して前記画像取込み手段の前記視野の第１の奥行きを感知するための手段と、
   前記第１の選択された奥行き感知手段の前記第１の感知された奥行きに基づいて前記視野の第１の奥行きマップを生成するための手段と、前記第１の奥行きマップが前記視野のすべてのポイントの奥行き測定値を備える、
   前記第１の奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記第１の奥行きマップの１つまたは複数のポイントの第１の領域を識別するための手段と、前記第１の領域は、前記視野内の１つまたは複数の対象物に対応し、
   １つまたは複数の不正確な奥行き測定値を有する１つまたは複数のポイントを有する前記第１の領域を前記識別することに基づいて、前記複数の奥行き感知手段うちの第２の選択された奥行き感知手段を介した追加の奥行き感知が必要であるかどうかを決定するための手段と、前記決定するための手段は、前記第１の領域の前記１つまたは複数の不正確な奥行き測定値が、前記第２の選択された奥行き感知方法を介した前記追加の奥行き感知を必要とする誤差閾値を満たすか否かを決定するための手段を備え、前記第１の領域の前記１つまたは複数の不正確な奥行き測定値が前記誤差閾値を満たすとき、前記第２の選択された奥行き感知方法を介した追加の奥行き感知が必要であると決定され、前記第１の領域の前記１つまたは複数の不正確な奥行き測定値が前記誤差閾値を満たさないとき、前記第２の選択された奥行き感知方法を介した追加の奥行き感知は行われない、
   追加の奥行き感知が必要であると決定されたとき、前記第２の選択された奥行き感知手段を使用して前記画像取込み手段に対する前記視野の第２の奥行きを感知するための手段と、
   前記第２の選択された奥行き感知手段の前記感知された第２の奥行きに基づいて前記視野の前記第２の奥行きマップを生成するための手段と、
   融合奥行きマップを作り出すために前記第１の奥行きマップと前記第２の奥行きマップとを一緒に融合させるための手段と、前記融合奥行きマップは、前記第１の奥行きマップおよび前記第２の奥行きマップの各々よりも少ない数の信頼できない領域を有するように構成される、
   前記融合奥行きマップにおいて１つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの第２の領域を識別するための手段と、
   １つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの１つまたは複数のポイントの前記第２の領域を前記識別すること基づいて、前記複数の奥行き検知手段のうちの第３の選択された奥行き感知手段を介した追加の奥行き感知が必要であるかどうかを決定するための手段と、
   を備え、
   第１の奥行き感知手段を選択するための手段は、
   利用可能な記憶空間、および利用可能なバッテリ電力、を備える、複数のパラメータのうちの少なくとも１つ、
   前記視野内の少なくとも１つの対象物の奥行き、
   前記少なくとも１つの対象物の環境、および
   前記少なくとも１つの対象物のフレーム内の場所、
   のうちの少なくとも１つに基づいて、前記第１の奥行き感知手段を選択するための手段を備える、装置。
10. 前記複数の奥行き感知手段から前記第２の奥行き感知手段を選択するための手段、をさらに備える、請求項９に記載の装置。
11. 前記第１の奥行きマップと前記第２の奥行きマップとを融合させるための手段が、前記第１の奥行きマップと前記第２の奥行きマップとの空間依存融合を生成するように構成される、請求項９に記載の装置。
12. 前記複数の奥行き感知手段から前記第２の奥行き感知手段を選択するための前記手段が、前記少なくとも１つの視野の以前に取り込まれたフレームのレビューに基づいて、前記第１の奥行きマップの前記奥行き測定値を改善しないことになる前記複数の奥行き感知手段のうちの１つまたは複数の奥行き感知手段を識別するように構成される、請求項１０に記載の装置。
13. 前記複数の奥行き感知手段のうちの前記第１の選択された奥行き感知手段および前記第２の選択された奥行き感知手段を介した追加の奥行き感知が必要であるかどうかを決定するための前記手段が、前記複数の奥行き感知手段のうちのいずれかの奥行き感知手段がそれぞれの前記融合奥行きマップまたは第１の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように構成される、請求項９に記載の装置。
14. 前記複数の奥行き感知手段は、ステレオ奥行き画像を取り込むための手段、構造化光奥行き画像を取り込むための手段、および陰影奥行き画像を取り込むための手段を備える、請求項９に記載の装置。

Images