JP6450982B2 - 構造化ステレオ - Google Patents

Description

本技術は概して深度マップに関する。より具体的には、本技術は、非対称に配置された複数の構成要素を用いて深度マップを生成することに関する。

コンピューティングシステム、タブレット、ラップトップ、携帯電話などのコンピューティングプラットフォームは、画像をキャプチャするのに用いられる様々な画像生成ハードウェア及びソフトウェアモジュールを含む。（ステレオ）画像生成では、２つの画像センサが存在する。２つのセンサは、例えば、深度センサ、可視の赤緑青（ＲＧＢ）スペクトルセンサ、又は赤外線（ＩＲ）スペクトルセンサであってよく、可視照明又はＩＲ照明を含んでもよい。

構造化ステレオを含み得るコンピューティングデバイスのブロック図である。

エミッタ及びセンサの配置の一例である。

エミッタ及びセンサの配置の別の例である。

構造化ステレオ用の方法の処理フロー図である。 構造化ステレオ用のコードを格納する有形の非一時的コンピュータ可読媒体を示すブロック図である。

本開示及び図面を通じて、同様の複数の構成要素及び複数の特徴を参照するために、同一の数字が用いられる。１００番台の数字は、図１で最初に見られる特徴を指し、２００番台の数字は図２で最初に見られる特徴を指すなどである。

一対のセンサを用いるパッシブ型ステレオ画像生成での深度抽出は、両方のカメラで観察される複数の物体区画の相対オフセット（視差として知られる）を計算することを含む。本技術は複数のセンサを用いて説明されるが、カメラ、画像センサ、又はそれらの任意の組み合わせなどの任意の画像キャプチャ機構が用いられ得る。相対オフセットは、画素座標で計算されることが多い。これらの視差を計算すべく、第１センサからの画像の画素が、第２センサからの他の画像の対応する画素にマッチングされる。一様な領域において、２つの画像間で画素をマッチングさせることは、ほとんど不可能ではないにしろ、困難である。本明細書では、一様な領域は、実質的に同様である複数の画像の部分であり、そのためこれらの領域において返される深度マップは、どうにか見られるとしても品質が低い。従って、一様な領域は、ステレオカメラシステムで取得される深度マップの品質を著しく低下させる。

代替的に、アクティブ型ステレオは、センサで観察される物体上に一様でないテクスチャを投影することにより、深度マップを向上させる方法である。この方法は、一様な領域を一様でないテクスチャで満たす。一様でないテクスチャは、ユーザがセンサで観察される物体上に投影されたパターンを可視化できないように、赤外線エミッタを用いて一様でないテクスチャを投影することにより、一様な領域のマッチングを著しく容易にさせる。従って、アクティブ型ステレオに用いられるセンサは、赤外線カットセンサである。アクティブ型ステレオにより取得される深度マップの品質は、パッシブ型ステレオよりはるかに優れているが、視差ひいては深度（Ｚ）の精度は、特にエミッタ−センサ構成から１メートルを超えて離れた距離にある物体では、距離とともに低下する。視差及びＺの精度が低下する距離は、システム特性に依存する。

本明細書で説明される複数の実施形態は、エミッタ及びセンサを含む複数のシステム構成要素の非対称配置を用いて、構造化ステレオを可能にする。

複数の構成要素間の光学距離による、深度マップへの相反する影響は除去され得る。複数の実施形態において、正確且つ高密度な深度マップを取得すべく、アクティブ型ステレオ技術及び構造化光技術が組み合わされる。アクティブ型ステレオ技術は、他の技術と比較して、環境条件に対してよりロバストで、より高い出力分解能を有する深度マップを提供する。構造化光（ＳＬ）技術は正確とみなされており、それにより、結果として得られる深度マップの精度を確保する。

以下の説明及び請求項において、「結合（ｃｏｕｐｌｅｄ）」及び「接続（ｃｏｎｎｅｃｔｅｄ）」という用語が、それらの派生語と共に用いられ得る。これらの用語は、互いに対して同義語として意図されるものではないことが理解されるべきである。むしろ、複数の特定の実施形態では、「接続」は、２又はそれより多くの要素が互いと物理的又は電気的に直接接触していることを示すのに用いられ得る。「結合」は、２又はそれより多くの要素が物理的又は電気的に直接接触していることを意味する。しかしながら、「結合」は、２又はそれより多くの要素が互いと直接接触していないが、それでもまだ互いと協働又は相互作用することも意味し得る。

いくつかの実施形態は、ハードウェア、ファームウェア、及びソフトウェアのうちの１つ、又はそれらの組み合わせに実装され得る。いくつかの実施形態は、機械可読媒体に格納される命令としても実装され得る。この命令は、コンピューティングプラットフォームにより読み取られ且つ実行されて、本明細書で説明される演算を実行し得る。機械可読媒体は、機械、例えばコンピュータにより可読な形で、情報を格納又は送信するための任意の機構を含み得る。例えば、機械可読媒体はとりわけ、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、あるいは、電気、光、音、又は他の形の伝搬信号、例えば搬送波、赤外線信号、デジタル信号、又は信号を送信及び／又は受信するインタフェースを含み得る。

一実施形態は実装又は実施例である。本明細書において、「一実施形態」、「１つの実施形態」、「いくつかの実施形態」、「様々な実施形態」、又は「他の実施形態」への言及は、実施形態と関連して説明される特定の機能、構造、又は特性が、本技術の少なくともいくつかの実施形態に含まれることを意味するものであり、必ずしも全ての実施形態に含まれることを意味するものではない。「一実施形態」、「１つの実施形態」、 又は「いくつかの実施形態」が様々に出現するが、必ずしも全てが同一の実施形態に言及しているわけではない。一実施形態による要素又は態様が、別の実施形態の要素又は態様と組み合わされ得る。

本明細書で説明され且つ示される全ての構成要素、機能、構造、特性などが、特定の１又は複数の実施形態に含まれる必要があるわけではない。構成要素、機能、構造、又は特性が含まれ「てよい（ｍａｙ）」、含まれ「るかもしれない（ｍｉｇｈｔ）」、含まれ「得る（ｃａｎ）」、含まれ「る場合がある（ｃｏｕｌｄ）」ということを本明細書で述べる場合、例えば、その特定の構成要素、機能、構造、又は特性は、含まれることを必要とされない。明細書又は請求項が「１つの（ａ又はａｎ）」要素に言及する場合、これは１つの要素だけが存在することを意味するわけではない。明細書又は請求項が「１つの追加の」要素に言及する場合、これは、１より多くの追加の要素が存在することを除外しない。

いくつかの実施形態は複数の特定の実装を参照して説明されてきたが、いくつかの実施形態に従って、他の複数の実装が可能であることに留意されたい。さらに、図面に示される及び／又は本明細書で説明される複数の回路要素又は他の複数の機能の配置及び／又は順序は、示される且つ説明される特定の方法で配置される必要はない。多くの他の配置が、いくつかの実施形態に従って可能である。

図に示される各システムにおいて、いくつかの場合の複数の要素は、表される複数の要素が異なる及び／又は同様であり得ることを示唆すべく、それぞれ同一の参照番号又は異なる参照番号を有しうる。しかしながら、要素は、異なる複数の実装を有し、本明細書に示される又は説明されるシステムのいくつか又は全てとともに動作できるほど十分に柔軟であり得る。図に示される様々な要素は、同一でも異なってもよい。どちらが第１の要素と称され、どれが第２の要素と呼ばれるかは任意である。

図１は、構造化ステレオを含み得るコンピューティングデバイス１００のブロック図である。コンピューティングデバイス１００は、例えば、とりわけ、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、モバイルデバイス、又はサーバであってよい。コンピューティングデバイス１００は、ゲームデバイス、又はゲームシステムの一部であってもよい。コンピューティングデバイス１００は、格納された命令を実行するよう構成される中央処理ユニット（ＣＰＵ）１０２、及び、ＣＰＵ１０２により実行可能な命令を格納するメモリデバイス１０４を含み得る。ＣＰＵは、バス１０６によりメモリデバイス１０４に結合され得る。さらに、ＣＰＵ１０２は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、又は他の任意の数の構成であり得る。さらに、コンピューティングデバイス１００は、１より多くのＣＰＵ１０２を含み得る。ＣＰＵ１０２により実行される命令は、構造化ステレオを実装するのに用いられ得る。メモリデバイス１０４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、フラッシュメモリ、又は任意の他の適切なメモリシステムを含み得る。例えば、メモリデバイス１０４は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含み得る。

コンピューティングデバイス１００は、グラフィックス処理ユニット（ＧＰＵ）１０８も含み得る。示されるように、ＣＰＵ１０２は、バス１０６を介してＧＰＵ１０８に結合され得る。ＧＰＵ１０８は、コンピューティングデバイス１００内で、任意の数のグラフィックス演算を実行するよう構成され得る。例えば、ＧＰＵ１０８は、コンピューティングデバイス１００のユーザに表示されるグラフィックス画像、グラフィックスフレーム、ビデオ、又は同様のものを描画又は処理するよう構成され得る。いくつかの実施形態では、ＧＰＵ１０８は、複数の実行ユニット１１０を含み、各実行ユニット１１０は、特定のグラフィックスタスクを実行する、又は特定の種類のワークロードを実行するよう構成される。例えば、ＧＰＵ１０８は、非対称に配置された複数のセンサに基づいて深度マップを生成する実行ユニットを含み得る。

コンピューティングデバイス１００は、画像キャプチャデバイス１１２を含む。複数の実施形態において、画像キャプチャデバイス１１２は、カメラ、立体カメラ、赤外線センサ、又は同様のものである。画像キャプチャデバイス１１２は、画像情報をキャプチャするのに用いられる。コンピューティングデバイス１００は、センサハブ１１４も含み得る。センサハブ１１４は、深度センサ、画像センサ、赤外線センサ、Ｘ線光子計数センサ、又はそれらの任意の組み合わせなど、様々なセンサを含み得る。センサハブ１１４の深度センサは、センサハブ１１４の画像センサによりキャプチャされた画像情報と関連した深度情報をキャプチャするのに用いられ得る。いくつかの実施形態では、センサハブ１１４は、画像キャプチャ機構１１０の構成要素である。さらに、複数の実施形態において、センサハブ１１４は、センサデータを画像キャプチャ機構に提供する。センサハブ１１４の複数のセンサは、電荷結合素子（ＣＣＤ）画像センサ、相補型金属酸化物半導体（ＣＭＯＳ）画像センサ、システムオンチップ（ＳｏＣ）画像センサ、光電性薄膜トランジスタを有する画像センサ、又はそれらの任意の組み合わせなどの画像センサを含み得る。いくつかの実施形態において、センサハブ１１４は、組み込み型サービスハブであっても、組み込み型サービスハブ内に実装されてもよい。

画像キャプチャ機構は、エミッタ１１６も含み得る。深度マップを生成すべく、非対称に配置された複数のセンサとともに用いられ得るエミッタは、一様でないテクスチャを物体上に投影するのに用いられ得る。複数の実施形態において、深度マップは、複数の画素間の差異を分析し、非対称に配置された複数のセンサによる所望の分解能に従って画素をキャプチャすることで生成される。

ＣＰＵ１０２は、バス１０６を介して入力／出力（Ｉ／Ｏ）デバイスインタフェース１１８に接続され得て、このインタフェースは、コンピューティングデバイス１００を１又は複数のＩ／Ｏデバイス１２０に接続するよう構成される。Ｉ／Ｏデバイス１２０は、例えば、キーボード及びポインティングデバイスを含み得て、ポインティングデバイスは、とりわけタッチパッド又はタッチスクリーンを含み得る。Ｉ／Ｏデバイス１２０は、コンピューティングデバイス１００の内蔵構成要素であっても、コンピューティングデバイス１００に外付けで接続されるデバイスであってもよい。

ＣＰＵ１０２は、バス１０６を介してディスプレイインタフェース１２２にもリンクされ得て、このインタフェースは、コンピューティングデバイス１００をディスプレイデバイス１２４に接続するよう構成される。ディスプレイデバイス１２４は、コンピューティングデバイス１００の内蔵構成要素であるディスプレイスクリーンを含み得る。ディスプレイデバイス１２４は、とりわけコンピュータモニタ、テレビ、又はプロジェクタも含み得て、これは、コンピューティングデバイス１００に外付けで接続される。

コンピューティングデバイスは、ストレージデバイス１２６も含む。ストレージデバイス１２６は、ハードドライブ、光学式ドライブ、サムドライブ、ドライブアレイ、又はそれらの任意の組み合わせなどの物理メモリである。ストレージデバイス１２６は、リモートストレージドライブも含み得る。ストレージデバイス１２６は、アプリケーション１２８も含み得る。アプリケーション１２８は、ジェスチャ認識など、人とコンピュータの対話型アプリケーションであり得る。従来のＲＧＢ画像は、画像を十分に分析してジェスチャ、姿勢、又は顔の表情を認識するのに十分なデータを提供しないので、人とコンピュータの対話型アプリケーションは、物体の深度画像から利益を享受する。コンピューティングデバイス１００は、センサハブエンジン１３０も含み得る。いくつかの場合において、センサハブエンジンは、コンピューティングデバイス１００内でセンサハブ１１４のセンサの機能を可能にするソフトウェアを含む。センサハブエンジン１３０は、センサハブ１１４と同様の複数のセンサも含み得る。

コンピューティングデバイス１００は、ネットワークインタフェースコントローラ（ＮＩＣ）１３２も含み得て、これは、コンピューティングデバイス１００をネットワーク１３４にバス１０６を介して接続するよう構成され得る。ネットワーク１３４は、とりわけ、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はインターネットであってよい。

図１のブロック図は、コンピューティングデバイス１００が図１に示される構成要素の全てを含むことを示すよう意図されるものではない。さらに、コンピューティングデバイス１００は、特定の実装の詳細に応じて、図１に示されない任意の数の追加の構成要素を含み得る。

上で述べられたように、立体画像生成に用いられる複数の構成要素は非対称に配置される。複数の構成要素は、複数のセンサ及び複数のエミッタを含み得る。そのような配置を通じて、パッシブ型及びアクティブ型ステレオ深度カメラシステムの両方における、光学距離についてのいかなる相反する影響も克服され得る。

光学距離は、ベースライン距離としても知られ得る。いくつかの場合において、光学距離は、２つのセンサ間の距離である。光学距離は、センサとエミッタとの間の距離でもあり得る。光学距離は、アクティブ型ステレオシステム及びパッシブ型ステレオシステムの両方のステレオシステムの性能に対して、相反する様々な影響を有する。第1に、光学距離が増すにつれて、２つのセンサからの画像間のマッチングが、オクルージョンのためにより難しくなる。

また、様々な深度を持つ物体は、両方のセンサによって異なるように見られ、マッチング領域はあったとしても少ししか残っていないので、マッチングはより困難になる。マッチングは、ステレオ対応としても知られ得て、異なる複数の視点から撮られた同一シーンの2又はそれより多くの画像を用いて実行され得る。点のセットが１つの画像に見られ、これらは別の画像にも見られる、又は特定される。いくつかの場合において、マッチングは、各画像内の特徴を用いて行われる。従って、マッチング又はステレオ対応では、１つの画像に見られる特徴は、別の画像にも見られる、又は特定される。いくつかの場合において、複数の画像は、異なる複数の位置で単一のセンサを用いて取得される。複数の画像は、異なる時点で単一のセンサを用いて取得されてもよい。さらに、複数のセンサが、マッチングのために複数の画像を取得するのに用いられ得る。また、シーン内の物体は、概して１又は複数センサに対して運動中であり得る。

第２の相反する影響は、正確な画素分解能視差を仮定すれば、深度測定はより正確であるということである。 画像は各センサからサンプリングされるので、視差は画素精度までしか測定され得ない。従って、視差測定では半画素誤差という仮定が存在する。視差が深度に変換される場合、この誤差は光学距離が増すにつれて低下する。

例えば、一対のピンホール及び完全に整合した複数の画像センサを検討してみる。各センサの焦点距離は１画素であり、両方のセンサの画素サイズは１画素であると仮定する。さらに、左センサの光学中心は、絶対座標系の原点にある。
Ｏ_ｌ＝｛０、０、０｝

右カメラの光学中心は、
Ｏ_ｒ＝｛ｄ、０、０｝
である。

点｛ｘ、ｙ、ｚ｝を検討してみる。左センサで観察されると、この点は次の通りにマッピングされる。
｛ｘ_ｌ、ｙ_ｌ｝＝｛ｘ／ｚ、ｙ／ｚ｝

右センサで観察されると、この点は次の通りにマッピングされる。
｛ｘ_ｒ、ｙ_ｒ｝＝｛ｘ−ｄ／ｚ、ｙ／ｚ｝

左右のセンサに両方の点のＸ座標を与えると、深度値（Ｚ）が求められ得る。具体的には、深度は次式になる。
ｚ＝ｄ／（ｄ／ｚ）＝ｄ／（ｄ／（ｘ_ｌ−ｘ_ｒ））

観察されたサンプリング済みの画素値はｘ_ｌ及びｘ_ｌであり、正確な深度値ではないことに留意されたい。両方の画素、並びにｘ_ｌ及びｘ_ｌの位置における組み合わせ誤差εが、計算値に誤差Ｅをもたらす。
Ｚ＋Ｅ＝ｄ／（ｄ／（ｘ_ｌ−ｘ_ｒ＋ε））

Ｅのｄへの依存性を計算するために、差分を取ると次式になる。
Ｅ（ｄ）＝ｄ／（ｘ_ｌ−ｘ_ｒ）−ｄ／（ｘ_ｌ−ｘ_ｒ＋ε）＝ｄ／（ｄ／ｚ）−ｄ／（（ｄ／ｚ）＋ε）＝εＺ^２／（ｄ＋εＺ）

従って、Ｚの精度は光学距離に対して逆線形に増加する。しかしながら、光学距離を増加させると、マッチング処理が劣化し、これにより誤差の可能性が増加する。

物体が傾斜面であると仮定する。物体は、｛ｘ_０＋ｔ、ｙ_０、ｚ_０＋ａｔ｝の座標に置かれ、サイズｋ×ｋのウィンドウがマッチングに用いられる。マッチングが成功するには、左右のカメラの両ウィンドウは類似するように見えるべきである。両ウィンドウは、副画素サンプリング及びノイズに起因して、厳密に同様になることはない。これは、物体の深度傾斜であるａが増加すると、左右のウィンドウ間の相違が増加し、マッチング処理が劣化するからである。ウィンドウの左境界をｐ、つまりｐ＝｛ｘ_０、ｙ_０、ｚ_０｝、ウィンドウの右境界をｑ、つまり、ｑ＝｛ｘ_０＋ｋ、ｙ_０、ｚ_０＋ａｋ｝とする。

左（ｌ）及び右（ｒ）の両方のカメラにおいて、これらの点の座標は次の通りである。
ｐ_ｌ＝｛ｘ_０／ｚ_０、ｙ_０／ｚ_０｝、ｑ_ｌ＝｛（ｘ_０＋ｋ）／（ｚ_０＋ａｋ）、ｙ_０／（ｚ_０＋ａｋ）｝
ｐ_ｒ＝｛（ｘ_０＋ｄ）／ｚ_０、ｙ_０／ｚ_０｝、ｑ_ｒ＝｛（ｘ_０＋ｋ＋ｄ）／（ｚ_０＋ａｋ）、ｙ_０／（ｚ_０＋ａｋ）｝

2つの点、ｐ及びｑの間の視差は次の通りである。
ｐ_ｌ−ｐ_ｒ＝（ｘ_０／ｚ_０）−（ｘ_０＋ｄ）／ｚ_０＝ｄ／ｚ_０
ｑ_ｌ−ｑ_ｒ＝（（ｘ_０＋ｋ）／（ｚ_０＋ａｋ））−（（ｘ_０＋ｋ＋ｄ）／（ｚ_０＋ａｋ））＝ｄ／（ｚ_０＋ａｋ）

ａが１（４５度の傾斜面）、ｋが５（小ウィンドウ）であると仮定する。画素サイズが０．０００１ｃｍ、１ｍにおいて１ｍｍの画素スケール、ｄが１ｃｍであり、１メートルの距離において、右ウィンドウは左ウィンドウと比較して（ｄ×（０．５／１００００））／０．０００１、０．５画素だけ歪められることが分かる。光学距離が増加すると、この歪が増大してマッチング精度が劣化する。これにより、光学中心が増すにつれて、傾斜物体の相対変形が増加することになる。しかしながら、立体画像生成に用いられる複数の構成要素を非対称に配置することで、傾斜物体を矯正することなく、光学中心が増すにつれて正確な深度が取得される。

図２は、エミッタ及びセンサの配置２００の例である。配置２００では、エミッタ２０２と右センサ２０６との間の距離と比較すると、エミッタ２０２は左センサ２０４により近く配置される。図２において、エミッタ２０２、左センサ２０４、及び右センサ２０６は、様々な物体及び特徴を含み得るエリア２０８から情報をキャプチャするのに用いられる。左センサ２０４及びエミッタ２０２は、深度マップを生成するのに用いられ得て、この深度マップは、低密度且つ低精度であってよい。概して、深度マップは、特定の視点からの画像内の物体の表面の距離を伝達する情報を含む画像である。しかしながら、単一のセンサは、画像内の各点ごとに単一のデータ値を提供する。単一のデータ値は、完全な深度マップを得るのに十分な情報を提供し得ない。エミッタ２０２及び左センサにより提供された深度マップは低密度とみなされる。というのは、画像の縁又は画像内の突出物体など、画像の特定の特徴において正確だからである。いくつかの場合では、低密度深度マップは、２つのセンサ間でステレオ対応を行うことで求められる。

左センサ２０４及びエミッタ２０２により提供された深度マップは低密度深度マップであるため、深度情報を用いる用途に必要な精度を提供しない。従って、低密度深度マップは、最終的な深度マップの初期近似として用いられる。左センサ２０４をエミッタ２０２の近くに配置することで、左センサ２０４はエミッタまで短光学距離を有し、高精度マッチングを可能にする。エミッタ２０２及びセンサの対は、左センサによりキャプチャされた画像を、所与の距離でエミッタにより投影された既知のパターンにマッチングさせるのに用いられ得る。この技術は、低密度深度マップをキャプチャするのに用いられ、上述されたように、構造化光の手法に類似している。

右センサも画像を取得するのに用いられる。右センサからの画像は、左センサ２０４及びエミッタ２０２から取得された低密度深度マップを改良するのに用いられる。いくつかの場合において、左右のセンサデータ間のマッチングが、深度マップを改良すべく実行される。さらに、いくつかの場合において、右センサと既知のパターンとの間の構造化光が、深度マップを改良するのに用いられる。改良後に取得された深度マップは、長い光学距離に起因して高精度である。長い光学距離でのマッチング処理は、マッチングが第1フェーズにおいて見られる視差の近くの画素に対して実行されるような改良だけである。

図３は、エミッタ及びセンサの配置３００の例である。左センサ３０２が右センサ３０４の近くにある。エミッタ３０６は、左センサ３０２及び右センサ３０４の両方から一番右寄りにある。図３において、エミッタ３０６、左センサ３０２、及び右センサ３０４は、様々な物体及び特徴を含み得るエリア３０８から情報をキャプチャするのに用いられる。互いに近い左センサ３０２及び右センサ３０４を有することで、低精度だが高密度の深度マップが提供される。構造化光を介した、右センサ３０４と遠くにあるエミッタ３０６との間のマッチングにより、いくつかの画素に対して深度マップを改良したものが提供される。いくつかの場合において、エミッタにより投影された画像の分解能がセンサの分解能より低いので、測定値は全ての画素に対して改良されない。複数の実施形態において、センサとエミッタとの間のコード化された構造化光対応が、深度マップを求めるのに用いられ得る。

「低分解能高精度」の深度マップ及び「低精度高密度」の初期マップの補間が適用されて、「高分解能且つ高密度」の深度マップを提供し得る。いくつかの場合において、この補間はスマート補間とみなされ得る。複数の実施形態において、低分解能高精度深度マップは、図２で説明されるように取得され得る。複数の実施形態において、「低精度高密度」の深度マップは図３で説明されるように取得され得る。さらに、複数の実施形態において、２つの異なるパターンがエミッタにより放出される。第１パターンは、アクティブ型ステレオ用途に適した低デューティサイクルを有し得る。第２パターンは、構造化光又はコード化された光技術とともに副画素改良に用いられる高周波数パターンであり得る。第２パターンは、アクティブ型ステレオからの初期結果に基づいて改良するためだけに用いられるので、マルチパターン又は動きの問題はない。いくつかの場合において、2つのエミッタが、複数のパターンを放出するのに用いられる。第1エミッタが、比較的短距離にある物体に対して構造化光技術に用いられ得て、第２エミッタが、比較的長距離にある物体に対して構造化光技術に用いられ得る。

図４は、構造化ステレオ用の方法４００の処理フロー図である。ブロック４０２において、低精度の低密度深度マップが取得される。いくつかの場合において、低密度深度マップは、エミッタを２つのセンサとともに用いて生成され得る。エミッタは、光学距離を変更すべく第１センサのより近くに配置される。このように、光学距離の相反する影響は、結果として得られる深度マップに影響を与えない。いくつかの場合において、高精度深度マップは、図２で説明されたように低密度深度マップである。ブロック４０４において、初期近似として低精度の低密度深度マップを用いる高精度深度マップが生成される。いくつかの場合において、高精度深度マップは、センサとエミッタとの間で構造化光技術を用いて、低精度の低密度深度マップを改良することで生成される。

さらに、高精度深度マップは、少なくとも２つのセンサ間のマッチング技術、及びセンサとエミッタとの間の構造化光技術を用いて生成され得る。エミッタは低デューティサイクルの第１パターンを投影し、エミッタは、高密度低精度深度マップの副画素改良のために第２パターンを投影する。

ブロック４０６において、高密度低精度深度マップが取得される。複数の実施形態において、互いに近くに近接して配置される２つのセンサが、高密度深度マップを生成するのに用いられ得る。いくつかの場合において、高密度深度マップは、図３で説明されたように生成される。２つのセンサからの深度マップは、構造化光技術を用いて改良され得る。ブロック４０８において、高密度高分解能深度マップは、高精度深度マップ及び高密度低精度深度マップを用いて計算される。いくつかの場合において、高精度深度マップ及び高密度深度マップは、高分解能且つ高密度の深度マップを計算すべく補間される。さらに、高密度高分解能深度マップは、アクティブ型ステレオ技術を用いる高精度深度マップ、及び構造化光技術を用いる高密度低精度深度マップを取得することで計算され得る。結果として、本技術は、ハイブリッド方式のアクティブ型ステレオ及び構造化光の解決手法とみなされ得る。

図５は、構造化ステレオ用のコードを格納する有形の非一時的コンピュータ可読媒体５００を示すブロック図である。有形の非一時的コンピュータ可読媒体５００は、コンピュータバス５０４を通じてプロセッサ５０２によりアクセスされ得る。さらに、有形の非一時的コンピュータ可読媒体５００は、本明細書で説明される方法を実行するようプロセッサ５０２に指示するよう構成されたコードを含み得る。

本明細書で論じられる様々なソフトウェア構成要素は、図５に示されるように、１又は複数の有形の非一時的コンピュータ可読媒体５００に格納され得る。例えば、低密度マッピングモジュール５０６は、非対称に配置されたセンサで低密度深度マップを生成するよう構成され得る。低密度マッピングモジュール５０６により生成された深度マップも、高精度深度マップであり得る。ブロック５０８において、高密度マッピングモジュールは、非対称に配置されたセンサで高密度深度マップを生成するよう構成され得る。そのような状況において、図３に示されるように、エミッタが、２つのセンサから距離を置いて配置され得る。高密度マッピングモジュール５０８により生成された深度マップも、低分解能深度マップであり得る。ブロック５１０において、補間モジュールが、低密度マッピングモジュール５０６及び高密度マッピングモジュール５０８からの深度マップを補間し、高精度且つ高密度な深度マップを取得する。

図５のブロック図は、有形の非一時的コンピュータ可読媒体５００が、図５に示される構成要素の全てを含むことを示すよう意図されていない。さらに、有形非一時的コンピュータ可読媒体５００は、特定の実装の詳細に応じて、図５に示されていない任意の数の追加の構成要素を含み得る。

複数の実施形態において、本技術は２つの深度推定技術を組み合わせる。アクティブ型ステレオ技術を用いることで、深度マップは環境条件に対してよりロバストになり、より高い出力分解能を有する。構造化光技術を用いることでも、正確とみなされる深度マップが取得される。アクティブ型ステレオは、カメラ又はセンサなどの複数の画像キャプチャ機構及びエミッタを用い得る。第1サブシステムは、少なくともエミッタ及び画像キャプチャ機構を含み、高精度マッチングを可能にすべく複数の構成要素間が短光学距離になるように配置された複数の構成要素を有する。第２サブシステムは、少なくともエミッタ及び画像キャプチャ機構を含み、高精度深度（Ｚ）計算を可能にすべく長光学距離になるように配置された複数の構成要素を有する。いくつかの場合において、エミッタの周りに複数の画像キャプチャ機構を非対称に配置することで、光学距離に差異が生じる。さらに、エミッタ及び画像キャプチャ機構の対が、現在キャプチャされた画像を所与の距離で投影された既知のパターンとマッチングさせるのに用いられ得る。

［実施例１］

構造化ステレオ用の装置は本明細書で説明される。装置は、エミッタ及び複数のセンサを含む。複数のセンサは、エミッタに対して非対称に配置される。

エミッタ及び複数のセンサは、低密度深度マップを生成するのに用いられ得るデータを取得し得て、低密度深度マップは正確な深度マップを取得するようさらに改良され得る。エミッタ及び複数のセンサは、低密度深度マップを生成するのに用いられ得るデータも取得し得て。低密度深度マップは、複数のセンサのうちの１つのセンサとエミッタとの間の短い光学距離の結果であり得る。さらに、エミッタ及び複数のセンサは、低密度深度マップを生成するのに用いられ得るデータを取得し得て、低密度深度マップは、正確な深度マップを取得すべくさらに改良され得る。この改良は、複数のセンサのうちの１つのセンサとエミッタとの間の長い光学距離の結果として取得され得る。また、エミッタ及び複数のセンサは、低精度の高密度深度マップを生成するのに用いられ得るデータを取得し得る。エミッタ及び複数のセンサは、低精度の高密度深度マップを生成するのに用いられ得るデータを取得し得て、高密度深度マップは、複数のセンサのうちの１つのセンサとエミッタとの間の長い光学距離の結果であり得る。エミッタ及び複数のセンサは、低精度の高密度深度マップを生成するのに用いられ得るデータを取得し得て、高密度深度マップは、複数のセンサのうちの１つのセンサとエミッタとの間のより短い光学距離の結果からのデータを用いて改良され得る。さらに、エミッタ及び複数のセンサは、構造化光技術と組み合わされたアクティブ型ステレオ技術に用いられて、高分解能の高密度深度マップを取得し得る。エミッタと複数のセンサとの間の光学距離は、生成される深度マップの種類に応じて調節され得る。装置は第２エミッタを含み得る。

［実施例２］

構造化ステレオ用のシステムが本明細書で説明される。システムは、エミッタ、複数のセンサ、メモリ、及びプロセッサを含む。エミッタ及び複数のセンサは、システムにおいてエミッタに対して非対称に配置される。命令を格納するメモリは、エミッタ及び複数のセンサに通信可能に結合される。プロセッサは、メモリに通信可能に結合される。プロセッサが命令を実行する場合、プロセッサは高精度深度マップを生成し、且つ高密度深度マップを生成する。プロセッサは、高精度深度マップ及び高密度深度マップを用いて、高分解能且つ高密度の深度マップも計算する。

エミッタは、複数のセンサのうちの少なくとも２つのセンサの間にあってよく、エミッタと第１センサとの間の距離は、エミッタと第２センサとの間の距離より短くてよい。複数のセンサのうちの第１センサと第２センサとの間の距離は、第１センサとエミッタとの間の距離、及び第２センサとエミッタとの間の距離より短くてよく、これにより、第１センサ及び第２センサは互いに近く、且つ第１センサ及び第２センサはエミッタから遠い。さらに、プロセッサは、低精度の低密度深度マップを取得し、高精度深度マップを取得すべく複数のセンサの間をマッチングすることで低精度の低密度深度マップを改良することによって高精度深度マップを生成し得る。さらに、プロセッサは、低精度の低密度深度マップを取得し、複数のセンサの間をマッチングすることで低精度の低密度深度マップを改良することによって高精度深度マップを生成し得る。センサからのマッチングされる画像は、センサとエミッタからのパターンとの間で構造化光を用いて取得され得る。このマッチングは、低精度の低密度深度マップを取得するときに見られる視差の近くの画素に対して実行され得る。また、プロセッサは、複数のセンサのうちの第１センサ及び第２センサからのデータで高密度深度マップを生成し得る。第１センサと第２センサとの間の距離は、第１センサとエミッタとの間の距離、及び第２センサとエミッタとの間の距離より短くてよく、これにより、第１センサ及び第２センサは互いに近く、且つ第１センサ及び第２センサはエミッタから遠い。

さらに、プロセッサは、複数のセンサのうちの第１センサ及び第２センサからのデータで高密度深度マップを生成し、第１センサ又は第２センサとエミッタとの間をマッチングすることで高密度深度マップを改良し得る。第１センサと第２センサとの間の距離は、第１センサとエミッタとの間の距離、及び第２センサとエミッタとの間の距離より短くてよく、これにより、第１センサ及び第２センサは互いに近く、且つ第１センサ及び第２センサはエミッタから遠い。エミッタは、アクティブ型ステレオ用の低デューティサイクルの第１パターン、及び構造化光で改良するための高周波数の第２パターンを投影し得る。第２エミッタ。エミッタはアクティブ型ステレオ用の低デューティサイクルの第１パターンを投影し得て、第２エミッタは構造化光で改良するための高周波数の第２パターンを投影し得る。複数のセンサは画像センサであってよい。さらに、システムはカメラの構成要素であってよい。

［実施例３］

ハイブリッド方式のアクティブ型ステレオ及び構造化光のための方法が本明細書で説明される。方法は、低精度の低密度深度マップを取得する段階と、初期近似として低精度の低密度深度マップを用いて高精度深度マップを生成する段階とを含む。方法は、高密度低精度深度マップを取得する段階と、高精度深度マップ及び高密度低精度深度マップを用いて高密度高分解能深度マップを計算する段階も含む。

低精度の低密度深度マップは、センサ及びエミッタからのデータを用いて取得され得る。高精度深度マップは、センサとエミッタとの間で構造化光技術を用いて低精度の低密度深度マップを改良することで生成され得る。さらに、高精度深度マップは、少なくとも２つのセンサの間でマッチング技術を用い、且つセンサとエミッタとの間で構造化光技術を用いて生成され得る。高密度低精度深度マップは、少なくとも２つのセンサを用いて取得され得る。さらに、高密度低精度深度マップは、少なくとも２つのセンサを用い、エミッタを用いて少なくとも２つのセンサからのデータを改良して取得され得る。さらに、高精度深度マップは、少なくとも２つのセンサの間でマッチング技術を用い、且つセンサとエミッタとの間で構造化光技術を用いて生成され得る。エミッタは低デューティサイクルの第１パターンを投影し、エミッタは高密度低精度深度マップの副画素改良用の第２パターンを投影する。方法は、低精度の低密度深度マップ及び高密度低精度深度マップを取得するのに用いられるエミッタ及びセンサの非対称配置も含む。高密度高分解能深度マップは、アクティブ型ステレオ技術を用いて高精度深度マップを、及び構造化光技術を用いて高密度低精度深度マップを取得することで計算され得る。さらに、高密度高分解能深度マップは、人とコンピュータの対話型アプリケーションで計算され得る。

［実施例４］

コードを含む有形の非一時的コンピュータ可読媒体が本明細書で説明される。コードは、高精度深度マップを生成し、高密度深度マップを生成するようプロセッサに指示する。コードは、高精度深度マップ及び高密度深度マップを用いて、高分解能且つ高密度の深度マップも計算するようプロセッサに指示する。

高精度深度マップは、センサ及びエミッタからのデータを用いて低精度の低密度深度マップを取得し、低密度深度マップを改良することで生成され得る。さらに、高精度深度マップは、センサとエミッタとの間で構造化光技術を用いて低密度深度マップを改良することで生成され得る。高精度深度マップは、少なくとも２つのセンサの間でマッチング技術を用い、且つセンサとエミッタとの間で構造化光技術を用いて生成され得る。高密度深度マップは、少なくとも２つのセンサを用いて生成され得る。さらに、高密度深度マップは、少なくとも２つのセンサを用い、エミッタを用いて少なくとも２つのセンサからのデータを改良して生成され得る。また、高精度深度マップは、少なくとも２つのセンサの間でマッチング技術を用い、且つセンサとエミッタとの間で構造化光技術を用いて生成され得る。エミッタは低デューティサイクルの第１パターンを投影し、エミッタは高密度深度マップの副画素改良用の第２パターンを投影する。エミッタ及びセンサの非対称配置がデータを取得するのに用いられ、高精度深度マップ及び高密度深度マップを生成し得る。高分解能且つ高密度の深度マップは、アクティブ型ステレオ技術を用いて高精度深度マップを、及び構造化光技術を用いて高密度深度マップを取得することで計算され得る。さらに、高分解能且つ高密度の深度マップは、人とコンピュータの対話型アプリケーションで計算され得る。

［実施例５］

構造化ステレオ用の装置は、エミッタと、深度データを取得するための手段とを含む。深度データを取得するための手段は、エミッタに対して非対称に配置される。

エミッタと、深度データを取得するための手段とは、低密度深度マップを生成するのに用いられ得るデータを取得し得て、低密度深度マップは、正確な深度マップを取得すべくさらに改良され得る。エミッタと、深度データを取得するための手段とは、低密度深度マップを生成するのに用いられ得るデータを取得し得て、低密度深度マップは、エミッタと、深度データを取得するための手段との間の短い光学距離の結果である。エミッタと、深度データを取得するための手段とは、低密度深度マップを生成するのに用いられ得るデータを取得し得て、低密度深度マップは、正確な深度マップを取得すべくさらに改良され得る。この改良は、エミッタと、深度データを取得するための手段との間の長い光学距離の結果として取得され得る。さらに、エミッタと、深度データを取得するための手段とは、低精度の高密度深度マップを生成するのに用いられるデータを取得し得る。エミッタと、深度データを取得するための手段とは、低精度の高密度深度マップを生成するのに用いられるデータを取得し得て、高密度深度マップは、エミッタと、深度データを取得するための手段との間の長い光学距離の結果である。さらに、エミッタと、深度データを取得するための手段とは、低精度の高密度深度マップを生成するのに用いられるデータを取得し得て、高密度深度マップは、エミッタと、深度データを取得するための手段との間のより短い光学距離の結果からのデータを用いて改良され得る。エミッタと、深度データを取得するための手段とは、構造化光技術と組み合わされたアクティブ型ステレオ技術に用いられて、高分解能の高密度深度マップを取得し得る。エミッタと、深度データを取得するための手段との間の光学距離は、生成される深度マップの種類に応じて調節され得る。装置は、第２エミッタも含み得る。

前述の例における細目は１又は複数の実施形態のどこでも用いられ得ることが理解されるべきである。例えば、上述されたコンピューティングデバイスの任意選択的な全ての機能も、本明細書で説明される複数の方法、又はコンピュータ可読媒体のいずれかに対して実装され得る。

さらに、複数のフロー図及び／又は複数の状態図が、複数の実施形態を説明するために本明細書で用いられているが、本技術は、これらの図面又は対応する本明細書の説明に限定されない。例えば、フローは、それぞれの示されたボックス又は状態を通じて、あるいは本明細書で示され且つ説明されたのとまったく同一の順序で動く必要はない。

本技術は、本明細書に列挙された特定の詳細に限定されない。実際、本開示の利益を享受する当業者は、上記の説明及び複数の図面からの多くの他の変形例が、本技術の範囲内で成され得ることを理解するであろう。従って、以下の特許請求の範囲が、それに対する任意の修正を含めて、本技術の範囲を画定する。
［項目１］
構造化ステレオ用の装置であって、
エミッタと、
複数のセンサと、
を備え、
上記複数のセンサは、上記エミッタに対して非対称に配置される、
装置。
［項目２］
上記エミッタ及び上記複数のセンサは、低密度深度マップを生成するのに用いられるデータを取得し、上記低密度深度マップは、正確な深度マップを取得するようさらに改良される、
項目１に記載の装置。
［項目３］
上記エミッタ及び上記複数のセンサは、低密度深度マップを生成するのに用いられるデータを取得し、上記低密度深度マップは、上記エミッタと、上記複数のセンサのうちの１つのセンサとの間の短い光学距離の結果である、
項目１に記載の装置。
［項目４］
上記エミッタ及び上記複数のセンサは、低密度深度マップを生成するのに用いられるデータを取得し、上記低密度深度マップは正確な深度マップを取得するようさらに改良され、
上記改良は、上記エミッタと、上記複数のセンサの内の１つのセンサとの間の長い光学距離の結果として取得される、
項目１に記載の装置。
［項目５］
上記エミッタ及び上記複数のセンサは、高密度深度マップを低精度で生成するのに用いられるデータを取得する、
項目１に記載の装置。
［項目６］
構造化ステレオ用のシステムであって、
エミッタと、
複数のセンサであって、上記エミッタ及び上記複数のセンサは、上記システムにおいて、上記エミッタに対して非対称に配置される、複数のセンサと、
複数の命令を格納し、且つ上記エミッタ及び上記複数のセンサに通信可能に結合されるメモリと、
上記メモリに通信可能に結合されるプロセッサであって、上記プロセッサが上記複数の命令を実行する場合、上記プロセッサは、
高精度深度マップを生成し、
高密度深度マップを生成し、
上記高精度深度マップ及び上記高密度深度マップを用いて高分解能な高密度深度マップを計算する
プロセッサと、
を備える、
システム。
［項目７］
上記エミッタは、上記複数のセンサのうちの少なくとも２つのセンサの間にあり、上記エミッタと第１センサとの間の距離は、上記エミッタと第２センサとの間の距離より短い、
項目６に記載のシステム。
［項目８］
上記複数のセンサのうちの第１センサと第２センサとの間の距離は、上記第１センサと上記エミッタとの間の距離、及び上記第２センサと上記エミッタとの間の距離より短く、これにより、上記第１センサ及び上記第２センサは互いに近くにあり、上記第１センサ及び上記第２センサは上記エミッタから遠くにある、
項目６に記載のシステム。
［項目９］
上記プロセッサは、低精度の低密度深度マップを取得し、上記複数のセンサの間のマッチングにより、低精度の上記低密度深度マップを改良して上記高精度深度マップを取得することで、上記高精度深度マップを生成する、
項目６に記載のシステム。
［項目１０］
上記プロセッサは、低精度の低密度深度マップを取得し、上記複数のセンサの間のマッチングにより、低精度の上記低密度深度マップを改良することで上記高精度深度マップを生成し、マッチングされるセンサからの画像が、上記センサと上記エミッタからのパターンとの間で構造化光を用いて取得される、
項目６に記載のシステム。
［項目１１］
ハイブリッド方式のアクティブ型ステレオ及び構造化光のための方法であって、
低精度の低密度深度マップを取得する段階と、
初期近似として、低精度の上記低密度深度マップを用いて高精度深度マップを生成する段階と、
高密度低精度深度マップを取得する段階と、
上記高精度深度マップ及び上記高密度低精度深度マップを用いて、高密度高分解能深度マップを計算する段階と、
を備える、
方法。
［項目１２］
センサ及びエミッタからのデータ用いて、低精度の上記低密度深度マップを取得する段階を備える、
項目１１に記載の方法。
［項目１３］
センサとエミッタとの間で構造化光技術を用いて、低精度の上記低密度深度マップを改良することで、上記高精度深度マップを生成する段階を備える、
項目１１に記載の方法。
［項目１４］
少なくとも２つのセンサの間でマッチング技術、及びセンサとエミッタとの間で構造化光技術を用いて、上記高精度深度マップを生成する段階を備える、
項目１１に記載の方法。
［項目１５］
少なくとも２つのセンサを用いて、上記高密度低精度深度マップを取得する段階を備える、
項目１１に記載の方法。
［項目１６］
有形の非一時的コンピュータ可読媒体であって、
高精度深度マップを生成し、
高密度深度マップを生成し、
上記高精度深度マップ及び上記高密度深度マップを用いて、高分解能な高密度深度マップを計算するよう、プロセッサに指示するコードを備える、
コンピュータ可読媒体。
［項目１７］
センサ及びエミッタからのデータを用いて低精度の低密度深度マップを取得し、上記低密度深度マップを改良することで上記高精度深度マップを生成する手順を含む、
項目１６に記載のコンピュータ可読媒体。
［項目１８］
センサとエミッタとの間で構造化光技術を用いて低密度深度マップを改良することで、上記高精度深度マップを生成する手順を含む、
項目１６に記載のコンピュータ可読媒体。
［項目１９］
少なくとも２つのセンサの間でマッチング技術、及びセンサとエミッタとの間で構造化光技術を用いて、上記高精度深度マップを生成する手順を含む、
項目１６に記載のコンピュータ可読媒体。
［項目２０］
少なくとも２つのセンサを用いて上記高密度深度マップを生成する手順を含む、
項目１６に記載のコンピュータ可読媒体。
［項目２１］
構造化ステレオ用の装置であって、
エミッタと、
深度データを取得する手段と、
を備え、
深度データを取得する上記手段は、上記エミッタに対して非対称に配置される、
装置。
［項目２２］
上記エミッタ、及び深度データを取得する上記手段は、低密度深度マップを生成するのに用いられるデータを取得し、上記低密度深度マップは、正確な深度マップを取得するようさらに改良される、
項目２１に記載の装置。
［項目２３］
上記エミッタ、及び深度データを取得する上記手段は、低密度深度マップを生成するのに用いられるデータを取得し、上記低密度深度マップは、上記エミッタと、深度データを取得する上記手段との間の短い光学距離の結果である、
項目２１に記載の装置。
［項目２４］
上記エミッタ、及び深度データを取得する上記手段は、低密度深度マップを生成するのに用いられるデータを取得し、上記低密度深度マップは、正確な深度マップを取得するようさらに改良され、上記改良は、上記エミッタと、深度データを取得する上記手段との間の長い光学距離の結果として取得される、
項目２１に記載の装置。
［項目２５］
上記エミッタ、及び深度データを取得する上記手段は、高密度深度マップを低精度で生成するのに用いられるデータを取得する、
項目２１に記載の装置。

Claims (10)

1. 構造化ステレオ用のシステムであって、
   第１エミッタ及び第２エミッタと、
   第１センサ及び第２センサと、
   複数の命令を格納し、且つ前記第１エミッタ、前記第２エミッタ、前記第１センサ及び前記第２センサに通信可能に結合されるメモリと、
   前記メモリに通信可能に結合されるプロセッサであって、前記プロセッサが前記複数の命令を実行する場合、前記プロセッサは、
   前記第１エミッタが前記第１センサと前記第２センサとの間にあり、かつ、前記第１エミッタと前記第１センサとの間の距離が、前記第１エミッタと前記第２センサとの間の距離より短くなるように、前記第１エミッタ、前記第１センサ及び前記第２センサが配置されている場合に、
   前記第１エミッタ及び前記第１センサが構造化光技術を用いて取得したデータから低精度の低密度深度マップを生成し、
   正確な深度マップを取得するよう低精度の前記低密度深度マップを前記第２センサ及び前記第１エミッタを用いてさらに改良することによって、低精度の前記低密度深度マップより精度が高い高精度深度マップを生成し、
   前記第１センサと前記第２センサとの間の距離が、前記第１センサと前記第２エミッタとの間の距離及び前記第２センサと前記第２エミッタとの間の距離より短くなるように、前記第２エミッタ、前記第１センサ及び前記第２センサが配置されている場合に、
   前記第１センサ及び前記第２センサが取得したデータから、低精度の前記低密度深度マップより密度が高い高密度深度マップを生成し、前記高密度深度マップは、前記第２センサと前記第２エミッタとの間のマッチングによって改良され、
   前記高精度深度マップ及び前記高密度深度マップを用いて高精度かつ高密度な深度マップを計算する
   プロセッサと、
   を備え、
   前記高精度深度マップは、前記高密度深度マップより精度が高く、
   前記高密度深度マップは、前記高精度深度マップより密度が高く、
   前記高精度かつ高密度な深度マップは、低精度の前記低密度深度マップ及び前記高密度深度マップより精度が高く、かつ、低精度の前記低密度深度マップ及び前記高精度深度マップより密度が高く、
   ２つの前記第１エミッタのうちの一方が、短距離にある物体に対して構造化光技術に用いられ、２つの前記第１エミッタのうちの他方が、長距離にある物体に対して構造化光技術に用いられ、
   ２つの前記第２エミッタのうちの一方が、短距離にある物体に対して構造化光技術に用いられ、２つの前記第２エミッタのうちの他方が、長距離にある物体に対して構造化光技術に用いられる、
   システム。
2. 前記プロセッサは、低精度の前記低密度深度マップを取得し、前記第１センサと前記第２センサとの間のマッチングにより、低精度の前記低密度深度マップを改良して前記高精度深度マップを取得することで、前記高精度深度マップを生成する、
   請求項１に記載のシステム。
3. 前記プロセッサは、低精度の前記低密度深度マップを取得し、前記第１センサと前記第２センサとの間のマッチングにより、低精度の前記低密度深度マップを改良することで前記高精度深度マップを生成し、マッチングされる前記第２センサからの画像が、前記第２センサと前記第１エミッタからのパターンとの間で構造化光を用いて取得される、
   請求項１又は２に記載のシステム。
4. ハイブリッド方式のアクティブ型ステレオ及び構造化光のための方法であって、
   第１エミッタ及び第１センサが構造化光技術を用いて取得したデータから低精度の低密度深度マップを取得する段階と、
   初期近似として、低精度の前記低密度深度マップを用いて、第２センサ及び前記第１エミッタを用いることによって低精度の前記低密度深度マップより精度が高い高精度深度マップを生成する段階と、
   前記第１センサ及び第２センサを用いて、低精度の前記低密度深度マップより密度が高い高密度低精度深度マップを取得する段階であって、前記高密度低精度深度マップは、前記第２センサと第２エミッタとの間のマッチングによって改良される、段階と、
   前記高精度深度マップ及び前記高密度低精度深度マップを用いて、高精度かつ高密度な深度マップを計算する段階と、
   を備え、
   前記高精度深度マップは、前記高密度低精度深度マップより精度が高く、
   前記高密度低精度深度マップは、前記高精度深度マップより密度が高く、
   前記高精度かつ高密度な深度マップは、低精度の前記低密度深度マップ及び前記高密度低精度深度マップより精度が高く、かつ、低精度の前記低密度深度マップ及び前記高精度深度マップより密度が高く、
   ２つの前記第１エミッタのうちの一方が、短距離にある物体に対して構造化光技術に用いられ、２つの前記第１エミッタのうちの他方が、長距離にある物体に対して構造化光技術に用いられ、
   ２つの前記第２エミッタのうちの一方が、短距離にある物体に対して構造化光技術に用いられ、２つの前記第２エミッタのうちの他方が、長距離にある物体に対して構造化光技術に用いられる、
   方法。
5. 前記第２センサと前記第１エミッタとの間で構造化光技術を用いて、低精度の前記低密度深度マップを改良することで、前記高精度深度マップを生成する段階を備える、
   請求項４に記載の方法。
6. 前記第１センサと前記第２センサとの間でマッチング技術、及び前記第２センサと前記第１エミッタとの間で構造化光技術を用いて、前記高精度深度マップを生成する段階を備える、
   請求項４又は５に記載の方法。
7. 第１エミッタ及び第１センサが構造化光技術を用いて取得したデータから低精度の低密度深度マップを生成する手順と、
   第２センサ及び前記第１エミッタを用いることによって低精度の前記低密度深度マップを改良することで、低精度の前記低密度深度マップより精度が高い高精度深度マップを生成する手順と、
   前記第１センサ及び第２センサを用いて、低精度の前記低密度深度マップより密度が高い高密度深度マップを生成する手順であって、前記高密度深度マップは、前記第２センサと第２エミッタとの間のマッチングによって改良される、手順と、
   前記高精度深度マップ及び前記高密度深度マップを用いて、高精度かつ高密度な深度マップを計算する手順と、をコンピュータに実行させ、
   前記高精度深度マップは、前記高密度深度マップより精度が高く、
   前記高密度深度マップは、前記高精度深度マップより密度が高く、
   前記高精度かつ高密度な深度マップは、低精度の前記低密度深度マップ及び前記高密度深度マップより精度が高く、かつ、低精度の前記低密度深度マップ及び前記高精度深度マップより密度が高く、
   ２つの前記第１エミッタのうちの一方が、短距離にある物体に対して構造化光技術に用いられ、２つの前記第１エミッタのうちの他方が、長距離にある物体に対して構造化光技術に用いられ、
   ２つの前記第２エミッタのうちの一方が、短距離にある物体に対して構造化光技術に用いられ、２つの前記第２エミッタのうちの他方が、長距離にある物体に対して構造化光技術に用いられる、
   プログラム。
8. 前記第２センサと前記第１エミッタとの間で構造化光技術を用いて前記低密度深度マップを改良することで、前記高精度深度マップを生成する手順を含む、
   請求項７に記載のプログラム。
9. 前記第１センサと前記第２センサの間でマッチング技術、及び前記第２センサと前記第１エミッタとの間で構造化光技術を用いて、前記高精度深度マップを生成する手順を含む、
   請求項７又は８に記載のプログラム。
10. 請求項７から９の何れか一項に記載のプログラムを格納する、
    コンピュータ可読記憶媒体。

Images