JP6813600B2 - 動的オクルージョン処理のためのシステム及び方法 - Google Patents

Description

関連出願の相互参照
本願は、２０１６年６月２７日に出願された米国仮出願特許第６２／３５４，８９１号の利益を主張するものである。この文献は、参照により、その全体が本願に組み込まれる。

発明の分野
本開示は、深度マップを向上させるためのシステム及び方法に関し、より詳細には、向上させた深度マップを用いる、動的オクルージョン処理に関する。

背景技術
拡張現実（ＡＲ）は、現実世界環境に、仮想世界環境（例えば、コンピュータによって生成された入力）を合わせた複合ビューを提供する技術に関する。深度の正確な知覚は、現実的でシームレスなＡＲ体験を提供するために必要とされることが多い。例えば、ＡＲ支援による保守タスク及び製造タスクにおいては、ユーザと、現実の物体及び仮想の物体の両物体とが相互作用する傾向が高い。しかしながら、深度が正確に知覚されなければ、現実世界のシーンと仮想世界のシーンとの間で適切なオクルージョン処理が行われた、シームレスなインタラクション体験を提供することは困難である。

一般的に、リアルタイム３Ｄセンシングは、計算コストが高く、また、ハイエンドセンサを必要とする。このオーバヘッドを低減するために、初期の一部の研究は、典型的には固定的であると想定されるオクルージョン関係性を推測するために２Ｄ輪郭トラッキングを基礎としていた。それとは別に、他の一部の研究においては、オフラインでのシーンの３Ｄモデルの作成、及びそのシーンが静的なものであって不変のままであると仮定した、深度テストのための、それらの３Ｄモデルのオンラインでの使用が行われた。それらの方式は、ある程度のオクルージョン処理効果を達成することはできるが、ＡＲ用途においては極めて一般的であるユーザインタラクションの動的な性質に適応することができない。

また、近年登場した軽量ＲＧＢ深度（ＲＧＢ−Ｄ）カメラは、ＡＲ用途に関してある程度の３Ｄセンシング性能を提供する。しかしながら、それらのＲＧＢ−Ｄカメラは、典型的には、低コストのコンシューマ深度センサを備えるものであって、それらのセンサは通常の場合、種々の種類のノイズ、特に物体境界周辺のノイズの影響を受ける。そのような制限によって、それらの軽量ＲＧＢ−ＤカメラがＡＲ用途に使用されると、典型的には、不適切な視覚的なアーチファクトが惹起され、それによって上質のＡＲ体験が妨げられる。それらの軽量ＲＧＢ−Ｄカメラによって提供されるセンサデータの品質を改善するために、深度マップの向上に関して数多くの研究が行われた。しかしながら、それらのアプローチの大部分は、それらの高い計算コストに起因して、ＡＲユースケースに直接的に適用することはできない。

さらに、イメージの質を向上させるためにフィルタリングが頻繁に使用される。例えば、一部の例は、ジョイントバイラテラルフィルタリングプロセス又はガイド付きイメージフィルタリングプロセスを含んでいる。また、他の例は、ドメイン変換プロセス、適応型の複写プロセス、又は、インペインティングプロセスを含んでいる。しかしながら、それらのプロセスは、典型的には、計算コストが高く、また、その結果、エッジがぼやけることが多く、それによって境界付近にアーチファクトがもたらされてしまう。

概要
以下は、下記において詳細に説明する特定の実施の形態の概要である。説明する態様は、単に、それらの特定の実施の形態の簡単な概要を読み手に提供するために表されたものに過ぎず、それらの態様の説明は、本開示の範囲を限定することを意図したものではない。実際には、本開示は、下記において明示していない場合もある種々の態様を含んでいると考えられる。

１つの実施例において、コンピューティングシステムは、少なくとも１つの処理ユニットを含む処理システムを備えている。処理システムは、物体の第１の境界を有する深度マップを受信するように構成されている。処理システムは、深度マップに対応するカラー画像を受信するように構成されている。カラー画像は、物体の第２の境界を含んでいる。処理システムは、深度マップから、第１の境界の深度エッジ点を抽出するように構成されている。処理システムは、深度マップにおけるターゲット深度エッジ点を識別するように構成されている。ターゲット深度エッジ点は、カラー画像における物体の第２の境界のカラーエッジ点に対応している。さらに、処理システムは、深度マップが物体に関する物体の境界を用いて向上されるように、深度エッジ点をターゲット深度エッジ点にスナップさせるように構成されている。

１つの実施例において、動的オクルージョン処理のためのシステムは、少なくとも、深度センサ、カメラ、及び、処理システムを備えている。深度センサは、深度マップを提供するように構成されている。深度マップは、物体の第１の境界を含んでいる。カメラは、カラー画像を提供するように構成されている。カラー画像は、物体の第２の境界を含んでいる。処理システムは、少なくとも１つの処理ユニットを含んでいる。処理システムは、物体の第１の境界を有する深度マップを受信するように構成されている。処理システムは、深度マップに対応するカラー画像を受信するように構成されている。カラー画像は、物体の第２の境界を含んでいる。処理システムは、深度マップから、第１の境界の深度エッジ点を抽出するように構成されている。処理システムは、深度マップにおけるターゲット深度エッジ点を識別するように構成されている。ターゲット深度エッジ点は、カラー画像における物体の第２の境界のカラーエッジ点に対応している。処理システムは、深度マップが物体に関する物体の境界を用いて向上されるように、深度エッジ点をターゲット深度エッジ点にスナップさせるように構成されている。

１つの実施例において、コンピュータ実施方法は、物体の第１の境界を有する深度マップの受信を含んでいる。方法は、深度マップに対応するカラー画像の受信を含んでいる。カラー画像は、物体の第２の境界を含んでいる。方法は、深度マップからの第１の境界の深度エッジ点の抽出を含んでいる。方法は、深度マップにおけるターゲット深度エッジ点の識別を含んでいる。ターゲット深度エッジ点は、カラー画像における物体の第２の境界のカラーエッジ点に対応している。方法は、ターゲット深度エッジ点に深度エッジ点をスナップさせることによる、物体に関する物体の境界を用いた深度マップの向上を含んでいる。

本発明のそれらの特徴、態様及び利点、並びに、本発明の別の特徴、態様及び利点は、添付の図面を参照する特定の実施例の以下の詳細な説明によってさらに明確になる。図面において、全体にわたり類似の参照番号は、類似の部分を表している。

本開示の１つの実施例によるシステムの図である。 動的オクルージョン処理が行われていない、ビデオビューにおける仮想の物体のレンダリングである。 本開示の１つの実施例による、動的オクルージョン処理が行われた、ビデオビューにおける仮想の物体のレンダリングである。 動的オクルージョン処理が行われていない、図２Ａの仮想の物体のレンダリングである。 動的オクルージョン処理が行われていない、図２Ａの仮想の物体のレンダリングである。 本開示の１つの実施例による、動的オクルージョン処理が行われた、図２Ｂの仮想の物体のレンダリングである。 本開示の１つの実施例による、動的オクルージョン処理が行われた、図２Ｂの仮想の物体のレンダリングである。 動的オクルージョン処理が行われていない、眼鏡ビューにおける、図２Ａの視覚化である。 動的オクルージョン処理が行われていない、眼鏡ビューにおける、図２Ａの視覚化である。 本開示の１つの実施例による、動的オクルージョン処理が行われた、眼鏡ビューにおける、図２Ｂの視覚化である。 本開示の１つの実施例による、動的オクルージョン処理が行われた、眼鏡ビューにおける、図２Ｂの視覚化である。 本開示の１つの実施例による、深度マップの一例である。 本開示の１つの実施例による、カラー画像の一例である。 本開示の１つの実施例による、図３Ｂのカラー画像にオーバレイされた、図３Ａの深度マップ一例を図示する。 図３Ｃの例示的な領域の拡大図である。 図３Ｃの例示的な領域の拡大図である。 仮想の物体を含めた、図３Ｃの視覚化である。 図３Ｆの例示的な領域の拡大図である。 図３Ｆの例示的な領域の拡大図である。 本開示の１つの実施例による、図１のシステムの処理のブロック図である。 本開示の１つの実施例による、深度エッジ点プロセスの実現例のフローチャートである。 本開示の１つの実施例による、カラー画像の一例である。 本開示の１つの実施例による、深度マップの一例である。 本開示の１つの実施例による、グレースケール画像にオーバレイされた深度エッジ点の一例である。 本開示の１つの実施例による、図６Ｃの例示的な領域内のロー深度エッジ点の拡大図である。 本開示の１つの実施例による、図６Ｃの領域の平滑にされた深度エッジ点の拡大図である。 本開示の１つの実施例による、図６Ｄのロー深度エッジ点を基礎として生成された、２Ｄ法線の一例を図示する。 本開示の１つの実施例による、図６Ｅの平滑にされた深度エッジ点を基礎として生成された、２Ｄ法線の一例を図示する。 本開示の１つの実施例による、候補検索プロセス及び最適化プロセスの１つの実現例のフローチャートである。 本開示の１つの実施例による、カラー画像の一例である。 本開示の１つの実施例による、ＲＧＢ空間に由来する画像勾配とのエッジスナップが視覚化されている、図８Ａの領域の拡大図である。 本開示の１つの実施例による、ＲＧＢ空間及びＹＣｂＣｒ空間の両空間に由来する画像勾配とのエッジスナップが視覚化されている、図８Ａの領域の拡大図である。 本開示の１つの実施例による、カラー画像の一例である。 本開示の１つの実施例による、赤色チャネルに由来する画像勾配の大きさの一例である。 本開示の１つの実施例による、変換されたＣ_Rチャネルにおける画像勾配の大きさの一例である。 本開示の１つの実施例による、カラー画像の一例である。 本開示の１つの実施例による、平滑化制約が課されていない、図１０Ａの領域に関するエッジスナップの結果の一例を図示する。 本開示の１つの実施例による、平滑化制約が課された、図１０Ａの領域に関するエッジスナップの結果の一例を図示する。 本開示の１つの実施例による、カラー画像の一例である。 本開示の１つの実施例による、平滑化制約が課されていない、図１１Ａの例示的な領域に関するエッジスナップの結果の一例を図示する。 本開示の１つの実施例による、平滑化制約が課された、図１１Ａの例示的な領域に関するエッジスナップの結果の一例を図示する。 本開示の１つの実施例による、深度マップ向上プロセスの１つの実現例のフローチャートである。 図１３Ａ、図１３Ｂ、図１３Ｃ、図１３Ｄ及び図１３Ｅは、本開示の１つの実施例による、エッジスナップを基礎とする、深度マップ向上プロセスの各１つの態様を示す。 本開示の１つの実施例による、眼鏡ビューレンダリングプロセスの実現例のフローチャートである。 ビデオビューと眼鏡ビューとの切り替えに関連付けられた問題を示す。 内挿を使用するオクルージョン効果の一例を図示する。 本開示の１つの実施例による、図１４のプロセスを使用するオクルージョン効果の一例を図示する。 動的オクルージョン処理が行われていない、ＡＲシーンの一例である。 本開示の１つの実施例による、ロー深度データを使用して動的オクルージョン処理が行われた、ＡＲシーンの一例である。 本開示の１つの実施例による、向上させた深度マップを使用して動的オクルージョン処理が行われた、ＡＲシーンの一例である。 動的オクルージョン処理が行われていない、ＡＲシーンの一例である。 本開示の１つの実施例による、ロー深度データを使用して動的オクルージョン処理が行われた、ＡＲシーンの一例である。 本開示の１つの実施例による、向上させた深度マップを使用して動的オクルージョン処理が行われた、ＡＲシーンの一例である。 動的オクルージョン処理が行われていない、ＡＲシーンの一例である。 本開示の１つの実施例による、ロー深度データを使用して動的オクルージョン処理が行われた、ＡＲシーンの一例である。 本開示の１つの実施例による、向上させた深度マップを使用して動的オクルージョン処理が行われた、ＡＲシーンの一例である。 動的オクルージョン処理が行われていない、ＡＲシーンの一例である。 本開示の１つの実施例による、ロー深度データを使用して動的オクルージョン処理が行われた、ＡＲシーンの一例である。 本開示の１つの実施例による、向上させた深度マップを使用して動的オクルージョン処理が行われた、ＡＲシーンの一例である。 本開示の１つの実施例による、動的オクルージョン処理が行われていない、ＡＲシーンの一例である。 本開示の１つの実施例による、ロー深度データを使用して動的オクルージョン処理が行われた、ＡＲシーンの一例である。 本開示の１つの実施例による、向上させた深度マップを使用して動的オクルージョン処理が行われた、ＡＲシーンの一例である。 本開示の１つの実施例による、グラウンドトゥルースの境界のアウトラインを含むカラー画像である。 本開示の１つの実施例による、グラウンドトゥルースの境界のアウトラインを含むカラー画像である。 本開示の１つの実施例による、グラウンドトゥルースの境界のアウトラインを含むカラー画像である。 本開示の１つの実施例による、グラウンドトゥルースの境界のアウトラインを含むカラー画像である。 本開示の１つの実施例による、図２１Ａの対応するカラー画像にわたりオーバレイされた、ロー深度マップの視覚化である。 本開示の１つの実施例による、図２１Ｂの対応するカラー画像にわたりオーバレイされた、ロー深度マップの視覚化である。 本開示の１つの実施例による、図２１Ｃの対応するカラー画像にわたりオーバレイされた、ロー深度マップの視覚化である。 本開示の１つの実施例による、図２１Ｄの対応するカラー画像にわたりオーバレイされた、ロー深度マップの視覚化である。 本開示の１つの実施例による、図２１Ａの対応するカラー画像にわたりオーバレイされた、向上させた深度マップの視覚化である。 本開示の１つの実施例による、図２１Ｂの対応するカラー画像にわたりオーバレイされた、向上させた深度マップの視覚化である。 本開示の１つの実施例による、図２１Ｃの対応するカラー画像にわたりオーバレイされた、向上させた深度マップの視覚化である。 本開示の１つの実施例による、図２１Ｄの対応するカラー画像にわたりオーバレイされた、向上させた深度マップの視覚化である。

詳細な説明
例示的に図示及び説明した上述の実施の形態及びそれらの実施の形態の多数の利点は、前記の説明によって理解されるであろう。また、本開示の対象から逸脱することなく、又はその本開示の対象の利点のうちの１つ又は複数を断念することなく、コンポーネントの形状、構造、及び構成について種々の変更を行えることは自明であろう。実際には、それらの実施の形態の説明した形状は、単に例示的なものに過ぎない。それらの実施の形態については、種々の修正形態及び代替的な形状が可能であり、また、添付の特許請求の範囲に記載の事項は、そのような変更を達成及び包含することを意図したものであり、開示した特定の形状に限定することを意図したものではなく、むしろ本開示の精神及び範囲に含まれるあらゆる修正形態、等価形態、及び代替形態を対象とすることを意図したものである。

図１には、１つの実施例による、ＡＲにおける動的オクルージョン処理のためのシステム１００のブロック図が図示されている。１つの実施例において、システム１００は、ヘッドマウントディスプレイ１１０及び動的オクルージョン処理システム１２０を備えている。さらに、システム１００は、ヘッドマウントディスプレイ１１０を動的オクルージョン処理システム１２０に接続する通信技術１１８を備えている。１つの実施例において、通信技術１１８は、少なくともヘッドマウントディスプレイ１１０と動的オクルージョン処理システム１２０との間のデータ伝送を提供するように構成されている。１つの実施例において、通信技術１１８には、有線技術、無線技術、又はそれらを組み合わせた技術が含まれる。非限定的な例として、通信技術１１８には、ＨＤＭＩ技術、ＷｉＦｉ技術、又は他の適切な通信リンクが含まれる。

１つの実施例において、ヘッドマウントディスプレイ１１０は、投影されたイメージを反射しつつ、それと同時にそのヘッドマウントディスプレイ越しの視界をユーザに提供することができる、光学ヘッドマウントディスプレイである。１つの実施例において、ヘッドマウントディスプレイ１１０は、少なくとも、深度センサ１１４及びビデオカメラ１１６を備えている。図１においては、例えば、ヘッドマウントディスプレイ１１０が、深度センサ１１４及びビデオカメラ１１６を含むＲＧＢ−Ｄカメラ１１２を備えている。１つの実施例において、ＲＧＢ−Ｄカメラ１１２は近距離用であってよい。

１つの実施例において、深度センサ１１４は、深度データ、及び、動的オクルージョン処理のための幾何学的な情報を提供するように構成されている。これに関して、例えば、深度センサ１１４は、パターン光センサ又はＴｏＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）センサである。代替的に、動的な深度情報を取得するために、ステレオセンサを使用することができる。１つの実施例において、深度センサ１１４は、用途に応じて、任意の適切なセンシング範囲を有することができる。例えば、図１において、ＲＧＢ−Ｄカメラ１１２は、０．２ｍから１．２ｍのセンシング範囲を備えた深度センサ１１４を含んでおり、このセンシング範囲は、ユーザの手２０４を含むＡＲインタラクションの領域をカバーするには十分なものである。

１つの実施例において、ビデオカメラ１１６は、ビデオ又は記録された一連のカラー画像を提供するように構成されている。１つの実施例において、ビデオカメラ１１６は、シーントラッキング（例えば、Ｖｉｓｕａｌ ＳＬＡＭ）を提供するように構成されている。さらに、ヘッドマウントディスプレイ１１０によって提供される眼鏡ビュー２１２は、動的オクルージョン処理のための情報を提供することができないので、システム１００は、動的オクルージョン処理を行うために、ビデオビュー２００に由来するビデオデータを使用して、ビデオビュー２００を眼鏡ビュー２１２として採用する。

１つの実施例において、システム１００は、動的オクルージョン処理システム１２０を含んでいる。１つの実施例において、動的オクルージョン処理システム１２０は、動的オクルージョン処理モジュール１３０を含んでおり、かつ、本願において開示される機能を実現することができる、任意の適切なコンピューティングシステムである。非限定的な例として、コンピューティングシステムは、パーソナルコンピュータ、ラップトップ、タブレット、又は動的オクルージョン処理モジュール１３０の機能を実現することができる任意の適切なコンピュータ技術である。

１つの実施例において、コンピューティングシステムは、少なくとも、入力／出力（Ｉ／Ｏ）デバイス１２２、通信システム１２４、コンピュータ可読媒体１２６、他の機能モジュール１２８、及び、処理システム１３２を含んでいる。１つの実施例において、Ｉ／Ｏデバイスは、任意の適切なデバイス又は複数のデバイスの組合せ、例えばキーボード、スピーカ、マイク、ディスプレイ等を含むことができる。１つの実施例において、通信システム１２４は、任意の適切な通信手段を含んでおり、この通信手段によって、動的オクルージョン処理システム１２０の各コンポーネントは、相互に通信することができ、また、動的オクルージョン処理システム１２０は、通信技術１１８によって、ヘッドマウントディスプレイ１１０と通信することができる。また、１つの実施例において、通信システム１２４は、任意の適切な通信手段を含んでおり、この通信手段によって、コンピューティングシステム、即ち、動的オクルージョン処理システム１２０をインターネットに接続することができ、また、コンピュータネットワーク又は任意の適切なネットワーク上の他のコンピューティングシステム及び／又はデバイスに接続することができる。１つの実施例において、コンピュータ可読媒体１２６は、本願において開示される機能を実現する種々のデータを記憶し、また、それらのデータにアクセスできるように構成されている、コンピュータストレージシステム又は電子ストレージシステムである。１つの実施例において、コンピュータ可読媒体１２６には、電気的、電子的、磁気的、光学的若しくは電磁的な、又は、半導体を用いるメモリ技術、又は、任意の適切なメモリ技術が含まれると考えられる。１つの実施例において、コンピュータ可読媒体１２６は、ローカルに設けられているか、リモートに設けられているか、又は、それらを組み合わせた場所に設けられている（例えば、一部はローカルに設けられており、一部はリモートに設けられている）。１つの実施例において、他の機能モジュール１２８は、ハードウェア、ソフトウェア、又は、それらの組合せを含むことができる。例えば、他の機能モジュール１２８は、オペレーティングシステム、論理回路、任意のハードウェアコンピューティングコンポーネント、任意のソフトウェアコンピューティングコンポーネント、又はそれらの任意の組合せを含むことができる。１つの実施例において、処理システム１３２は、動的オクルージョン処理モジュール１３０に従って動的オクルージョン処理を実行及び実現するための少なくとも１つの処理ユニットを含んでいる。図１において、処理システム１３２は、例えば、少なくとも中央処理ユニット（ＣＰＵ）及びグラフィック処理ユニット（ＧＰＵ）を含んでいる。

上記において考察したように、動的オクルージョン処理システム１２０は、動的オクルージョン処理モジュール１３０を含んでいる。１つの実施例において、動的オクルージョン処理モジュール１３０は、ハードウェア、ソフトウェア、又は、それらの組合せを含んでいる。１つの実施例において、動的オクルージョン処理モジュール１３０は、向上させた深度データを提供し、また、向上させた動的オクルージョン処理を実行し、それによって現実的なＡＲ体験を提供するためにプロセス４００（例えば、図４）が使用可能となるように、必要なデータを提供し、また、処理システム１３２を支援するよう構成されている。

図２Ａ及び図２Ｂには、仮想の物体２０２が、捕捉センサ空間としてのビデオビュー２００にレンダリングされている、非限定的な例が図示されている。特に、図２Ａには、動的オクルージョン処理が行われていない、仮想の物体２０２のレンダリングが図示されており、それに対し図２Ｂには、動的オクルージョン処理が行われた、仮想の物体２０２のレンダリングが図示されている。これに関して、図２Ａ及び図２Ｂの各図において、仮想の物体２０２のレンダリングは、仮想の物体２０２としての宝箱を含んでいる。また、図２Ａ及び図２Ｂの各図には、ビデオビューの残りの部分に、現実世界環境にあるユーザの手２０４が含まれている。しかしながら、動的オクルージョン処理が行われない場合、ユーザの手２０４は、図２Ａの丸で囲まれた領域２０６に示されているように、仮想の物体２０２によって誤って塞がれている。即ち、図２Ａの丸で囲まれた領域２０６は、仮想の物体２０２と相互作用しているユーザの手２０４の現実的な描写を提供していない。それに対して、動的オクルージョン処理が行われた場合、ユーザの手２０４は、図２Ｂの丸で囲まれた領域２０８に示されているように、仮想の物体２０２によって塞がれていない。そのようにして、動的オクルージョン処理が行われた場合には、図２Ｂの丸で囲まれた領域２０８は、仮想の物体２０２と相互作用しているユーザの手２０４の現実的な描写を提供することができる。

図２Ｃ及び図２Ｄ、並びに、図２Ｅ及び図２Ｆは、それぞれ、図２Ａ及び図２Ｂの仮想の物体２０２のレンダリングに関する。より詳細には、図２Ｃ及び図２Ｄには、動的オクルージョン処理が行われていない仮想の物体２０２のレンダリングの非限定的な例が図示されている。これに関して、図２Ｃは、仮想の物体２０２のレンダリングの左目のビューを表しており、図２Ｄは、仮想の物体２０２のレンダリングの右目のビューを表している。それに対して、図２Ｅ及び図２Ｆには、動的オクルージョン処理が行われた仮想の物体２０２のレンダリングの非限定的な例が図示されている。より詳細には、図２Ｅは、仮想の物体２０２のレンダリングの左目のビューを表しており、図２Ｆは、仮想の物体２０２のレンダリングの右目のビューを表している。図２Ｅ及び図２Ｆに示されているように、動的オクルージョン処理が行われた場合、それぞれ丸で囲まれた領域２１０で強調されているように、仮想の物体２０２は修正されており、それによって仮想の物体２０２は、ユーザの手２０４を塞いでいない。従って、動的オクルージョン処理が行われた場合には、仮想の物体２０２とユーザの手２０４との相互作用が、少なくとも図２Ｂ、図２Ｉ及び図２Ｊの丸で囲まれた領域２０８に示されているように、適切で現実的に表されている。

図２Ｇ及び図２Ｈ、並びに、図２Ｉ及び図２Ｊには、光学ヘッドマウントディスプレイ１１０を介した眼鏡ビュー２１２における仮想の物体２０２の光学シースルーイメージの非限定的な例が図示されている。図２Ｇ及び図２Ｈには、動的オクルージョン処理が行われていない例が図示されている。特に、図２Ｇは、眼鏡ビュー２１２における仮想の物体２０２の左目のビューを表しており、図２Ｈは、眼鏡ビュー２１２における仮想の物体２０２の右目のビューを表している。それに対して、図２Ｉ及び図２Ｊには、動的オクルージョン処理が行われた例が図示されている。特に、図２Ｉは、眼鏡ビュー２１２における仮想の物体２０２の左目のビューを表しており、図２Ｊは、眼鏡ビュー２１２における仮想の物体２０２の右目のビューを表している。図２Ｇ、図２Ｈと図２Ｉ、図２Ｊとの比較によって証明されたように、動的オクルージョン処理を介在させることによって、ユーザの手２０４によって塞がれるべき仮想の物体２０２の部分がビューからは取り除かれているので、より現実的で没入することができる体験が提供される。

図３Ａから図３Ｅには、深度マップから取得された物体の境界の、カラー画像から取得された物体の対応する境界と比較した際のずれの非限定的な例が示されている。特に、図３Ａには、深度マップ３００の一例が図示されており、図３Ｂには、カラー画像３０２の対応する一例が図示されている。さらに、図３Ｃには、図３Ｂのカラー画像３０２にオーバレイされた、図３Ａの深度マップ３００の一例が図示されている。それに対し、図３Ｄには、図３Ｃの四角で囲まれた領域３０４の拡大図が図示されている。図３Ｅには、図３Ｃの四角で囲まれた領域３０６の拡大図が図示されている。図３Ｃから図３Ｅに示されているように、深度マップ３００におけるユーザの手２０４の境界は、カラー画像３０２におけるユーザの手２０４の対応する境界とは一致していない。

図３Ｆから図３Ｈは、深度マップ３００に由来するロー深度データ、即ち、生の深度データを用いた動的オクルージョン処理を基礎とする、例示的な結果である。特に、図３Ｆにおいては、特に、ユーザの手２０４に関連付けられた仮想の物体２０２（例えば、スマートフォン）のレンダリングに関して、動的オクルージョン処理が行われている。それに対し、図３Ｇには、図３Ｆの四角で囲まれた領域３０４の拡大図が図示されている。さらに、図３Ｈには、図３Ｆの四角で囲まれた領域３０６の拡大図が図示されている。図示されているように、ロー深度データを用いて動的オクルージョン処理が実行された場合、図３Ｆから図３Ｈには、ロー深度マップ３００とカラー画像３０２との間の、少なくともユーザの手２０４の境界におけるずれに起因して、視覚的なアーチファクトが含まれている。しかしながら、システム１００においては、例えば深度データとＲＧＢデータとの間の物体の境界の一貫性を改善することによって、この問題を克服することができるプロセス４００が行われる。

図４は、１つの実施例による、システム１００のプロセス４００のブロック図である。１つの実施例において、ＲＧＢ−Ｄカメラ１１２からの深度データ及びビデオデータの受信に基づいて、プロセス４００は、少なくとも、ビデオビュープロセス４１０及び眼鏡ビューレンダリングプロセス４９０を含んでいる。これに関して、プロセス４００は、処理システム１３２がコンピュータ可読データ（例えばコンピュータ実行可能データ）を実行すると実施され、このコンピュータ可読データは、動的オクルージョン処理モジュール１３０を介する非一時的なコンピュータ可読媒体、コンピュータ可読媒体１２６、又はそれらの組合せに記憶されている。一般的に、コンピュータ実行可能データは、種々の命令、データ構造、アプリケーション、ルーチン、プログラム、モジュール、プロシージャ、他のソフトウェアコンポーネント、又はそれらの任意の組合せを含むことができる。

１つの実施例において、プロセス４００は、ロー深度マップにおける境界が、典型的には画像勾配が高い、対応するカラー画像におけるその境界の対応部分に通常は適切な近さにある事例を活用する。１つの実施例において、プロセス４００は、少なくとも１つの深度エッジ点の、その所望のターゲットロケーションへのスナップを含んでいる。これに関して、上記に基づいて、プロセス４００は、深度エッジ点のターゲット位置が局所的な線分上にあるように制約を課し、離散的なエネルギ最小化を介して、深度エッジ点の全体のセットに関する最適解を発見することによる、解空間の離散化を含んでいる。

図４に示されているように、１つの実施例において、プロセス４００は、ビデオビュープロセス４１０及び眼鏡ビューレンダリングプロセス４９０を含んでいる。１つの実施例においては、ビデオビュープロセス４１０は、深度エッジ点プロセス４２０、候補検索プロセス４６０、最適化プロセス４７０、及び深度マップ向上プロセス４８０を含んでいる。１つの実施例において、深度エッジ点プロセス４２０は、深度エッジ点抽出４３０、グループ分け及び順序付け４４０、並びに、２Ｄ法線計算４５０を含んでいる。より詳細には、１つの実施例において、プロセス４００は、深度マップからの深度エッジ点の抽出、及び抽出された深度エッジ点に関する平滑な２Ｄ法線方向の計算を含んでいる。これに関して、各２Ｄ法線セグメント又は２Ｄ線は、対応するエッジ点に関する解空間を定義する。即ち、各エッジ点に関する候補は、その法線方向に沿ってのみ検索される。１つの実施例において、候補検索プロセス４６０後に、プロセス４００は、最適なスナップターゲットの位置を特定して利用するための、候補検索プロセス４６０の結果を基礎とする、最適化プロセス４７０を含んでいる。これに関して、例えば、最適化プロセス４７０は、少なくともデータ項及び平滑化項を含む解空間におけるエネルギ関数の定義を含んでいる。また、このケースにおいて、最適化プロセス４７０は、各エッジ点に関する最適なターゲット位置を識別するための、動的プログラミングを介した効率的なエネルギ最小化の実行を含んでいる。１つの実施例において、プロセス４００は、エッジスナップの出力を基礎とする、深度マップ向上プロセス４８０を含んでいる。深度マップの向上に基づいて、プロセス４００は、ビデオビュープロセス４１０から、眼鏡ビューレンダリングプロセス４９０への切替えを行う。

図５は、１つの実施例による、深度エッジ点プロセス４２０のフローチャートである。１つの実施例において、深度エッジ点プロセス４２０は、有効な深度値を有している深度点（又は深度ピクセル）から深度エッジ点を抽出するように構成されている。さらに、深度エッジ点プロセスは、候補検索プロセス４６０及び最適化プロセス４７０に先立って、多数のオペレーションを実行するように構成されている。より詳細には、深度エッジ点プロセス４２０の１つの実現例５００を、下記において考察する。

ステップ５０２において、処理システム１３２は、深度エッジ点を抽出するように構成されている。１つの実施例において、例えば、深度エッジ点は、大きい深度不連続性を示す局所的な隣接点を有している点である。これに関して、例えば、処理システム１３２は、有効な深度値を有している深度点（又は深度ピクセル）を主として考慮し、又は、有効な深度値を有している深度点（又は深度ピクセル）のみを考慮する。それらのピクセルの各々に関して、３×３の局所的なパッチが検査される。４つの隣接ピクセルのいずれかが、無効な深度値を有している場合、又は、所定の値を超える、中心ピクセルとは異なる有効深度値を有している場合には、この中心ピクセルが、深度エッジ点とみなされる。一例として、ロー深度マップは、通常の場合、隔離された点又は非常に小さいパッチとして幾つかの異常値を含んでいると考えられる。それらの異常値の作用を取り除くために、処理システム１３２は、深度エッジ点の抽出の前に、モルフォロジーオープニングを、即ち、収縮とそれに続く膨張を、深度マップマスクに適用するように構成されている。

ステップ５０４において、処理システム１３２は、抽出された深度エッジ点をグループ分けするために、各画像グループに対して深度第１検索を実行するように構成されている。深度第１検索中、２つの深度エッジ点のうちの一方が、他方の３×３の隣接点内にあり、かつ、それら２つの深度点（又は深度ピクセル）間の深度差が所定の閾値τｍａｘよりも小さい場合にのみ、それら２つの深度エッジ点は繋がっているとみなされる。

ステップ５０６において、処理システム１３２は、他のプロセスの一部（例えば、最適化プロセス４７０）によって必要とされるように、各グループの深度エッジ点を順序付け、それによってそれらの深度エッジ点が、エッジ輪郭の一方の端部から他方の端部へと移動させるように構成されている。一部のケースにおいて、例えば、エッジ輪郭が環状の輪郭である場合、処理システム１３２は、深度エッジ点のうちの１つを始点として選択するように構成されており、ここでは、この選択を、ランダムに実行することができ、又は、任意の適切な選択方式によって実行することができる。１つの実施例において、図５のこの考察の残りの部分における後続のオペレーションは、深度エッジ点の各グループに対して個別に実行される。それに対し、図６Ｃには、深度エッジ点の複数のグループを含んでいる１つの例が示されている。

ステップ５０８において、処理システム１３２は、ロー深度エッジ点に対して、それらの深度エッジ点の２Ｄ位置を平滑にするために、ローパスフィルタリングを実行するように構成されている。より詳細には、ロー深度エッジ点のジグザグパターン又は凸凹に起因して、それらのロー深度エッジ点から直接的に計算された法線が、実質的なアーチファクトの影響を受ける可能性がある。それに対して、ローパスフィルタリングが行うことによって、処理システム１３２は、ステップ５１０において平滑にされたそれらの深度エッジ点を利用して、ノイズ及びアーチファクトを低減するように構成されている。

ステップ５１０において、処理システム１３２は、それらの深度エッジ点の２Ｄ法線を計算するように構成されている。１つの実施例において、処理システム１３２は、隣接する２つの点を使用して、各深度エッジ点の２Ｄ法線を計算するように構成されている。１つの実施例において、処理システム１３２は、２Ｄ法線計算のためにのみ、平滑にされた深度エッジ点を利用し、それに対し、後の処理のすべて（又は大部分）については、ロー深度エッジ点に依存する。

図６Ａから図６Ｇには、１つの実施例による、深度エッジ点処理の実現例５００の特定の態様が図示されている。特に、図６Ａには、ＲＧＢ−Ｄカメラ１１２に由来するカラー画像３０２の一例が図示されている。図６Ｂには、ＲＧＢ−Ｄカメラ１１２に由来するロー深度マップ３００の一例が図示されている。図６Ｃには、グレースケール画像３１０にオーバレイされたロー深度エッジ点３１２の例が図示されている。それに対し、図６Ｄから図６Ｇには、図６Ａの四角で囲まれた領域３０８に対応する、図６Ｃの部分の拡大図が図示されている。これに関して、図６Ｄには、ユーザの手２０４の親指の境界に関連付けられたロー深度エッジ点３１２が図示されており、それに対し図６Ｅには、平滑にされた深度エッジ点３１４が図示されている。さらに、図６Ｆには、ロー深度エッジ点３１２を基礎として生成された２Ｄ法線３１６が図示されている。それに対して、図６Ｇには、平滑にされた深度エッジ点を基礎として生成された２Ｄ法線３１６が図示されている。図示されているように、図６Ｇにおける平滑にされた深度エッジ点の２Ｄ法線は、図６Ｆにおけるロー深度エッジ点よりも少ないノイズを有している。

図７、図８Ａから図８Ｃ、図９Ａから図９Ｃ、図１０Ａから図１０Ｃ及び図１１Ａから図１１Ｃは、候補検索プロセス４６０及び最適化プロセス４７０に関する。より詳細には、図７は、１つの実施例による候補検索プロセス４６０及び最適化プロセス４７０の１つの実現例７００のフローチャートである。それに対し、図８Ａから図８Ｃ、図９Ａから図９Ｃ、図１０Ａから図１０Ｃ及び図１１Ａから図１１Ｃには、候補検索プロセス４６０及び最適化プロセス４７０の種々の態様が図示されている。

１つの実施例において、処理システム１３２は、ステップ７０２において、各深度エッジ点に関する候補を検索する。これに関して、例えば、各深度エッジ点のスナップの解決空間には、その２Ｄ法線の線に制約が課されている。どの方向がターゲット方向であるかの事前情報が存在しないので、処理システム１３２は、所定の範囲ｒ_Sへの正の法線方向及び負の法線方向の両方向への検索を行うように構成されており、それによって２ｒ_S＋１個の候補を生じる。また、１つの実施例において、処理システム１３２は、深度エッジ点をｐ_iとして表し、また、その深度エッジ点の対応する候補セットをＬ_i＝｛ｃ_i,k｜ｋ＝１，．．．，２ｒ_S＋１｝として表すように構成されている。

１つの実施例において、処理システム１３２は、ステップ７０４において、複数の色空間においてＳｏｂｅｌ演算を使用して、画像勾配を取得する。１つの実施例において、画像勾配の第１の部分は、次式によってＲＧＢ色空間において直接的に計算される：

上記において示唆したように、この式は、ｘ方向及びｙ方向の両方向に沿った画像勾配を含んでいる。しかしながら、一部のケースにおいて、ＲＧＢ色空間における画像勾配は、一部の物体の境界に沿って必ずしも高くない。従って、１つの実施例において、処理システム１３２は、次式によって示唆されているように、ＹＣｂＣｒ空間に由来する画像勾配を取り入れることによって、識別能力を向上させるように構成されている：

１つの実施例において、処理システム１３２は、ステップ７０６において、それらの画像勾配を組み合わせ、点ｐ_iを候補ｃ_i,kにスナップするコストを次式に従って特定する：

ここで、ｗ^rgb及びｗ^cbcrは、異なる色空間勾配の重みである。

上記において示唆したように、複数の色空間に由来する画像勾配のエンコーディングによって、多数の利点が提供される。例えば、異なる色空間を組み合わせることによって、一般的には、このエッジスナップの構造に関してより高い識別能力が提供される。例えば、一部のケースにおいて、ＲＧＢ色空間だけでは十分でない可能性がある。これに関して、図９Ａから図９Ｃを参照すると、一例として、丸で囲まれた領域３２８に示されているように、指先の境界はＲＧＢ空間において強い画像勾配を有していない。このケースにおいて、ＲＧＢ色空間しか含まれない場合には、所望のロケーションにスナップさせることができない、それらの指先に関連付けられたエッジ点が幾つか存在することになる。それに対して、ＹＣｂＣｒ空間がＲＧＢ空間に組み込まれる場合、処理システム１３２は、ＲＧＢ空間のみを含むそれらのスナップ結果と比較して改善されたスナップ結果を達成するように構成されている。多くのＡＲユースケースにおいては、ユーザが少なくとも１つの仮想の物体２０２と相互作用する複数のシーンが存在する。そのようなケースにおいては、ＹＣｂＣｒ色空間の組込みは、ユーザに関連付けられた肌の色を、他の色（例えば、肌の色ではない色）と区別するために特に適している。また、他の実施例においては、他の色空間を使用することができる。例えば、ＨＳＶ色空間の色相チャネルを使用することができる。さらには、この実施例はＲＧＢ空間及びＹＣｂＣｒ空間を使用しているが、他の実施例は種々の色空間の種々の組合せを含んでいる。

１つの実施例において、処理システム１３２は、ステップ７０８において、隣接する深度エッジ点（又は深度エッジピクセル）間の大きい偏差にペナルティを科すための平滑化項を定義する。これに関して、平滑なスナップを達成するために、処理システム１３２は、隣接する深度エッジ点を、相互に比較的に近いロケーション、及び／又は、相互に遠く離れていないロケーションにスナップする。例えば、１つの実施例において、連続する深度エッジ点ｐ_i及びｐ_jのペアに関して、処理システム１３２は、ｐ_iをｃ_i,kに、また、ｐ_jをｃ_j,lにスナップするコストを次式によって計算する：

この式において、パラメータｄ_maxは、連続する２つの深度エッジ点に対して許容される最大不一致度を定義する。

１つの実施例において、処理システム１３２は、ステップ７１０において、以下のエネルギ関数を最小化するための各深度エッジ点に関する候補を求め又は発見する：
Ｅ＝Σ_iＥ_d（ｉ，ｋ）＋λ_SΣ_i,jＥ_S（ｉ，ｋ，ｊ，ｌ） ［式５］
ここで、λ_Sは、平滑化制約の重要性に影響を及ぼす。１つの実施例において、離散最適化問題のこのクラスは、解空間における最適経路を識別する動的プログラミングによって、効率的に解決される。

処理システム１３２は、ステップ７１２において、データコスト及び平滑化コストを考慮して離散最適化問題を解くことによって、最適経路を求める。特に、処理システム１３２は、次元Ｎ×（２ｒ_S＋１）次元のマトリクスＨを構築し、ここでＮは、深度エッジ点の数である。エントリは、データ項Ｈ（ｉ，ｋ）＝Ｅ_d（ｉ，ｋ）でもって初期化される。処理システム１３２は、続いて、第１の深度エッジ点から最後の深度エッジ点への移動を行い、次式によってマトリクスを更新する：
Ｈ（ｉ＋１，ｌ）＝Ｈ（ｉ＋１，ｌ）＋ｍｉｎ_k｛Ｈ（ｉ，ｋ）＋Ｅ_S（ｉ，ｋ，ｉ＋１，ｌ）｝ ［式６］

上記において考察したように、１つの実施例において、処理システム１３２は、データコスト及び平滑化コストの両コストを考慮して、点ｉから点ｉ＋１までの最適経路を発見するために、この更新を提供する。１つの実施例において、このオペレーションは、すべての候補ｌ＝１，．．．，２ｒ_S＋１、及びすべての深度エッジ点に対して順次実行される。一般的に、第２項の最小値を表すｋは、候補ｌがｐ_i+1に対して選択され、かつ、更新中に記録された場合には、ｐ_iをｐ_i+1に繋ぐ最良の候補である。更新が終了すると、即ち、最後のエッジ点に到達すると、処理システム１３２は、その最後の点に関して最小コストを表す候補を選択する。１つの実施例において、処理システム１３２は、続いて、更新中により早期の時点に記録された現在の点に関する決定を前提として、先行の点に関する最良の候補の位置を特定するために、逆方向への移動を行う。１つの実施例において、処理システム１３２は、最適経路が発見された場所に第１の点が到達するまで、このプロシージャを継続する。これに関して、最適経路は、各エッジ点をスナップするためのターゲット位置を提供する。

図８Ａから図８Ｃには、複数の色空間に由来する画像勾配の使用に関連付けられた少なくとも１つの利点が図示されている。これに関して、図８Ａは、カラー画像３０２の１つの非限定的な例である。それに対し、図８Ｂ及び図８Ｃの各図には、図８Ａの四角で囲まれた領域３１８の拡大図が図示されている。図８Ｂ及び図８Ｃには、最適化プロセス４７０後の、ロー深度エッジ点３２０、及びそれらのロー深度エッジ点３２０のターゲット位置３２４が含まれている。さらに、図８Ｂ及び図８Ｃには、ロー深度エッジ点３２０の対応するターゲット位置３２４への移動を示す経路３２２も含まれている。より詳細には、図８Ｂには、ＲＧＢ空間における画像勾配だけを使用して取得された結果が示されている。それに対して、図８Ｃには、ＲＧＢ空間及びＹＣｂＣｒ空間の両空間に由来する画像勾配を組み合わせることによって取得された結果が示されている。これに関して、図８Ｃに示されているような複数の色空間の融合は、エッジスナップの構造のロバスト性を、図８Ｂに示されているような単一の色空間のエッジスナップの構造と比較して改善する。

図９Ａから図９Ｃには、複数の色空間に由来する画像勾配の使用に関連付けられた少なくとも１つの別の利点が図示されている。特に、図９Ａには、ＲＧＢ−Ｄカメラ１１２から取得されるような、カラー画像（又はローＲＧＢデータ）の１つの非限定的な例が図示されている。図９Ｂは、赤色チャネル３２６に由来する画像勾配の大きさの１つの非限定的な例である。この例において、丸で囲まれた領域３２８は、ユーザの手２０４の物体の境界３３０の画像勾配がＲＧＢ空間において比較的低い事例を強調している。図９Ｃは、変換されたＣ_Rチャネル３３２における画像勾配の大きさの１つの非限定的な例であり、ここでは、ユーザの手２０４、特に指先における物体の境界３３０がよりはっきりと見える。

図１０Ａから図１０Ｃには、平滑化項の適用に関連付けられた複数の利点が図示されている。図１０Ａには、カラー画像３０２の１つの非限定的な例が図示されている。それに対し、図１０Ｂ及び図１０Ｃは、図１０Ａの四角で囲まれた領域３３４の拡大図である。より詳細には、図１０Ｂには、平滑化制約が課されていない、エッジスナップの結果が図示されている。それに対して、図１０Ｃには、少なくとも１つの平滑化制約が課された、エッジスナップの結果が図示されている。図１０Ｂ及び図１０Ｃには、ロー深度エッジ点３２０、及びそれらのロー深度エッジ点３２０のターゲット位置３２４が含まれている。さらに、図１０Ｂ及び図１０Ｃには、ロー深度エッジ点３２０の対応するターゲット位置３２４への移動を示す経路３２２も含まれている。これに関して、図１０Ｃに示されているような平滑化制約が課された結果は、図１０Ｂに示されているような平滑化制約が課されていない結果におけるエッジスナップ精度と比較して、高いエッジスナップ精度を提供する。

図１１Ａから図１１Ｃには、平滑化項の適用の複数の利点が図示されている。図１１Ａには、カラー画像３０２の１つの非限定的な例が図示されている。それに対し、図１１Ｂ及び図１１Ｃは、図１１Ａの四角で囲まれた領域３３６の拡大図である。図１１Ｂには、平滑化制約が課されていない、エッジスナップの結果が図示されている。それに対して、図１１Ｃには、少なくとも１つの平滑化制約が課された、エッジスナップの結果が図示されている。図１１Ｂ及び図１１Ｃには、ロー深度エッジ点３２０、及びそれらのロー深度エッジ点３２０のターゲット位置３２４が含まれている。さらに、図１１Ｂ及び図１１Ｃには、ロー深度エッジ点３２０の対応するターゲット位置３２４への移動を示す経路３２２も含まれている。これに関して、図１１Ｃに示されているような平滑化制約が課された結果は、図１１Ｂに示されているような平滑化制約が課されていない結果におけるエッジスナップ精度と比較して、良好なエッジスナップ精度を提供する。

平滑化項が用いられなければ、プロセス４００は、基本的に、「勝者総取り（ｗｉｎｎｅｒ ｔａｋｅｓ ａｌｌ）」ストラテジを使用することになり、このストラテジにおいては、最も高い画像勾配を有している候補が、各深度エッジ点に関するターゲットとして選択される。しかしながら、背景シーンが幾つかの強いエッジを有している場合、ターゲット位置を選択するためのこの「勝者総取り」ストラテジは、種々のアーチファクトをもたらすことになる。これに関して、例えば、図１０Ｂ及び図１１Ｂには、幾つかの深度エッジ点が高い画像勾配を有している不所望な位置にスナップされた例が図示されている。それに対して、プロセス４００に平滑化項を含ませることによって、図１０Ｃ及び図１１Ｃに示されているように、そのようなアーチファクトの発生を効果的に阻止することができる。

図１２及び図１３Ａから図１３Ｅは、深度マップ向上プロセス４８０に関する。特に、図１２は、１つの実施例による、深度マップ向上プロセス４８０の１つの実現例１２００のフローチャートである。さらに、図１３Ａから図１３Ｅには、エッジスナップを基礎とする深度マップ向上が図示されている。より詳細には、図１３Ａから図１３Ｅの各図には、カラー画像３０２にオーバレイされた深度マップ３００が図示されている。また、図１３Ａから図１３Ｅの各図において、曲線３２０は、深度マップ３００から取得されるような、ユーザの手２０４のうちの親指の境界を表している。この例において、少なくとも曲線３２０によって境界付けられている陰影領域３４０は有効な深度測定値を有しており、それに対し、残りの領域は０の深度を有している。図１３Ｂから図１３Ｅには、（曲線３２０から取得されるような）深度エッジ点３２０Ａ及び３２０Ｂ、また、それらの深度エッジ点３２０Ａ及び３２０Ｂの対応するターゲット位置３４２Ａ及び３４２Ｂも図示されている。また、図１３Ｃ及び図１３Ｅにおいて三角形として図示されている点３４４Ａ及び３４４Ｂは、基準深度値を検索するために使用される深度点（又は深度ピクセル）を表している。即ち、図１３Ａから図１３Ｅには、下記において考察するように、実現例１２００の特定の態様の例が図示されている。

１つの実施例において、処理システム１３２は、ステップ１２０２において、２つの連続する深度エッジ点３２０Ａ及び３２０Ｂ、並びに、それらの深度エッジ点３２０Ａ及び３２０Ｂのターゲット位置３４２Ａ及び３４２Ｂを考慮し、それらは、図１３Ｂ及び図１３Ｄの各図において、陰影領域３４０によって図示されているような四角形を形成している。１つの実施例において、処理システム１３２は、この四角形（又は陰影領域３４０）の内側にあるすべての深度点（又は深度ピクセル）を向上のために処理する。１つの実施例において、この処理は、連続する深度エッジ点３２０Ａ及び３２０Ｂの各ペアに対して実行される。実際のところ、四角形（又は陰影領域３４０）の内側にある各深度点（又は深度ピクセル）は、センサノイズに起因して不正確な深度測定値を有している。１つの実施例において、それらの各点（又は各ピクセル）の真の深度が復元される。ただし、そのような実施例は、著しく複雑なオペレーションを含み、また、計算コストが高くなると考えられる。もっとも、それらの実施例は、視覚的に満足のいく動的オクルージョン効果を達成するために必須ではない。従って、別の実施例において、処理システム１３２は、一般的には十分であるそれらの深度点（又は深度ピクセル）に関する合理的な深度値を推定するための近似を実行するように構成されている。

一般的に、図１３Ａから図１３Ｅに示されているように、領域内の深度値（又は深度ピクセル）に関して、典型的には２つのタイプのエラーが存在する。例えば、第１のタイプのエラー（「ケース１」）は、少なくとも１つの欠測値を含んでおり、このケースにおいては、図１３Ａの四角で囲まれた領域３３６内に示されているように、深度マップ３００の物体の境界は、一般的に物体の内側にある。別のタイプのエラー（「ケース２」）は、図１３Ａの四角で囲まれた領域３３８内に示されているように、さらに遠くに位置する物体に属する深度点（又は深度ピクセル）が、塞いでいる物体に由来する深度値でもって標識付けられる場合に発生する。それらのいずれのケースにおいても、処理システム１３２は、深度値を修正するために、以下の同一の方法論を実現する。

１つの実施例において、処理システム１３２は、ステップ１２０４において、連続する深度エッジ点３２０Ａ及び３２０Ｂのペアの各深度エッジ点（又は深度ピクセル）に対して、ターゲットからこのピクセルへの方向に沿った逆方向への１回の移動を行い、基準深度値としての深度値を検索する。それらの基準ピクセルの例は、図１３Ｃ及び図１３Ｅの各図において、黒い三角形３４４によって表されている。

１つの実施例において、処理システム１３２は続けて、ステップ１２０６において、前述のペアに由来する基準深度値の平均値を取得し、その平均値を領域の内側にあるすべての深度点（又は深度ピクセル）に割り当てる。図１３Ａに図示されているように、ケース１に関しては、基準値が指の内側にある領域から取得される。従って、ターゲット領域３４０は、指に由来する何らかの深度によって満たされることになり、その結果、欠測値に対する補充効果が得られる。図１３Ａにおけるケース２に関しては、基準値が０になり、また、ターゲット領域が０の深度に置換され、その結果、この部分が除去される。この１回の手順でもって、処理システム１３２は、所望のように２つの効果を達成する。速度を考慮する場合、この近似は、動的オクルージョン処理にとって十分なものである。しかしながら、１つの代替的な実施例において、処理システム１３２は、深度値を推定するために外挿プロセスを実現するように構成されている。

１つの実施例において、深度マップ向上プロセス４８０は高並列で実施される。従って、処理システム１３２に関して、ＣＰＵ、ＧＰＵ、又はそれらの組合せが、深度マップ向上プロセス４８０を実行することができる。１つの実施例において、エッジスナップは、深度エッジ点３２０Ａ及び３２０Ｂを、それらの深度エッジ点３２０Ａ及び３２０Ｂのターゲット位置３４２Ａ及び３４２Ｂに向かう方向に移動させる。１つの実施例において、処理システム１３２は、エッジスナップの領域に含まれるすべての、又はほぼすべての深度点（深度ピクセル）を処理するように構成されている。深度マップ向上プロセス４８０後に、処理４００は、眼鏡ビューレンダリングプロセス４９０を含んでいる。

図１４及び図１５Ａから図１５Ｃは、眼鏡ビュー２１２における動的オクルージョン効果を達成するように構成されている、眼鏡ビューレンダリングプロセス４９０に関する。特に、図１４は、１つの実施例による眼鏡ビューレンダリングプロセス４９０の１つの実現例１４００のフローチャートである。１つの実施例において、ＣＰＵ、ＧＰＵ、又はそれらの組合せは、この実現例１４００を実行することができる。１つの実施例において、例えば速度に関して、処理システム１３２のＧＰＵは、眼鏡ビューレンダリングプロセス４９０を実行するように構成されている。さらに、図１５Ａから図１５Ｃには、実現例１４００の特定の態様の例が図示されている。

１つの実施例において、処理システム１３２は、ステップ１４０２において、深度データをビデオビュー２００から眼鏡ビュー２１２に変換する。１つの実施例において、例えば、変換は、ＡＲＴｏｏｌＫｉｔ又は他の類似のソフトウェアプログラムのようなＡＲ用途のためのソフトウェアテクノロジを使用する校正を介して行われる。ビデオビュー２００と眼鏡ビュー２１２との差異に起因して、図１５Ａに図示されているように、空の領域（空所）が生成される可能性がある。ここで、曲線１５００は物体の表面を表している。また、図１５Ａにおいて、点ｐ１及び点ｐ２は、ビデオビュー２００における近接点に投影される表面上にあり、かつ、ｐ１はｐ２よりも遠くにある。眼鏡ビュー２１２においては、このビューの変化に起因して、ｐ２に近接する点（又はピクセル）は、光線Ｒに従い、この光線Ｒに関して、このケースにおいては、直接的な深度測定値が存在していない。深度を取得するための１つのやり方は、点ｐ１と点ｐ２の間の内挿を介して、最終的に点ｐ４を生じさせることである。しかしながら、この内挿は、オクルージョン処理にとって問題となる可能性がある。これに関して、例えば、仮想の物体２０２が図１５Ｂに示されているような位置に配置される場合、点ｐ４は、仮想の物体２０２を塞ぐことになる。実際のところ、このケースにおいて、事前情報を一切含まない光線Ｒに沿った真の深度に関する情報は存在していない。ビューの合成にも使用されるより安全なやり方は、点ｐ１と点ｐ２との間に推定値としてより大きい深度を取得し、それによって図１５Ｃに示されているような点ｐ３を生じさせることである。従って、このストラテジに従って、処理システム１３２は、眼鏡ビュー２１２における深度テストの前に、シーン深度をビデオビュー２００から眼鏡ビュー２１２に変換する際に多数のオペレーションを実行する。

１つの実施例において、処理システム１３２は、ステップ１４０４において、イメージグリッド上のすべての、又はほぼすべての点（又はピクセル）を三角測量で測定し、向上させた深度マップを三角形のメッシュとして、深度テクスチャにレンダリングする。

１つの実施例において、処理システム１３２は、ステップ１４０６において、このレンダリング中に所定の閾値よりも長いエッジを有している三角形を識別する。１つの非限定的な例として、閾値は２０ｍｍである。これに関して、それらの三角形内の点（又はピクセル）は、図１５Ａに図示したケースに対応する。

１つの実施例において、処理システム１３２は、ステップ１４０８において、それらの点（又はピクセル）に、その三角形の３つの端点のうちの最大の深度を割り当てる。

１つの実施例において、処理システム１３２は、ステップ１４１０において、動的オクルージョン処理のために深度をレンダリングする。これに関して、例えば、処理システム１３２は、ＯｐｅｎＧＬ Ｓｈａｄｅｒ又は他の任意のソフトウェアプログラムのような適切なソフトウェアテクノロジによってこのプロセスを実現し、また、このプロセスを眼鏡の左側のビュー及び右側のビューの両ビューに適用するように構成されている。

上記において考察したように、プロセス４００は、ＲＧＢ−Ｄカメラ１１２によって提供されたデータを活用するように構成されている。より詳細には、動的オクルージョン処理システム１２０は、エッジスナップアルゴリズムを含んでおり、このエッジスナップアルゴリズムは、ロー深度データの物体の境界を対応するカラー画像にスナップし（又は移動させ）、続いてこのエッジスナップの結果を基礎として、深度マップの物体の境界を向上させる。ロー深度データの使用は空所、低解像度、及び境界周辺の顕著なノイズを含む可能性があり、それによってＡＲを含む種々の用途において不所望である視覚的なアーチファクトがもたらされるので、このエッジスナップは特に有益である。続いて、この向上させた深度マップが、動的オクルージョン処理のために、仮想の物体２０２を用いた深度テストに使用される。さらに、この動的オクルージョン処理の恩恵を受けることができる種々のＡＲ用途が存在している。非限定的な例として、この動的オクルージョン処理を、少なくとも、以下の２つのＡＲユースケースに適用することができる。

非限定的な例として、第１のＡＲユースケースには、自動車修理用途が含まれ、そこでは、ユーザはＡＲシステムをガイダンスに使用する。この例において、自動車修理用途においては、一例としての３Ｄプリントされたダッシュボードが存在するＡＲシーン６００が構成される。さらに、ＡＲシーン６００は、仮想の物体２０２、特に仮想のタッチスクリーン及び仮想のフロントガラスを含んでいる。評価を目的として、以下の考察には、ＡＲシーン６００の異なるロケーションにおけるユーザの手２０４の位置決めが含まれる。一部のケースにおいて、ユーザの手２０４は、タッチスクリーンによって塞がれるが、しかしながら、フロントガラスによっては塞がれないものとし、それに対し他のケースにおいて、ユーザの手２０４は、それら２つの仮想の物体２０２も塞ぐものとする。一部の例の結果は、図１６Ａから図１６Ｃ、図１７Ａから図１７Ｃ、及び図１８Ａから図１８Ｃに示されている。

図１６Ａから図１６Ｃ、図１７Ａから図１７Ｃ、及び図１８Ａから図１８Ｃには、ＡＲ支援による自動車修理シナリオにおける種々のオクルージョン処理ストラテジの視覚的な結果が図示されている。特に、図１６Ａから図１６Ｃには、ユーザの手２０４が２つの仮想の物体２０２（例えば、仮想のタッチスクリーン及び仮想のフロントガラス）の間に存在すべき事例が図示されている。図１６Ａには、オクルージョン処理が一切行われていない、ユーザの手２０４に関連付けられた仮想の物体２０２の視覚的な結果が図示されている。図１６Ａに示されているように、ユーザの手２０４は、所望のように２つの仮想の物体２０２間に存在するのではなく、２つの仮想の物体２０２によって誤って塞がれている。図１６Ｂには、ロー深度データを使用してオクルージョン処理が行われた、視覚的な結果が図示されている。図１６Ｂに示されているように、ＡＲシーン６００は、矢印６０２によって示唆されているように、種々の視覚的なアーチファクトのような欠陥の影響を受けている。それに対して、図１６Ｃには、本明細書において開示されているように、向上させた深度マップを使用して動的オクルージョン処理が行われた、仮想の物体２０２の視覚的な結果が図示されている。図１６Ｃに示されているように、ＡＲシーン６００には、ユーザの手２０４に関する境界が含まれており、この境界は、向上させた深度マップを用いて動的オクルージョン処理が実行された場合には、良好に維持されており、また、仮想の物体２０２に関連付けられて、適切に位置決めされている。

図１７Ａから図１７Ｃには、ユーザの手２０４が２つの仮想の物体２０２（例えば、仮想のタッチスクリーン及び仮想のフロントガラス）を塞ぐべき事例が図示されている。図１７Ａには、オクルージョン処理が一切行われていない、ユーザの手２０４に関連付けられた仮想の物体２０２の視覚的な結果が図示されている。図１７Ａに示されているように、ユーザの手２０４は、所望のように仮想の物体２０２の手前に存在するのではなく、２つの仮想の物体２０２によって誤って塞がれている。図１７Ｂには、ロー深度データを使用してオクルージョン処理が行われた、ユーザの手２０４に関連付けられた仮想の物体２０２の視覚的な結果が図示されている。図１７Ｂに示されているように、ＡＲシーン６００は、矢印６０２によって示唆されているように、種々の視覚的なアーチファクトのような欠陥の影響を受けている。それに対して、図１７Ｃには、本明細書において開示されているように、向上させた深度マップを使用して動的オクルージョン処理が行われた、ユーザの手２０４に関連付けられた、仮想の物体２０２の視覚的な結果が図示されている。図１７Ｃに示されているように、ＡＲシーン６００には、ユーザの手２０４に関する境界が含まれており、この境界は、向上させた深度マップを用いて動的オクルージョン処理が実行された場合には、良好に維持されており、また、仮想の物体２０２に関連付けられて、適切に位置決めされている。

図１８Ａから図１８Ｃには、ユーザの手２０４が少なくとも２つの仮想の物体２０２（例えば、仮想のタッチスクリーン及び仮想のフロントガラス）を塞ぐべき事例が図示されている。図１８Ａには、オクルージョン処理が一切行われていない、ユーザの手２０４に関連付けられた仮想の物体２０２の視覚的な結果が図示されている。図１８Ａに示されているように、ユーザの手２０４の指は、所望のように仮想の物体２０２の手前に存在するのではなく、２つの仮想の物体２０２によって誤って塞がれている。図１８Ｂには、ロー深度データを使用してオクルージョン処理が行われた、ユーザの手２０４に関連付けられた仮想の物体２０２の視覚的な結果が図示されている。それに対して、図１８Ｃには、本明細書において開示されているように、向上させた深度マップを使用して動的オクルージョン処理が行われた、ユーザの手２０４に関連付けられた、仮想の物体２０２の視覚的な結果が図示されている。図１８Ｃに示されているように、ＡＲシーン６００には、ユーザの手２０４に関する境界が含まれており、この境界は、向上させた深度マップを用いて動的オクルージョン処理が実行された場合には、良好に維持されており、また、仮想の物体２０２に関連付けられて、適切に位置決めされている。

別の非限定的な例として、第２のＡＲユースケースには、ＡＲゲーミングが含まれる。例えば、ＡＲシステムを用いるトレジャーハントゲームにおいては、現実のシーンがプレイグラウンドとして使用され、それに対し、仮想の宝箱は、現実のシーンのどこかに隠された仮想の物体２０２である。より詳細には、この例において、仮想の宝箱は、クローゼットのドア６０６の裏及び箱６０４の裏に隠されている。従って、このＡＲシーン６００において、隠された仮想の宝箱を発見するためには、ユーザはクローゼットのドア６０６を開けて、箱６０４を移動させるべきである。

しかしながら、このトレジャーハントゲームにおいて、適切な動的オクルージョン処理が行われなければ、仮想の宝箱は、ユーザに可視のものとなり、隠された仮想の宝箱を発見するという全体のゲーム体験が台無しになる。深度センサに由来するロー深度データを使用することによって、合理的なオクルージョン処理効果を達成することができる。しかしながら、ロー深度データが使用される場合、このＡＲシーン６００において、視覚的なアーチファクトも観察される可能性がある。クローゼットのドア６０６と箱６０４との間のオクルージョンに起因して、通常の場合、境界に沿った欠測深度値が存在している。ユーザがクローゼットのドア６０６を開けると、視覚的なアーチファクトが観察される可能性がある。それに対して、プロセス４００を介して、向上させた深度マップを用いた動的オクルージョン処理を使用することによって、クローゼットのドア６０６及び箱６０４の境界が、それらの所望のロケーションにスナップされ、視覚的なアーチファクトが除去される。

図１９Ａから図１９Ｃ及び図２０Ａから図２０Ｃには、ＡＲトレジャーハントシナリオにおける種々のオクルージョン処理ストラテジの視覚的な結果が図示されている。この例において、仮想の物体２０２（例えば、宝箱）は、このＡＲシーン６００における箱６０４の裏に配置されるものとする。より詳細には、図１９Ａ及び図２０Ａには、オクルージョン処理が行われていない視覚的な効果が図示されている。図１９Ａ及び図２０Ａにおいて、オクルージョン処理は一切行われておらず、仮想の物体２０２は箱６０４及びクローゼットのドア６０６を塞いでおり、従って、意図したように箱６０４の裏に配置されていない。それに対し、図１９Ｂ及び図２０Ｂにおいて、ロー深度データにオクルージョン処理が適用された場合、仮想の物体２０２は、意図したようにクローゼットのドア６０６の間に適切に配置されているが、しかしながら、箱６０４を誤って塞いでいる。即ち、ロー深度マップ３００のロー深度データにおいては、丸で囲まれた領域６０８において一部の値が明らかに欠落しており、従って、仮想の物体２０２は、それらの丸で囲まれた領域６０８における箱を誤って塞いでいる。このケースにおいて、図１９Ｂ及び図２０Ｂによって証明されたように、仮想の物体２０２が現実のシーンを意図せずに塞ぐ場合、ＡＲシーン６００は、不所望なアーチファクトの影響を受けることになる。それに対して、図１９Ｃ及び図２０Ｃには、本明細書において考察したような、向上させた深度マップが使用されてＡＲシーン６００に寄与する、動的オクルージョン処理が行われた視覚的な効果が図示されている。図示されているように、図１９Ｃ及び図２０Ｃの各ＡＲシーン６００において、仮想の物体２０２は、適切なやり方で、また、視覚的なアーチファクトを一切含むことなく、箱６０４及びクローゼットのドア６０６両方の裏にレンダリングされている。即ち、動的オクルージョン処理が行われた場合、ユーザには、適切で現実的なＡＲ体験が提供される。

図２１Ａから図２３Ｄには、カラー画像、ロー深度マップ、及び向上させた深度マップにおける物体の境界が図示されている。特に、図２１Ａ、図２１Ｂ、図２１Ｃ及び図２１Ｄの各図は、ユーザの手２０４のグラウンドトゥルース（ｇｒｏｕｎｄ−ｔｒｕｔｈ）の境界８００を含むカラー画像３０２である。これに関して、図２１Ａ、図２１Ｂ、図２１Ｃ及び図２１Ｄの各図は、異なるハンドジェスチャ及び／又は背景シーンを表している。次に図２２Ａから図２２Ｄ及び図２３Ａから図２３Ｄを参照すると、それらの図においては、例えば、対応する深度マップ３００がオーバレイされた対応するカラー画像３０２を用いて、標準的なＪＥＴカラースキームが利用されている。より詳細には、図２２Ａから図２２Ｄには、ロー深度マップ３００が含まれており、それに対し、図２３Ａから図２３Ｄには、向上させた深度マップ９００が含まれている。図２２Ａから図２２Ｄと図２３Ａから図２３Ｄとを比較することによって証明されたように、向上させた深度マップ９００における手２０４の物体の境界９０２は、ロー深度マップ３００における手２０４の物体の境界３１２よりも近くにおいて、グラウンドトゥルースの境界８００に対応している。即ち、向上させた深度マップ９００は、改善された物体の境界９０２を提供し、それによって、改善されたＡＲ体験をもたらす動的オクルージョン処理が達成される。

さらに、図２１Ａから図２１Ｄは、本来のカラー画像３０２にわたり、手２０４の所望のグラウンドトゥルースの境界８００を視覚化している。理想的には、深度マップにおける物体の境界が、この曲線と一致すべきである。しかしながら、図２２Ａから図２２Ｄに示されているように、ロー深度マップ３００は、種々の種類のノイズ及び欠測値の影響を受け、その結果、グラウンドトゥルースの境界８００との間にずれが生じている。例えば、図２２Ｂにおいて、掌の領域に空所が存在しており、それによって誤った物体の境界が生じている。それに対し、図２３Ａから図２３Ｄは、深度マップ向上後の実施例の結果を表している。図２３Ａから図２３Ｄの結果によって示されているように、プロセス４００は、イメージデータ（例えば、ＲＧＢデータ）と深度データとの間の物体の境界の一貫性を改善する。

上記において考察したように、システム１００は、ＡＲ用途における正確な深度知覚を実現する動的オクルージョン処理を提供する。従って、動的オクルージョン処理は、現実的で没入することができるＡＲ体験を保証する。一般的に、既存の解決手段は、典型的には種々の制限、例えば静的シーンの想定又は高い計算複雑性の影響を受ける。それに対して、このシステム１００は、ＡＲ用途における動的オクルージョン処理のための深度マップ向上プロセス４８０を含むプロセス４００を実現するように構成されている。有利には、このシステム１００は、離散最適化として公式化された、エッジスナップのアプローチを実現し、これによって、ＲＧＢデータと深度データとの間の物体の境界の一貫性が改善される。１つの実施例において、システム１００は、動的プログラミングを介して、最適化問題を効率的に解決する。さらに、システム１００は、コンピューティングプラットフォーム（例えば、タブレットプラットフォーム）においてインタラクティブに稼働するように構成されている。また、システム１００は、ビデオビュー２００（データ取得センサ）と眼鏡ビュー２１２との間に差異が存在することに基づく内挿に起因するアーチファクト及び空所を回避するために、眼鏡ビュー２１２に関するレンダリングストラテジを提供する。さらに、実験による評価は、このエッジスナップのアプローチが、ローセンサデータを大幅に向上させ、速度及び品質の両項目における種々の関連するアプローチと比較して、特に適していることを証明した。また、イメージ全体に関心を集中させる他のアプローチとは異なり、このプロセス４００は、有利には、エッジ領域に関心を集中させる。さらに、システム１００は、ユーザインタラクションの間に、視覚的に満足のいく動的オクルージョン効果を提供する。

上述のように、１つの実施例において、システム１００は、主に画像勾配を基礎として、深度マップとカラー画像との間でエッジスナップを実行するように構成されている。付加的又は代替的に、深度センサ１１４に由来するセンサデータの特性が、対応する所望のカラーエッジの近くにあるロー深度エッジを提供する場合、システム１００は、セグメンテーションのために、個々の物体のカラー特性をモデリングするように構成されている。付加的又は代替的に、システム１００は、雑然としたシーンのような複雑なシナリオにより良好に適応することができるようにするために、画像勾配の以外に他の情報、例えば色分布又は他の関連するデータの情報を考慮することによって、上述のエネルギ関数をさらに向上させるように構成されている。付加的又は代替的に、システム１００は、一時的な情報を考慮することができ、また、そのような一時的な情報を含むことができる。付加的又は代替的に、システム１００は、エッジスナップの構造のロバスト性を向上させるために、移動する物体の明示的なトラッキングを含むことができる。

即ち、上記の記述は説明を意図したものであって、制限を意図したものではなく、また、特定の用途及びその要求に関するコンテキストにおいて提供されている。当業者であれば、上記の説明から、本発明を種々の形態で実現することができ、また、種々の実施の形態を単独で、又は、組み合わせて実現することができることを理解するであろう。従って、本発明の実施の形態を、本発明の特定の実施例と関連させて説明したが、本明細書において定義された一般的な原理を、説明した実施の形態の精神及び範囲から逸脱することなく、他の実施の形態及び他の用途に適用することができ、また、図面、明細書及び添付の特許請求の範囲を理解することによって当業者には種々の修正形態が明らかになるであろうから、本発明の実施の形態及び／又は方法の実際の範囲は、図示及び説明した実施の形態に限定されるものではない。例えば、複数のコンポーネント及び機能を、説明した種々の実施の形態とは異なるように分けることができ、又は、組み合わせることができ、また、異なる術語を使用して説明することができる。それらのヴァリエーション、修正形態、追加形態及び改善形態、並びに、他のヴァリエーション、修正形態、追加形態及び改善形態は、添付の特許請求の範囲において定義されているような開示の範囲に含まれると考えられる。

Claims (17)

1. 少なくとも１つの処理ユニットを含む処理システムを備えているコンピューティングシステムにおいて、
   前記処理システムは、
   物体の第１の境界を有する深度マップの受信と、
   前記深度マップに対応し、かつ、前記物体の第２の境界を含むカラー画像の受信と、
   前記深度マップからの前記第１の境界の深度エッジ点の抽出と、
   画像勾配データを含むデータ項及び平滑化コストに関連する平滑化項を少なくとも基礎とするエネルギ関数の最適化による、対応する候補の中からの、前記深度マップにおける、前記カラー画像内の前記物体の前記第２の境界のカラーエッジ点に対応するターゲット深度エッジ点の識別と、
   前記物体に関する物体の境界を用いて前記深度マップを向上させるための、前記ターゲット深度エッジ点への前記深度エッジ点のスナップと、
   を含む方法を実施するように構成されており、
   前記処理システムは、
   （ａ）前記深度エッジ点を所定のグループにグループ分けし、
   （ｂ）前記グループ内の前記深度エッジ点を順序付け、
   （ｃ）ローパスフィルタを用いて、前記深度エッジ点の２Ｄ位置を平滑にし、
   （ｄ）前記深度エッジ点に関して２Ｄ法線セグメントを計算する、
   ように構成されており、
   前記処理システムは、連続する深度エッジ点ｐ _i 及びｐ _j のペアに関して、深度エッジ点ｐ _i を候補ｃ _i,k に、深度エッジ点ｐ _j を候補ｃ _j,l にスナップする前記平滑化コストを次式：
   

   

   により表される前記平滑化項Ｅ _S （ｉ，ｋ，ｊ，ｌ）によって特定するように構成されており、ここで、ｄ _max は、連続する深度エッジ点の前記ペアに対して許容される最大不一致度を定義するパラメータである、
   コンピューティングシステム。
2. 前記処理システムは、深度センサ及びカメラを含むヘッドマウントディスプレイと通信し、
   前記処理システムは、前記深度センサから前記深度マップを受信し、かつ、前記カメラから前記カラー画像を受信する、請求項１に記載のコンピューティングシステム。
3. 前記処理システムは、少なくとも画像勾配データを基礎として、前記カラー画像における前記カラーエッジ点について候補検索を実行するように構成されており、
   前記候補検索は、前記深度マップの前記２Ｄ法線セグメントに対応する前記カラー画像上の点の所定の範囲内で行われる、請求項１に記載のコンピューティングシステム。
4. 前記処理システムは、次式：
   

   

   により表される前記エネルギ関数Ｅを最小化するために構成されており、ここで、Ｅ_d（ｉ，ｋ）は、深度エッジ点ｐ_iを候補ｃ_i,kにスナップするデータコストを、前記画像勾配データを基礎として特定する関数であり、λ_Sは、平滑化制約に影響を及ぼす係数である、請求項１に記載のコンピューティングシステム。
5. 前記処理システムは、前記向上させた深度マップを基礎として、動的オクルージョン処理を実行するように構成されている、請求項１に記載のコンピューティングシステム。
6. 前記処理システムは、前記向上させた深度マップの深度データを、ビデオビューから、拡張現実用途のための眼鏡ビューに変換するように構成されている、請求項１に記載のコンピューティングシステム。
7. 動的オクルージョン処理のためのシステムにおいて、
   前記システムは、
   深度マップを提供する深度センサと、
   カラー画像を提供するカメラと、
   少なくとも１つの処理ユニットを含む処理システムと、
   を備えており、
   前記処理システムは、
   物体の第１の境界を有する前記深度マップの受信と、
   前記深度マップに対応し、かつ、前記物体の第２の境界を含む前記カラー画像の受信と、
   前記深度マップからの前記第１の境界の深度エッジ点の抽出と、
   画像勾配データを含むデータ項及び平滑化コストに関連する平滑化項を少なくとも基礎とするエネルギ関数の最適化による、対応する候補の中からの、前記深度マップにおける、前記カラー画像内の前記物体の前記第２の境界のカラーエッジ点に対応するターゲット深度エッジ点の識別と、
   前記物体に関する物体の境界を用いて前記深度マップを向上させるための、前記ターゲット深度エッジ点への前記深度エッジ点のスナップと、
   を含む方法を実施するように構成されており、
   前記処理システムは、
   （ａ）前記深度エッジ点を所定のグループにグループ分けし、
   （ｂ）前記グループ内の前記深度エッジ点を順序付け、
   （ｃ）ローパスフィルタを用いて、前記深度エッジ点の２Ｄ位置を平滑にし、
   （ｄ）前記深度エッジ点に関して２Ｄ法線セグメントを計算する、
   ように構成されており、
   前記処理システムは、連続する深度エッジ点ｐ _i 及びｐ _j のペアに関して、深度エッジ点ｐ _i を候補ｃ _i,k に、深度エッジ点ｐ _j を候補ｃ _j,l にスナップする前記平滑化コストを次式：
   

   

   により表される前記平滑化項Ｅ _S （ｉ，ｋ，ｊ，ｌ）によって特定するように構成されており、ここで、ｄ _max は、連続する深度エッジ点の前記ペアに対して許容される最大不一致度を定義するパラメータである、
   動的オクルージョン処理のためのシステム。
8. さらに、前記深度センサ及び前記カメラが取り付けられているヘッドマウントディスプレイを備えている、請求項７に記載のシステム。
9. 前記処理システムは、少なくとも画像勾配データを基礎として、前記カラー画像における前記カラーエッジ点について候補検索を実行するように構成されており、
   前記候補検索は、前記深度マップの前記２Ｄ法線セグメントに対応する前記カラー画像上の点の所定の範囲内で行われる、請求項７に記載のシステム。
10. 前記処理システムは、次式：
    

    

    により表される前記エネルギ関数Ｅを最小化するために構成されており、ここで、Ｅ_d（ｉ，ｋ）は、深度エッジ点ｐ_iを候補ｃ_i,kにスナップするデータコストを、前記画像勾配データを基礎として特定する関数であり、λ_Sは、平滑化制約に影響を及ぼす係数である、請求項７に記載のシステム。
11. 前記処理システムは、前記向上させた深度マップを基礎として、動的オクルージョン処理を実行するように構成されている、請求項７に記載のシステム。
12. 前記処理システムは、前記向上させた深度マップの深度データを、ビデオビューから、拡張現実用途のための眼鏡ビューに変換するように構成されている、請求項７に記載のシステム。
13. コンピュータ実施方法において、
    物体の第１の境界を有する深度マップの受信と、
    前記深度マップに対応し、かつ、前記物体の第２の境界を含むカラー画像の受信と、
    前記深度マップからの前記第１の境界の深度エッジ点の抽出と、
    画像勾配データを含むデータ項及び平滑化コストに関連する平滑化項を少なくとも基礎とするエネルギ関数の最適化による、対応する候補の中からの、前記深度マップにおける、前記カラー画像内の前記物体の前記第２の境界のカラーエッジ点に対応するターゲット深度エッジ点の識別と、
    前記物体に関する物体の境界を用いて前記深度マップを向上させるための、前記ターゲット深度エッジ点への前記深度エッジ点のスナップと、
    を含み、
    さらに、
    前記深度エッジ点の、所定のグループへのグループ分けと、
    深度エッジ点の前記グループの順序付けと、
    ローパスフィルタを用いた、前記深度エッジ点の２Ｄ位置の平滑化と、
    前記深度エッジ点に関する２Ｄ法線セグメントの計算と、
    を含み、
    さらに、
    連続する深度エッジ点ｐ _i 及びｐ _j のペアに関して、深度エッジ点ｐ _i を候補ｃ _i,k に、深度エッジ点ｐ _j を候補ｃ _j,l にスナップする前記平滑化コストの、次式：
    

    

    により表される前記平滑化項Ｅ _S （ｉ，ｋ，ｊ，ｌ）による特定を含み、
    ここで、ｄ _max は、連続する深度エッジ点の前記ペアに対して許容される最大不一致度を定義するパラメータである、
    コンピュータ実施方法。
14. さらに、
    少なくとも画像勾配データを基礎とした、前記カラー画像における前記カラーエッジ点についての候補検索の実行を含み、
    前記候補検索は、前記深度マップの前記２Ｄ法線セグメントに対応する前記カラー画像上の点の所定の範囲内で行われる、請求項１３に記載のコンピュータ実施方法。
15. さらに、
    次式：
    

    

    により表される前記エネルギ関数Ｅを最小化することを含み、ここで、Ｅ_d（ｉ，ｋ）は、深度エッジ点ｐ_iを候補ｃ_i,kにスナップするデータコストを、画像勾配データを基礎として特定する関数であり、λ_Sは、平滑化制約に影響を及ぼす係数である、請求項１３に記載のコンピュータ実施方法。
16. さらに、
    前記向上させた深度マップを基礎とする、動的オクルージョン処理の実行を含む、請求項１３に記載のコンピュータ実施方法。
17. さらに、
    前記向上させた深度マップの深度データの、ビデオビューから、拡張現実用途のための眼鏡ビューへの変換を含む、請求項１３に記載のコンピュータ実施方法。

Images