JP5778182B2 - デプスカメラの互換性 - Google Patents

デプスカメラの互換性 Download PDF

Info

Publication number
JP5778182B2
JP5778182B2 JP2012551984A JP2012551984A JP5778182B2 JP 5778182 B2 JP5778182 B2 JP 5778182B2 JP 2012551984 A JP2012551984 A JP 2012551984A JP 2012551984 A JP2012551984 A JP 2012551984A JP 5778182 B2 JP5778182 B2 JP 5778182B2
Authority
JP
Japan
Prior art keywords
depth
depth image
virtual
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012551984A
Other languages
English (en)
Other versions
JP2013519089A5 (ja
JP2013519089A (ja
Inventor
カッツ，サジ
アドラー，アヴィシャイ
ギルボア，ガイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2013519089A publication Critical patent/JP2013519089A/ja
Publication of JP2013519089A5 publication Critical patent/JP2013519089A5/ja
Application granted granted Critical
Publication of JP5778182B2 publication Critical patent/JP5778182B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Description

本発明は、デプスカメラの互換性に関する。
[0001]カメラはシーンの静止画像をとらえるために使用することができる。立て続けに撮影されるいくつかの静止画像を、各々が異なる静止画像に対応する複数のフレームを含む動画を生成するために使用することができる。このような画像は異なる様々な用途において非常に有用であるが、そのような画像はいくつかの目的のためにはあまり適していない。特に、従来の静止画像及び動画は、シーン内のとらえられた様々な表面の相対的な奥行きを評価するのに十分な情報を提供しない。
様々な種類のデプス（depth）カメラがこのニーズを満たすために開発されてきた。しかし、様々な種類のデプスカメラは、1つまたは複数の点で互いに異なる奥行き画像を生成し得る。そのため、奥行き画像を要するアプリケーションは、予想される特性を持つ奥行き画像を生成する特定の種類のデプスカメラと互換性を持つにすぎない。
[0002]この概要は、詳細な説明において以下でさらに説明する概念のうちの選択されたものを簡略化した形式で紹介するために提供される。この概要は、特許請求される主題の重要な特徴及び不可欠な特徴を特定するようには意図されず、特許請求される主題の範囲を限定するために使用されるようにも意図されない。さらに、特許請求される主題は、本開示のいかなる部分に記載された任意の又はすべての不利益を解消する実施例にも限定されない。
[0003]本開示の一態様によれば、奥行き画像コンシューマー（consumer）と複数の異なる奥行き画像プロデューサーとの間の互換性は、奥行き画像コンシューマーとの互換性のないサポートされていないデプスカメラパラメーターを有する固有の（ネイティブの、native）奥行き画像を受信すること、及び固有の奥行き画像を奥行き画像コンシューマーと互換性のあるサポートされる仮想的なデプスカメラパラメーターを有する仮想的な奥行き画像へ変換することにより、提供することができる。この仮想的な奥行き画像は、次いで、奥行き画像コンシューマーに対して出力されてもよい。
[0004]例示的なデプスカメラの使用環境を示す。 [0005]本開示の実施例によるデプスカメラ互換性システムを示す。 [0006]デプスカメラ視界四角錐を概略的に示す。 デプスカメラ視界四角錐を概略的に示す。 [0007]本開示による例示的な奥行き画像プロデューサーを示す。 本開示による例示的な奥行き画像プロデューサーを示す。 本開示による例示的な奥行き画像プロデューサーを示す。 [0008]奥行き画像コンシューマーと複数の異なる奥行き画像プロデューサーとの間の互換性を提供する例示的な方法を示す。 [0009]デプスカメラの互換性を提供する別の例示的な方法を示す。 [0010]光源から離れているセンサー上に作成される影効果の例を概略的に示す。 [0011]影合成アルゴリズムによって影になった画素を見つけることを示す例示的なプロットを概略的に示す。 [0012]奥行き抽象化レイヤー内の例示的な画像処理ブロックを概略的に示す。 [0013]図９の例示的な画像処理ブロックをより詳細に概略的に示す。 [0014]本開示の実施例によるコンピューティングシステムを概略的に示す。
[0015]本開示はデプスカメラの互換性を対象とする。本明細書に記載されるような互換性技術は、異なるモデルのデプスカメラが同じコンピューティングシステムによって使用されることを可能にする。アプリケーション開発者は、アプリケーション開発者がアプリケーションを作成する時には存在しないデプスカメラを含む、さまざまな異なるデプスカメラと互換性のあるアプリケーションを容易に作成することができる。本開示の一態様によれば、アプリケーション開発者は、汎用の仮想デプスカメラで動作するように構成されているアプリケーションを作成することができ、互換性技術によって、様々な異なるデプスカメラからの固有の入力を汎用の仮想デプスカメラと互換性のある形式に変換することができる。このように、アプリケーションは、まったく異なる奥行き探索技術（例えば、構造化された光、飛行時間、ステレオビジョンなど）を利用するデプスカメラを含む、さまざまな異なるデプスカメラと互換性をもつことができる。
[0016]本明細書に記載される技術を使用すれば、アプリケーション開発者は、様々な異なるデプスカメラをサポートする面倒で困難な仕事を気にする必要はなく、その代わりに、単一の汎用仮想デプスカメラを開発することができる。同時に、互換性技術によって、改善された性能、製造コスト及び／又は運用コストの低減、エネルギー効率の改善、及び／又は他の有用な特性を提供することができる新しいデプスカメラの開発及び実施が容易になる。そのため、新たなカメラ技術が開発されるので、そのような技術は以前に開発されたアプリケーションと下位互換性のある新たなカメラにおいて実施することができる。
[0017]図１は、上記で紹介されたカメラ互換性を提供するデプスカメラ互換性システムを用いて設計することができるコンピューティングシステム１０の限定的でない例を示す。特に、図１は、様々な異なるゲームをプレイし、１つもしくは複数の異なるメディアタイプを再生し、及び／又はゲームでないアプリケーションを制御もしくは操作するのに使用することができるゲーム機１２を示す。図１はまた、ユーザー１８などのユーザーに対して視覚情報を提示するために使用することができる高精細テレビ、すなわちＨＤＴＶ１６の形式のディスプレイ１４を示す。また、図1は、ユーザー１８などの一人又は複数のユーザーを視覚的に監視するために使用することができるデプスカメラ２０の形式のキャプチャー装置を示す。ゲームシステムの文脈で説明したが、デプスカメラ互換性システムは、デプスカメラからの奥行き画像を使用するように構成される実質的にすべてのコンピューティングシステムにおいて実施することができることが理解されるべきである。
[0018]ゲーム機１２などのコンピューティングシステムは、ユーザー１８などの１つ又は複数のターゲットを認識し、分析し、及び／又は追跡するために使用されることができる。ターゲットの動きは、オペレーティングシステム及び／又はアプリケーションの制御として解釈されてもよい。オペレーティングシステム及び／又はアプリケーションの実質的に任意の制御可能な態様は、ユーザー１８などのターゲットの動きによって制御することができる。
[0019]これに加えて又は代替的に、デプスカメラ２０を介して取得した奥行き情報は目標を追跡する以外の目的に使用することができる。例として、デプスカメラ２０は、部屋及び／又は１つ以上の物体を視覚的に調査するために使用することができる。デプスカメラ２０から取得した奥行き情報は、調査される部屋及び／又は物体の３次元のコンピューター読み取り可能なモデルを作成するために使用することができる。
[0020]別の例として、デプスカメラは、車両やロボットなどの移動するコンピューティングシステム上の近接センサーとして使用することができる。
[0021]デプスカメラ２０などのデプスカメラは、これら及び様々な他の有用な機能を提供するために使用することができる。特に、アプリケーションは、デプスカメラからの奥行き情報を利用する任意の数のさまざまな機能を提供するために開発して配置することができる。しかし、ほとんどのアプリケーションは、見られたシーンの現実の世界の特徴を奥行き情報から推定するための複雑なアルゴリズム及び処理戦略を含む。たとえば、骨格追跡（skeletal tracking）アルゴリズム及び処理戦略は、ターゲットを追跡する骨格の機械表現を用いてユーザー１８などのターゲットをモデル化するために使用することができる。別の例として、床面を見つけるアルゴリズムは、シーン内の床面を見つけるために使用することができる。
[0022]本明細書に記載のカメラ互換性技術を利用しないアプリケーションは、特定のフォーマットの及び／又は特定のパラメーターを持つ奥行き情報を受け取るように設計することができる。このようなアプリケーションは、望ましいフォーマット及び／又はパラメーターと一致しない奥行き情報を使用することができないかもしれない。いくつかの場合には、望ましいフォーマット及び／又はパラメーターと一致しない奥行き情報は、そのようなアプリケーションをクラッシュさせる可能性がある。
[0023]異なる種類のデプスカメラの各々は１つ又は複数のフォーマットの違い及び／又は異なるパラメーターを有する奥行き情報を生成することができる。そのため、現在に至るまで、アプリケーションは特定のデプスカメラ念頭に置いて設計されてきた。しかし、アプリケーションが特定のデプスカメラのみとともに使用するように設計される場合、そのアプリケーションはなじみのない形式の及び／又は予期しないパラメーターをもつ奥行き情報を出力し得る新しいカメラをサポートすることができない。
[0024]図２は、奥行き画像コンシューマー３２と複数の異なる奥行き画像プロデューサー３４（例えば、奥行き画像プロデューサー３４ａ、奥行き画像プロデューサー３４ｂ、及び奥行き画像プロデューサー３４ｃ）との間の互換性を提供するデプスカメラ互換性システム３０を示す。本明細書中で使用される場合、奥行き画像コンシューマーは、デプスカメラからの奥行き情報を利用するように構成される任意のオペレーティングシステム、アプリケーション、サービス、プロセス、モジュール、エンジン、又は他のオブジェクトを指す。
[0025]デプスカメラ互換性システム３０は、デプスカメラのどのモデルが奥行き画像コンシューマーで使用することができるかに関して大きな柔軟性を提供する。異なるパラメーターを有するカメラ、異なる奥行き発見（finding）技術に基づくカメラ、及び異なる種類の奥行き画像を生成するカメラは、デプスカメラ互換性システム３０と同じ意味で使用することができる。
[0026]例として、奥行き画像プロデューサー３４ａは、奥行き画像を評価するために構造化された光技術を使用するデプスカメラを含んでもよい。奥行き画像プロデューサー３４ｂは奥行き画像を評価するために飛行時間技術を使用するデプスカメラを含んでもよい。そのようなカメラの両方とも、デプスカメラ互換性システム３０のおかげで奥行き画像コンシューマー３２と互換性がある。奥行き画像コンシューマー３２はいずれかのカメラとの互換性のために特別に設計されている必要はない。いずれかのカメラがリリースされる前に奥行き画像コンシューマー３２を開発することができる。言い換えれば、デプスカメラ互換性システム３０は、奥行き画像コンシューマー、及び奥行き画像コンシューマーが開発された後に開発されるデプスカメラを含む様々な異なるデプスカメラとの互換性を容易にする。
[0027]図２に示すように、デプスカメラ互換性システム３０は、初期化モジュール３６、キャプチャーモジュール３８、仮想化モジュール４０、及び出力モジュール４２を含む。少なくともいくつかの実施例において、初期化モジュール、キャプチャーモジュール、仮想化モジュール、出力モジュール、及び／又はデプスカメラ互換性システム３０の他のコンポーネントは、アプリケーションプログラミングインターフェース（ＡＰＩ）の一部として実施することができる。ＡＰＩは、奥行き画像プロデューサーと奥行き画像コンシューマーとの間で使用する通信の規則を確立するために、オペレーティングシステム、アプリケーション、ライブラリー、及び／又は他のオブジェクトによって実施されてもよい。 ＡＰＩは、奥行き画像プロデューサーと奥行き画像コンシューマーとの間で通信するのに使用されるルーチン、データ構造、オブジェクトクラス及びプロトコルの仕様を含んでもよい。さらに、ＡＰＩは、例えば仮想化モジュール４０及びエミュレーションモジュール４４を参照して以下に説明するように、様々な態様の奥行き画像を処理するように構成される機能ブロックを含んでもよいし、又はインタフェースしてもよい。
[0028]初期化モジュール３６は、奥行き画像コンシューマー３２などの奥行き画像コンシューマーについてサポートされる仮想的なデプスカメラパラメーターを確認するように構成することができる。そのような確認（acknowledgement）を有効にするために、骨格追跡ゲームアプリケーションなどの奥行き画像コンシューマーは、特定のデプスカメラ（例えば、特定の種類又はモデルの構造化された光のデプスカメラ）に加えて、又はその代わりに、仮想的なデプスカメラとの互換性のために開発されてもよい。そのような例において、奥行き画像コンシューマーは、その奥行き画像コンシューマーによって予期される仮想的なデプスカメラパラメーター（例えば、ｘ−ｙ−ｚ解像度、視界角錐（view frustum）、奥行き画像の種類など）の指示を提供するように構成することができる。さらに、初期化モジュールは、奥行き画像コンシューマーからのサポートされる仮想的なデプスカメラパラメーターの指示を受信するように構成することができる。上述したように、初期化モジュールは、必要に応じて、奥行き画像コンシューマー及び奥行き画像プロデューサーが互いに通信するために使用できるＡＰＩの一部として実施されてもよい。
[0029]サポートされる仮想デプスカメラパラメーターの指示は、仮想デプスカメラの予期される視界角錐及び／又は仮想デプスカメラの予期される解像度を規定することができる。このような予想される視界角錐及び／又は予想される解像度は、特定のデプスカメラの固有の視覚角錐及び固有の解像度とは異なる場合がある。サポートされる仮想デプスカメラパラメーターの指示は、仮想的なデプスカメラが基づいている実際のデプスカメラのモデルを特定してもよい。以下の説明では、初期化モジュール３６によって確認することができる異なるパラメーターの限定的でないサンプリングについてまとめられている。
[0030]デプスカメラは、一般に、デプスカメラのセンサーに最も近い表面からの半径方向の距離を各画素において測定する。この距離は、奥行きカメラからの光線に沿った距離を現実世界をモデル化する３次元空間へと投影することにより、ワールド座標に変換することができる。このプロセスは、明確な線形の境界が存在しない様々な三次元のサンプルを生成する。代わりに、ポイントはデプスカメラの視覚角錐によって境界が示される−（レンズの歪みがないと仮定して）２つの同心球の２つの３次元円弧の間に挟まった空間。図３Ａは、例示的なデプスカメラ４８の例示的な視覚角錐４６を示す。
[0031]同心球の位置は、デプスカメラで測定可能な視野の奥行きによって決定される。小さい方の同心球はそのデプスカメラの最小の測定可能な距離と同等の半径を有し、大きな方の同心球はそのデプスカメラの最大の測定可能な距離と同等の半径を有する。空間内の三次元円弧の大きさは、そのデプスカメラの視野（すなわち、視野角）によって決定される。デプスカメラの視覚角錐の位置及び方向は、物理的な位置とデプスカメラの物理的な向きによって決定される。どれだけの数の異なる画素が視覚角錐に含まれるかは、デプスカメラの解像度によって決定される。奥行きの感度（分解能）はデプスカメラからの出力として受信される画素あたりのビット数に依存する。しかし、実際の感度が低くなる可能性がある。
[0032]パラメーター（例えば、視野の奥行き、視野、分解能、位置、方向、レンズの歪み等）は異なるカメラについて異なっていてもよい。奥行き画像コンシューマーがこのような違いに非常に敏感である可能性があるため、カメラ間のパラメーターの違いは困難をもたらす可能性がある。そのため、あるデプスカメラパラメーターを有する特定のデプスカメラから奥行き画像を受信するように開発される代わりに、奥行き画像コンシューマーは、仮想的なデプスカメラパラメーターを有する仮想的なデプスカメラとの互換性のために開発されてもよい。後述するように、デプスカメラ互換性システムは、実際のカメラからの奥行き情報が奥行き画像コンシューマーによって使用することができるように、仮想的なデプスカメラの仮想パラメーターに従って、実際のカメラから受信した奥行き情報を効果的に変換することができる。
[0033]いくつかの実施例において、初期化モジュール３６は、奥行き画像コンシューマーのサポートされる仮想的なデプスカメラパラメーターとの互換性を目指して奥行きカメラを向けることを容易にする目標命令（aiming instructions）３７を生成するように構成することができる。例として、奥行き画像コンシューマーは、ユーザーの足をスキャンすることができるようにデプスカメラが床に向かって下に向けられることを期待することがある。そのため、目標命令はこの期待を伝えるために生成することができる。自動的に自身を再配置する位置決めモーター又は他の手段をデプスカメラが含む実施例（例えば、奥行き画像プロデューサー３４ｃのデプスカメラ）において、初期化モジュールは、デプスカメラが目標命令に従って自身を再配置し得るように、デプスカメラに目標命令を送信するように構成されてもよい。いくつかの実施例では、目標命令は、ユーザーが手動でデプスカメラを再配置することができるように、視覚的及び／又は音声の指示を介してユーザーに伝えることができる。
[0034]いくつかの実施例では、奥行き画像コンシューマーが予想される座標系を有する奥行き画像を受け取るように、座標系を抽象化することができる。いくつかの例では、これは、視線（line of sight）を測定するハードウェアを使用するか又はカメラに対する床の角度を測定することによって、（例えば）床と整列されるように座標系を回転させることを含む。
[0035]キャプチャーモジュール３８は、奥行き画像プロデューサーから固有の奥行き画像を受け取るように構成することができる。限定的でない例として、キャプチャーモジュールは、飛行時間カメラを含む奥行き画像プロデューサーから固有の奥行き画像を受け取ってもよい。上述したように、キャプチャーモジュールは、必要に応じて、奥行き画像コンシューマー及び奥行き画像プロデューサーが互いに通信するために使用できるＡＰＩの一部として実施されてもよい。
[0036]奥行き画像プロデューサーは奥行きカメラのみを含んでもよいし、又は奥行き画像プロデューサーは、デプスカメラのほか、オフボードの（off-board）処理エンジンを含んでもよい。図４Ａに示すように、奥行き画像プロデューサー３４’は、生のデプスカメラのデータ（図示せず）を固有の奥行き画像５４に変換するように構成されるカメラ上の（オンカメラ）プロセッサー５２を含んでもよい。そのような場合には、キャプチャーモジュール３８’は、オンカメラ（on-camera）プロセッサー５２を介して固有の奥行き画像５４を受信するように構成することができる。図４Ｂに示すように、奥行き画像プロデューサー３４’’は、生のデプスカメラデータ６０を固有の奥行き画像５４’’に変換するオフカメラ（off-camera）プロセッサー５６を含んでもよい。オフカメラプロセッサー５６は、例えば奥行き画像コンシューマー３２’’が実行されるコンピューティングシステム１０’’の一部であってもよい。そのような場合には、キャプチャーモジュール３８’’は、オフカメラプロセッサー５６を介して固有の奥行き画像を受信するように構成することができる。図４Ｃに示すように、奥行き画像プロデューサー３４’’’が、協働して生のデプスカメラデータ（図示せず）を固有の奥行き画像５４’’’に変換するオンカメラプロセッサー５２’’’及びオフカメラプロセッサー５６’’’を含んでもよい。そのような場合には、キャプチャーモジュール３８’’’は、オンカメラプロセッサー５２’’’及びオフカメラプロセッサー５６’’’を介して固有の奥行き画像５４’’’を受け取るように構成することができる。特に、オンカメラプロセッサー５２’’’は、オフカメラプロセッサー５６’’’に、生のデプスカメラデータから部分的に処理された中間データ６２を渡すことができる。図４Ｂの例のように、オフカメラプロセッサー５６’’’は、例えば奥行き画像コンシューマー３２’’’が実行されるコンピューティングシステム１０’’’の一部であってもよい。
[0037]図２に戻ると、仮想化モジュール４０は、固有の奥行き画像を、奥行き画像コンシューマーと互換性のある、サポートされた仮想的なデプスカメラパラメーターを有する仮想的な奥行き画像に変換するように構成することができる。特に、仮想化モジュールは、奥行き画像コンシューマーから初期化モジュールを介して受信される仮想パラメーターの指示に従って、固有の奥行き画像を仮想的な奥行き画像に変換するように構成することができる。仮想化モジュールは、必要に応じて、ＡＰＩの一部として、又は奥行き画像コンシューマーと奥行き画像プロデューサーが通信に使用するＡＰＩと互換性のあるアプリケーションもしくはサービスとして実施することができる。
[0038]１つの例示的な変換として、仮想化モジュール４０は、固有の奥行き画像の視覚角錐（view frustum）をクリッピングすることにより、固有の奥行き画像を仮想的な奥行き画像に変換するように構成することができる。この例はやや概略的に図３Ｂに示されている。仮想的な視覚角錐７０が実線で示される。仮想的な視覚角錐７０は仮想的なデプスカメラパラメーターによって特定することができる。実際のデプスカメラ７４の固有の視覚角錐７２は同じ視野内で重ねられる。固有の視覚角錐７２は破線で示される。比較して見ることができるように、固有の視覚角錐７２は、仮想的な視覚角錐７０よりも広い視野と深い被写界深度を有する。このように、固有の視覚角錐７２は、仮想的な視覚角錐７０を予測する奥行き画像コンシューマーに対して互換性がないことがある。
[0039]仮想化モジュールは、仮想的な視覚角錐のそれに固有の視覚角錐をクリッピングすることができる。言い換えると、仮想的な視覚角錐の視野及び／又は被写界深度の外にあるデプスカメラ７４によって読み取られる奥行き情報は、奥行き画像から除去されてもよい。いくつかの実施例では、仮想的な視覚角錐の奥行き情報がそのまま残される一方、除去された奥行き情報を単に無視してもよい。いくつかの実施例では、除去された奥行き情報は、仮想的な視覚角錐における奥行き情報を選択的に修正するために使用することができる。
[0040]別の例示的な変換として、仮想化モジュール４０は、固有の奥行き画像の解像度を変更する（例えば、固有の奥行き画像の解像度を下げる）ことにより、固有の奥行き画像を仮想的な奥行き画像に変換するように構成することができる。実質的に任意の再サンプリングアルゴリズムを、解像度を変更するために使用することができる。限定的でない例として、所望の解像度を有するサンプルグリッドが実際のデプスカメラからの奥行き画像と概念的に整列される最近傍アルゴリズムを使用することができる。サンプルグリッドの各サンプル画素には、サンプル画素に最も近い実際のデプスカメラからの画素の深度値（奥行き値、depth value）を割り当てることができる。他の限定的でない例として、再サンプリングアルゴリズムは、最も近い画素の平均値又は距離で重み付けされた平均値をとってもよい。
[0041]視覚角錐をクリッピングし解像度を変更する上記の例は限定的なものではない。奥行き画像コンシューマーが任意の数の異なる仮想パラメーターをもつ仮想カメラを予期して設計することができ、奥行き画像コンシューマーの仮想デプスカメラとの互換性を達成するためにそのようなパラメーターに従って実際の奥行き画像を変換することができることが理解されるべきである。
[0042]図２に戻ると、いくつかの実施例において、仮想化モジュール４０は、奥行き画像コンシューマーによってサポートされるサポートされた型を持つエミュレーション奥行き画像へと固有の奥行き画像を処理することによって固有の奥行き画像を仮想的な奥行き画像に変換するように構成された、エミュレーションモジュール４４を含んでもよい。言い換えれば、奥行き画像コンシューマーは、特定のモデルのデプスカメラ及び／又は特定の奥行き取得技術（例えば、構造化された光又は飛行時間）を使用して作成される奥行き画像を予期するように設計することができる。異なる種類のデプスカメラからの奥行き画像は、各画素に深度値が割り当てられる奥行き画像を最終的に生成するかもしれないが、異なる種類のデプスカメラ間の差異は、各画素に割り当てられる深度値の間の様々な差異をもたらすかもしれない。奥行き画像コンシューマーは特定のデプスカメラからの特定の種類の奥行き画像を処理するように設計することができる。このように、エミュレーションモジュール４４は、サポートされていないデプスカメラからの奥行き画像を、サポートされているデプスカメラからもたらされたかのように見えるように変更するよう構成することができる。
[0043]例えば、エミュレーションモジュール４４は、飛行時間型デプスカメラ（time of flight depth camera）からの固有の奥行き画像を、構造化された光のデプスカメラ（structured light depth camera）によって生成される奥行き画像をエミュレートするエミュレーション奥行き画像に変換することができる。この例は限定的なものではない。エミュレーションモジュール４４は、実質的に任意のカメラ技術からの固有の奥行き画像を、実質的に任意の他の種類のカメラ技術によって生成される奥行き画像をエミュレートするエミュレーション奥行き画像に変換するように構成されてもよい。
[0044]エミュレーションモジュール４４は、いくつかの実施例では仮想化モジュール４０の一部であってもよいが、本明細書に記載されるエミュレーション技術は、視覚角錐クリッピング及び／又は解像度の変更などの任意の他の仮想化技術とは独立して実行することができることを理解すべきである。いずれの場合も、エミュレーションモジュール４４は、必要に応じて、ＡＰＩの一部として、又は奥行き画像コンシューマー及び奥行き画像プロデューサーが通信に使用するＡＰＩと互換性のあるアプリケーション又はサービスとして実施されてもよい。
[0045]エミュレーションモジュールは次のうちの１つ又は複数を含んでもよい：ノイズ抑制モジュール８０、エッジ強調モジュール８２、無効化モジュール８４、奥行き量子化モジュール８６、小型オブジェクト補正（small object correction）モジュール８８、影シミュレーションモジュール９０。
[0046]ノイズ抑制モジュール８０は、固有の奥行き画像中の異なる奥行き値をもつ隣接する画素領域間の奥行きエッジ（depth edge）を維持するように構成することができる。ノイズ抑制モジュール８０の機能は、図６の１１８を参照して以下により詳細に記載される。
[0047]エッジ強調モジュール８２は、固有の奥行き画像中の異なる奥行き値を持つ隣接する画素領域間の奥行きエッジを強調するように構成することができる。エッジ強調モジュール８２の機能は、図６の１２６を参照して以下により詳細に記載される。
[0048]無効化モジュール８４は、所定の範囲の外の結合された照明及び傾斜を有する画素を無効にするように構成することができる。無効化モジュール８４の機能は、図６の１２０−１２４を参照して以下により詳細に記載される。
[0049]奥行き量子化モジュール８６は深度値を量子化するように構成することができる。奥行き量子化モジュール８６の機能は、図６の１２８を参照して以下により詳細に記載される。
[0050]小型オブジェクト補正モジュール８８は、しきい値サイズ未満のオブジェクトに属する画素に、より深い深度値を割り当てるように構成することができる。小型オブジェクト補正モジュール８８の機能は、図６の１３０を参照して以下により詳細に記載される。
[0051]影シミュレーション（shadow simulation）モジュール９０は、飛行時間型デプスカメラから仮想的に間隔を空けられた仮想的な照明の仮想的な見晴らしのよい点から仮想的に塞がれた画素に影の画素値を割り当てるように構成することができる。影シミュレーションモジュール９０の機能は、図６の１３２を参照して以下により詳細に記載される。
[0052]仮想化モジュール４０は、実際のデプスカメラからの固有の奥行き画像を、奥行き画像コンシューマーと互換性のあるサポートされる仮想的なデプスカメラパラメーターを有する仮想的な奥行き画像に変換する。出力モジュール４２は、奥行き画像コンシューマーに、この仮想的な奥行き画像を出力するように構成される。奥行き画像コンシューマーは、その後、分析及び／又はさらなる処理のために、仮想的な奥行き画像を受け取ってもよい。出力モジュールは、必要に応じて、奥行き画像コンシューマー及び奥行き画像プロデューサーが互いに通信するために使用できるＡＰＩの一部として実施されてもよい。初期化モジュール３６、キャプチャーモジュール３８、仮想化モジュール４０、及び出力モジュール４２は、個別のモジュールとして上述されているが、２つ以上のモジュールが共通のＡＰＩへと動作可能に組み合わされてもよいことが理解されるべきである。
[0053]図５は、奥行き画像コンシューマーと複数の異なる奥行き画像プロデューサーとの間の互換性を提供する方法１００を示している。方法１００は、例えば、図２の奥行きカメラ互換性システム３０を使用して、実施することができる。
[0054]１０２において、方法１００は、サポートされている仮想的なデプスカメラパラメーターの指示を受信することを含む。上記のように、仮想的なデプスカメラパラメーターは、仮想デプスカメラの視覚角錐、仮想デプスカメラの解像度、仮想デプスカメラが基づいている実際のデプスカメラのモデル、及び／又は仮想デプスカメラの他の特性を指定してもよい。
[0055]１０４において、方法１００は、奥行き画像コンシューマーとの互換性がないサポートされないデプスカメラパラメーターを有する固有の奥行き画像を受信することを含む。 １０６において、方法１００は、奥行き画像コンシューマーと互換性のあるサポートされる仮想デプスカメラパラメーターを有する仮想的な奥行き画像へと固有の奥行き画像を変換することを含む。上記のように、固有の奥行き画像を変換することは、固有の奥行き画像の視覚角錐をクリッピングすること、固有の奥行き画像の解像度を下げること、及び／又は奥行き画像コンシューマーによってサポートされたサポートされるタイプを有するエミュレーション奥行き画像へと、固有の奥行き画像を処理すること、うちの１つ又は複数を含んでもよい。
[0056]１０８において、方法１００は、奥行き画像コンシューマーに仮想的な奥行き画像を出力することを含む。仮想的な奥行き画像はサポートされる仮想デプスカメラのパラメーターに対して調整されるので、奥行き画像コンシューマーによって使用することができる。しかし、方法１００は異なるデプスカメラからの様々な異なる固有の奥行き画像に適用することができるため、奥行き画像コンシューマーは、単一の特定の種類のデプスカメラから奥行き画像を受信することに限定されない。
[0057]図６はデプスカメラの互換性を提供する別の方法１１０を示す。１１２において、方法１１０は、奥行き画像コンシューマーについてのサポートされる仮想デプスカメラパラメーターを奥行き画像コンシューマーから受信することを含む。これは、例えば、奥行き画像コンシューマーと互換性のあるモデルのデプスカメラ（例えば、構造化された光のデプスカメラ）の指示を受信することを含んでもよい。
[0058]１１４において、方法１１０は、奥行き画像コンシューマーによってサポートされない、サポートされないタイプを有する固有の奥行き画像を受信することを含む。たとえば、固有の奥行き画像は、モデルのデプスカメラ以外のソースからのものであってもよい。このように、固有の奥行き画像は奥行き画像コンシューマーと互換性がないことがあり、したがって、サポートされないタイプを有し得る。上で紹介した例を続けると、奥行き画像コンシューマーは、構造化された光デプスカメラからの奥行き画像をサポートしてもよい。しかし、飛行時間型のデプスカメラなどの別のソースから固有の奥行き画像が受信されてもよく、したがって、固有の奥行き画像は奥行き画像コンシューマーについてサポートされないタイプを有する。
[0059]１１６において、方法１１０は、奥行き画像コンシューマーによってサポートされたサポートされるタイプを有するエミュレーション奥行き画像へと、固有の奥行き画像を処理することを含む。言い換えれば、エミュレーション奥行き画像は、モデルデプスカメラによって生成された奥行き画像などの、奥行き画像コンシューマーと互換性のある奥行き画像をエミュレートするように修正することができる。上で紹介した例を続けると、飛行時間型デプスカメラから受信される固有の奥行き画像は、例えば、構造化された光のデプスカメラによって生成される奥行き画像をエミュレートするエミュレーション奥行き画像へと処理することができる。
[0060]図６に示すように、固有の奥行き画像をエミュレーション奥行き画像へと処理することは、以下により詳細に説明するように、さまざまな技術を利用してもよい。このような技術は限定的でないと理解することができる。さらに、図６に示されない追加の技術を、代替的に又は付加的に適用することができる。
[0061]１１８において、方法１１０は、固有の奥行き画像に対してエッジ保存フィルター（edge preserving filter）を適用することを含んでもよい。飛行時間型デプスカメラから受信した固有の奥行き画像を処理する場合は、このような固有の奥行き画像は、飛行時間型デプスカメラ間の標準的な副産物であるランダムノイズを有し得る。しかし、構造化された光のデプスカメラは本質的に滑らかな（平坦な）信号を有しており、このような信号をさらにソフトウェアでフィルタリングすることができる。したがって、この種のより滑らかな信号をエミュレートするために、飛行時間型デプスカメラから受信した固有の奥行き画像を、重要な奥行きの特徴を損なうことなく、飛行時間デプスマップからのノイズを抑制するように処理することができる。これを行うために、エッジ保持フィルタを、固有の奥行き画像からのノイズを抑制するために使用することができる。Perona-Malikの著作（異方性拡散を用いたスケールスペース及びエッジ検出、IEEE Transactions on Pattern Analysis and Machine Intelligence, v.12 n.7, p.629-639, 1990）及びWeickertらの著作（J. Weickert, B.M. ter Haar Romeny, M.A. Viergever, 非線形拡散フィルタリングのための効率的かつ信頼性の高いスキーム、IEEE Trans. Image Proc., v.7 n.3, pp. 398-410, 1998）に記載されているものに基づく非線形偏微分方程式を利用するなど、任意の適切な手法を使用することができる。エッジしきい値パラメーターは、カメラの奥行き精度の上限（例えば、Ｋ＝１０［ｃｍ］）に設定することができる。固有の奥行き画像にエッジ保存フィルターを適用することによって、固有の奥行き画像内のオブジェクト間の不連続性が良好に保たれる一方、固有の奥行き画像内のノイズレベルが大幅に低下し得る。
[0062]図６について続けると、１２０において、方法１１０は、（例えば、飛行時間解析においてシーンを照らすために使用される赤外光から測定されるような）照明画像（illumination image）上をメディアンフィルターを通過させることによって、信頼性マップ（confidence map）を構築することを含んでもよい。飛行時間型デプスカメラから受信した固有の奥行き画像を処理して構造化された光のデプスカメラのものをエミュレートする場合、そのような信頼性マップは、構造化された光のデプスカメラで発生する画素の無効化現象をエミュレートするために利用され得る。構造化光技術において、奥行きはパターン一致を見つけることによって計算される。一致が見つかれば奥行きを比較的正確に計算することができるが、一致が見つからない場合、奥行きは計算できず、その画素での測定は無効である。飛行時間技術において、奥行きは一般的にどこででも測定することができるが、（例えば、照明のレベルに応じて）異なる精度をもつ。したがって、奥行き測定が不正確になって（例えば、信号のノイズが暗領域において多くなりすぎる）構造化された光の奥行き画像をエミュレートする場合、飛行時間奥行き画像における照明のレベルは容易に予測することができる。これを行うために、入力として照明画像を用いて、信頼性マップを構築することができる。信頼性マップは、異常値を削除しノイズを抑制するために、最初に照明画像上をメジアンフィルターを通過させることによって、構築することができる。次いで、各画素に対して、次のようなソフト閾値関数（soft threshold function）を使用することができる。
Figure 0005778182
ここで、パラメーターｋは、カメラのバージョンによって変更されてもよい。例として、ｋはいくつかの実施例では６０に設定することができる。
[0063]信頼性マップを構築することに加えて、画像内の他の領域を識別することが望ましいかもしれない。したがって、１２２において、方法１１０は、固有の奥行き画像から傾斜表面マップ（oblique surface map）を構築することを含んでもよい。構造化された光のデプスカメラの固有の奥行き画像をエミュレートするために飛行時間型デプスカメラから受信した固有の奥行き画像を処理する場合には、構造化された光のデプスカメラで発生する画素無効化現象がさらに、パターンマッチングの困難性に対応している可能性が高い領域を識別することによってエミュレートされてもよい。構造化された光照明装置によって投影されるパターンが傾いた物体（すなわち、照明の光線に対して鋭角の表面）上に現れることがあり、従って、パターン一致はしばしばそこで失敗し、無効な測定値を生むことがある。したがって、飛行時間型デプスカメラから受信した固有の奥行き画像は、傾斜面を識別するために傾斜面マップを構築することによって処理することができる。これは、例えば、視野及び解像度などのカメラパラメーターを使用して、画素ごとに世界表面角度（world surface angle）を計算すること、及び、次いでガウシアンフィルタリングによってこれを平滑化することを含んでもよい。さらに、ｋ＝４５で、上記で定義したＦｋなどのソフト閾値関数を使用することができる。
[0064]１２４において、方法１１０は、信頼性マップと傾斜面マップを無効化テストマップに一体化することを含んでもよい。信頼性マップと傾斜面マップの両方が０と１との間の値を有する場合は、当該２つのマップは、例えば、２つのマップを乗算し、０．５の閾値で閾値化する（thresholding）ことによって一体化することができる。メジアンフィルターは結果を正規化する（regularize）ために使用することができる。このような処理は、所定の範囲外にある画素を無効にするために使用することができる。
[0065]図６について続けると、１２６において、方法１１０は、固有の奥行き画像の異なる奥行き値を持つ隣接する画素領域間のエッジを強調することを含んでもよい。飛行時間型デプスカメラから受信した固有の奥行き画像を処理する場合には、この技術で計算されるような奥行き値は画素視野（pixel field of view）フィールドの奥行きの平均値であるので、そのような飛行時間型デプスカメラはエッジをぼかす傾向にある。しかし、構造化された光のデプスカメラのエッジ上の奥行きは、通常、測定されず、データは合成されて、オブジェクト間の急激な遷移を生成する。したがって、構造化された光のデプスカメラからの奥行き画像をエミュレートするために、飛行時間型デプスカメラからの固有の奥行き画像は、エッジをよりシャープにするために、異なる奥行き値を持つ隣接する画素領域間のエッジを強調するために処理することができる。任意の適切な手法をそのようなエッジの強調のために使用することができ、１つのそのような適切な手法は以下に詳細に記載される。
[0066]ｘ方向における前進差分Ｄ＋及び後退差分Ｄ−を画素毎に計算することができる。その後、次のようにマスクを決定することができる：Ｍａｓｋ＿ｘ＝１（ｍｉｎ（Ｄ＋，Ｄ−）＞４ｃｍの場合）、そうでなければ０、そればステップエッジを回避するために傾斜する。その後、同様の計算が、Ｍａｓｋ＿ｙを計算するためにｙ方向で行うことができる。その後、Ｍａｓｋ＿ｘ又はＭａｓｋ＿ｙのいずれか＝＝１の場合の各画素に対して、３×３の近傍における最大値がとられる。
[0067]図６について続けると、１２８において、方法１１０は、奥行き値を量子化することを含んでもよい。飛行時間型デプスカメラから受信した固有の奥行き画像を処理する場合には、奥行き値は、構造化された光のデプスカメラから受信される奥行き画像をエミュレートするために量子化することができる。構造化された光の技術は、奥行きを計算するために三角測量に基づく。奥行きは、固有のセンサー分解能が有限であるように量子化されたパターン変位の関数である。飛行時間の技術において、奥行き測定値は固有の解像度には関係しない。したがって、量子化効果を変形された奥行きマップに組み入れることが望まれる。これは任意の適切な手法によって行うことができる。１つのそのような適切な手法は、三角測量ベースのカメラで発生するものに類似した非線形量子化式を構築するために、構造化された光のデプスカメラのパラメーター（例えば、視野、固有のセンサー分解能、焦点距離、センサーと照明の中心との間の距離）及びデプスマップをとることを含む。例として、奥行きＤの関数として画素における変換Ｔは次のように定義される
Figure 0005778182
ここで、focal_lengthは構造化された光のデプスカメラの焦点距離であり、pixel_sizeはセンサーの画素サイズであり、camera_illumはカメラセンサーと照明の中心との間の距離であり、angleはカメラセンサーの中心からの垂直な線に対する物体の角度である。次いで、量子化Ｑは、変換Ｔ（Ｄ）の関数として、次のように記述することができる
Figure 0005778182
このように、奥行きマップは、構造化された光の技術において三角測量計算によって生成されるのと同様にして奥行きを量子化する。
[0068]図６について続けると、１３０において、方法１１０は、閾値のサイズ未満の物体に属する画素により深い奥行き値を割り当てることを含んでもよい。飛行時間型デプスカメラから受信した固有の奥行き画像を処理する場合には、構造化された光のデプスカメラから受信される奥行き画像をエミュレートするために、より深い奥行き値が小さな物体の画素に割り当てられてもよい。構造化された光のデプスカメラは、小さすぎる物体上にうまく投影することができないパターンに基づく。従って、このような小さな物体は、しばしば、バックグラウンドの奥行き値を割り当てられる。より深い奥行き値は、任意の適切な方法で、小さな物体の画素に割り当てることができる。１つのそのような手法は、形態学的閉鎖（morphological closing）を行うことを含む。このように、要素の構築は解像度に依存する。例として、おおよそ３×３のサイズのボールの要素を使用することができる。したがって、奥行き画像において観察することができる最小の物体のサイズを修正することができ、効果は構造化された光のデプスカメラで行われる後処理に類似する。
[0069]図６について続けると、１３２において、方法１１０は、飛行時間型デプスカメラ間から実質的に間隔を空けられた仮想的な照明の仮想的な視点（virtual vantage point）から実質的に閉塞された画素に影の画素値を割り当てることを含んでもよい。飛行時間型デプスカメラから受信した固有の奥行き画像を処理する場合には、影の画素値は、構造化された光のデプスカメラから受信される奥行き画像をエミュレートするために割り当てることができる。上記のように、構造化された光のデプスカメラは三角測量の原理で動作する。このため、光源はセンサーから離れており、「影」効果がカメラのセンサーに対して引き起こされる。したがって、「影になった画素」は、図７に示すように、センサーにとっては見ることができるが光源の位置からは直接的には見えない画素である。ここで、第１の物体１４０は、第２の物体１４２が発光体１４４から直接光を受けることを妨げる。したがって、第１の物体１４０の画像１４６及び第２の物体１４２の画像１４８を受信することに加えて、センサー１５０はまた、第２の物体１４２の影になった画素１５２を受信する。
[0070]したがって、飛行時間型デプスカメラから受信される固有の奥行き画像においてこの「影（shadowing）」アーティファクトをエミュレートすることが望ましい。センサーと周辺の発光体との間の短い距離のために、影効果はすでに飛行時間型デプスカメラにおいて生じているが、これはカメラにおいて正規化することができ、したがって、生成される奥行き動画においては見ることができない、と理解することができる。
[0071]影を合成するための例示的な解決策は軽量（lightweight）アルゴリズムを使用する。当該アルゴリズムは、発光体がモデル化されたデプスカメラにあるのと同じ場所に仮想カメラを作成する。アルゴリズムは、次いで、元のセンサーからこの仮想センサーへ奥行きのサンプルを変換する。この変換は次の式を用いて行うことができる
Figure 0005778182
[0072]この仮想センサーに閉塞されるサンプルは影を付けられる。「発光体×画像」の各行をスキャンすることができ、すでにスキャンされた値のうち最大のXemitterImage値を有さない場合には画素に影をつけてもよい。図８は、影を付けられた画素１５２がXworldの値の減少のために影を付けられたものとして考慮されるアイデアを示す。
[0073]奥行き測定の不正確さに起因するいくつかの小さな変動を克服するために、形態学的「オープン」フィルタリングを「影を付けられた画素」のマップに適用することができる。このステップは、小さな影を除去し、エッジをより四角状に見えるようにして、したがって構造化された光デプスカメラからのエッジをエミュレートする。
[0074]図６について続けると、１３４において、方法１１０は、サポートされているタイプを有するエミュレーション奥行き画像を出力することを含む。そのようなエミュレーション奥行き画像は、デプスカメラからの固有の奥行き画像を処理できない奥行き画像コンシューマーによって使用することができる。上記の例を使用して、構造化された光デプスカメラからの構造化された光の奥行き画像を処理するように設計されたアプリケーションは、飛行時間型デプスカメラを用いて測定される固有の奥行き画像に基づいてエミュレーション奥行き画像を受信し、処理することができる。
[0075]図９は、奥行き抽象化層内の例示的な画像処理ブロック１６０を示す高レベルの実施例の図である。図１０は図９の画像処理ブロック１６０をより詳細に示す。図９及び１０に示すように、画像処理ブロック１６０は、入力として、生の奥行きマップ、赤外照明画像に関連する情報、及びデプスカメラパラメーターを受信してもよい。画像処理ブロックは、上述したように、奥行き画像コンシューマーによって使用することができる抽象化されたエミュレーション奥行き画像１６２を出力してもよい。
[0076]図１を参照して以下で説明するように、様々な異なるコンピューティングシステムを、本開示の趣旨から逸脱することなく使用することができる。図１を参照して説明される動作環境は例として提供されるが、いかなるようにも限定的なものであると意図されるものではない。そうではなく、示された動作環境は、本開示の範囲から逸脱することなく様々な異なる動作環境に適用することができる一般的な概念を示すことを意図したものである。同様に、図２に示すデプスカメラ互換性システムの概略図は、奥行き画像の仮想化及び奥行き画像のエミュレーションを説明するための簡略化されたフレームワークを提供するが、用途を図面に示すそれらの構成のみに限定することを意図されてはいない。逆に、本明細書に記載された方法及び処理は、様々な異なる種類のコンピューティングシステムに関連し得る。
[0077]図１は、ゲーム機１２及びデプスカメラ２０を備えるデプスカメラ互換性システムを実施するように構成することができる限定的でない例示的なコンピューティングシステムを示す。別のより一般的な例として、図１１は、本明細書に記載されるような、奥行き画像の抽象化及び／又は奥行き画像のエミュレーションを実行することができるコンピューティングシステム１７０を概略的に示す。コンピューティングシステム１７０は、とりわけ、ゲーム機、パーソナルコンピューティングシステム、軍事追跡及び／又は標的システム、グリーンスクリーン又はモーションキャプチャー機能を提供するキャラクターアクイジションシステムを含むがこれらに限定されない、さまざまな異なる形式をとってもよい。
[0078]コンピューティングシステム１７０は、論理サブシステム１７２、論理サブシステムに動作可能に接続されるデータ保持サブシステム１７４、ディスプレイサブシステム１７６、及び／又は奥行き画像プロデューサー１７８を含んでもよい。コンピューティングシステムは必要に応じて図１１に示されていないコンポーネントを含んでもよく、及び／又は図１１に示すいくつかのコンポーネントはコンピューティングシステムへと統合されない周辺コンポーネントであってもよい。
[0079]論理サブシステム１７２は、1つ又は複数の命令を実行するように構成された１つ又は複数の物理デバイスを含んでもよい。例えば、論理サブシステムは、１つ又は複数のプログラム、ルーチン、オブジェクト、コンポーネント、データ構造、アプリケーションプログラミングインターフェース又は他の論理的な構成の一部である１つ又は複数の命令を実行するように構成することができる。そのような命令は、タスクを実行し、データ型を実施し、１つ又は複数のデバイスの状態を変換し、異なるコンピューティングオブジェクトとの間で情報を通信し、又はそうでなければ望ましい結果に到達するために実施することができる。論理サブシステムは、ソフトウェア命令を実行するように構成される１つ又は複数のプロセッサーを含んでもよい。加えて又は代わりに、論理サブシステムは、ハードウェア命令又はファームウェア命令を実行するように構成された１つ又は複数のハードウェア又はファームウェア論理マシンを含んでもよい。論理サブシステムは、必要に応じて、いくつかの実施例においては遠隔に配置され得る２つ以上のデバイスにわたって分散される個々のコンポーネントを含んでもよい。
[0080]データ保持サブシステム１７４は、本明細書に記載された方法及びプロセスを実施するために論理サブシステムによって実行可能なデータ及び／又は命令を保持するように構成された１つ又は複数の物理的な持続性のデバイスを含んでもよい。そのような方法やプロセスが実施される場合、データ保持サブシステム１７４の状態は、（例えば、異なるデータを保持するために）変換することができる。データ保持サブシステム１７４は、取り外し可能な媒体及び／又は内蔵デバイスを含んでもよい。データ保持サブシステム１７４は、とりわけ、光メモリー装置、半導体メモリー装置（例えば、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュなど）、及び／又は磁気メモリーデバイスを含んでもよい。データ保持サブシステム１７４は、次のような特徴のうちの１つ又は複数を備えたデバイスを含んでもよい：揮発性、不揮発性、動的、静的、読み取り／書き込み、読み取り専用、ランダムアクセス、シーケンシャルアクセス、位置アドレス指定可能、アドレス指定可能なファイル、及びアドレス指定可能なコンテンツ。いくつかの実施例では、論理サブシステム１７２及びデータ保持サブシステム１７４は、特定用途向け集積回路又はチップ上のシステムとして、１つ又は複数の共通のデバイスへと統合することができる。
[0081]「モジュール」及び「エンジン」という用語は、１つ又は複数の特定の機能を実行するように実施されるコンピューティングシステム１７０の態様を記述するために使用することができる。いくつかの場合には、このようなモジュールやエンジンは、データ保持サブシステム１７４によって保持される命令を実行する論理サブシステム１７２を介してインスタンス化することができる。異なるモジュール及び／又はエンジンを同じアプリケーション、コードブロック、オブジェクト、ルーチン、及び／又は関数からインスタンス化することができることが理解されるべきである。同様に、同一のモジュール及び／又はエンジンは、いくつかの場合には、異なるアプリケーション、コードブロック、オブジェクト、ルーチン、及び／又は関数によってインスタンス化することができる。例として、図２を参照して説明されるモジュールのうちの１つ又は複数をＡＰＩとして実施することができる。
[0082]ディスプレイサブシステム１７６は、データ保持サブシステム１７４によって保持されるデータの視覚的表現を提示するために使用することができる。本明細書に記載の方法とプロセスは、データ保持サブシステムによって保持されるデータを変更し、したがってデータ保持サブシステムの状態を変更するので、ディスプレイ・サブシステム１７６の状態は、同様に、基礎的データの変更を視覚的に表すように変換することができる。ディスプレイサブシステム１７６は、実質的に任意の種類の技術を利用する１つ又は複数のディスプレイデバイスを含んでもよい。このようなディスプレイデバイスは、共有される筐体において論理サブシステム１７２及び／もしくはデータ保持サブシステム１７４と組み合わせることができ、又はそのようなディスプレイデバイスは図１に示すように周辺ディスプレイデバイスであってもよい。
[0083]コンピューティングシステム１７０はさらに、１つ又は複数の目標及び／又はシーンの奥行き画像を取得するように構成される奥行き画像プロデューサー１７８を含む。奥行き画像プロデューサー１７８は、任意の適切な技術（例えば、飛行時間、構造化された光、ステレオ画像など）を介して奥行き情報をもつ動画をキャプチャーするように構成されてもよい。このように、奥行き画像プロデューサー１７８は、デプスカメラ、ビデオカメラ、ステレオカメラ、及び／又は他の適切なキャプチャー装置を含んでもよい。上で図４Ａ−４Ｃを参照して説明されるように、奥行き画像プロデューサーは、生のデプスカメラデータを奥行き画像へと変換する１つ又は複数のオンカメラプロセッサー及び／又はオフカメラプロセッサーを含んでもよい。言い換えれば、デプスカメラは、必要に応じて、1つ又は複数の奥行き分析機能を実行するように構成された１つ又は複数のオンボード処理ユニットを含んでもよい。デプスカメラは、そのようなオンボード処理論理の更新を容易にするためにファームウェアを含んでもよい。
[0084]例えば、飛行時間分析において、奥行き画像プロデューサー１７８は、赤外光をシーンに対して発するように構成される飛行時間型カメラを含んでもよく、シーンの表面からの後方散乱光を検出するためにセンサーを使用してもよい。いくつかの場合には、パルス赤外光を使用することができ、出射光パルスと対応する入射光のパルスとの間の時間を測定して、キャプチャー装置からシーン上の特定の位置までの物理的な距離を決定するために使用することができる。いくつかの場合には、出射光波の位相は位相シフトを決定するために入射光波の位相と比較することができ、位相シフトは、キャプチャー装置からシーン中の特定の位置への物理的な距離を決定するために使用することができる。
[0085]別の例では、飛行時間分析は、シャッター光パルスイメージング（shuttered light pulse imaging）などの技術によって時間にわたって反射された光ビームの強度を分析することによって、キャプチャー装置からシーン内の特定の位置への物理的な距離を間接的に決定するために使用されてもよい。
[0086]別の例では、構造化された光の分析を、奥行き情報を取得するために奥行き画像プロデューサー１７８によって利用することができる。そのような分析では、パターン光（すなわち、グリッドパターンやストライプパターンなどの既知のパターンとして表示される光）をシーン上に投影することができる。シーンの表面上で、パターンは変形されてもよく、パターンのこの変形は、キャプチャー装置からシーン内の特定の位置までの物理的な距離を決定するために検討することができる。
[0087]別の例では、キャプチャー装置は、視覚的なステレオデータを取得するために異なる角度からシーンを見る２つ以上の物理的に分離されたカメラを含んでもよい。このような場合には、視覚的なステレオデータは奥行き画像を生成するために分解することができる。他の実施例では、奥行き画像プロデューサー１７８は、奥行き値を測定及び／又は計算するために他の技術を利用することができる。
[0088]いくつかの実施例では、２つ以上の異なるカメラを、奥行き画像プロデューサーの一部として組み込むことができる。たとえば、デプスカメラやビデオカメラ（例えば、ＲＧＢビデオカメラ）を奥行き画像プロデューサーに組み込むことができる。ビデオカメラが使用される場合、それは、目標追跡データ、シーン解析、画像キャプチャー、顔認識、指（又は他の小さな特徴）の高精度追跡、光センシング、及び／又は他の機能のエラー訂正のための確認データを提供するために使用することができる。
[0089]さらに、上記の説明が単一のデプスカメラの使用／エミュレーションに向けられている一方、上記の互換性技術は、同時に２つ以上のデプスカメラを使用／エミュレートするために使用することができることを理解すべきである。例えば、２つのカメラを、隣接するシーンを表示するために使用することができ、ＡＰＩは、両方のカメラからの情報を効果的に組み合わせて、より広い視野を持つ単一のカメラをエミュレートすることができる。別の例として、単一の広角カメラを使用することができ、ＡＰＩは、異なる方向に見る狭い視野をもつ２つのカメラによって生成されたかのように、２つの別個の奥行き画像を生成することができる。
[0090]いくつかの実施例では、２つ以上のデプスカメラは、異なる視点から同じシーンを見るのに使用することができる。このような場合には、ＡＰＩは、両方のカメラからの情報を効果的に組み合わて、奥行き画像コンシューマーに対して透過的な方法で、より多くの／より良い３Ｄデータを提供することができる。
[0091]本明細書に記載された構成及び／又は手法が本質的に例示的なものであり、多くのバリエーションが可能であるので、これらの特定の実施例又は例は、限定的な意味で考慮されるべきではないことが理解されるべきである。本明細書に記載された特定のルーチン又は方法は、任意の数の処理方法のうちの１つ又は複数を表してもよい。このように、示された様々な動作は、示された順序で、他の順序で、並列に、実行されてもよく、又は他の場合には省略されてもよい。同様に、上記の処理の順序は変更されてもよい。
[0092]本開示の主題は、本明細書に開示された様々なプロセス、システム、構成、他の特徴、機能、動作、及び／又は特性のすべての新規で自明でない組み合わせ及びサブコンビネーションのほか、それらの任意の及びすべての均等物を含む。

Claims (14)

  1. 異なるデプスカメラが、それぞれ、接続される奥行き画像コンシューマーに、使用可能な奥行き画像を提供することを可能にする互換性システムであって、
    奥行き画像コンシューマーに接続されたデプスカメラから、前記奥行き画像コンシューマーによって使用可能でない固有の奥行き画像を受信するキャプチャーモジュールと、
    前記固有の奥行き画像を、前記固有の奥行き画像に対して減少又は修正されたコンテンツの仮想的な奥行き画像に変換する仮想化モジュールであって、前記仮想的な奥行き画像は前記奥行き画像コンシューマーによって使用可能である、仮想化モジュールと、
    前記奥行き画像コンシューマーに前記仮想的な奥行き画像を出力する出力モジュールと
    を具備する互換性システム。
  2. 前記奥行き画像コンシューマーによってサポートされる仮想デプスカメラパラメーターの指示を前記奥行き画像コンシューマーから受信するように構成される初期化モジュールをさらに具備し、前記仮想化モジュールは、前記初期化モジュールから前記仮想デプスカメラパラメーターの指示を受信し、前記仮想デプスカメラパラメーターの指示に従って、前記固有の奥行き画像を前記仮想的な奥行き画像に変換する請求項１に記載のシステム。
  3. 前記サポートされる仮想デプスカメラパラメーターの指示は仮想デプスカメラの視覚角錐を指定し、前記仮想的な奥行き画像は前記仮想デプスカメラの出力として構成される請求項２に記載のシステム。
  4. 前記サポートされる仮想デプスカメラパラメーターの指示は仮想デプスカメラの解像度を指定し、前記仮想的な奥行き画像は前記仮想デプスカメラの出力として構成される請求項２に記載のシステム。
  5. 前記サポートされる仮想デプスカメラパラメーターの指示はデプスカメラのモデルを指定し、前記仮想的な奥行き画像は前記デプスカメラのモデルの出力をエミュレートする請求項２に記載のシステム。
  6. 前記デプスカメラを目標に向けるための目標命令を生成するように構成される初期化モジュールをさらに具備する請求項１に記載のシステム。
  7. 前記初期化モジュールは前記デプスカメラに前記目標命令を送信するようにさらに構成される請求項６に記載のシステム。
  8. 前記減少又は修正されたコンテンツはより狭い又はより縮小された視野を含む請求項１に記載のシステム。
  9. 前記減少又は修正されたコンテンツはより低い解像度を含む請求項１に記載のシステム。
  10. 前記キャプチャーモジュール、前記仮想化モジュール、及び前記出力モジュールは、アプリケーションプログラミングインターフェースの一部として実施される請求項１に記載のシステム。
  11. 異なるデプスカメラが、それぞれ、接続された奥行き画像コンシューマーに、使用可能な奥行き画像を提供することを可能にする方法であって、
    奥行き画像コンシューマーに接続された飛行時間型デプスカメラから固有の奥行き画像を受信するステップであって、前記奥行き画像コンシューマーは構造化された光のデプスカメラとともに使用するように構成され、前記固有の奥行き画像は前記奥行き画像コンシューマーによって使用可能でない、ステップと、
    前記固有の奥行き画像を、前記固有の奥行き画像に対して減少又は修正されたコンテンツの仮想的な奥行き画像に変換するステップであって、前記仮想的な奥行き画像は前記奥行き画像コンシューマーによって使用可能である、ステップと、
    前記奥行き画像コンシューマーに前記仮想的な奥行き画像を出力するステップと
    を含む方法。
  12. 仮想デプスカメラの視覚角錐を指定する、前記奥行き画像コンシューマーによってサポートされる仮想デプスカメラパラメーターの指示を受信するステップをさらに含み、前記固有の奥行き画像は、前記仮想デプスカメラパラメーターの指示に従って、前記仮想的な奥行き画像に変換される請求項１１に記載の方法。
  13. 仮想デプスカメラの解像度を指定する、前記奥行き画像コンシューマーによってサポートされる仮想デプスカメラパラメーターの指示を受信するステップをさらに含み、前記固有の奥行き画像は、前記仮想デプスカメラパラメーターの指示に従って、前記仮想的な奥行き画像に変換される請求項１１に記載の方法。
  14. デプスカメラのモデルを指定する、前記奥行き画像コンシューマーによってサポートされる仮想デプスカメラパラメーターの指示を受信するステップをさらに含み、前記固有の奥行き画像は、前記仮想デプスカメラパラメーターの指示に従って、前記仮想的な奥行き画像に変換され、前記固有の奥行き画像を前記仮想的な奥行き画像に変換するステップは、前記デプスカメラのモデルの出力をエミュレートするステップを含む請求項１１に記載の方法。
JP2012551984A 2010-02-02 2011-01-10 デプスカメラの互換性 Active JP5778182B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/698,940 US8687044B2 (en) 2010-02-02 2010-02-02 Depth camera compatibility
US12/698,940 2010-02-02
PCT/US2011/020690 WO2011097049A2 (en) 2010-02-02 2011-01-10 Depth camera compatibility

Publications (3)

Publication Number Publication Date
JP2013519089A JP2013519089A (ja) 2013-05-23
JP2013519089A5 JP2013519089A5 (ja) 2014-01-23
JP5778182B2 true JP5778182B2 (ja) 2015-09-16

Family

ID=44341280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012551984A Active JP5778182B2 (ja) 2010-02-02 2011-01-10 デプスカメラの互換性

Country Status (8)

Country Link
US (1) US8687044B2 (ja)
EP (1) EP2531979B1 (ja)
JP (1) JP5778182B2 (ja)
KR (1) KR101783379B1 (ja)
CN (1) CN102763420B (ja)
CA (1) CA2786436C (ja)
HK (1) HK1177311A1 (ja)
WO (1) WO2011097049A2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110292036A1 (en) * 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US8654219B2 (en) * 2011-04-26 2014-02-18 Lg Electronics Inc. Method and apparatus for restoring dead pixel using light intensity map in a time-of-flight camera
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US10366299B2 (en) * 2011-10-25 2019-07-30 Bull Hn Information Systems, Inc. Sorting/scanning system camera upgrade apparatus with backwards compatibility
US8660362B2 (en) 2011-11-21 2014-02-25 Microsoft Corporation Combined depth filtering and super resolution
US8989455B2 (en) * 2012-02-05 2015-03-24 Apple Inc. Enhanced face detection using depth information
US20140104394A1 (en) * 2012-10-15 2014-04-17 Intel Corporation System and method for combining data from multiple depth cameras
US9389779B2 (en) * 2013-03-14 2016-07-12 Intel Corporation Depth-based user interface gesture control
CN103543830B (zh) * 2013-10-28 2017-02-15 四川大学 一种人体骨骼点映射至立体显示中虚拟三维空间点的方法
US20170213394A1 (en) * 2014-09-08 2017-07-27 Intel Corporation Environmentally mapped virtualization mechanism
CN107076553B (zh) * 2014-11-05 2020-06-30 Trw汽车美国有限责任公司 使用结构光的增强对象检测
KR102369792B1 (ko) 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법
CN106709865B (zh) * 2015-11-13 2020-02-18 杭州海康威视数字技术股份有限公司 一种深度图像合成方法及装置
KR101893368B1 (ko) * 2018-01-31 2018-09-04 공간정보기술 주식회사 교통 모니터링 카메라를 이용하는 3차원 시정 측정 방법 및 시스템
US11393115B2 (en) * 2018-11-27 2022-07-19 Infineon Technologies Ag Filtering continuous-wave time-of-flight measurements, based on coded modulation images
CN110276791B (zh) * 2019-06-28 2021-04-06 北京航空航天大学 一种参数可配置的深度相机仿真方法
CN116256769A (zh) * 2021-12-10 2023-06-13 浙江舜宇智能光学技术有限公司 iToF深度计算装置、方法、iToF相机模组和系统

Family Cites Families (199)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ja) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
JPH06508788A (ja) 1991-12-03 1994-10-06 フレンチ　スポーテク　コーポレイション 対話型ビデオ式検査および訓練システム
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
JPH07114636A (ja) * 1993-10-15 1995-05-02 Ricoh Co Ltd 画素密度変換装置
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
WO1997041925A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6111582A (en) 1996-12-20 2000-08-29 Jenkins; Barry L. System and method of image generation and encoding using primitive reprojection
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6124864A (en) 1997-04-07 2000-09-26 Synapix, Inc. Adaptive modeling and segmentation of visual image streams
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
DE19716958A1 (de) 1997-04-17 1998-10-22 Zbigniew Rybczynski Optisches Abbildungssystem
US5949430A (en) 1997-05-20 1999-09-07 Microsoft Corporation Peripheral lenses for simulating peripheral vision on a display device
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
JP3969852B2 (ja) * 1998-06-29 2007-09-05 キヤノン株式会社 移動体間通信システム、通信装置
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6373489B1 (en) 1999-01-12 2002-04-16 Schlumberger Technology Corporation Scalable visualization for interactive geometry modeling
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US20040218269A1 (en) * 2002-01-14 2004-11-04 Divelbiss Adam W. General purpose stereoscopic 3D format conversion system and method
DE50302813D1 (de) 2002-04-19 2006-05-18 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US6847728B2 (en) * 2002-12-09 2005-01-25 Sarnoff Corporation Dynamic depth recovery from multiple synchronized video streams
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
JP2005117475A (ja) 2003-10-09 2005-04-28 Canon Inc カメラサーバの色補正方法
US20050089213A1 (en) * 2003-10-23 2005-04-28 Geng Z. J. Method and apparatus for three-dimensional modeling via an image mosaic system
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
GB0329312D0 (en) 2003-12-18 2004-01-21 Univ Durham Mapping perceived depth to regions of interest in stereoscopic images
JP4125252B2 (ja) * 2004-03-02 2008-07-30 株式会社東芝 画像生成装置、画像生成方法、及び画像生成プログラム
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
WO2006074289A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Detecting and tracking objects in images
BRPI0606477A2 (pt) 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
US8009871B2 (en) * 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
KR20070119018A (ko) * 2005-02-23 2007-12-18 크레이그 써머스 3ｄ 카메라 및 3ｄ비디오를 위한 자동 씬 모델링
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
KR100707206B1 (ko) * 2005-04-11 2007-04-13 삼성전자주식회사 3차원 객체의 깊이영상 기반 표현 방법 및 이를 이용한모델링 및 렌더링 방법 및 장치
WO2006114898A1 (en) * 2005-04-25 2006-11-02 Yappa Corporation 3d image generation and display system
WO2006124935A2 (en) 2005-05-17 2006-11-23 Gesturetek, Inc. Orientation-sensitive signal output
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
WO2007035720A2 (en) * 2005-09-20 2007-03-29 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
US20080252661A1 (en) 2005-09-27 2008-10-16 John Allen Hilton Interface for Computer Controllers
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7340098B2 (en) * 2006-03-15 2008-03-04 Matsushita Electric Industrial Co., Ltd. Method and apparatus for image conversion
JP4847184B2 (ja) * 2006-04-06 2011-12-28 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
US7680633B2 (en) 2006-04-25 2010-03-16 Hewlett-Packard Development Company, L.P. Automated process for generating a computed design of a composite camera comprising multiple digital imaging devices
US7573475B2 (en) 2006-06-01 2009-08-11 Industrial Light & Magic 2D to 3D image conversion
CN102685533B (zh) * 2006-06-23 2015-03-18 图象公司 对2d电影进行转换用于立体3d显示的方法和系统
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
KR101336204B1 (ko) * 2006-08-18 2013-12-03 주식회사 케이티 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법 및디코더와 디코딩하는 방법
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7835569B2 (en) * 2006-10-13 2010-11-16 Apple Inc. System and method for raw image processing using conversion matrix interpolated from predetermined camera characterization matrices
JP4793449B2 (ja) 2006-11-10 2011-10-12 三菱電機株式会社 ネットワーク映像合成表示システム
US20080112610A1 (en) * 2006-11-14 2008-05-15 S2, Inc. System and method for 3d model generation
DE102006055641B4 (de) 2006-11-22 2013-01-31 Visumotion Gmbh Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US8358332B2 (en) * 2007-07-23 2013-01-22 Disney Enterprises, Inc. Generation of three-dimensional movies with improved depth control
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US8542907B2 (en) * 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
TWI362628B (en) * 2007-12-28 2012-04-21 Ind Tech Res Inst Methof for producing an image with depth by using 2d image
KR100954281B1 (ko) * 2008-02-14 2010-04-23 한국전자통신연구원 다시점 영상의 엘리애징 제거를 위한 필터링 장치 및 방법
KR101488199B1 (ko) * 2008-03-12 2015-01-30 삼성전자주식회사 영상 처리 방법, 영상 재생 방법, 그 장치 및 기록매체
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
JP4956483B2 (ja) * 2008-05-19 2012-06-20 株式会社東芝 同期信号制御回路
JP4513906B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8619122B2 (en) * 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility

Also Published As

Publication number Publication date
EP2531979A4 (en) 2013-04-24
KR20120138741A (ko) 2012-12-26
WO2011097049A3 (en) 2011-11-24
JP2013519089A (ja) 2013-05-23
EP2531979B1 (en) 2016-04-06
US8687044B2 (en) 2014-04-01
CA2786436A1 (en) 2011-08-11
US20110187819A1 (en) 2011-08-04
CA2786436C (en) 2017-11-07
WO2011097049A2 (en) 2011-08-11
CN102763420B (zh) 2015-07-29
EP2531979A2 (en) 2012-12-12
HK1177311A1 (zh) 2013-08-16
KR101783379B1 (ko) 2017-09-29
CN102763420A (zh) 2012-10-31

Similar Documents

Publication Publication Date Title
JP5655095B2 (ja) デプスカメラの互換性
JP5778182B2 (ja) デプスカメラの互換性
CN109076145B (zh) 用于主动式照明深度相机的自动范围控制
US9519968B2 (en) Calibrating visual sensors using homography operators
Kadambi et al. 3d depth cameras in vision: Benefits and limitations of the hardware: With an emphasis on the first-and second-generation kinect models
US8878906B2 (en) Invariant features for computer vision
US8660362B2 (en) Combined depth filtering and super resolution
JP7337091B2 (ja) 飛行時間カメラの低減された出力動作
US20120242795A1 (en) Digital 3d camera using periodic illumination
CN109255749B (zh) 自主和非自主平台中的地图构建优化
US20230206565A1 (en) Providing augmented reality in a web browser
KR20140019765A (ko) 구조광 및 스테레오 비전에 기초한 깊이 카메라
Hitomi et al. 3D scanning using RGBD imaging devices: A survey
CN110544278B (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
KR20200049958A (ko) 3차원 깊이 측정 장치 및 방법
US20220180545A1 (en) Image processing apparatus, image processing method, and program
US20230245396A1 (en) System and method for three-dimensional scene reconstruction and understanding in extended reality (xr) applications
Planche et al. Physics-based differentiable depth sensor simulation
CN117095045A (zh) 车内控制器的定位方法、装置、设备及存储介质
Dufour Real-time stereo-matching on embedded hardware for MAVs

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150512

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150708

R150 Certificate of patent or registration of utility model

Ref document number: 5778182

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250