JP5739409B2 - 第１の画像デバイスおよび第２の画像デバイスの相対位置を決定する方法及びこれらデバイス - Google Patents

Description

本発明は、カメラ較正技法ひいてはカメラ較正デバイスの分野に関する。本発明は、第１の画像デバイスおよび第２の画像デバイスの相対的な位置および方向を決定するための方法および装置、ならびにその用途に関する。

２つまたは複数のカメラでシーンを取り込む場合、たとえばシーン内のオブジェクトの３Ｄ情報を導き出すなど、取り込まれたデータまたは情報を効果的に使用するために、それらのカメラの特性が必要になることも多い。それらの特性は通常、カメラの位置、カメラの方向、および、たとえば解像度、視界、傾斜などのような内部カメラ・パラメータ（固有パラメータとも呼ばれる）を含む。たとえばシーンの３次元モデルを作成する場合、この情報は通常極めて重要である。カメラ情報の回復は、従来技術において「カメラ較正」と呼ばれることが多い。

現在の解決策では、較正を行なうために、カメラによって取り込まれたカラー情報を使用する。しかし、多くの場合、較正ステップが必要とされるが、このステップでは較正オブジェクトが現実のシーンに物理的に組み入れられるか、または挿入されることが求められる。次いで、較正オブジェクトの既知の特性が、カメラ・パラメータを回復するために使用される。

そのような較正オブジェクトを必要としない解決策も他にあるが、そうした解決策は時間を要するおよび／または信頼性が高くない。それらの解決策は、初期化が困難であるか、特定のタイプの特徴を持つシーンでしか機能しないか、またはシーンに関する追加の知識もしくは情報を必要とするといった問題を抱えていることが多い。それらの解決策は、エンド・ユーザに透過的なカメラの較正を行なえるようにはしない。さらに、カメラの較正を保持しながら、移動中のカメラをサポートすることは困難である。従来技術の方法では、その上さらに、相当な処理機能が必要になる。

また従来技術の多くは、リアルタイム３Ｄ情報を抽出できるようになっていない。

従来技術において、たとえば仮想世界のような仮想環境において、たとえばオブジェクトを表すためにオブジェクトのこの３Ｄ情報を使用するなど、実オブジェクトの３Ｄ情報を導き出すための技法が存在する。実オブジェクトを３Ｄデジタル情報で変換するための既存の技法の１つの例は、１つまたは複数のレーザーを用いてオブジェクトをスキャンするステップを備える。

「第１」、「第２」、「第３」などのような用語が使用される場合、それは必ずしも、順次または時系列順が想定されることを意味するものではない。

「備える」という用語は、その他の要素またはステップを除外することのないように解釈されるべきである。

本発明の第１の態様によれば、それぞれ第１および第２の画像デバイスの第１および第２の画像において共通に示されるオブジェクトの画像を比較することにより、第１および第２の画像デバイスの相対的な位置および方向を決定するための方法であって、第１および第２の画像デバイスは、それぞれの画像の第１および第２の深度情報をそれぞれ提供するように適合され、少なくとも第１および第２の深度情報が決定に使用される方法が開示される。

本発明の実施形態は、カメラ較正プロセスを最適化するために場合によってはカラーデータに加えて、深度情報およびデータを採用する。深度値は通常、この技術により使用可能なカメラの場合、ピクセルごとのカラー値に加えて使用可能である。深度値は、深さの相対的な概念を示す特定の範囲内の値である。画像のすべての深度値のセットは深度マップを表し、深度マップは従来技術において知られているさまざまな手段により取得することができる。これはたとえば、（たとえば、飛行時間測定法を用いて）カラーデータと併せて深度データを直接取り込むことにより得られる。深度データを導き出すためのもう１つの、より一般的な方法は、そのような深度マップをシーンの２つの（またはそれ以上の）隣接する画像から生成することである。隣接する画像は、十分に重複する画像として定義されてもよい。一般に使用されるのは、同じ平面内の画像平面に配置されるカメラであり、カメラ中心間の距離は３ｃｍから１００ｃｍである。この深度情報を採用することにより、較正オブジェクトを物理的に処理してシーンに組み入れる必要なく、迅速にカメラ較正（位置および方向）を行なうことができ、動的なカメラ構成が実現する。

本発明の実施形態によれば、方法は、
ａ．少なくとも４つの基準点のセットを決定するステップを含み、基準点は、投影された基準点として第１の画像および第２の画像において認識可能であり、さらに、
ｂ．第１の画像における基準点の画像の第１の深度情報を使用することにより、第１の画像デバイスに関して基準点の仮想位置を導き出すステップと、
ｃ．第１の画像デバイスのあらかじめ定められた方向を設定するステップと、
ｄ．第２の画像における基準点の画像の第２の深度情報を使用することにより、仮想基準点に関して第２の画像デバイスの位置を導き出すステップと、
ｅ．第２の画像の基準点の画像と仮想基準点との間の位置合わせを最適化することにより、第２の画像デバイスの方向を決定するステップとを含む。

第１の画像デバイスの方向は、すべての回復された位置および方向がこのあらかじめ定められた方向（およびこの第１の画像デバイスの位置）と相対的になるので、自由に決定することができる。

「基準点」という用語は３Ｄ表現に対して使用され、「（特定の画像デバイスの）投影基準点」という用語は、画像デバイスによるそれらの関連付けられている２Ｄ表現に対して使用される。さらに、「実」基準点と「仮想」基準点の間に区別をつけることができるが、第１の基準点は現実世界における実際の点であり、第２の基準点は、画像デバイスから仮想３Ｄ空間に逆投影される基準点である（実および仮想は「完全な」システム、すなわちエラーを取り込むことのないシステムにおいて等価でなければならない）。少なくとも４つの実基準点は、実点と見なすことができ、第１および第２の画像デバイスのいずれによっても表示可能な現実世界の点である。少なくとも４つの仮想基準点は、画像デバイスからの投影基準点から導き出される点と見なすことができる。

少なくとも４つの（投影された）基準点は、たとえば自動画像認識またはその他の従来技術の認識技法によって自動的に決定されてもよい。

好ましくは、少なくとも４つの仮想基準点は、同じ平面内にはない。

本発明の実施形態によれば、第２の画像の基準点の画像と基準点との位置合わせを最適化するステップは、
ａ．第２の画像の仮想基準点の画像のうちの少なくとも１つをその対応する投影基準点と位置合わせするステップと、
ｂ．位置合わせされた投影基準点を画像デバイス中心と接続する直線によって定義される、基準点の画像のもう一方をそれらの各々の仮想基準点に最大限に対応させるために必要な、回転軸周囲の回転の角度を決定するステップとを含む。

理想的な事例において、仮想基準点の画像のもう一方は、その他のそれぞれの投影基準点で正確にマップされてもよい。実際には、対応は完全ではないこともあり、対応の最適化または最大化が実行されてもよい。最適化の方法は、位置および方向のいずれの取得にも使用することができ、それらの方法の選択は、画像の予測されるノイズと（２Ｄおよび深度）、結果に要求される精度により異なる。位置取得を最適化する１つの手段は、エネルギー関数で従来技術のエネルギー最小化法を使用することである。

ここで、Ｒは２つの画像デバイスの投影基準点のセットであり、ｌ_２は画像デバイス２の中心の位置であり、ｄｉｓｔ（ｘ，Ｙ）は（３Ｄ）点ｘおよび球体Ｙとの間の距離を返す関数であり、ｐｒｏｊ（ｘ，Ｃ）は、カメラ・パラメータＣを使用する投影された（２Ｄ）点ｘの投影を返す関数であり、ｓｐｈｅｒｅ（ｘ，ｄ）は、中心ｘおよび半径ｄの球体を返す関数であり、ｄｅｐｔｈ（ｘ）は、投影基準点ｘの深度を返す関数である。方向の最適化はまた、類似するエネルギー最小化法を使用することもできる。この場合、最小化されるべきエネルギー関数は以下のとおりである。

ここで、Ｒは２つの画像デバイスの投影基準点のセットであり、ｒ_２は第２の画像デバイスの方向であり、ｄｉｓｔ（ｘ，ｙ）は（２Ｄ）点ｘと（２Ｄ）点ｙの間の距離を返す関数であり、ｐｒｏｊ（ｘ，Ｃ）は、カメラ・パラメータＣを使用する投影された（２Ｄ）点ｘの投影を返す関数であり、ｐｒｏｊ^−１（ｘ，Ｃ）は、カメラ・パラメータＣを使用する（３Ｄ）点ｘの逆投影を返す関数であり、ｃａｍ（ｉ，ｌ，ｒ）は、固有パラメータｉ、および外部パラメータｌ（位置）ならびにｒ（方向）から成るカメラ・パラメータを返す関数であり、Ｃ_１、ｉ_２、およびｌ_２はこの操作中に静的であると見なされる。

単一カメラ最適化の代替は、マルチカメラ最適化である。上記で説明された単一カメラ最適化において、誤差は非基準のカメラにある。マルチカメラ最適化において、それらの誤差は、すべての画像デバイスにわたり分散されてもよい。この場合、依然として結果の第１の概算のために基準カメラを使用し、次いで、（画像デバイスの予測されるノイズ・マージン内の）仮想基準点の位置および他の画像デバイスを十分な結果に収束するように適合することにより、結果を最適化する。上記で説明されるように、この場合、類似する方法が使用されてもよいが（エネルギー最小化と比較）、可変パラメータは、すべての関与する画像デバイス（基準画像デバイスを除く）および仮想基準点に拡張されてもよい。このマルチカメラ最適化を使用する選択は、入力データの予想されるノイズ、および較正結果の必要な精度に依存する。特定のビューにおいて、基準カメラがその初期の位置および方向を保持するが、このカメラからもたらされる仮想基準点は「唯一の正しい解決策」としては見なされない。これらの仮想基準点の座標はまた、変数として見なされ、（カメラ・ノイズに応じて）特定のしきい値内を移動されてもよい。この場合の最適化には、非基準カメラのカメラ位置／方向、ならびに仮想基準点を決定することが求められる。そのようなものとして、誤差はまた、（移動する仮想基準点により）基準カメラにも存在し、最小化の目標は、すべての画像デバイスに可能な限り少ない誤差を同等に分散することであってもよい。

最大化の問題を解決するためのその他の方法は、当業者に知られている。

２つ以上の画像デバイスの相対位置の相対的位置付けの取得プロセスを、それらの相対的位置付けを導き出すサブプロセスと、それらの相対的方向を決定するサブプロセスという２つのサブプロセスに分解することで、相互に関する画像デバイスの相対的位置付けを、効率的に、しかも消費処理力を抑えて、比較的迅速に決定することができるようになる。

本発明の実施形態によれば、方法は、２つ以上の画像デバイスの位置および方向を決定する際に固有カメラ・パラメータを考慮に入れるステップをさらに備える。

本発明のさらなる態様によれば、２つ以上の画像デバイスの相対的な位置および方向を決定するための方法は、たとえば、あらかじめ定められた第１の画像デバイスに関してさらなる画像デバイスの相対位置を反復的に決定することによってなど、相互に関してさらなる画像デバイスの相対的な位置および方向を反復的に決定することにより実行されてもよい。前述のマルチカメラ較正は、基準画像の概念を曖昧にして、異なる画像デバイスを、予測されるノイズに関して同等に処理することができるようにする。

本発明の態様によれば、シーン内の少なくとも１つのオブジェクトの３Ｄ情報（位置、方向、大きさなど）を導き出す方法が開示され、方法は、
ａ．シーンの少なくとも２つの画像を提供するステップを含み、いずれの画像もオブジェクトを備え、画像はオブジェクトに関して異なる位置および方向で撮影され、さらに、
ｂ．本発明の第１の態様の実施形態による方法を用いて、相互に関して画像デバイスの相対位置を導き出すステップと、
ｃ．少なくとも２つの画像デバイスの相対的な位置および方向を考慮に入れることにより、少なくとも１つのオブジェクトの３Ｄ情報を導き出すステップとを含む。

３Ｄ情報は、２Ｄ入力で表示された点の３Ｄ位置を備える（ただし、これに限定されることはない）。３Ｄ情報の一部を成すその他の情報は、３Ｄ点における面の方向（「法線（ｎｏｒｍａｌ）」と呼ばれることが多い）の方向、（テクスチャーのような）カラー情報などである。

本発明の実施形態によれば、少なくとも１つのオブジェクトの３Ｄ情報は時間依存である。言い換えれば、３Ｄ情報はリアルタイムで決定されうるので、特定の実施形態により画像デバイス自体が位置および／または方向を変化させている場合であっても、少なくとも２つの画像デバイスによって画像処理されるオブジェクトの形態の動きおよび場合によっては変化を識別することが可能になる。

その他の実施形態において、画像デバイスの相対的な位置および方向は、最初に決定されてもよく、その後一定または不変に保持されてもよい。これらの実施形態はさらに、リアルタイム３Ｄオブジェクト情報を決定するために必要な処理力を低減する。

方法は、仮想環境において使用できるように実オブジェクトを３Ｄオブジェクト情報に変換する（取り込む）ために使用することができる。

本発明の実施形態による方法は、あらかじめ定められた数の画像デバイスの固定された位置および方向を取得するために使用されてもよく、その画像はさらに３Ｄテレビ会議に使用される。

３Ｄテレビ会議は、（２つのビデオ・ストリームを取り込むために入力に２つのカメラ、およびたとえばシーンを立体で表示するために出力側にステレオ・グラス（立体メガネ）を使用する）簡単な立体ビデオを備えることができる。３Ｄテレビ会議は、さまざまな出席者を３Ｄで表現している会議室（必ずしも実際の会議室の純粋な仮想表現でなくてもよい）である仮想環境を提供するステップを備えることができる。この３Ｄ情報により、これらの出席者の１つの特定の視野角によって制約を受けることはない。

本発明の第２の態様によれば、それぞれ第１および第２の画像デバイスの第１および第２の画像において共通に示されるオブジェクトの画像を比較することにより、第１および第２の画像デバイスの相対的な位置および方向を決定するために適合されるデバイスであって、第１および第２の画像デバイスは、それぞれの画像の第１および第２の深度情報をそれぞれ提供するように適合され、少なくとも第１および第２の深度情報が決定に使用されるデバイスが開示される。

デバイスは、
ａ．少なくとも４つの基準点のセットを決定する手段を備え、基準点は、第１の画像および第２の画像において認識可能であり、さらに、
ｂ．第１の画像の基準点の画像の第１の深度情報を使用することにより、第１の画像デバイスに関して基準点の位置を導き出す手段と、
ｃ．第１の画像デバイスの妥当と思われる方向を決定する手段と、
ｄ．第２の画像の基準点の画像の第２の深度情報を使用することにより、仮想基準点に関して第２の画像デバイスの位置を導き出す手段と、
ｅ．第２の画像の基準点の画像と基準点との間の位置合わせを最適化することにより、第２の画像デバイスの方向を決定する手段とを備えることができる。

デバイスは、決定の際に固有カメラ・パラメータを考慮に入れる手段をさらに備えることができる。

本発明の実施形態によれば、デバイスは、たとえば、第１のあらかじめ定められた画像デバイスに関してさらなる画像デバイスの相対位置を反復的に決定することによってなど、相互に関してさらなる画像デバイスの相対的な位置および方向を反復的に決定することにより、２つ以上の画像デバイスの相対的な位置および方向を決定する手段を備える。

本発明のさらなる態様は、従属クレームによって説明される。従属クレームからの特徴、独立クレームのいずれかの特徴、およびその他の独立クレームのいずれかの特徴は、当業者に適切と見なされるように組み合わされてもよく、特許請求の範囲によって定義される特定の組み合わせに限定されることはない。

添付の図面は、本発明の実施形態を説明するために使用される。

本発明による実施形態を説明する図である。 本発明による実施形態を説明する図である。 本発明による実施形態を説明する図である。 本発明による実施形態を説明する図である。 本発明による実施形態を説明する図である。 ３Ｄジオメトリが、さまざまな位置および方向からの共通オブジェクトから撮影されたさまざまな２Ｄ画像から導き出される、３Ｄジオメトリ合成のコンテキストの範囲内の本発明の実施形態を説明する図である。 現実世界のシーンの３Ｄジオメトリ合成のためのワークフローを説明する図である。本発明の実施形態による「深度マップを使用したカメラ較正」は、そのような方法に完璧な役割を果たす。本発明による実施形態の出力は、使用される画像デバイス（たとえばカメラ）の位置および方向である。 本発明による実施形態に基づいて可能な用途の可能な内部ワークフローを示す図である。

参照符号は、異なる図表または図面において類似または等価の要素または特徴に対して同じ符号となるように選択されている。

以下の詳細な説明をそれぞれの図面と合わせて読むことにより、本発明の上記およびその他の有利な特徴および目的はより明らかとなり、本発明はさらに深く理解されるであろう。

本発明の態様の説明は、特定の実施形態を用い、特定の図面を参照して行なわれるが、本発明はそれらに限定されることはない。示される図面は、概略図であり、限定的なものと見なすべきではない。たとえば、特定の要素または特徴は、その他の要素に関して、不釣り合いであるか、または不均衡に示されることもある。

本発明による特定の実施形態の説明において、さまざまな特徴は場合により、さまざまな発明の態様の１つまたは複数の理解を補助する目的で、単一の実施形態、図面、またはその説明にグループ化されている。これは、特定の問題を解決するためにグループのすべての特徴が必ずしも存在するかのように解釈されるべきではない。発明の態様は、特定の実施形態の説明の中にあるような特徴のグループのすべての特徴にあるわけではない。

本発明の実施形態（図１に示される）は、既知の固有パラメータを持つ複数の深度対応のカメラ（１，２）（カラー（１１、２１）および深度データ（１２、２２）を共に提供するカメラ）を使用してシーン（オブジェクト（３）を備える）が取り込まれるとき、これらの複数のカメラを較正できるようにする。較正プロセスは、たとえば、２つのカメラを同時に処理することができる（前述のようなマルチカメラ最適化を使用する場合、これは２つのカメラに限定されないことに留意されたい）。カメラ（画像デバイス）の相対位置は、多数（少なくとも２つ）のカメラのカメラのペアごとに決定されてもよい。

最初に、多数の特徴対応が必要とされ、それらの特徴対応は、同じ３Ｄシーン点を表すシーンの２Ｄカメラビュー内の点である。これは、図２に示される。少なくとも４つのそのような特徴対応（Ａ、Ｂ、Ｃ、Ｄ）が必要とされ、そのうち多くとも３つは同じ３Ｄ平面内にあってもよい（たとえば、これは深度マップを検査することにより決定されうる）。リアルタイム要件と組み合わされたシステムの計算能力に基づいて、より多い特徴対応、またはより少ない特徴対応が選択されてもよい。最も信頼性の高い対応が、好ましく選択されてもよい（最も確実であるもの）。当業者には、そのような対応を識別するための方法が知られている。

カメラのうちの２つの対応が使用可能になると、較正プロセスを続行することができる。最初に、第１のカメラ（１）は、空間内の特定の位置に配置されてもよく、あらかじめ定められた回転を与えられる。これは、空間内のその他の（１つまたは複数の）カメラを位置付けるための基準をもたらす。第２のカメラ（２）の取得された位置および方向（たとえば、回転）特性は、好ましくは、第１のカメラ（１）の位置および回転と相対的であってもよい。

第１のカメラ（１）の位置および方向を固定することにより、このカメラの画像平面の基準点（Ａ、Ｂ、Ｃ、Ｄ）を３Ｄ空間に逆投影することができる。これは、最初にカメラ情報（位置、方向、および固有パラメータ）および基準点の２Ｄ位置（Ａ）を使用して、３Ｄ空間に直線（Ｌ１）を指定することによって行なわれる。次いで、関連特徴点（Ａ）の深度情報（Ｚ^１ _Ａ）が使用され、前述の直線（Ｌ１）上に点（Ａ’）を指定する。これは図３に説明されており、Ｌ１は３Ｄ空間における直線を示し、Ａ’は深度情報Ｚ^１ _Ａによって定義されたこの直線上の点を示す（深度は全体を通じてＺで示される）。

これは、すべての基準点Ａ、Ｂ、Ｃ、Ｄについて繰り返すことができ、その結果Ｚ^１ _Ａ、Ｚ^１ _Ｂ、Ｚ^１ _Ｃ、Ｚ^１ _Ｄを介する３Ｄ基準点Ａ’、Ｂ’、Ｃ’、Ｄ’が得られる。

第２のカメラ（２）の位置（たとえば、既知のピンホール・カメラ・モデルのピンホールの位置）を取得することは、カメラ（２）の視点から、第２のカメラから見たときのすべての対応する基準点（Ａ’、Ｂ’、Ｃ’、Ｄ’）の深度に最もよく対応する３Ｄ空間内の位置を決定することによって達成されうる（第２のカメラ（２）の深度マップはすべての基準点の深度Ｚ^２ _Ａ、Ｚ^２ _Ｂ、Ｚ^２ _Ｃ、Ｚ^２ _Ｄを定義する）。これは図４に説明され、４つの特徴点は（カメラ２の深度マップを使用して）それらの深度と共に使用可能である。

４つの基準（または特徴）点を使用する場合、このカメラ位置を取得する手段は、４つの球体を明示的に交差することによって行なわれ、すべての球体はその中心として３Ｄ空間に基準点（Ａ’、Ｂ’、Ｃ’、Ｄ’）を有し、その半径は第２のカメラ（２）の深度マップによって指定される深度（Ｚ^２ _Ａ、Ｚ^２ _Ｂ、Ｚ^２ _Ｃ、Ｚ^２ _Ｄ）と等しい。最初の２つの球体は交差され、その結果円を形成する。この円を第３の球体と交差すると、その結果２つの点が得られる。球体４との交差は、２つの点のうちの１つをカメラ位置として選択する。完全な入力データが与えられない場合、さらに複雑な決定技法が適用されてもよい。

カメラの位置（ＣＣ）を取得した後、方向が計算される。必要とされる情報は、カメラ２の画像平面（ＰＡ２、ＰＢ２、ＰＣ２、ＰＤ２）に投射される基準点（Ａ、Ｂ、Ｃ、Ｄ）を備える。方向は、基準点（Ａ’、Ｂ’、Ｃ’、Ｄ’）をできる限り一致させるために決定されてもよい（たとえば、カメラをそのピンホールを中心に回転させて、基準点投影（ＰＡ２、ＰＢ２、ＰＣ２、ＰＤ２）を所定のカメラ画像平面（Ａ、Ｂ、Ｃ、Ｄ）上の特徴点位置と一致させる）。

これを解決するための１つの手段は、１つの特徴点投影（たとえば、ＰＢ２）を選択することから開始する。カメラは、この特徴点を画像平面（Ｂ）の正しい位置に投影するために方向付けられている。ここで、カメラ中心（ＣＣ）および選択された特徴点の投影（ＰＢ２）によって定義された軸を中心とする回転Ｒは、カメラの画像平面上の他の投影点と適合させるために必要である。これは、図５に示される。左の画像は、１つの基準点投影ＰＢ２が、画像平面（Ｂ）上の特徴点の位置と適合されている。右の画像において、残りの基準点投影と適合するために、カメラの回転が、前述の軸または直線を中心に実行される。たとえばあらかじめ定められたメトリックによる最適な適合は、カメラの方向を回復するために使用される。

本発明の実施形態は、さまざまな用途に使用されてもよい。一部の例を以下に説明する。

本発明の実施形態は、家庭用３Ｄ通信ソリューションの一部であってもよい（図６を参照）。ユーザは、自身の周囲の複数の深度対応のカメラによって記録される（たとえば、深度マップ抽出に２つずつ使用されるウェブカム）。次いで、これらのカメラの位置および方向は、本発明の実施形態を使用して取得されてもよく、これによりユーザによって実行される明示的較正ステップを必要とせずに較正を行なうことができ、１つ、複数、またはすべてのカメラの移動が可能になる。

較正情報が計算された後、複数のカメラのカラーおよび深度情報は、さまざまなユース・ケースに使用することができるが、その１つはシーンの３次元モデルの作成である。これは、たとえば、ボクセル空間で複数の深度マップを刻むことによって行なわれてもよい。次いで、そのようなモデルは、仮想世界で統合されてもよく、リアル・アクター（ユーザのモデル）との仮想環境における３Ｄ通信を可能にする。

図７は、現実世界シーンの３Ｄジオメトリ合成のためのワークフローを説明する。本発明の実施形態による「深度マップを使用したカメラ較正」は、そのような方法に完璧な役割を果たす。本発明による実施形態の出力は、使用される画像デバイス（たとえばカメラ）の位置および方向であってもよい。次いで、この出力は、複数のカメラの深度マップを３Ｄ空間に逆投影するために使用されてもよい。次いで、これらの測定は、たとえば多角形モデル抽出のような、より高レベルの３Ｄモデルをそれらに適合させるために使用されてもよい。

図８は、本発明による実施形態に基づく可能な用途の可能な内部ワークフローを示す。最初に、２つ以上の２次元および深度情報の画像２Ｄ＋Ｚが生成されるか、または提供される。次いで、特徴対応は、画像の（少なくとも１つの）ペアの間で抽出される（９１）。次いで、カメラの位置は、３Ｄ空間の推定された基準点と、カメラビューの深度値との差を最小化することにより取得される（９２）。次いで、カメラの方向は、３Ｄ空間からの投影された基準点と、既知の画像座標との差を最小化することにより取得される（９３）。プロセスは、オプションで、複数の反復を可能にするようにループ（９４）を備えることができる。これらの反復は、最終結果の精度を高めることができる。必要とされる反復の量は、入力データの予想されるノイズ、および出力に要求される精度に応じて異なる。

本明細書において説明される一部の実施形態は、他の実施形態に含まれる他の特徴を一部含むことも含まないこともあるが、当業者には理解されるように、さまざまな実施形態の特徴の組み合わせは、本発明の範囲内であり、さまざまな実施形態を形成することが意図される。

本発明の原理は、特定の実施形態に関連して上記で説明されてきたが、この説明が例示のために過ぎず、添付の特許請求の範囲によって決定される保護の範囲を限定するものではないことを明確に理解されたい。

当業者であれば、本発明の実施形態が、少なくとも以下の利点を提供できることを理解するであろう。
− 現実の較正オブジェクトを物理的に処理してシーンに再現することにより、カメラ較正の必要がなくなる。
− さまざまなカメラの相対的位置付けを相対位置および相対方向に分割することで、必要な処理力の大幅な低減が可能になるので、必要な処理力を比較的低く抑える。
− 特定の実施形態によれば、実際のカメラは、たとえばレーザー・スキャニングに基づくようなさらに複雑および／または高価なソリューションを必要とすることなく、３Ｄオブジェクト情報を導き出すために使用することができる。
− 少なくとも部分的には、必要とされる処理力が比較的低く抑えられることによってもたらされる、本発明の実施形態は、移動するオブジェクトのリアルタイム３Ｄ情報を抽出できるようにする。

Claims (15)

1. それぞれ第１の画像デバイス及び第２の画像デバイスの第１の画像及び第２の画像において共通に示されるオブジェクトの画像を比較することにより、該第１の画像デバイス及び該第２の画像デバイスの相対的な位置及び方向を決定する較正方法であって、該第１の画像デバイス及び該第２の画像デバイスは、該それぞれの画像の第１の深度情報及び第２の深度情報をそれぞれ提供するように適合され、少なくとも該第１の深度情報及び該第２の深度情報が該決定に使用され、該第１の画像デバイス及び該第２の画像デバイスによって取り込まれた２又はそれ以上の新しい画像により、該第１の画像デバイス及び該第２の画像デバイスにおいてそれぞれ深度データが得られる、較正方法。
   
2. 請求項１に記載の方法において、
   ａ．少なくとも４つの基準点のセットを決定するステップを含み、該基準点は、投影された基準点として該第１の画像及び該第２の画像において認識可能であり、さらに、
   ｂ．該第１の画像における該基準点の該画像の該第１の深度情報を使用することにより、該第１の画像デバイスに関して該基準点の仮想位置を導き出すステップと、
   ｃ．該第１の画像デバイスの予め定められた方向を設定するステップと、
   ｄ．該第２の画像における該基準点の該画像の該第２の深度情報を使用することにより、該仮想基準点に関して該第２の画像デバイスの位置を導き出すステップと、
   ｅ．該第２の画像の該基準点の該画像と該仮想基準点との間の位置合わせを最適化することにより、該第２の画像デバイスの方向を決定するステップとを備える、請求項１に記載の方法。
   
3. 請求項２に記載の方法において、
   該少なくとも４つの基準点は自動的に決定される、方法。
   
4. 請求項２乃至３のいずれか１項に記載の方法において、
   該第２の画像の該基準点の該画像と該基準点との位置合わせを最適化する該ステップは、
   ａ．該第２の画像の該仮想基準点の該画像のうちの少なくとも１つをその対応する投影基準点と位置合わせするステップと、
   ｂ．該位置合わせされた投影基準点を該画像デバイス中心と接続する直線によって定義される、該基準点の該画像のもう一方をそれらの各々の仮想基準点に最大限に対応させるために必要な、回転軸周囲の回転の角度を決定するステップとを備える、方法。
   
5. 請求項１乃至４のいずれか１項に記載の方法において、
   該相対的な位置及び方向の決定において固有カメラ・パラメータを考慮に入れるステップをさらに備える、方法。
   
6. 請求項１乃至５に記載の方法のいずれかにより、予め定められた第１の画像デバイスに関してさらなる画像デバイスの相対的な位置及び方向を反復的に決定することにより、２つ以上の画像デバイスの相対的な位置及び方向を決定する方法。
   
7. シーン内の少なくとも１つのオブジェクトの３Ｄ情報を導き出す方法であって、
   ａ．該シーンの少なくとも２つの画像を提供するステップを含み、いずれの画像も該オブジェクトを備え、該画像は該オブジェクトに関して異なる位置及び方向で撮影され、さらに、
   ｂ．請求項１乃至５のいずれか１項に記載の方法を用いて、相互に関して該画像デバイスの相対位置を導き出すステップと、
   ｃ．該少なくとも２つの画像デバイスの相対的な位置及び方向を考慮に入れることにより、該少なくとも１つのオブジェクトの３Ｄ情報を導き出すステップとを備える、方法。
   
8. 請求項７に記載の方法において、
   該少なくとも１つのオブジェクトの該３Ｄ情報は時間依存である、方法。
   
9. 請求項７又は８のいずれか１項に記載の方法において、
   該画像デバイスの該相対的な位置及び方向は初期化後に一定に保持される、方法。
   
10. 仮想環境において使用できるように実オブジェクトを３Ｄオブジェクト情報に変換するための、請求項７に記載の方法の使用。
    
11. 予め定められた数の画像デバイスの固定された位置及び方向を取得するための、請求項１乃至６のいずれか１項に記載の方法の使用であって、該画像デバイスの画像は３Ｄテレビ会議にさらに使用される、方法。
    
12. それぞれ第１の画像デバイス及び第２の画像デバイスの第１の画像及び第２の画像において共通に示されるオブジェクトの画像を比較することにより、該第１の画像デバイス及び該第２の画像デバイスの相対的な位置及び方向を決定するように適合された較正デバイスであって、該第１の画像デバイス及び該第２の画像デバイスは、該それぞれの画像の第１の深度情報及び第２の深度情報をそれぞれ提供するように適合され、少なくとも該第１深度情報及び該第２の深度情報が該決定に使用され、該第１の画像デバイス及び該第２の画像デバイスによって取り込まれた２又はそれ以上の新しい画像により、該第１の画像デバイス及び該第２の画像デバイスにおいてそれぞれ深度データが得られる、較正デバイス。
    
13. 請求項１２に記載のデバイスにおいて、
    ａ．少なくとも４つの基準点のセットを決定する手段を備え、該基準点は、投影基準点として該第１の画像及び該第２の画像において認識可能であり、さらに、
    ｂ．該第１の画像の該基準点の該画像の該第１の深度情報を使用することにより、該第１の画像デバイスに関して該基準点の仮想位置を導き出す手段と、
    ｃ．該第１の画像デバイスの予め定められた方向を決定する手段と、
    ｄ．該第２の画像の該基準点の該画像の該第２の深度情報を使用することにより、該仮想基準点に関して該第２の画像デバイスの位置を導き出す手段と、
    ｅ． 該第２の画像の該基準点の該画像と該仮想基準点との間の位置合わせを最適化することにより、該第２の画像デバイスの方向を決定する手段とを備える、デバイス。
    
14. 請求項１２又は１３のいずれか１項に記載のデバイスにおいて、
    該相対的な位置及び方向の決定において固有カメラ・パラメータを考慮に入れる手段をさらに備える、デバイス。
    
15. 請求項１２乃至１４のいずれか１項に記載のデバイスにおいて、
    第１の予め定められた画像デバイスに関してさらなる画像デバイスの相対的な位置及び方向を反復的に決定することにより、２つ以上の画像デバイスの相対的な位置及び方向を決定する手段を備える、デバイス。

Images