JP7350343B2 - 対象物の３次元画像を生成するための方法およびシステム - Google Patents

Description

本明細書に記載の実施形態は、対象物の3次元画像を生成するための方法およびシステムに関する。

3次元表面イメージング(3D表面イメージング)は、急速に成長している技術分野である。本明細書で使用される「3D表面イメージング」という用語は、3次元すべての空間情報をキャプチャすることによって、言い換えれば、従来の画像または写真に存在する2次元空間情報に加えて深度情報をキャプチャすることによって、対象物の表面の3D表現を生成するプロセスを指すと理解することができる。この3D表現は、たとえば、画面上に「3D画像」として視覚的に表示することができる。

対象物の表面の3D画像を生成するために必要なデータを取得するために、いくつかの異なる技法を使用することができる。これらの技法は、構造化された光照明、飛行時間型イメージング、ホログラフィック技法、ステレオシステム(アクティブとパッシブの両方)、およびレーザライン三角測量を含むが、これらに限定されない。いずれの場合も、データは「点群」の形でキャプチャされ得、この場合、強度値は3次元空間内の様々な点に対して記録され、群内の各点はそれ自身の(x、y、z)座標のセットおよび関連付けられる強度値Iを有している。

図1は、点群内のデータがどのようにメモリに記憶され得るかの例を示している。図示されるように、データは、N行およびM列を有する2次元の点群行列101の形で記憶される。行列内の各要素は、群内の点の{x_ij、y_ij、z_ij}座標を含むデータタプルを含み、ここで、i={1、2…N}、j={1、2、…M}であり、NおよびMは整数値である。データタプルはまた、その点の強度値I_ijを含む。強度値とそれらのそれぞれの空間座標は一緒に、検討されている対象物の外部表面のジオメトリを定義する。対象物の3D表現を提供するために、点は3次元においてレンダリングされうる。

場合によっては、点群データは、2Dセンサアレイを使用して獲得した対象物の1つまたは複数の2次元画像から計算され得る。そのような場合、点群行列内の要素は、センサアレイ内のピクセル要素にマッピングされ得る。たとえば、所与の行列要素について、iおよびjの添え字は、センサアレイ内のそれぞれのピクセル要素の位置を示し得る。すると、{x_ij、y_ij、z_ij}座標は、2次元画像のうちの1つまたは複数においてそのピクセルが見られるような、点の空間内の位置を定義し得る。

すべての形式のイメージングと同様に、最終的な3D画像における信号対ノイズ比(SNR)は、画像データをキャプチャするために使用されるセンサのダイナミックレンジによって部分的に決定される。たとえば、対象物の表面がいくつかの非常に明るい領域と非常に暗い領域を含むため、対象物上の様々な点から受信した信号強度が大幅に変化する可能性がある場合、(i)対象物のより暗い領域から十分な光が受けられることを保証するために、照明強度および/またはセンサ露出時間を最大化することと、(ii)対象物のより明るい領域からの信号でセンサが飽和するのを避けるために、照明強度および/またはセンサ露出時間を最小化することとの間でバランスをとる必要がある。この問題に対処するために、提案されている解決策の1つは、ハイダイナミックレンジ(HDR)イメージングの概念を3Dイメージングに適用することである。ハイダイナミックレンジ(HDR)イメージングは、デジタル画像において見られる光レベルのダイナミックレンジを拡大するために確立された技法である。本技法は、同じシーンのいくつかの画像を異なる露出時間でキャプチャすることと、シーンの単一のHDR画像を生成するために画像からのデータを後処理することとを含む。より長い露出時間でキャプチャされる画像は、より短い露出時間でキャプチャされる画像ではカメラに到達する信号が不十分なために判別することができないような、シーンのより暗い領域における詳細のキャプチャを可能する。一方、より短い露出時間でキャプチャされる画像は、より長い露出時間でキャプチャされる画像ではカメラの飽和のために判別することはできないような、シーンのより明るい領域における詳細のキャプチャを可能にする。適切なHDRアルゴリズムを使用してこれらの画像を後処理することによって、詳細の要素が画像の明るい領域と暗い領域の両方において可視である単一の高精細画像を取得することが可能である。

HDRイメージングの原理は、広く言えば、従来の2Dイメージングと同じ方法で3Dイメージングに適用可能である。図2は、これが実装され得る方法の例を概略的に示している。2DのHDRイメージングと同様の方法で、複数の画像データセットを異なる露出設定でキャプチャすることができるが、この場合、画像データセットは2D画像データではなく3D画像データを含み、すなわち、画像データセットは、見られているシーン内の点の3次元位置を特定する。各画像データセットは、それぞれの点群行列201a、201b、201cの形で記憶されることができる。次いで、複数の点群行列を単一の点群行列203に統合されることができ、そこから3DのHDR画像がレンダリングされることができる。しかしながら、3DのHDRイメージングは、2DのHDRイメージングと比較して追加の課題をもたらす。1つの問題は、2Dイメージングとは対照的に、各点の3次元座標を取得するために追加の計算ステップが必要になることであり、獲得した画像データのSNRの不足による影響は、この追加の計算によって悪化され得、出力画像における各点の3D座標が計算される精度に大きな影響を与える。

したがって、3DのHDR画像を生成する改善された技法を提供する必要がある。

「Structured light projection for accurate 3D shape determination」(O. SkotheimとF. Couweleers、ICEM12-第12回実験力学に関する国際会議、2004年8月29日-9月2日、イタリア、ポリテクニコディバリ) Giovanna Sansoni、Matteo Carocci、およびRoberto Rodellaによる「Three-dimensional vision based on a combination of Gray-code and phase-shift light protection: analysis and compensation of the systematic errors」-Applied Optics、38、6565-6573、1999年

本発明の第1の態様によれば、対象物の3次元画像を生成するための方法が提供され、本方法は、
対象物を撮像するために使用される撮像系から入力点群データのセットを受け取るステップであって、入力点群データのセットは2つ以上の点群を含み、各点群は対象物の表面上の点の3次元座標を定義し、各入力点群内のデータは、撮像系によって獲得された画像データのそれぞれのセットから計算され、画像データの各セットは、撮像系の異なる露出設定を用いて獲得される、ステップと、
それぞれの入力点群内の点ごとに、品質パラメータの値を決定するステップであって、それぞれの点の品質パラメータの値は、点群内のその点について特定される3次元座標における不確実性の程度を反映する、ステップと、
入力点群データのセットから点のグループを識別するステップであって、各グループは各入力点群からの点を含む、ステップと、
対象物表面の3D表現を生成するための出力点群を生成するステップであって、出力点群は、対象物の表面上の点の3次元座標を定義する、ステップと、
を含み、
出力点群内の点ごとに、それぞれの点の座標は識別された点のグループのそれぞれの点の座標値に基づいて計算され、グループ内の各点の座標値が計算において考慮される範囲は、それぞれの点に関連付けられる品質パラメータの値に基づいて決定され、
出力点群内のデータに基づいて対象物の3次元画像をレンダリングするステップを含む。

撮像系は、光センサを備える光学撮像系であり得る。各入力点群内のデータは、光センサでキャプチャされた対象物の1つまたは複数の2D画像から計算され得る。

画像データの各セットを獲得するために使用される露出設定は、
前記センサの統合時間と、
センサ感度と、
対象物とセンサとの間の経路にある開口絞りのサイズと、
対象物を照らすために用いられる光の強度と、
対象物とセンサとの間の光路に配置されたNDフィルタの強度
のうちの1つまたは複数を変更することによって変更され得る。

各入力点群内のデータは、それぞれの2次元点群行列として記憶され得る。行列内の各要素は、それぞれの点の3次元座標、点の強度値、およびその点の品質パラメータの値を含み得る。各グループ内の点は、それぞれの入力点群行列において同じ要素の位置を有するものとして識別され得る。センサは2次元ピクセルアレイを含み得る。行列要素は、アレイ内のそれぞれのピクセル要素にマッピングされ得る。

撮像系は、画像データの各セットを取得するために構造化照明を用いるものであり得る。

画像データの各セットは、センサでキャプチャされた対象物の2D画像のシーケンスを含み得る。シーケンス内の各2D画像は、異なる照明パターンを用いてキャプチャされ得る。それぞれの露出設定の入力点群行列を計算するために、シーケンス内の画像が使用され得る。

入力点群行列ごとに、入力点群行列内の要素ごとの品質パラメータは、画像のシーケンスにわたって対応するピクセルにおいて見られるコントラストの尺度を含み得る。

入力点群行列ごとに、入力点群行列内の要素ごとの品質パラメータは、画像のシーケンスにわたって対応するピクセルにおいて見られる強度における標準偏差に基づいて計算され得る。

入力点群行列ごとに、入力点群行列内の要素ごとの品質パラメータは、画像のシーケンスにわたって対応するピクセルにおいて見られる強度の最大輝度と最小輝度の差に基づいて計算され得る。

入力点群行列ごとに、入力点群行列内の要素ごとの品質パラメータは、その点において3D座標におけるモデル化された誤差に基づいて計算され得る。誤差は、画像のシーケンスにわたって対応するピクセルにおいて見られる強度の関数としてモデル化され得る。

画像データの各セットは、グレイコード化された画像のシーケンスおよび位相シフトされた画像のシーケンスを含み得る。ピクセル要素ごとに、点群内のそれぞれの点の座標が計算される値を導出するために、グレイコード化された画像および位相シフトされた画像のシーケンスからのデータが結合され得る。点群内の各点の座標の誤差は、それぞれのピクセル要素に対して計算された値における誤差の関数としてモデル化され得る。

各入力点群は、点ごとの色情報を含み得る。色情報は、RGB値として符号化され得る。

本発明の第2の態様によれば、コンピュータによって実行されると、コンピュータに本発明の第1の態様による方法を実行させるコンピュータ実行可能コードを含むコンピュータ読み取り可能な記憶媒体が提供される。

本発明の第3の態様によれば、対象物の3次元画像を生成するためのシステムが提供され、本システムは、
対象物から画像データを獲得するためのセンサと、
センサの露出を変化させるためのコントローラであって、センサが異なる露出で画像データのそれぞれのセットを獲得するように構成された、コントローラと、
獲得された画像データを処理するためのプロセッサであって、画像データのセットごとに、入力点群を生成するように構成され、点群は、対象物の表面上の点の3次元座標と各点の強度値を定義する、プロセッサと
を含み、
プロセッサは、
それぞれの入力点群内の点ごとに、品質パラメータの値を決定することであって、それぞれの点の品質パラメータの値は、点群内のその点について特定される3次元座標における確実性の程度を反映する、ことと、
入力点群データのセットから点のグループを識別することであって、各グループは各入力点群からの点を含む、ことと、
対象物表面の3D表現を生成するための出力点群を生成することであって、出力点群は、対象物の表面上の点の3次元座標と各点の強度値を定義する、ことと
を行うようにさらに構成され、
出力点群内の点ごとに、それぞれの点の座標は識別された点のグループのそれぞれの点の座標値に基づいて計算され、グループ内の各点の座標値が計算において考慮される範囲は、それぞれの点に関連付けられる品質パラメータの値に基づいて決定され、また、
出力点群内のデータに基づいて対象物の3次元画像をレンダリングするように構成される。

撮像系は、光学的撮像系であり得る。センサは光センサであり得る。各入力点群内のデータは、光センサでキャプチャされた対象物の1つまたは複数の2D画像から計算され得る。

コントローラは、
前記センサの統合時間と、
センサの感度と、
対象物とセンサとの間の経路にある開口絞りのサイズと、
対象物を照らすために用いられる光の強度と、
対象物とセンサとの間の光路に配置されたNDフィルタの強度と
のうちの1つまたは複数を変更することによって露出を変更するように構成され得る。

各入力点群内のデータは、それぞれの2次元点群行列として記憶され得る。行列内の各要素は、それぞれの点の3次元座標、点の強度値、およびその点の品質パラメータの値を含み得る。各グループ内の点は、それぞれの入力点群行列において同じ要素の位置を有するものとして識別され得る。

光センサは2次元ピクセルアレイを含み得る。行列要素は、アレイ内のそれぞれのピクセル要素にマッピングされ得る。

撮像系は、画像データの各セットを取得するために構造化照明を使用するものであり得る。

画像データの各セットは、光センサでキャプチャされた対象物の2D画像のシーケンスを含み得る。シーケンス内の各2D画像は、異なる照明パターンを使用してキャプチャされ得る。それぞれの露出設定の入力点群行列を計算するために、シーケンス内の画像が使用され得る。

入力点群行列ごとに、入力点群行列内の要素ごとの品質パラメータは、画像のシーケンスにわたって対応するピクセルにおいて見られるコントラストの尺度を含み得る。

入力点群行列ごとに、入力点群行列内の要素ごとの品質パラメータは、画像のシーケンスにわたって対応するピクセルにおいて見られる強度における標準偏差に基づいて計算され得る。

入力点群行列ごとに、入力点群行列内の要素ごとの品質パラメータは、画像のシーケンスにわたって対応するピクセルにおいて見られる強度の最大輝度と最小輝度の差に基づいて計算され得る。

入力点群行列ごとに、入力点群行列内の要素ごとの品質パラメータは、その点において3D座標におけるモデル化された誤差に基づいて計算され得る。誤差は、画像のシーケンスにわたって対応するピクセルにおいて見られる強度の関数としてモデル化され得る。画像データの各セットは、グレイコード化された画像のシーケンスおよび位相シフトされた画像のシーケンスを含み得る。ピクセル要素ごとに、点群内のそれぞれの点の座標が計算される値を導出するために、本システムは、グレイコード化された画像および位相シフトされた画像のシーケンスからのデータを結合するように構成され得る。点群内の各点の座標の誤差は、それぞれのピクセル要素に対して計算された値における誤差の関数としてモデル化され得る。

センサは、色画像センサであり得る。各入力点群は、点ごとの色情報を含み得る。色情報は、RGB値として符号化され得る。

本明細書で説明する実施形態は、対象物の3DのHDR画像を取得するための手段を提供する。3DのHDR画像は、画像データの複数のセットをキャプチャすることによって取得される。画像データは、当技術分野において知られているいくつかの技法の1つを使用して取得され得る。これらの技法は、たとえば、構造化された光照明、飛行時間型イメージングおよびホログラフィック技法、ならびにステレオイメージング(アクティブとパッシブの両方)およびレーザライン三角測量を含み得る。対象物表面上の点の3次元座標とそれらの強度を特定するそれぞれの入力点群を計算するために、画像データの各セットを使用することができる。次いで、対象物の3D画像をレンダリングできる単一の出力点群を提供するように、各点群内の情報を結合または統合することができる。

重要なことは、それぞれの入力点群行列を計算するために使用される画像データのセットは、撮像系の露出が画像データのセットごとに異なるように、異なる露出設定で獲得されることである。ここで、「露出設定」は、システムの露出を変化させるために調整することができる撮像系の物理的パラメータを指す。光学撮像系が使用されている場合、画像データの各セットをキャプチャする間に変化する設定は、たとえば、カメラ/光センサの統合時間、カメラ/光センサ絞りのサイズ、シーンまたは対象物を照らすために用いられる光の強度、およびカメラまたは光センサの感度を含み得る。カメラまたは光センサの感度は、たとえば、デバイスに適用されるゲインを調整することによって変更され得る。別の例では、対象物とカメラ/光センサとの間の光路に減光フィルタが配置され得る。次いで、減光フィルタの強度は、カメラまたは光センサに到達する光の量を変化させるために、画像データの新しいセットが獲得されるたびに変更され得る。

いくつかの実施形態では、露出設定のうちの1つだけが露出ごとに変更されてもよく、他の露出設定は、画像データの新しいセットが獲得されるたびに一定のままである。他の実施形態では、2つ以上の設定が、画像データの新しい各セットをキャプチャする間に変更され得る。

より多くの露出で画像データが獲得される場合、これにより、対象物またはシーンのより暗い領域から検出される信号が最大になる。それによって、より暗い領域の点のSNRを増加することができ、その画像データのセットから点群をコンパイルするときに、それらの点の空間座標をより正確に計算することが可能になる。逆に、露出を減らすように露出設定を調整すると、カメラや光センサが飽和することなく、対象物またはシーンのより明るい領域からキャプチャされる信号を最大化することが可能になり、したがって、露出を減らすことによって、より明るい領域内の点のSNRを増加させることができる第2の画像データのセットを取得することが可能である。次に、それらのより明るい領域内の点の空間座標をより正確に計算することができる第2の点群を生成することが可能になる。次いで、これらの異なる点群からのデータは、対象物のより明るい領域とより暗い領域の両方で出力3D画像内のSNRが確実に向上するような方法で結合することができる。

それぞれの点群からのデータをどのように最良に結合するかを決定するために、本明細書で説明される実施形態では、追加の「品質パラメータ」が、画像データの各セット内の点ごとに評価される。図3は、一実施形態において使用される点群行列301の例を示している。図1の従来の点群行列とは対照的に、図3における点群行列内の各要素は、追加の値q_ijを含む。品質パラメータq_ijの値は、行列内のそれぞれの点の{x_ij、y_ij、z_ij}座標における不確実性の程度を反映している。いくつかの実施形態では、品質パラメータの値は、その点における{x_ij、y_ij、z_ij}値における予想される誤差の最良の推定を提供する。

品質パラメータは、それぞれの入力点群において画像データをキャプチャするために使用される特定の技法に応じて、いくつかの異なる方法の1つで定義され得る。以下でより詳細に論じる一例では、出力点群が計算される画像データを獲得するために構造化照明手法が使用され、この場合、所与の点の品質パラメータの値は、たとえば、構造化照明パターンにおける明るい縞と暗い縞が対象物の表面に投影されるときに、対象物の表面上のその点において見られるコントラストの程度から導出され得る。言い換えれば、品質パラメータは、照明パターン内の明るい縞によって照らされたときにその点から検出された光の量と、暗い縞によって照らされたときにその点から検出された光の量との差に関連してもよく、そこから導出されてもよい。いくつかの実施形態では、一連の正弦波変調された強度パターンが対象物に投影され得、連続する画像における強度パターンは、互いに対して位相シフトされており、ここでは、強度パターンのそれぞれが対象物に投影されるため、品質パラメータは、各点において測定された強度に関連してもよく、そこから導出されてもよい。

別の例では、飛行時間システムを3Dイメージングに使用する場合、その点における品質パラメータの値を導出するために、所定の点における復元された信号の振幅がシステム内の環境光の尺度と比較され得る。さらなる例では、ステレオ撮像系を使用する場合、品質パラメータは、第1のカメラでキャプチャされた画像内で識別された特徴を第2のカメラでキャプチャされた画像内で識別された特徴と比較および照合することと、一致の品質のスコアを決定することとによって取得され得る。スコアは、たとえば、絶対差の和(SAD)として計算される。

上式で、(r、c)は画像ピクセル座標であり、I₁、I₂はステレオ画像のペアであり、(x、y)はSADが評価される視差であり、(A、B)はマッチングが行われるアレイの次元(ピクセル数)である。ピクセル(r、c)の視差推定値(x'、y')は、(x'、y')=argmin_x、ySAD(r、c、x、y)を用いて見いだされる。次いで、推定されたSAD値によっては、これはステレオ画像に基づいて再構築された点群の各点における3D座標における不確実性の尺度としてさらに解釈することができる。必要に応じて、SADは、たとえばパフォーマンスを向上させるために領域的な画像強度に向けて正規化することができる。

入力点群データを獲得するためにどの特定の撮像方法が使用されるかに関係なく、出力点群内の点の座標値の導出時に各それぞれの入力点群内の空間座標の値が考慮される範囲を決定するために、品質パラメータを使用することができる。たとえば、出力点群行列内の所与の要素{i、j}について、その点の座標値のセット{x_ij、y_ij、z_ij}は、入力点群行列内の同じ位置{i、j}における座標値の各セット{x_ij、y_ij、z_ij}にそれぞれの重み付けを適用することによって導出され得る。各行列に適用される重み付けは、それぞれの行列内のその位置における品質パラメータq_ijの値に依存し得る。このようにして、出力点群行列内の値{x_ij、y_ij、z_ij}は、問題の点においてより高いSNRを有する画像データセットから取得された値に偏らせることができる。

別の例では、出力点群行列内の要素{i、j}の座標値のセット{x_ij、y_ij、z_ij}は、入力点群行列のうちの1つから{x_ij、y_ij、z_ij}値を選択することによって選択され得る。値が選択される入力点群行列は、他の入力行列と比較して、その点においてqの値が最も高いものであり得る。

別の例では、出力点群行列内の所与の要素{i、j}について、その点の座標値のセット{x_ij、y_ij、z_ij}は、入力された点群行列内の{i、j}の位置にある座標値の各セット{x_ij、y_ij、z_ij}を平均化することによって導出され得る。すなわち、出力点群行列内の値x_ijは、それぞれの入力点群行列内の点{i、j}における値x_ijのそれぞれの平均を含み得、出力点群行列内の値y_ijは、それぞれの入力点群行列内の点{i、j}における値y_ijのそれぞれの平均を含み得、出力点群行列内の値z_ijは、それぞれの入力点群行列内の点{i、j}における値z_ijのそれぞれの平均を含み得る。平均化は、しきい値基準の対象となり得、それによって、関連付けられるq値がしきい値を超える値のみが、平均値を計算する際に使用される。したがって、たとえば、入力点群行列のうちのいずれかの要素における値{x_ij、y_ij、z_ij}が、しきい値を下回るq値を伴う場合、出力点群行列内で使用される値{x_ij、y_ij、z_ij}を計算する目的では、その要素における値{x_ij、y_ij、z_ij}は無視され得る。

しきい値基準は、上述の他のシナリオにも適用され得ることが理解されよう。たとえば、入力行列の点群行列内の同じ位置{i、j}にある座標値のセット{x_ij、y_ij、z_ij}にそれぞれの重み付けを適用することによって、出力点群行列内の要素{i、j}の値{x_ij、y_ij、z_ij}を計算する場合、ゼロの重み付けは、しきい値を下回るq値を伴う座標値のそれらのセット{x_ij、y_ij、z_ij}に適用され得る。

次に、本発明の実施形態を、添付の図面を参照して例として説明する。

従来の点群行列の例を示す図である。 単一の点群行列を形成するために、複数の点群行列が統合または結合され得る方法を示す図である。 本明細書に記載の実施形態における点群行列の例を示す図である。 本明細書に記載の実施形態におけるステップのフローチャートである。 一実施形態における構造化照明撮像系の概略を示す図である。 対象物から3D空間情報を復元するためにグレイコーディングと位相シフトの組合せが使用される実施形態において、GCPS値における標準偏差が信号振幅の関数としてどのように変化し得るかの例を示す図である。 複数の入力点群行列が図5の撮像系を使用してどのように取得され、単一の出力点群行列を生成するために使用され得るかを示す略図である。 本明細書に記載の実施形態における点群行列の例を示す図である。

図4は、本明細書に記載の実施形態において実行されるステップのフローチャートを示している。第1のステップS401において、複数セットの3D画像データが撮像系によって獲得される。撮像される対象物の表面上の異なる点の3D座標を定義するそれぞれの入力点群を、各点における表面の強度または輝度レベルの値とともに計算するために、3D画像データの各セットを使用することができる。

ステップS402において、品質パラメータの値は、それぞれの入力点群のそれぞれの各点に関連付けられるデータについて評価される。上述のように、品質パラメータの値は、各点における3次元座標における不確実性の尺度を含む。品質パラメータは、それぞれの入力点群内の各点において空間座標を計算するために使用される獲得された強度値の関数として計算され得る。

ステップS403において、獲得された画像データのセットのそれぞれに含まれる画像データに基づいて、3D画像データの単一の出力セットが計算される。獲得された画像データセットと同様に、画像データの出力セットは、各点における表面の強度または明るさのレベルと一緒に、撮像されている対象物の表面上の異なる点の3D座標の値を定義する。ここで、3D座標の値は、それぞれの品質パラメータ値に従って、それぞれの入力点群において特定される3D座標の値に重み付けすることによって計算される。すると、出力画像データセットは、対象物の3D画像をレンダリングするために使用されうる(ステップS404)。

次に、図5から図7を参照して、3D画像データを獲得するために構造化された光照明方法を用いる例示的な実施形態について説明する。

図5を参照すると、構造化された光照明を用いて対象物501の3D画像をキャプチャするのに適したシステムの概略図が示されている。システムは、プロジェクタ503およびカメラ505を備える。プロジェクタは、空間的に変化する2D照明パターンを対象物501に投影するために使用される。パターン自体は、一連の明るい縞507と暗い縞509を含む。パターンは、たとえば、空間光変調器を使用して生成され得る。カメラ505は、プロジェクタによって照らされた対象物の2D画像を獲得するために使用される。

カメラとプロジェクタの間の角度により、対象物の表面トポロジに変化があると、カメラによって検出されるように、明るい縞と暗い縞のパターンが歪む。当然のことながら、パターンの歪みは対象物の3D表面に関する情報を符号化し、その表面トポロジを推定するために使用されることができる。3D情報は、対象物が異なるパターンの光で照らされている連続した画像をキャプチャし、画像のシーケンスにわたってピクセルごとの測定された強度を比較することによって、復元されることができる。

本実施形態では、3D情報を取得するために位相シフト技法が用いられる。位相シフトは、正弦波変調強度パターンのシーケンスが対象物に投影され、各パターンが前のパターンに対して位相シフトされている、よく知られた技法である。強度パターンが変更されるたびに、照らされた対象物の2D画像がキャプチャされる。対象物の表面トポロジの変化は、表面全体の異なる点においてカメラによって見られるように、強度パターンの位相における変化を引き起こす。2D画像のシーケンス全体で同じピクセルにおける光の強度を比較することによって、各点における位相を計算し、対象物に関する深度情報を取得するためにこれを使用することが可能になる。データは2Dアレイとして出力され、各要素はカメラのピクセルのそれぞれ1つにマッピングされ、そのピクセルにおいて見られる点の3D空間座標を定義する。

位相シフトに加えて、他の技法も3D空間情報を復元するために使用され得ることが理解されよう。たとえば、いくつかの実施形態では、グレイコーディング技法、またはグレイコーディングと位相シフトの組合せが使用され得る。2D画像のシーケンスから3D空間情報を復号するために使用される正確なアルゴリズムは、特定の照明パターンと、それらのパターンが画像のシーケンスにわたって変化する方法によって異なり、これらおよびその他の技法を使用して深度情報を復元するためのアルゴリズムのさらなる情報は、「Structured light projection for accurate 3D shape determination」(O. SkotheimとF. Couweleers、ICEM12-第12回実験力学に関する国際会議、2004年8月29日-9月2日、イタリア、ポリテクニコディバリ)という出版物で入手可能である。いずれの場合も、対象物の3D空間情報は、照明パターンが変化し、点がパターンの明るい領域と暗い領域にさらされるときの対象物上の各点における強度の変化を考慮することによって計算される。

3D空間情報を復元するためにグレイコーディングと位相シフトの組合せが用いられる1つの例では、一連のグレイコードと位相シフトパターンの両方を対象物に投影するためにプロジェクタが使用される。(そのような方法のさらなる詳細については、たとえば、Giovanna Sansoni、Matteo Carocci、およびRoberto Rodellaによる「Three-dimensional vision based on a combination of Gray-code and phase-shift light protection: analysis and compensation of the systematic errors」-Applied Optics、38、6565-6573、1999年)と題する記事において見つけることができる。ここで、対象物上の点ごとに、(i)プロジェクタのピクセル座標、すなわち、対象物上のその点に入射する光が放射されるプロジェクタ内のピクセル位置、および(ii)カメラのピクセル座標、すなわち、対象物上のその点によって反射された光がキャプチャされるカメラ内のピクセル位置の、2つの対応するピクセル位置を定義することができる。適切なアルゴリズムを使用して、カメラとプロジェクタの相対位置(これらの相対位置は標準的なキャリブレーション測定を使用して簡単に決定される)を考慮して、カメラピクセルごとに対応するプロジェクタのピクセル座標を決定するために、カメラにおいてキャプチャされた画像を処理することができる。実際には、特定のカメラピクセルがどのプロジェクタピクセルを「見ている」かに関して決定することができる。さらに、グレイコードパターンと位相シフトパターンから受け取った画像データを結合することによって、プロジェクタピクセル自体よりも高い解像度でプロジェクタピクセル座標を決定することができる。

上記の方法論は次のように理解することができる。第1に、N個のグレイコードパターンの数を選択し、位相シフトパターンにおける正弦波の縞の数を2^Nに設定することによって、縞をN個のグレイコードパターンのシーケンス内のバイナリ遷移に揃えることができる。結果として得られるグレイコードワードGC(i、j)と位相φ(i、j)について取得された値は、視野内の各位置における絶対的な縞の位置を表す「GCPS」値のセットを形成するために結合されることができる。次に、コードの最小/最大値からプロジェクタ画像の幅(w_p)と高さ(h_p)への値のスケーリングを行うことによって、プロジェクタのピクセル座標を決定するために、GCPS値を使用することができ、実際には、カメラのすべてのピクセル内の正弦パターンの位相を推定することによって、「縞の変位」を測定することができる。

次に、以下を定義することができる。

上式で、GC_v(i、j)はグレイコード測定の結果であり、φ_v(i、j)は位相ステッピング測定の結果であり、いずれも垂直の縞で行われる。(以前と同様に、添え字i、jは画像センサのピクセル要素を指す)。上記の式から、次いで、カメラ画像内のピクセルごとの元のサブピクセルプロジェクタ列を計算することができる。

上式で、α_maxおよびα_minは、垂直の縞のGCPSコードの最大値と最小値である。同様に、水平の縞を使用してGCPS値を取得する場合、以下を定義することができる。

次いで、β(i、j)についての式を使用して、カメラ画像内のピクセルごとの元のサブピクセルプロジェクタ行を次のように計算することができる。

上式で、β_maxおよびβ_minは、水平の縞のGCPSコードの最大値と最小値である。

サブピクセルプロジェクタの列と行の座標P_c(i、j)、P_r(i、j)を取得すると、撮像されている対象物上の点の{x、y、z}座標を取得するためにそれらの値を使用することができ、具体的には、プロジェクタg上の点から光を受けるように確立されている所与のカメラピクセルpについて、座標{x_ij、y_ij、z_ij}を有する対象物上の点の位置推定値Eは、ステレオビジョンに使用されるものに似た、レンズパラメータ、カメラとプロジェクタとの間の距離などを考慮に入れる、知られている三角測量法を使用することによって導出することができる。

各GCPS値における不確実性は、復元された信号の振幅に大きく影響され、周囲光の存在にはそれほど影響を受けない。本発明者らによって実行された実験は、GCPS値における不確実性が、受信された信号の振幅が特定のレベルを下回るまで典型的にはかなり一定であり、その後、不確実性がほぼ指数関数的に増加することを示しており、これは、測定された振幅と周囲光が、あらかじめ確立されたモデルを通じて、GCPS値の予想される測定の不確実性に変換されうることを意味し、図6に例が示されており、これは、GCPS値における標準偏差(std)を強度の関数として示している。上記の位置推定値Eを取得するために使用したのと同じ計算を使用するが、プロジェクタピクセルの位置をg+Δgとし、ただし、Δgは検出された信号振幅におけるGCPS値における標準偏差から導出されるものとすると、新しい位置推定E'を取得することが可能である。すると、位置測定値Eにおける推定標準偏差ΔEは、ΔE=|(|E-E'|)|であると仮定することによって導出されることができる。すると、推定値ΔEは、品質パラメータを定義するために使用されることができる。

構造化照明に正確にはいずれのアルゴリズムが使用されているかに関係なく、3D空間情報を高精度で計算するために、対象物上の各点における強度の変動を最大の信号対ノイズで測定することが望ましいことは明らかであり、このことは、次に、特定の点が照明パターンの明るい領域と暗い領域に交互にさらされると見られる強度のコントラストが、可能な限り高いことを必要とする。上述の説明と同様に、特定の点におけるコントラストの範囲は、対象物の表面全体にわたる広範囲の強度に対応する必要性によって制限されうる。対象物の表面自体が多数の明るい領域と暗い領域を含むならば、カメラのダイナミックレンジが有限であるため、対象物のより明るい領域が照明パターンにおけるより明るい縞にさらされる飽和効果も発生させないで、対象物の表面の暗い領域から復元した信号を最大化することが可能ではない場合がある。したがって、1回の露出で表面上のすべての点において見られる強度のコントラストを最適化することは可能でないことがある(このコンテキストでは、「露出」は、それぞれの点群を計算することができる2D画像のシーケンスのキャプチャを指すと理解される)。

上記の問題に対処するために、本明細書に記載の実施形態では、いくつかの露出が、異なる設定を用いて行われる。この例を図7に図式的に示す。まず、2D画像の第1のシーケンスは、露出設定の第1のセットを使用してキャプチャされる。現在の例では、露出設定は、カメラの絞りの相対サイズを変更することによって変更されるが、露出設定はまた、撮像系の1つまたは複数の他のパラメータを調整することによっても変更され得ることが理解されよう。円701は、画像の第1のシーケンスをキャプチャするために使用されるカメラの絞りの相対サイズを示し、パターン703a、703b、703cは、画像の第1のシーケンスにおいてそれぞれの画像をキャプチャするときに対象物に投影される照明パターンを示している。図から分かるように、各照明パターン703a、703b、703cは、一連の交互に明るい縞と暗い縞が対象物に投影される正弦波変調強度パターンを含む。視野全体のパターンの位相は、各パターンのすぐ下の波によって概略的に示され、パターンにおける暗い縞は波の谷に対応し、明るい縞は波のピークに対応する。図から分かるように、連続する画像における照明パターンは、互いに対して位相シフトされ、各パターンにおける明るい縞と暗い縞の位置は、互いに対して平行移動される。2D画像のシーケンス全体で同じピクセル内の光の強度を比較し、その点における深度情報を計算するために、適切なアルゴリズムが使用される。次いで、3次元空間情報は、点ごとの強度値とともに、第1の点群行列705に記憶される。

3次元座標{x、y、x}および強度値Iに加えて、点群行列705における各要素は、前に図3に示したように、品質パラメータqの値を含む。本実施形態では、値qは、3つの異なる照明パターン703a、703b、703cが対象物に投影されるときに見られるそれぞれのカメラピクセルI_n(i、j)における観測強度の標準偏差に基づいて決定される。別の実施形態では、値qは、画像のシーケンスにわたってそのピクセルにおける強度の最大値と最小強度との間の差に基づいて決定される。このようにして、品質パラメータは、画像のシーケンスにわたって各ピクセルにおいて見られるコントラストの尺度を定義する。

プロセスの次の段階では、円707で反映されるように、カメラの絞りのサイズを拡大することによって露出設定が調整され、それによってカメラに到達する対象物からの光の量が増加する。2D画像の第2のシーケンスがキャプチャされ、照明パターン709a、709b、709cは、シーケンス内の画像ごとに再び変化する。2D画像の第2のシーケンスは、要素ごとの深度情報を、強度値および品質パラメータqの値とともに記録する第2の入力3D画像点群711を計算するために用いられる。画像の第1のシーケンスと画像の第2のシーケンスの間の露出が異なるため、所与のピクセル要素{i、j}において見られるコントラストの程度は、画像の2つのシーケンス間で異なる可能性があり、たとえば、所与のピクセル要素{i、j}において検出された最大強度レベルと最小強度レベルの差は、2つの画像セット間で異なる。したがって、第1の点群行列705に記録されたqの値は、第2の点群行列711におけるqの値とは異なる可能性がある。

さらなるステップにおいて、円713に示されるように、カメラの絞りのサイズを拡大することによって露出設定がさらに調整される。2D画像の第3のシーケンスがカメラにキャプチャされ、照明パターン715a、715b、715cが対象物に投影される。第3の入力3D画像の点群行列717を計算するために2D画像の第3のシーケンスが用いられ、これも、要素ごとの深度情報を、強度値と品質パラメータqの値と一緒に記録する。第1の点群行列と第2の点群行列の場合と同様に、画像の第2のシーケンスと画像の第3のシーケンスの間の露出の差は、同じピクセル要素{i、j}において見られるコントラストの程度が画像の第2のシーケンスと画像の第3のシーケンスの間で異なる可能性があることを意味する。したがって、第3の点群行列717に記録されたqの値は、おそらく第1の点群行列705および第2の点群行列711の両方とは異なる可能性がある。

画像のシーケンスごとの点群行列を計算すると、本方法は、単一の出力点群行列719をコンパイルするために、それぞれの点群行列におけるデータを使用することによって続行し、次いで、単一の出力点群行列719は、対象物の3D表現をレンダリングするために用いられることができる。

図7に示される例は、合計3つの画像の入力シーケンスを含むが、これは単なる例であり、出力点群行列は、任意の数Nの点群をキャプチャすることによって計算され得、N>=2であることが理解されよう。同様に、上述の例では、画像の各シーケンスをキャプチャする間にカメラの絞りのサイズを大きくすることによって露出が変更されたが、これが、露出が変更され得る唯一の手段ではないことは容易に理解され、露出が変更され得る方法の他の例は、照明強度の増加、カメラの統合時間の増加、カメラの感度またはゲインの増加、対象物とカメラとの間の光路に配置された減光フィルタの強度の変更などを含む。

異なる露出設定で複数の3D画像をキャプチャし、単一の出力3D画像を提供するためにそれらのデータセットからのデータを結合することによって、本明細書で説明する実施形態は、カメラのダイナミックレンジの制限を補正するのに役立ち、対象物表面上のより暗い点とより明るい点の両方に強化された信号対ノイズ比を提供する。そうすることで、実施形態は、3D表面イメージングの従来の方法を使用するならば、最終画像から完全に欠落するか、さもなければノイズに支配されるであろう領域から、使用可能なデータがキャプチャされることを保証するのに役立ち、また、対象物の表面トポグラフィが、このような従来の3D表面イメージングの方法と比較して、より正確にマッピングされることを保証することができる。

上述の実施形態では、カメラセンサはグレイスケールで撮像していると仮定されており、すなわち、センサに入射する合計光レベルに関連して、各ピクセルにおいて単一の強度値が測定される。しかしながら、本明細書に記載される実施形態は、カラー撮像シナリオに等しく適用可能であることが理解されるであろう。たとえば、いくつかの実施形態では、カメラセンサは、入射光を赤、緑、および青のチャネルに分解するためにベイヤーマスクが使用されるRGBセンサを備え得、他の実施形態では、カメラセンサは、3つの別個のCCDセンサがそれぞれの赤、青、および緑の光信号を収集するために使用される3つのCCDデバイスを備え得る。この場合、点群行列は、上述の実施形態と同じ方法で獲得されるが、各行列要素内で、強度値I_ijは、3つの色強度r_ij、g_ij、b_ijに分解される。図8は、そのような点群行列の例を示している。

本明細書で説明される主題および動作の実装形態は、デジタル電子回路、あるいは本明細書で開示される構造およびそれらの構造的等価物、またはそれらの1つまたは複数の組合せを含む、コンピュータソフトウェア、ファームウェア、またはハードウェアにおいて実現することができることが理解されよう。本明細書で説明される主題の実装形態は、1つまたは複数のコンピュータプログラム、すなわち、データ処理装置による実行のために、またはデータ処理装置の動作を制御するためにコンピュータ記憶媒体上で符号化されるコンピュータプログラム命令の1つまたは複数のモジュールを使用して実現することができる。あるいは、またはさらに、プログラム命令は、人工的に生成された伝播信号、たとえば、データ処理装置による実行のために適切な受信装置への送信のための情報を符号化するために生成される機械生成電気、光、または電磁信号に符号化することができる。コンピュータ記憶媒体は、コンピュータ読み取り可能な記憶装置、コンピュータ読み取り可能な記憶基板、ランダムまたはシリアルアクセスメモリアレイまたはデバイス、あるいはそれらの1つまたは複数の組合せであり得るか、またはそれらに含まれ得る。さらに、コンピュータ記憶媒体は伝播信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝播信号において符号化されたコンピュータプログラム命令のソースまたは宛先であり得る。コンピュータ記憶媒体はまた、1つまたは複数の別個の物理的構成要素あるいは媒体(たとえば、複数のCD、ディスク、または他の記憶装置)であり得るか、またはそれらに含まれ得る。

特定の実施形態を説明したが、これらの実施形態は、例としてのみ提示されており、本発明の範囲を限定することを意図していない。実際、本明細書に記載されている新規の方法、デバイス、およびシステムは、様々な形態で実施することができ、さらに、本明細書に記載された方法およびシステムの形態の様々な省略、置換、および変更が、本発明の趣旨から逸脱することなしに行われ得る。添付の特許請求の範囲およびそれらの同等物は、本発明の範囲および趣旨に含まれるような形態または修正をカバーすることを意図している。

101 2次元の点群行列
201a 点群行列
201b 点群行列
201c 点群行列
203 単一の点群行列
301 点群行列
501 対象物
503 プロジェクタ
505 カメラ
507 明るい縞
509 暗い縞
701 円
703a パターン
703b パターン
703c パターン
705 第1の点群行列
707 円
711 第2の入力3D画像点群
711 第2の点群行列
713 円
717 第3の入力3D画像の点群行列
717 第3の点群行列

Claims (17)

1. 対象物の3次元画像を生成するための方法であって、
   前記対象物を撮像するために使用される撮像系から入力点群データのセットを受け取るステップであって、前記入力点群データのセットは2つ以上の点群を含み、各点群は前記対象物の表面上の点のx、y、およびz座標を定義し、各入力点群内のデータは、前記撮像系によって獲得された画像データのそれぞれのセットから計算され、画像データの各セットは、前記撮像系の異なる露出設定を用いて獲得される、ステップと、
   それぞれの入力点群内の点ごとに、品質パラメータの値を決定するステップであって、それぞれの点についての前記品質パラメータの前記値は、前記点群内のその点について特定される前記x、y、およびz座標における不確実性の程度を反映し、前記品質パラメータは、前記それぞれの点において前記x、y、およびz座標を計算するために使用される前記獲得された画像データの中の１つまたは複数の値の関数として計算される、ステップと、
   入力点群データの前記セットから点のグループを識別するステップであって、各グループは各入力点群からの点を含む、ステップと、
   前記対象物表面の3D表現を生成するための出力点群を生成するステップであって、前記出力点群は、前記対象物の前記表面上の点の前記x、y、およびz座標を定義する、ステップと、
   を含み、
   前記出力点群内の点ごとに、それぞれの点の前記x、y、およびz座標は前記識別された点のグループのそれぞれの前記点の前記x、y、およびz座標値に基づいて計算され、前記グループ内の各点の前記x、y、およびz座標値が前記計算において考慮される範囲は、前記それぞれの点に関連付けられる前記品質パラメータの前記値に基づいて決定され、
   前記方法は、前記出力点群内のデータに基づいて前記対象物の3次元画像をレンダリングするステップを含む、方法。
2. 前記撮像系は、光センサを備える光学撮像系である、請求項1に記載の方法。
3. 各入力点群内の前記データは、前記光センサでキャプチャされたままの前記対象物の1つまたは複数の2D画像から計算される、請求項2に記載の方法。
4. 画像データの各セットを獲得するために使用される前記露出設定は、
   前記光センサの統合時間と、
   前記光センサの感度と、
   前記対象物と前記光センサとの間の光路にある開口絞りのサイズと、
   前記対象物を照らすために用いられる光の強度と、
   前記対象物と前記光センサとの間の前記光路に配置されたNDフィルタの強度と
   のうちの1つまたは複数を変更することによって変更される、請求項2に記載の方法。
5. 各入力点群内の前記データは、それぞれの2次元入力点群行列として記憶され、前記2次元入力点群行列内の各要素は、それぞれの点の前記x、y、およびz座標、前記点の強度値、およびその点の前記品質パラメータの前記値を含み、
   各グループ内の前記点は、それぞれの2次元入力点群行列において同じ要素位置を有するものとして識別される、請求項2に記載の方法。
6. 前記光センサは2次元のピクセルアレイを備え、前記2次元入力点群行列の前記要素は前記2次元のピクセルアレイ内のそれぞれのピクセル要素にマッピングされる、請求項5に記載の方法。
7. 前記撮像系は、画像データの各セットを取得するために構造化照明を用いるものである、請求項6に記載の方法。
8. 画像データの各セットは、前記光センサでキャプチャされた前記対象物の2D画像のシーケンスを含み、前記シーケンス内の各2D画像は、異なる照明パターンを用いてキャプチャされ、前記シーケンス内の前記2D画像は、それぞれの露出設定の前記2次元入力点群行列を計算するために使用される、請求項7に記載の方法。
9. 2次元入力点群行列ごとに、前記2次元入力点群行列内の要素ごとの前記品質パラメータは、画像の前記シーケンスにわたって対応するピクセルにおいて見られるコントラストの尺度を含む、請求項8に記載の方法。
10. 2次元入力点群行列ごとに、前記2次元入力点群行列内の要素ごとの前記品質パラメータは、画像の前記シーケンスにわたって対応するピクセルにおいて見られる強度における標準偏差に基づいて計算される、請求項8に記載の方法。
11. 2次元入力点群行列ごとに、前記2次元入力点群行列内の要素ごとの前記品質パラメータは、画像の前記シーケンスにわたって対応するピクセルにおいて見られる強度の最大輝度と最小輝度の差に基づいて計算される、請求項8または9に記載の方法。
12. 2次元入力点群行列ごとに、前記2次元入力点群行列内の要素ごとの前記品質パラメータは、その点における前記x、y、およびz座標におけるモデル化された誤差に基づいて計算され、前記誤差は、画像の前記シーケンスにわたって対応するピクセルにおいて見られる強度の関数としてモデル化される、請求項8に記載の方法。
13. 画像データの各セットは、グレイコード化された画像のシーケンスおよび位相シフトされた画像のシーケンスを含み、
    ピクセル要素ごとに、前記点群内のそれぞれの点の前記x、y、およびz座標が計算される値を導出するために、グレイコード化された画像および位相シフトされた画像の前記シーケンスからのデータは結合され、
    前記点群内の各点の前記x、y、およびz座標の前記誤差は、前記それぞれのピクセル要素に対して計算された前記値における前記誤差の関数としてモデル化される、請求項12に記載の方法。
14. 各入力点群は、点ごとの色情報を含む、請求項1に記載の方法。
15. 前記色情報は、RGB値として符号化される、請求項14に記載の方法。
16. コンピュータによって実行されると、前記コンピュータに請求項1に記載の方法を実行させるコンピュータ実行可能コードを含む、非一時的なコンピュータ読み取り可能な記憶媒体。
17. 対象物の3次元画像を生成するためのシステムであって、
    前記対象物から画像データを獲得するためのセンサと、
    前記センサの露出を変化させるためのコントローラであって、前記センサは異なる露出で画像データのそれぞれのセットを獲得するように構成された、コントローラと、
    前記獲得された画像データを処理するためのプロセッサであって、画像データのセットごとに、入力点群を生成するように構成され、前記入力点群は、前記対象物の表面上の点のx、y、およびz座標と各点の強度値を定義する、プロセッサと
    を備え、
    前記プロセッサは、
    それぞれの入力点群内の点ごとに、品質パラメータの値を決定することであって、それぞれの点の前記品質パラメータの前記値は、前記入力点群内のその点について特定される前記x、y、およびz座標における不確実性の程度を反映し、前記品質パラメータは、前記それぞれの点において前記x、y,およびz座標を計算するために使用される前記獲得された画像データの中の１つまたは複数の値の関数として計算される、ことと、
    前記入力点群から点のグループを識別することであって、各グループは各入力点群からの点を含む、ことと、
    前記対象物表面の3D表現を生成するための出力点群を生成することであって、前記出力点群は、前記対象物の前記表面上の点の前記x、y、およびz座標と各点の強度値を定義する、ことと
    を行うようにさらに構成され、
    前記出力点群内の点ごとに、それぞれの点の前記x、y、およびz座標は前記識別された点のグループのそれぞれの前記点の前記x、y、およびz座標値に基づいて計算され、前記グループ内の各点の前記x、y、およびz座標値が前記計算において考慮される範囲は、前記それぞれの点に関連付けられる前記品質パラメータの前記値に基づいて決定され、また、
    前記出力点群内のデータに基づいて前記対象物の3次元画像をレンダリングするように構成される、システム。

Images