JP6250035B2 - 奥行きセンサベース反射物体の形状取得方法及び装置 - Google Patents

Description

開示の実施形態は、３Ｄイメージング、３Ｄ表示用コンテンツの製作、放送用３Ｄ著作物の製作、映画効果、３Ｄゲーム、仮想現実、拡張現実などに用いるために反射物体の形状を奥行きセンサに基づいて取得する方法及び装置に関する。

３Ｄイメージング技術は、多様なセンサの開発と共に３Ｄ画像関連産業において重要な役割を果たしている。近年、新しい奥行き検出方式及びアーキテクチャが登場することにより、奥行きセンサベースの３Ｄイメージング技術が様々なアプリケーションに活用される傾向を見せている。

現在の市場で脚光を浴びている３Ｄセンサは、大きくはＴｏＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）原理に基づくセンサタイプと構造光（Ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）原理に基づくセンサタイプの２つに分けられる。この２種類の方式のセンサは、各々異なる特性と長短所があり、使用するアプリケーションによって選択的に用いられている。

一実施形態によれば、奥行き画像及びＩＲ強度画像のうち少なくとも１つを含む合成画像が入力されるステップと、前記合成画像を整合較正(キャリブレーション)するステップと、前記較正された合成画像からエラー領域を検出するステップと、前記エラー領域の損失した奥行き値を補正するステップとを含む反射物体の形状を取得する方法が提供されてもよい。

一実施形態によれば、奥行き画像が入力されるステップと、前記奥行き画像において周辺値との関連性を基に損失した奥行き値を推定するステップと、前記損失した奥行き値を補正するステップとを含む反射物体の形状を取得する方法が提供されてもよい。

一実施形態によれば、奥行き画像及びＩＲ強度画像のうち少なくとも１つを含む合成画像が入力される合成画像入力部と、前記合成画像を較正する合成画像較正部と、前記較正された合成画像からエラー領域を検出する合成画像エラー検出部と、前記エラー領域の損失した奥行き値を補正する合成画像補正部とを含む反射物体の形状を取得する装置が提供されてもよい。

一実施形態によれば、奥行き画像が入力される単一視点奥行き画像入力部と、前記奥行き画像でローカル領域内の周辺値との関連性を基に損失した奥行き値を推定する単一視点奥行き値推定部と、前記損失した奥行き値を補正する単一視点奥行き値補正部とを含む反射物体の形状を取得する装置が提供されてもよい。

一実施形態によれば、少なくとも１つ以上のプロセッサ実行部を制御するプロセッサと、奥行き画像で置換えられる奥行き値を決定する奥行き値推定部と、周辺奥行き値に基づいて取得された値を奥行き値に変える奥行き値補正部とを含む３Ｄ奥行き検出カメラが提供されてもよい。

一実施形態によれば、多視点のＩＲ強度画像及び奥行き画像のうち少なくとも１つを含む合成画像の入力を受信するステップと、前記多視点の特徴点をマッチングすることによって合成画像を較正されたステップと、前記較正された合成画像でエラー領域を検出するステップと、前記合成画像の較正に基づいて決定されたエラー領域に対応する地点の視点から取得された奥行き値を用いて前記エラー領域の損失した奥行き値を補正するステップとを含む反射物体の形状を取得する方法が提供されてもよい。

一実施形態によれば、少なくとも１つのプロセッサ実行部を制御するプロセッサと、前記合成画像を較正された合成画像較正部と、前記合成画像の較正に基づいて視点で置換えられる奥行き値を検出する合成画像エラー検出部と、前記合成画像の他の視点で置換えられる奥行き値に対応する各地点で地点の奥行き値を測定する合成画像測定部と、前記合成画像測定部によって測定された地点の奥行き値に基づいて置換えられる前記奥行き値を補正する合成画像エラー補正部とを含む合成画像で奥行き値を復元する装置が提供されてもよい。

ランバート反射（Ｌａｍｂｅｒｔｉａｎ）材の奥行き復元方法を示す図である。 ランバート反射（Ｌａｍｂｅｒｔｉａｎ）材の奥行き復元方法を示す図である。 反射材の奥行き復元方法を示す図である。 反射材の奥行き復元方法を示す図である。 ＴｏＦ方式を用いた反射材物体のグレイスケール画像及び奥行き画像を示す図である。 構造光方式を用いた反射材物体のカラー画像及び奥行き画像を示す図である。 ＴｏＦ方式を用いた反射材物体の奥行き画像における方位に係る誤差を示す図である。 ＴｏＦ方式を用いた反射材物体の奥行き画像における方位に係る誤差を示す図である。 一実施形態に係る単一視点奥行き画像ベースの反射物体形状取得方法を示す図である。 一実施形態に係る単一視点奥行き画像ベースの反射物体形状取得方法を示す図である。 一実施形態に係る単一視点奥行き画像ベースの形状復元結果を示す図である。 一実施形態に係る単一視点奥行き画像ベースの形状復元結果を示す図である。 一実施形態に係る多視点奥行き画像ベースの形状復元方法を示す図である。 一実施形態に係る反射モデルを適用した多視点合成画像ベースの形状復元方法を示す図である。 一実施形態に係る多視点合成画像から視点依存画素の分離を示す図である。 一実施形態に係る多視点合成画像の視点依存画素と視点独立画素に他の反射モデルを適用することを示す図である。 一実施形態に係る反射モデルから抽出した定数によってノイズが減少した方位マップを示す図である。 一実施形態に係る反射モデルから抽出した定数によってノイズが減少した方位マップを示す図である。 一実施形態に係る反射モデルを適用して方位及び材料による誤差が減少した奥行きマップを示す図である。 一実施形態に係る反射モデルを適用して方位及び材料による誤差が減少した奥行きマップを示す図である。 一実施形態に係る単一視点奥行き画像ベース反射物体の形状取得装置の細部的な構成を示すブロック図である。 一実施形態に係る合成画像ベース反射物体の形状取得装置の細部的な構成を示すブロック図である。

センサの性能向上にもかかわらず、奥行きセンサは、反射物体、例えば輝く又は反射する物体の奥行き値を取得するのに限界を示すことがある。これは、反射の特性上、反射した光が特定方向にだけ受光されるため、センサで検出される反射信号の強度が大きすぎたり、あるいは小さすぎる状況が発生することによる。動作原理と関係なく、全ての奥行きセンサは、反射信号を検出して奥行き値を推定しているが、このような方式の全ての奥行きセンサは、反射物体の奥行き値を処理するのに問題が発生することがある。

以下、様々なアプリケーションに対して奥行きセンサに基づいて反射物体の形状を取得するための装置及び方法と関連する実施形態を添付する図面を参照しながら詳細に説明する。

図１Ａ及び図１Ｂは、ランバート反射材の奥行き復元方法を示す図である。

従来の全ての奥行きセンサは、物体の材料が理想的なランバート面を有するという仮定の下で作動するように設計されている。ランバート反射材の場合、図１Ａ及び図１Ｂに示すように入力信号を全方向に同一の量を反射させる現象を見ることができる。ここで、奥行きセンサは、奥行きカメラを含んでもよい。

図１Ａに示したＴｏＦ方式の場合、ＩＲ光照射部１２１で光を放出すると、反射物体１１０表面で反射して反射した信号がセンサ１３１に戻ってくる時間を測定してその距離を推算することができる。材料が全方向に同一の光を放射するランバート反射物体の場合、センサ１３１の位置に関係なく常に一定量の光を受光することができ、その結果、奥行き値を測定することができる。

図１Ｂに示した構造光（Ｓｔｒｕｃｔｕｒｅｄ−ｌｉｇｈｔ）方式の場合、プロジェクター１２２がパターン光を放出し、反射物体１１０の表面点ごとに特徴的なパターンを割り当てて、それをセンサ１３２で検出してもよい。これにより、プロジェクター１２２から対象表面点の間をつなぐ直線と当該表面点が検出されたセンサ画素からセンサの中心点の間をつなぐ直線との間の交差点を求めてその３Ｄ位置を導き出してもよい。対象反射物体１１０がランバート反射材の場合、プロジェクター１２２から放出された光が常に一定量以上センサ１３２で検出され、その結果、特徴的なパターンを検出できるようになり、奥行き値を算出することができる。

図２Ａ及び図２Ｂは、反射材の奥行き復元方法を示す図である。物体２１０の材が反射特性を有する場合、図２Ａ及び図２Ｂに示した現象が発生し得る。図２Ａ及び図２Ｂは、球形の鏡を対象物体２１０とする光の反射現象を表現したものである。

ＴｏＦセンサ２３１の場合、図２Ａに示すようにＩＲ ＬＥＤ２２１から放出された光が鏡物体２１０に到達すると、鏡物体２１０は入射した光を特定方向にのみ反射することができる（例えば、鏡面反射、正反射）。結果的に、反射した方向にセンサ２３１が位置しない場合、当該表面点に関して反射した光を得られなくなり、当該奥行き値を測定できないことがある。一方、ＴｏＦセンサ２３１がＩＲ光の反射方向に位置する場合、光の強度がセンサ２３１の受光能力を外れて認知されたセンサ値が飽和した現象が発生し得る。そのため、物体２１０が入射パターン光を特定方向にのみ反射させてセンサ２３１がその反射光を受光できないか、あるいはセンサ２３１の受光能力を外れる表面点がかなりの数を占めるようになり、奥行き値の復元に失敗する可能性がある。このような問題は、図２Ｂに示すように、プロジェクター２２２から放出され、物体２１０から反射する光を受光する構造光方式センサ２３２でも発生し得る。

上述した図１Ａ及び図１Ｂ及び図２Ａ及び図２Ｂに示すように、反射材特性を有する物体の場合、従来の商用化されているどんな奥行きセンサを用いたとしても、その奥行き値を推定するには限界がある。

一実施形態によれば、従来のセンサで検出できなかった高反射材の形状値を復元するために、一枚の奥行き画像で奥行き値を推定する方式と多視点の奥行き画像を用いて奥行き値を正確に復元してもよい。ここで一枚の奥行き画像ベースの方式は、単一視点奥行き画像ベースの方式と同一の意味で用いてもよい。

具体的に単一視点奥行き画像ベースの方式の場合、奥行き値が有する連続性及び反復性を仮定して損失した奥行き値を類推してもよい。合成画像ベースの方式は、各単一視点で損失した奥行き値を周辺視点の奥行き画像で測定された値を用いて正確に復元してもよい。ここで、単一視点奥行き画像及び合成画像をＴｏＦ方式あるいは構造光方式によって測定してもよい。ここで合成画像は、奥行き画像及びＩＲ強度画像を含んでもよい。

これは、様々な従来の奥行きセンサで共通して発生するセンシング限界を克服する方法であるため、今後の３Ｄイメージング装備に適用されて３Ｄ画像取得及び生成に寄与することが期待される。さらに、今後の裸眼３ＤＴＶに活用されるコンテンツの確保に用いられることができ、任意のシーンを様々な視覚及び光条件下で合成してもよい。また、仮想物体を実写画像に合わせてレンダリングして混合、合成したり、拡張現実に活用してもよい。

以下、図面を参照しながら、単一視点奥行き画像ベース方式及び合成画像ベース方式を詳細に説明する。

図３及び図４は、各々ＴｏＦ方式及び構造光方式を用いた反射材物体のグレイスケール画像３２０、カラー画像４２０、及び奥行き画像３１０，４１０を示す図である。ここで、各奥行き画像３１０，４１０は、各グレイスケール画像３２０及びカラー画像４２０の奥行きを示してもよい。ここで、ＴｏＦ方式カメラは、グレイスケール画像３２０と奥行き画像３１０を共に提供してもよい。そして、構造光方式カメラは、カラー画像４２０と奥行き画像４１０を共に提供してもよい。一実施形態によれば、グレイスケール画像３２０は、ＩＲ強度画像であってもよい。

図３及び図４に示すように反射材物体の場合、当該奥行き画像３１０，４１０に飽和状態の値が出力される現象が発生することがある。その原因は、上述したように、入射したＩＲポイント光あるいはＩＲ構造光が表面で反射してセンサに検出されるとき、その値が一方向に密集してその絶対的値がセンサが検出する範囲を外れることにある。カラー画像の場合、太陽光あるいは照明の近くで画像に飽和が発生するのと似ている。例えば、図３及び図４に示すようにグレイスケール画像３２０及びカラー画像４２０において、高反射によって明るく測定された部分３２１，４２１が奥行き画像３１０，４１０では奥行き値が飽和されて黒い部分３１１または明るい部分４１１として表れる。

図５Ａ及び図５Ｂは、ＴｏＦ方式を用いた反射材物体の奥行き画像における方位に係る誤差を示す図である。

従来のセンサ方式、すなわちＴｏＦ方式は、対象物体に入射したＩＲ光の信号遅延を測定して奥行き値を導き出して総反射値を示すＩＲ画像が出力されるが、奥行き値を導き出すときは、ＩＲ画像をさらに活用しないことがある。

そのため、図５Ａに示すような物体に対して、図５Ｂに示すような方位に係る誤差が発生し得る。ここで、方位に係る誤差による奥行き値の損失は、例えば、明るい点で示された部分５１０や形状が消失した部分５２０と共に表れてもよい。このような方位に係る誤差を克服する方法は、以下の図１０〜図１３で詳細に説明する。

図６Ａ及び図Ｂは、一実施形態に係る単一視点奥行き画像ベースの反射物体形状取得方法を示す図である。ここで図６Ａは、一実施形態に係る単一視点奥行き画像ベースの反射物体形状取得方法を示すフローチャートであり、図６Ｂは、一実施形態に係る奥行き値の最適化のための３つのコスト関数で用いられる表記を示す図である。

ステップＳ６１０では、奥行き画像が入力されてもよい。一実施形態によれば、奥行き画像は、ＴｏＦ方式で測定したＩＲ画像であってもよい。

そして、ステップＳ６２０では、奥行き画像で周辺値との関連性を基に損失した奥行き値を推定してもよい。一実施形態によれば、関連性は、連続性、周期性及び類似性を含んでもよい。また、奥行き値において、センサの飽和による不正確な奥行き値は、奥行き画像における周辺値との関連性を基に推定してもよい。

続いて、ステップＳ６３０では、損失した奥行き値を補正してもよい。一実施形態によれば、損失した奥行き値を上述したステップＳ６２０で推定した奥行き値に置換えて補正してもよい。

一実施形態によれば、入力奥行き画像内で周辺値との関連性、例えば、連続性、周期性、及び類似性を保持させる周辺の他の奥行き値を見つけ、それを参照して損失した奥行き値を置換えることによって損失した奥行き値を復元してもよい。

損失した奥行き値を推定するために、値の類似性、連続性（例えば、表面変化の類似性）、周期性（例えば、奥行き画像内に類似分布図を有する奥行き値が存在すると仮定）を定義するコスト関数を定義してもよい。コスト関数の一例として以下の数式(１)を用いてもよい。

ここで、

は奥行きの予測値であり、その他の定数を図６を参照しながら説明する。Ｌを消失した奥行き値を中心とするローカル領域としたとき、ローカル領域を量子化して領域内の総奥行き個数をＮと決定してもよい。ローカル領域は、一定の大きさの空間上のボックスであり、またはその他のキュー（一例として、テクスチャ上の色）によって各消失した奥行き値ごとに異なるように設定されてもよい。Ｚ₋とＺ_＋は、復元しようとする消失した奥行き値の周辺奥行き値であり、非消失値を意味してもよい。Ｚ_ｓは、連続した奥行き値を有するパッチまたはセグメントであって、パッチまたはセグメント内の変化量を比較して最も少ない値に最適化してもよい。

次に、数式（１）の各項が意味するものを示す。

は類似性であり、復元しようとする奥行き値がローカル領域の平均と類似するか否かを示す。

は、奥行き値とその周辺画素との関係が連続性を保つか否かを示すことができる。他の側面において、表面の屈曲率を保持させる効果を意味してもよい。

は周期性であり、奥行き画像内のパターンが類似の領域が存在するか否かを示すことができるが、奥行き画像の分布図によって復元しようとする奥行き値が受ける影響を意味してもよい。

上述した各項に対してα、β、γで重みを調整して全体のコストを最小化するＺ値を見つけてもよい。これは、数式（１）によって最適化されてもよい。そのため、上述した過程を消失した奥行きデータごとに繰り返し行ってその値を復元してもよい。

図７Ａ及び図７Ｂは、一実施形態に係る単一視点奥行き画像ベースの形状復元結果を示す図である。

図７Ａは、従来の方式を用いて反射物体の形状を取得したものであり、等方性材料の物体の形状情報を取得する方式に限定され、非等方性反射性質を有する不透明材料の物体形状に対しては、図に示すように一部分７１０の奥行き値が消失して明るく測定されるという限界が見られる。したがって、家庭用電化製品（ＣＥ：Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ）用機器として鏡面が存在する物体の形状を取得するのには限界がある。

図７Ｂは、一実施形態に係る単一視点奥行き画像ベースの形状復元結果を示す図面であり、図６で上述した方法によって画像内の周辺空間画素を参照して誤差値を復元することによって、過度に明るく測定された部分が周辺と連続的な奥行き値を有するようになり、物体の形状がより完全な姿７２０で取得される。

図８は、一実施形態に係る合成画像ベースの形状復元方法を示す図である。

上述した一台の奥行きカメラを用いて消失した奥行き値を求める単一視点ベース方式の場合、奥行き値が飽和によって無意味な値として出力された場合に有用な方式であるが、一方の合成画像ベースの形状復元方式は、飽和による値の損失だけでなくノイズによって減少した精度まで補うことができる。

一実施形態によれば、合成画像ベース方式の反射物体の形状を取得する方法は、合成画像の較正(キャリブレーション)、エラー領域の検出、奥行き値補正の順序で行われ得る。他の一実施形態によれば、合成画像で反射物体の形状を取得する方法は、単一視点または多視点奥行きカメラのうちの１つに適用されてもよい。

ステップＳ８１０では、奥行き画像及びＩＲ強度画像のうち少なくとも１つを含む合成画像が入力されてもよい。一実施形態によれば、合成画像は、Ｍ個の視点の奥行き画像が入力されてもよい。他の一実施形態によれば、奥行き画像及びＩＲ強度画像は、全て、例えば、奥行き画像ペア及びＩＲ強度画像ペアの集合を利用して使用してもよい。

続いて、ステップＳ８２０では、合成画像の較正は、一般的なカメラ較正方式の格子パターンから抽出した特徴点の間のマッチングで行ってもよい。従来の方式でオープンシーブイ（ｏｐｅｎＣＶ）、あるいはＺｈａｎｇのキャリブレーションツールボックス（Ｚｈａｎｇ’ｓ ｃａｌｉｂｒａｔｉｏｎ ｔｏｏｌｂｏｘ）を適用してもよい。

そして、カメラ情報が較正によって得られた場合、合成画像間の較正が可能になり、画像較正によって同一３Ｄポイントを測定した異なる時点における奥行き値を得ることができる。すなわち、Ｍ個の視点画像が与えられたとき、各３ＤポイントごとにＭ個の測定値が存在し得る。対象物体が全方向に同一にＩＲを反射させる材であるピュア（Ｐｕｒｅ）ランバート反射である場合、Ｍ個の測定値は、同一の３Ｄポイント値を記録してもよい。反射材である場合、反射特性上、特定方向に光が収束して検出されるため、Ｍ個の値のうち意味のある奥行きを記録した値と飽和またはノイズを測定した値が全て含まれることがある。したがって、Ｍ個のサンプルを分析して、意味のある正確な奥行き値を推定する過程が必要になり得る。ただし、一実施形態によれば、正確な奥行き値推定を取得する間、Ｍ個のサンプルより少ない量が分析されてもよい。

続いて、ステップＳ８３０においては、合成画像からエラー領域を検出してもよい。このために、Ｍ個の奥行き値と当該３Ｄポイント周辺の隣の３Ｄポイントで観測されたＭ個の奥行き値を全て含む分布図を得ることができる。奥行きの分布図は、特定値を中心にピークになってもよいが、これは従来のＫ平均クラスタリング（Ｋ−ｍｅａｎ Ｃｌｕｓｔｅｒｉｎｇ）アルゴリズム、あるいはガウス混合モデルフィッティング（Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ ｆｉｔｔｉｎｇ）などによって得ることができる。この分布図において、多重ピークが存在する３Ｄポイントは、エラーを含む測定値と見ることができる。

そして、ステップＳ８４０では、エラー領域の損失した奥行き値を補正してもよい。一実施形態によれば、複数のクラスタまたはガウスフィッティングによって最も主要なクラスタを確定してもよい。具体的には、クラスタ内部に属するサンプルの数が多く、クラスタサンプルのバリエイションが少ないクラスタを主要クラスタとしてもよい。その後、確定したクラスタ内のサンプル値を平均または非線形加重和を用いて奥行き値を決定してもよい。

上述したアルゴリズムは、算出上の効率のために、周辺ポイントを考慮せずにただ当該３Ｄポイントを観測するＭ個の視点の奥行き値にのみクラスタを構成することができ、クラスタ構成時の加重和または平均値の代わりに、中央値を用いたり、クラスタ内の任意の値を用いてもよい。

図９は、一実施形態に係る反射モデルを適用した多視点合成画像ベースの形状復元方法を示す図である。ここで、ＴｏＦ方式によって提供されたＩＲ画像に光の反射モデルを適用して奥行き値の関数によって次の数式（２）〜数式（４）のように表すことができる。

上述した数式（２）〜数式（４）において、ＩはＩＲ画像の強度であってもよい。
Ｉ_ＶＩは視点独立画素で、Ｉ_ＶＤは視点依存画素であってもよい。ｐは奥行き値、αは値が大きくなるほど滑らかな表面を示し、値が小さくなるほど粗い表面を示す材の表面粗さ、ρ_Ｓは視点依存反射係数であり、一実施形態によれば、反射係数、ρ_ｄは視点独立反射係数であり、一実施形態によれば、乱反射係数を示してもよい。ここで、αは数式（１）で使用した記号αと異なる意味で用いられてもよい。

ｎ_ｐとｒ_ｐは、未知の変数ｐの関数として、各々方位と反射視点の形状を示す法線ベクトル及び反射光ベクトルを示してもよい。ここで、ｐは図９に示したものと同一であってもよい。一実施形態によれば、ＴｏＦ方式カメラの場合、上述した数式（３）〜数式（４）において、ｌは照明ベクトルとして光の方向を、ｖは視点ベクトルとして視点の方向を示してもよい。ここで、照射されるＩＲは、ＴｏＦ装備が設計される過程でその位置が与えられることになり、奥行き値は、カメラセンサのセンター位置を基準として算出されるため、ｌ、ｖの値は工程過程で予め決定されてもよく、この値は方向ベクトルであって単位はなくてもよい。

ここで、ＩＲ画像に光の反射モデルを適用する方法は、次のようになり得る。

まず、多視点ＩＲ画像から視点依存画素を視点独立画素と分離して当該ＩＲ画像を視点依存画素と視点独立画素の合計で表現してもよい。

そして、反射モデルを適用するために、多視点ＩＲ画像を用いて奥行き値、方位、明るさ、及び反射係数を抽出してもよい。

以下、上述したステップの具体的な実行方法を図１０〜図１１で詳細に説明する。

図１０は、一実施形態に係る多視点合成画像から視点依存画素の分離を示す図である。一実施形態によれば、ＩＲ ＬＥＤ１０２０から放出された光線が反射物体１０１０に反射した画像に対して視点独立成分（Ｉ_ＶＩ）１０５１を測定するカメラ１０３１、及び視点依存成分（Ｉ_ＶＤ）１０５２を測定するカメラ１０３２がある。ここで、各カメラは、視点独立成分１０５１から視点独立画素を、視点依存成分１０５２から視点依存画素を抽出してもよい。このために、視点独立画素は、多視点画像で観測されたＩＲ強度画像の値のうちの最小値に該当する値に決定してもよく、視点依存画素は、当該画素値から視点独立画素値を引いた残りの値に決定してもよい。上述したカメラ１０３０の視点依存画素と視点独立画素とを合わせて一般的反射現象によって受光したＩＲ画像を表現してもよい。ここで、視点独立成分１０５１を測定したカメラ１０３１は、Ｉ_ＶＩ＋Ｉ_ＶＤ＝Ｉ_ＶＩ＋０になるためＩ_ＶＩによってのみ影響を受ける可能性があり、視点依存成分１０５２を測定したカメラ１０３２は、Ｉ_ＶＩおよびＩ_ＶＤ成分の全てによって影響を受ける可能性がある。

図１１は、一実施形態に係る多視点合成画像の視点依存画素と視点独立画素に他の反射モデルを適用することを示す図である。一実施形態によれば、視点依存画素に対してはＰｈｏｎｇ／ＴＳモデルを、視点独立画素に対してはランバート反射モデルを適用してもよい。具体的には次のようなステップを行うことができる。

まず、Ｍ個の奥行き及びＩＲ強度を撮影する。ここで、各表面点ｐごとにＭ個の視点の奥行き及びＩＲ強度値が存在し得る。ここで、ｐは反射物体１１１０の表面に存在する地点であってもよく、Ｍ個の視点の奥行き及びＩＲ強度はＭ個のセンサ１１３１，１１３２，１１３３によって測定されてもよい。以下の数式（５）は、測定値と予測値とを比較して最適化するモデル定数を求めることができる。

数式（５）の

は、測定値と予測値を比較することを示し、次のステップでは、ｐの初期値で撮影された奥行き値を活用して順番に上述した数式（５）を最適化して奥行き値、方位、明るさ、反射係数を抽出することができる。

ここでＱ１１３４は、ｐの位置における光線であり、残りのｐ、α、ρ_Ｓ、ρ_ｄ、Ｉ、ｎ_ｐ、ｒ_ｐ、ｌ、及びｖは、上述した数式（２）〜数式（４）と同一の意味で用いてもよい。

上述した方式は、多視点合成画像だけでなく、単一視点からなる合成画像のみが与えられた場合も適用されてもよい。多視点合成画像の場合、多視点で観測されたＩＲ強度画像からＩ_ＶＤとＩ_ＶＩを分離してもよい。一実施形態によれば、奥行き画像及びＩＲ強度画像の全て、例えば、奥行き画像ペア及びＩＲ強度画像ペアの集合を利用して用いてもよい。数式（５）は、奥行き画像ペア及びＩＲ強度画像ペアの集合に基づいて最適化されてもよい。ただし、単一視点の合成画像だけを用いる場合、次のような方式を適用してもよい。まず奥行き画像の微分値を用いてｎ（方位）を算出することができ、それを初期値として数式（５）に直ちに適用した後に最適化算出法によってモデル係数ｐ、α、ρ_Ｓ、ρ_ｄを算出してもよい。

図１２Ａ及び図１２Ｂは、一実施形態に係る反射モデルから抽出した係数によってノイズが減少した方位マップを示す図である。一実施形態によれば、ＩＲ画像が光の反射モデルに従う現象を定数で数式に適用することによって方位マップの精度を向上させることができる。方位マップは、奥行きマップの微分値に比例する成分であり、形状の精度に非常に敏感な測定値であってもよい。したがって、方位マップの精度は奥行き画像の精度を直接的に反映してもよい。

図１２Ａは、原本の奥行きによる方位マップであって、測定誤差及びノイズによって表面が輝いて測定されるスパークルノイズが観測される。一方図１２Ｂは、ＩＲ画像と光の反射モデルを適用して求めた方位マップであって、ノイズに強い方位マップが確保されることを確認できる。

図１３Ａ及び図１３Ｂは、一実施形態に係る反射モデルを適用して方位及び材による誤差が減少した奥行きマップを示す図である。一実施形態によれば、ＩＲ画像が光の反射モデルに従う現象を係数として数式に適用することによって方位マップの性能を向上させることができる。

図１３Ａは、原本の奥行きマップであって、オフフェイス方位（ｏｆｆ−ｆａｃｅ ｏｒｉｅｎｔａｔｉｏｎ）を有する物体及び高反射材の物体に対する奥行きマップを示す。一実施形態によれば、物体の表面方位はカメラ視点ベクトルをなす角度が直線上の水平から外れるほどオフフェイス方位を示す。ここで、オフフェイス方位１３１０の領域で消失した奥行き値によって黒く測定されるノイズ及び高反射材によって奥行き値が消失して黒く測定されるノイズ１３２０が観測されるが、方位及び材料による奥行き誤差が発生することもある。一方図１３Ｂは、ＩＲ画像と光の反射モデルを適用したものであり、オフフェイス方位及び高反射材にも強い奥行きマップが取得されることを確認できる。

図１４は、一実施形態に係る単一視点奥行き画像ベース反射物体の形状取得装置１４００の細部的な構成を示すブロック図である。一実施形態によれば、単一視点奥行き画像ベース反射物体の形状取得装置１４００は、単一視点奥行き画像入力部１４１０、単一視点奥行き値推定部１４２０、及び単一視点奥行き値補正部１４３０を含んでもよい。

単一視点奥行き画像入力部１４１０は、奥行き画像が入力されてもよい。一実施形態によれば、単一視点奥行き画像入力部１４１０は、奥行きカメラ及び奥行きセンサを含んでもよい。ここで奥行き画像はＩＲ画像を含んでもよい。

単一視点奥行き値推定部１４２０は、奥行き画像におけるローカル領域内の周辺値との関連性を基に損失した奥行き値を推定してもよい。一実施形態によれば、関連性は奥行き値に対する類似性、連続性及び周期性の３つのコスト関数を最適化することによって保持されてもよい。具体的には、単一視点奥行き値推定部１４２０は、上述した数式（１）で重みα、β、γを調整して全体のコストを最小化して損失した奥行き値を決定する単一視点奥行き値決定部を含んでもよく、上述した過程は消失した奥行きデータごとにプロセッサによって繰り返し行ってもよい。

単一視点奥行き値補正部１４３０は、損失した奥行き値を補正してもよい。一実施形態によれば、損失した奥行き値が上述した単一視点奥行き値推定部１４２０が推定した奥行き値にプロセッサによって置換えられることによって単一視点奥行き画像から反射材の形状情報を抽出することができる。

図１５は、一実施形態に係る合成画像ベース反射物体の形状取得装置１５００の細部的な構成を示すブロック図である。合成画像ベース反射物体の形状取得装置１５００は、合成画像入力部１５１０、合成画像較正部１５２０、合成画像エラー検出部１５３０、及び合成画像補正部１５４０を含んでもよい。

合成画像入力部１５１０は、Ｍ個の視点の合成画像が入力されてもよい。一実施形態によれば、合成画像はＴｏＦ方式に係る奥行き画像及びＩＲ強度画像を含んでもよい。ここで合成画像入力部１５１０は、例えば、奥行きカメラ及び奥行きセンサを含んでもよい。

合成画像較正部１５２０は、Ｍ個の視点の合成画像をカメラ較正してもよい。ここでカメラ較正は、カメラの位置やアングル、移動などの作業によって被写体を効果的に捕らえるために補正する作業であり、一実施形態によれば、オープンシーブイまたはＺｈａｎｇの較正ツールボックスをプロセッサを介して適用してもよい。具体的には、オープンシーブイ方式はチェス盤状のターゲットを数枚撮影した後、それぞれの画像から抽出したチェス盤のコーナー情報を用いて較正を行ってもよい。

合成画像エラー検出部１５３０は、合成画像からエラー領域を検出してもよい。一実施形態によれば、プロセッサによってＫ平均クラスタリングアルゴリズムまたはガウス混合モデルフィッティングから分布図が算出され、当該分布図で多重ピークが存在する３Ｄポイントがエラー領域として検出されてもよい。

ここで、合成画像エラー検出部１５３０は、合成画像から３Ｄポイント及び周辺の隣の３Ｄポイントで観測されたＭ個の奥行き値に対する分布図を算出する合成画像分布図算出部を含んでもよい。

合成画像補正部１５４０は、一実施形態によれば、分布図から主要クラスタを決定する主要クラスタ決定部及び主要クラスタ内の任意の値、平均値、加重和または中央値を用いて３Ｄポイントの損失した奥行き値を決定する合成値決定部を含んでもよく、プロセッサを介して決定された値で奥行き値を置換えて合成画像を補正してもよい。そのため、合成画像から反射材の形状情報を抽出してもよい。

他の一実施形態によれば、合成画像補正部１５４０は、合成画像から視点独立画素と視点依存画素とを分離する画素分離部及び上述した視点独立画素及び視点依存画素に各々他の反射モデルを適用する過程がプロセッサによって行われる反射モデル適用部を含んでもよい。

このような反射モデルの適用によって、従来は取得できなかった方位及び材料の成分まで取得できるようになり、カラー画像と共に使用する照明抽出技術にも活用することができる。これは、奥行きセンサの測定値に存在する精度の限界を反射モデルの適用によって補正するものであり反射物体の形状情報をより精密に取得してもよい。

実施形態に係る方法は、多様なコンピュータ手段によって行うことができるプログラム命令形態で実現され、コンピュータ読み出し可能記録媒体に記録してもよい。この記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせたものを含んでもよい。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含んでもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。例えば、説明した技術が説明した方法と異なる順序で行われたり、および／または説明したシステム、構造、装置、回路などの構成要素が説明した方法と異なる形態で結合または組合されたり、他の構成要素または均等物によって置き換えられたとしても適切な結果を達成することができる。

したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

１５００：合成画像ベース反射物体の形状取得装置
１５１０：合成画像入力部
１５２０：合成画像較正部
１５３０：合成画像エラー検出部
１５４０：合成画像補正部

Claims (20)

1. 反射物体の形状を取得する方法であって、
   多視点の複数の奥行き画像及び多視点の複数のＩＲ強度画像のうち少なくとも２以上を含む合成画像が入力されるステップと、
   前記合成画像を較正(キャリブレーション)するステップと、
   前記キャリブレーションされた合成画像からエラー領域を検出するステップと、
   前記合成画像のキャリブレーションに基づいて前記エラー領域の損失した奥行き値を補正するステップと、
   を含み、
   前記エラー領域の損失した奥行き値を補正するステップは、
   前記合成画像から視点独立画素と視点依存画素とを分離して前記合成画像を前記視点独立画素と前記視点依存画素との合計で表すステップと、
   前記視点独立画素と前記視点依存画素に各々他の反射モデルを適用するステップと、
   を含む反射物体の形状を取得する方法。
2. 前記合成画像をキャリブレーションするステップは、
   前記合成画像に含まれた複数の画像の夫々の格子パターンから抽出した特徴点の間のマッチングによってカメラキャリブレーションを行うステップを含む、請求項１に記載の反射物体の形状を取得する方法。
3. 前記合成画像は、
   Ｍ個の視点画像であり、Ｍは２以上の自然数であり、
   前記キャリブレーションされた合成画像からエラー領域を検出するステップは、
   前記合成画像から３ＤポイントのＭ個の奥行き値に対する分布図を算出するステップを含む、請求項１乃至２のいずれか一項に記載の反射物体の形状を取得する方法。
4. 前記合成画像から３ＤポイントのＭ個の奥行き値に対する分布図を算出するステップは、
   前記３Ｄポイント周辺の隣の３Ｄポイントで観測されたＭ個の奥行き値に対する分布図を算出するステップを含む、請求項３に記載の反射物体の形状を取得する方法。
5. 前記キャリブレーションされた合成画像からエラー領域を検出するステップは、
   前記分布図で多重ピークが存在する３Ｄポイントを検出して前記３Ｄポイントをエラー領域に決定するステップを含む、請求項３又は４に記載の反射物体の形状を取得する方法。
6. 前記分布図は、
   Ｋ平均クラスタリングアルゴリズムまたはガウス混合モデルフィッティングによって算出され、
   前記エラー領域の損失した奥行き値を補正するステップは、
   前記Ｋ平均クラスタリングアルゴリズムまたはガウス混合モデルフィッティングに係る複数のクラスタから主要クラスタを決定するステップと、
   前記主要クラスタ内のサンプルの任意の値、平均値、加重和または中央値を用いて前記３Ｄポイントの奥行き値を決定するステップと、
   前記決定された奥行き値で前記損失した値を置換えるステップと、
   を含む、請求項３乃至５のいずれか一項に記載の反射物体の形状を取得する方法。
7. 前記Ｋ平均クラスタリングアルゴリズムまたはガウス混合モデルフィッティングに係る複数のクラスタから主要クラスタを決定するステップは、
   複数のクラスタ中の内部に属したサンプルの数が多く、バリエイションが少ないクラスタを主要クラスタに決定するステップを含む、請求項６に記載の反射物体の形状を取得する方法。
8. 反射物体の形状を取得する方法において、
   奥行き画像が入力されるステップと、
   前記奥行き画像において周辺値との関連性を基に損失した奥行き値を推定するステップと、
   前記推定に基づいて前記損失した奥行き値を補正するステップと、
   を含み、
   前記奥行き画像において周辺値との関連性を基に損失した奥行き値を推定するステップは、
   前記損失した奥行き値が前記奥行き画像内のパターンに対して周期性を保つように前記損失した奥行き値を推定するステップを含む反射物体の形状を取得する方法。
9. 前記奥行き画像は、
   前記損失した奥行き値を含む地点を中心とする領域で定義されるローカル領域を含む、請求項８に記載の反射物体の形状を取得する方法。
10. 前記奥行き画像は、
    飽和形態で値が出力される現象が生じた奥行き画像である、請求項８又は９に記載の反射物体の形状を取得する方法。
11. 前記奥行き画像において周辺値との関連性を基に損失した奥行き値を推定するステップは、
    ローカル領域の平均に対して前記損失した奥行き値の類似性を保つように前記損失した奥行き値を推定するステップを含む、請求項８乃至１０のいずれか一項に記載の反射物体の形状を取得する方法。
12. 前記奥行き画像において周辺値との関連性を基に損失した奥行き値を推定するステップは、
    前記損失した奥行き値が周辺画素との関係で連続性を保つように前記損失した奥行き値を推定するステップを含む、請求項８乃至１０のいずれか一項に記載の反射物体の形状を取得する方法。
13. 前記奥行き画像において周辺値との関連性を基に損失した奥行き値を推定するステップは、
    ローカル領域の平均に対して前記損失した奥行き値の類似性、周辺画素との関係で連続性及び前記奥行き画像内のパターンの周期性を保つように前記損失した奥行き値を推定するステップと、
    前記類似性、前記連続性、及び前記周期性に対して各々重みを付与して全体のコストが最も少ない値に前記損失した奥行き値を決定するステップと、
    を含む、請求項８乃至１０のいずれか一項に記載の反射物体の形状を取得する方法。
14. 多視点の複数の奥行き画像及び多視点の複数のＩＲ強度画像のうち少なくとも２以上を含む合成画像が入力される合成画像入力部と、
    前記合成画像をキャリブレーションする合成画像キャリブレーション部と、
    前記キャリブレーションされた合成画像からエラー領域を検出する合成画像エラー検出部と、
    前記合成画像キャリブレーション部による前記合成画像のキャリブレーションに基づいて前記エラー領域の損失した奥行き値を補正する合成画像補正部と、
    を含み、
    前記合成画像キャリブレーション部は、
    前記合成画像から視点独立画素と視点依存画素とを分離して前記合成画像を前記視点独立画素と前記視点依存画素との合計で表し、
    前記視点独立画素と前記視点依存画素に各々他の反射モデルを適用する反射物体の形状を取得する装置。
15. 前記合成画像は、
    Ｍ個の視点画像であり、Ｍは２以上の自然数であり
    前記合成画像エラー検出部は、
    前記合成画像から３ＤポイントのＭ個の奥行き値及び前記３Ｄポイント周辺の隣の３Ｄポイントで観測されたＭ個の奥行き値に対する分布図を算出する合成画像分布図算出部を含む、請求項１４に記載の反射物体の形状を取得する装置。
16. 前記合成画像分布図算出部は、
    Ｋ平均クラスタリングアルゴリズムまたはガウス混合モデルフィッティングによって前記分布図を算出し、
    前記合成画像補正部は、
    前記Ｋ平均クラスタリングアルゴリズムまたはガウス混合モデルフィッティングに係る複数のクラスタ中の内部に属したサンプルの数が多く、バリエイションが少ないクラスタを主要クラスタに決定する主要クラスタ決定部と、
    前記主要クラスタ内のサンプルの任意の値、平均、加重和または中央値を用いて前記３Ｄポイントの奥行き値を決定する合成値決定部と、
    前記決定された奥行き値で前記損失した値を置換える合成値置換部と、
    を含む、請求項１５に記載の反射物体の形状を取得する装置。
17. 奥行き画像が入力される単一視点奥行き画像入力部と、
    前記奥行き画像でローカル領域内の周辺値との関連性を基に損失した奥行き値を推定する単一視点奥行き値推定部と、
    前記単一視点奥行き値推定部の前記推定に基づいて前記損失した奥行き値を補正する単一視点奥行き値補正部と、
    を含み、
    前記推定部は、
    前記損失した奥行き値が前記奥行き画像内のパターンに対して周期性を保つように前記損失した奥行き値を推定する反射物体の形状を取得する装置。
18. 前記単一視点奥行き値推定部は、
    ローカル領域の平均に対して前記損失した奥行き値の類似性及び周辺画素との関係で連続性を保つように前記損失した奥行き値を推定し、
    ここで前記装置は、
    前記類似性、前記連続性、及び前記周期性に対して各々重みを付与して全体のコストが最も少ない値に前記損失した奥行き値を決定する単一視点奥行き値決定部をさらに含む、請求項１７に記載の反射物体の形状を取得する装置。
19. 多視点の複数のＩＲ強度画像及び多視点の複数の奥行き画像のうち少なくとも２以上を含む合成画像の入力を受信するステップと、
    前記多視点の特徴点をマッチングすることによって合成画像をキャリブレーションされたステップと、
    前記キャリブレーションされた合成画像でエラー領域を検出するステップと、
    前記合成画像のキャリブレーションに基づいて決定されたエラー領域に対応する地点の視点から取得された奥行き値を用いて前記エラー領域の損失した奥行き値を補正するステップと、
    を含み、
    前記エラー領域の損失した奥行き値を補正するステップは、
    前記合成画像から視点独立画素と視点依存画素とを分離して前記合成画像を前記視点独立画素と前記視点依存画素との合計で表すステップと、
    前記視点独立画素と前記視点依存画素に各々他の反射モデルを適用するステップと、
    を含む反射物体の形状を取得する方法。
20. 請求項１９の方法を実行する少なくとも１つのプロセッサを制御するコンピュータ読み出し可能コードを含む非一時的な格納媒体。
    

Images