JP6432968B2

JP6432968B2 - 物体形状推定装置及びプログラム

Info

Publication number: JP6432968B2
Application number: JP2014131760A
Authority: JP
Inventors: 清澄城殿; 貴志内藤; 邦人加藤; 山本　和彦; 山本　　和彦; 優太伊藤
Original assignee: Gifu University
Current assignee: Gifu University
Priority date: 2014-06-26
Filing date: 2014-06-26
Publication date: 2018-12-05
Anticipated expiration: 2034-06-26
Also published as: JP2016008954A

Description

本発明は、物体形状推定装置及びプログラムに係り、特に、物体の３次元形状を推定する物体形状推定装置及びプログラムに関する。

従来より、被験者に負担を与えることなく、自然な摂食運動を正確に測定し得る摂食運動測定システムが提案されている（特許文献１参照）。この摂食運動測定システムでは、取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出し、テンプレートと面法線ベクトルデータとをテンプレートマッチングして、各面法線ベクトルデータにおける追跡形状の位置を特定する手法が用いられている。

また、照度差ステレオ法で求められる相対的な座標系を絶対的な座標系に高精度で変換し、精度の高い３次元データを生成する３次元データ生成方法が提案されている（特許文献２参照）。この３次元データ生成方法では、照射方向を変えて被写体を撮像することにより複数の原画像を取得し、各原画像のデータによって画像行列を生成し、当該画像行列に因子分解を適用して被写体における面の向きを抽出し、抽出した面の向きに基づいて被写体の３次元データを生成している。また、被写体を撮像する際に、立体チャートの表面の反射率の比及び面の向きが既知である少なくとも３つの面を被写体とともに撮像し、３つの面の反射率及び面の向きを用いて被写体の面の向きを絶対的な座標系に変換している。

また、照度差ステレオ法による顔形状の復元手法が提案されている（非特許文献１参照）。非特許文献１の技術では、カラーではなく、モノクロカメラを利用しており、異なる方向に設置された３つの白色光源を順に点灯しながら、３枚の画像を取得し、取得した画像の輝度差から対象物の法線ベクトルを推定して、対象物の３次元形状を復元している。また、外乱となる環境光の影響を排除するため、白色光源の照射がない４枚目の画像を取り込み、白色光を照射した画像との差分画像を利用している。

特開２０１３−３１６５０号公報特開２００１−７４４１７号公報

A. Jones et al., "Head-mounted Photometric Stereo for Performance Capture," Proc. European Conf. on Visual Media Production (CVMP 2011), pp. 158-164, 2011.

しかし、特許文献１の技術では、波長の異なる分光画像データを時系列に取得するため、計測に時間を要する。したがって、対象物に動きがある場合には３次元形状をうまく推定できないといった問題や、推定精度の劣化を生じるという問題がある。また、対象物の反射率は波長間で一定と仮定するか、又は波長間の反射率比を予め設定する必要があるが、表面色の異なる複数の物体を正しく計測する場合には、これらの前提が成立しないため法線ベクトルを推定することができないという問題がある。

また、特許文献２の技術では、参照となる立体チャートを常に被写体とともに撮像する必要があるため、装置の構成や対象物の設置方法の制約となるという問題がある。

また、非特許文献１の技術では、モノクロカメラを用いた照度差ステレオ法であるため、特許文献１と同様の問題がある。また、画像がモノクロである性質上、反射率変化に対応することができないという問題がある。

本発明は、上記問題点を解決するために成されたものであり、物体表面の色が未知の場合であっても、物体の３次元形状を精度よく推定することができる物体形状推定装置及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る物体形状推定装置は、物体表面に対して、波長の異なる少なくとも３つの光の各々を、それぞれ異なる位置から照射する第１光照射手段と、前記物体表面に対して、前記少なくとも３つの光の各々の波長を全て包含する波長域を有する光を照射する第２光照射手段と、前記第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段と、前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも３つの光の各々の波長に対応する分光画像データの各々を取得する画像取得手段と、前記第１光照射手段により照射される光の各々の明るさと、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも３つの光の各々の波長間の反射率比を推定する反射率推定手段と、前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも３つの光の各々の波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段と、を含んで構成されている。

また、第１の発明に係る物体形状推定装置において、前記法線ベクトル算出手段は、前記物体表面の各位置について、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々の前記位置に対応する画素の明るさと、前記法線ベクトルとの関係式を用いた連立方程式を、前記反射率推定手段により前記物体表面の前記位置について推定された前記少なくとも３つの光の各々の波長間の反射率比を用いて解くことにより、前記物体表面の前記位置の法線ベクトルを算出してもよい。

また、第１の発明に係る物体形状推定装置において、前記第２光照射手段は、前記第１光照射手段により前記少なくとも３つの光の各々を照射する位置とは異なる位置から、前記少なくとも３つの光の各々の波長を全て包含する波長域を有する光を照射してもよい。

また、前記反射率推定手段は、前記物体表面の各位置について、取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々の前記位置に対応する画素の、前記光の点灯及び消灯における明るさの差分値を用いて、前記少なくとも３つの光の各々の波長間の反射率比を推定してもよい。

また、第１の発明に係るプログラムは、コンピュータを、物体表面に対して、波長の異なる少なくとも３つの光の各々の波長を全て包含する波長域を有する光を照射する第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段、前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも３つの光の各々の波長に対応する分光画像データの各々を取得する画像取得手段、前記物体表面に対して、前記少なくとも３つの光の各々を、それぞれ異なる位置から照射する第１光照射手段により照射される光の各々の明るさと、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも３つの光の各々の波長間の反射率比を推定する反射率推定手段、及び前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも３つの光の各々の波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段として機能させるためのプログラムである。

また、第２の発明に係る物体形状推定装置は、物体表面に対して、波長の異なる少なくとも２つの光の各々を、それぞれ異なる位置から照射する第１光照射手段と、前記物体表面に対して、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長を全て包含する波長域を有する光を、前記第１光照射手段の少なくとも２つの光とは異なる位置から照射する第２光照射手段と、前記第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段と、前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々を取得する画像取得手段と、前記第１光照射手段により照射される光の各々の明るさと、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を推定する反射率推定手段と、前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段と、を含んで構成されている。

また、第２の発明に係る物体形状推定装置において、前記法線ベクトル算出手段は、前記物体表面の各位置について、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記分光画像データの各々の前記位置に対応する画素の明るさと、前記法線ベクトルとの関係式を用いた連立方程式を、前記反射率推定手段により前記物体表面の前記位置について推定された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を用いて解くことにより、前記物体表面の前記位置の法線ベクトルを算出してもよい。

また、第２の発明に係る物体形状推定装置において、前記反射率推定手段は、前記物体表面の各位置について、取得された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々の前記位置に対応する画素の、前記光の点灯及び消灯における明るさの差分値を用いて、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を推定してもよい。

また、第２の発明に係るプログラムは、コンピュータを、物体表面に対して、波長の異なる少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長を全て包含する波長域を有する光を、前記少なくとも２つの光とは異なる位置から照射する第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段、前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々を取得する画像取得手段、前記物体表面に対して、前記少なくとも２つの光の各々を、それぞれ異なる位置から照射する第１光照射手段により照射される光の各々の明るさと、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を推定する反射率推定手段、及び前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段として機能させるためのプログラムである。

本発明の物体形状推定装置、及びプログラムによれば、物体表面に対して、波長の異なる少なくとも３つの光の各々と、少なくとも３つの光の各々の波長を全て包含する波長域を有する光とが照射され、光の点灯及び消灯に対応する一組の画像の各々から分光画像データの各々を取得し、取得した分光画像データの各々を用いて波長間の反射率比を推定し、推定した反射率比を用いて物体表面の各位置の法線ベクトルを算出することで、物体表面の色が未知の場合であっても、物体の３次元形状を精度よく推定することができる、という効果が得られる。

本発明の第１の実施の形態に係る物体形状推定装置の構成を示すブロック図である。３ＣＣＤを用いたカラーカメラの構成を示す模式図である。単板式カラー画像で用いられるカラーフィルタを示す模式図である。本発明の第１の実施の形態に係る撮像環境を示す概念図である。本発明の第１及び第２の実施の形態に係る物体形状推定装置の物体形状推定処理ルーチンの内容を示すフローチャートである。本発明の第２の実施の形態に係る物体形状推定装置の構成を示すブロック図である。本発明の第２の実施の形態に係る白色光源が有する波長域を示す概念図である。本発明の第２の実施の形態に係る撮像環境を示す概念図である。本発明の各実施の形態に係る効果を示す模式図である。本発明の各実施の形態に係る実験結果を示す図である。照度差ステレオ法の原理を示す模式図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

まず、本発明の各実施の形態の前提となる照度差ステレオ法の原理について概要を説明する。

照度差ステレオ法は画像の輝度情報から撮像した物体表面の法線ベクトルを算出する技術である。装置は１つのカメラと３つの光源で構成されている。図１１に示すように、撮像対象に対してそれぞれ異なる方向に３つの光源を配置し、いずれか１つの光源が照射された状態の画像データを取得する。つまり、光源の数と同じ枚数の画像データが取得される。カメラと撮像対象の位置関係は変化しないため、画像中の各画素は対象物の同じ点を撮影していることになる。変化するのは光源の位置だけであるため、画像の明るさは光源の位置と各画素に対応した対象物表面の法線ベクトルに依存する。ただし、物体表面は完全拡散反射、つまり面からの反射光はどの方向にも均一な強度を有すると仮定している。このとき、以下（１）式が成立する。

ここで、Ｉは撮像画像の画素値、又は輝度、ρは物体表面の反射率、Ｌは光源の明るさを表す。また、ｎは注目点、又は物体表面における法線ベクトル、ｓは注目点から光源の方向を表す単位ベクトル、θはｎとｓがなす角度である。

つまり、光源の明るさＬと反射率ρが不変と仮定すれば、画面中の輝度Ｉは光源の向きと物体表面の法線ベクトルがなす角度によってのみ変化する。法線ベクトルは上記（１）式より、次の（２）式によって定義される。

未知数は法線ベクトルの３成分、つまり３次元空間のベクトル要素であり、各画素について、３つの光源に対する画像データから上記（２）式を３つ生成できる。そのため、生成した３つの式からなる連立方程式を解くことにより、各画素における法線ベクトルを算出することができる。

以上の手順で法線ベクトルを求める方法が照度差ステレオ法であるが、上述のように光源を切り替えながら３枚の画像を取得する必要がある。光源の波長域が互いに重ならないように設定し、カメラ側で３つの波長域の画像を分光して撮像できれば光源の切り替えは必要ない。このアイデアに基づいて、ＲＧＢのＬＥＤ光源とカラーカメラを用いた構成によるカラー照度差ステレオ法によって１度の撮影で対象物の法線ベクトルを算出する手法も提案されている。ただし、カラー照度差ステレオ法では反射率ρを不変とする条件の成立性が課題である。単色の物体を計測するだけであれば、最初に１度だけキャリブレーションすればよいが、計測対象に色の変化が生じたり、計測対象が様々な色を含む場合にはこの手法は適用できない。物体の表面色によって反射率が変化してしまうためである。

そこで、本発明の各実施の形態では照明装置の点滅を利用して、計測対象の反射率比を画素単位、又は画像中の小領域単位で推定することにより、カラー照度差ステレオ法の適用範囲を拡張する。

＜本発明の第１の実施の形態に係る物体形状推定装置の構成＞

次に、本発明の第１の実施の形態に係る物体形状推定装置の構成について説明する。

図１に示すように、本発明の第１の実施の形態に係る物体形状推定装置１００は、予め設定された波長域の照射光を撮像対象の物体表面に照射する照明部１０と、照明部１０による照明の点滅を制御する照明制御部１２と、照明が照らされた物体表面を撮像する撮像部１４と、撮像部１４から出力される画像データを処理する画像処理部２０と、画像処理部２０での処理結果を表示するための出力部５０とを備えている。

照明部１０は、物体表面に対して、光を照射する４つの光源で構成されている。４つの光源のうち３つは、物体表面に対して、後述する撮像部１４で分光撮像が可能なＲＧＢのそれぞれの波長に対応した３つの光の各々を、それぞれ異なる位置から照射する光源である。なお、当該３つの光源が第１光照射手段の一例である。残りの１つの光源は、波長の異なる３つの光の各々の波長を全て包含する波長域を有する光を物体表面に対して照射する光源（以下、白色光源と呼ぶ）である。なお、当該白色光源が第２光照射手段の一例である。白色光源はＲＧＢ全ての波長域を含むため、白色光源を点滅させると、撮像部１４で撮像される画像の各々から得られるＲＧＢの波長に対応する３つの分光画像データの各々は、全て輝度変化を生じることになる。

照明制御部１２は、照明部１０の光源のうち白色光源により照射される光の点灯及び消灯を一定周期で繰り返すように制御する。また、制御周期に同期してトリガ信号を撮像部１４に送信する。一方、白色光源以外の光源は撮像の間、点灯状態を保つように制御する。なお、白色光源以外の光源をそれぞれ順番に切り替えて点灯させるようにしてもよい。

撮像部１４は、照明制御部１２から送信されるトリガ信号に合わせてシャッターを制御し、物体表面を撮像する。結果として白色光源が点灯した状態と消灯した状態で計測対象の物体表面を映した２枚一組の画像を撮影する。撮影された画像データは、照明制御部１２の白色光源の点灯状態を識別するためのフラグ情報と共に画像処理部２０へ転送される。撮像部１４は、図２に示すように、プリズムを用いて入射光を分割し、異なる特性のバンドパスフィルタを配したＣＣＤでそれぞれを受光する３ＣＣＤ構成とする。なお、図３に示すように画素ごとにＲＧＢを透過するフィルタを並べることで一つの撮像素子でカラー情報を取得する単板式の構成としてもよい。いずれの場合でも、バンドパスフィルタは照明部１０のＲＧＢのいずれか一つの波長域のみを透過するように構成されているものとする。図４に本実施の形態の撮影環境の模式図を示す。未知の反射率ρを有する物体表面から反射された４光源の光をカメラで撮像する。反射率ρは物体表面の色に応じて変化するため、法線ベクトルを正しく算出するためには、反射率ρを推定しなければならない。

画像処理部２０は、ＣＰＵと、ＲＡＭと、後述する物体形状推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像処理部２０をハードウェアとソフトウェアとに基づいて定まる機能実現手段毎に分割した機能ブロック図で説明すると、図１に示すように、撮像部１４から画像を取得する画像取得部３０と、分光画像データと照明部１０に関する情報を記憶する撮像情報格納部３２と、物体表面の各位置について反射率比を推定する反射率推定部３４と、推定した反射率比を用いて対象物の法線ベクトルを算出する法線ベクトル算出部３６とを備えている。

画像取得部３０は、撮像部１４により物体表面を撮像することにより得られた、照明制御部１２による白色光源の光の点灯及び消灯に対応する一組の画像の各々から、波長の異なる３つの光の各々の波長に対応する分光画像データの各々を取得すると同時に、白色光源の点灯状態を識別するためのフラグ情報を取得する。そして、波長の異なる３つの光の各々について、白色光源の点灯及び消灯に対応した一組の分光画像データを揃えて、反射率推定部３４に出力する。

なお、点灯及び消灯を繰り返しながら画像が順に撮影されるようにすれば、１フレーム前の画像と現フレームの画像とは点灯状態が異なるため、１フレーム前の画像データを撮像情報格納部３２に格納しておき、画像取得部３０からは現フレームの画像の分光画像データだけが出力されるように構成し、反射率推定部３４の演算過程では、必要に応じて１フレーム前の画像の分光画像データを撮像情報格納部３２から取得する形にしてもよい。

撮像情報格納部３２は、画像取得部３０で取得された一組の画像についての分光画像データが格納される。また、照明部１０の波長の異なる３つの光源に起因する明るさの成分Ｌ_g、Ｌ_b、Ｌ_r、白色光源に起因する明るさの成分Ｅ、及び各注目画素に対応する物体表面上の点から各光源の方向を表す単位ベクトルｓ_E、ｓ_Lg、ｓ_Lb、ｓ_Lrの値等を記憶している。

反射率推定部３４は、撮像情報格納部３２に記憶されている照明部１０により照射される波長の異なる３つの光の各々の明るさと、画像取得部３０により取得された波長の異なる３つの光の各々の波長に対応する分光画像データの各々とに基づいて、各注目画素に対応する物体表面の各位置について、波長の異なる３つの光の各々の波長間の反射率比を推定する。

ここで、波長間の反射率比を推定する原理について説明する。

まず、白色光源が点灯している場合と消灯している場合に対して、上述した（１）式に基づいて以下（３）式、及び（４）式の関係式が各画素について成り立つ。

ここで、Ｅは白色光源の明るさを表す。また、添え字のＬは白色光源以外の光源に起因する成分を表し、添え字Ｅは白色光源に起因する成分を表す。Ｉ_ＬＥは白色光源と白色光源以外の光源の両者で照らされた場合の画像中の注目画素の明るさを意味する。

（３）式と（４）式に従って明るさの差分をとると、白色光源のみに起因する関係式が導出され、反射率に関する以下（５）式、及び（６）式の関係式が得られる。本実施の形態においては、各注目画素について、取得された波長の光の各々の波長に対応する分光画像データの各々の注目画素についての、光の点灯及び消灯における明るさの差分値をとる。

（６）式における反射率は、以下（７）において、ＲＧＢごとに、波長の異なる３つの光の各々の反射率について、それぞれ同様に算出される。（６）式の分子をＩ_ＬＥ−Ｉ_Ｌ＝Ｉ’と置くと、

となる。従って、各注目画素に対応する物体表面の各位置について、波長の異なる３つの光の各々の波長間の反射率比は以下の（８）式により推定される。

法線ベクトル算出部３６は、反射率推定部３４で上記（８）式により物体表面の各位置について推定された３つの光の各々の波長間の反射率比と、撮像情報格納部３２に記憶されている、照明部１０により照射される光の各々の明るさ及び各注目画素に対応する物体表面上の点から各光源の方向と、画像取得部３０により取得された波長の異なる３つの光の各々の波長に対応する分光画像データの各々とに基づいて、各注目画素に対応する物体表面の各位置の法線ベクトルを算出する。

ここで、物体表面の各位置の法線ベクトルを算出する原理について説明する。

まず、上記（２）式に基づいて、画素単位で法線ベクトルが算出されるが、ＲＧＢにおける反射率の違いを上記（８）式の比で推定できるため、表面色の違いなどによって画素単位でＲＧＢ間の反射率が変化していても法線ベクトルを算出することができる。これは、法線ベクトルも大きさ１のベクトルであり、３軸成分の比率が分かれば求められるためである。

波長の異なる３つの光の各々の波長に対応する分光画像データの各々に対して、ＲＧＢのそれぞれについて上記（４）式が成立する。また、（８）式から物体表面におけるＲＧＢに対応した反射率比が求められているため、法線ベクトルｎに対して以下の（９）〜（１１）式の関係式が成り立つ。

法線ベクトルは３次元空間のベクトルであり、ベクトルの要素は３つである。そこで、法線ベクトル算出部３６では、各注目画素に対応する物体表面の各位置について、反射率推定部３４において物体表面の各位置について推定された、波長の異なる３つの光の各々の波長間の反射率比を用いて、（９）〜（１１）式からなる連立方程式を解くことにより、物体表面の各位置の法線ベクトルを算出する。そして、算出した物体表面の各位置の法線ベクトルに基づいて、出力部５０により物体形状に関する所定の出力情報を出力する。なお、特定の向きの面のみを出力するようにしてもよいし、法線ベクトルの変化が不連続な部分を抽出してもよい。

＜第１の実施の形態に係る物体形状推定装置の作用＞

次に、第１の実施の形態に係る物体形状推定装置１００の作用について説明する。照明制御部１２により照明部１０の光源のうち白色光源により照射される光の点灯及び消灯を一定周期で繰り返すように制御し、制御周期に同期してトリガ信号を撮像部１４に送信する。また、照明制御部１２により、白色光源以外の光源は撮像の間、点灯状態を保つように照明部１０を制御する。そして、撮像部１４により、白色光源により照射される光の点灯及び消灯に同期して、対象物の撮像が行われ、撮像された一組の画像を画像処理部２０において受け付けると、物体形状推定装置１００は、図５に示す物体形状推定処理ルーチンを実行する。

まず、ステップＳ１００では、撮像部１４から受け付けた一組の画像の各々から、波長の異なる３つの光の各々の波長に対応する分光画像データの各々を取得すると共に、白色光源の点灯状態を識別するためのフラグ情報を取得する。

次に、ステップＳ１０２では、ステップＳ１００で取得した分光画像データの各々、及びフラグ情報に基づいて、３つの光の各々の波長に対して、当該光の波長の分光画像データの各注目画素について、白色光源の光の点灯及び消灯における明るさの差分値を算出する。

ステップＳ１０４では、撮像情報格納部３２に記憶されている、照明部１０により照射される３つの光の各々の明るさ、及び各注目画素に対応する物体表面上の点から各光源の方向を取得する。

ステップＳ１０６では、ステップＳ１０２で３つの光の各々の波長に対して算出した分光画像データの各注目画素についての明るさの差分値と、ステップＳ１０４で取得した３つの光の各々の明るさとに基づいて、各注目画素に対応する物体表面の各位置について、上記（８）式に従って、３つの光の各々の波長間の反射率比を推定する。

ステップＳ１０８では、ステップＳ１０２で３つの光の各々の波長に対して算出した分光画像データの各注目画素についての明るさの差分値と、ステップＳ１０４で取得した３つの光の各々の明るさ、及び各注目画素に対応する物体表面上の点から各光源の方向と、ステップＳ１０６で推定した波長の異なる３つの光の各々の波長間の反射率比とに基づいて、上記各注目画素に対応する物体表面の各位置について、（９）〜（１１）式からなる連立方程式を解くことにより、法線ベクトルを算出する。

そして、ステップＳ１１０では、ステップＳ１０８で算出した物体表面の各位置の法線ベクトルに基づいて、出力部５０により物体形状に関する所定の出力情報を出力する。

以上説明したように、第１の実施の形態に係る物体形状推定装置によれば、物体表面に対して、ＲＧＢに対応する３つの光の各々と、３つの光の各々の波長を全て包含する波長域を有する光とが照射され、光の点灯及び消灯に対応する一組の画像の各々から分光画像データの各々を取得し、取得した分光画像データの各々を用いて、各注目画素に対応する物体表面の各位置について、波長間の反射比を推定し、推定した反射比を用いて、各注目画素に対応する物体表面の各位置の法線ベクトルを算出することにより、物体表面の色が未知の場合であっても、物体の３次元形状を精度よく推定することができる。

また、点滅する光源を一つ追加し、点灯及び消灯に合わせた２枚の画像を取得することで、様々な色を有する反射率が未知の物体表面の法線ベクトルを推定することが可能となる。例えば、図６（Ａ）のような平面に異なる色が付した物体では、色によって反射率が変化する。そのため、従来手法では、図６（Ｂ）に示すように、推定される法線ベクトルが正しく求められない。しかしながら、上述した第１の実施の形態で説明した方法によれば、図６（Ｃ）に示すように、物体表面の色に依らず正しい形状を推定できる。また、図１０（Ａ）〜（Ｃ）は、図７（Ａ）に示すカラー印刷した白紙を壁に貼り付け、従来手法と上述した第１の実施の形態で説明した提案手法との両者で法線ベクトルを算出した場合の実験結果の例である。対象は平面であるが、従来手法では、図７（Ｂ）のように、対象表面のカラーにより法線方向が変化していることが分かる。一方、提案手法では、図７（Ｃ）のように、ほぼ一様な色で表示されており、表面色に影響されていないことが確認できる。なお、カメラから見て対象面が少し右に傾いているため、図７（Ｃ）のように表示されている。

また、２枚の画像を撮像するだけで済むため、計測時間が比較的短く抑えられる。

＜本発明の第２の実施の形態に係る物体形状推定装置の構成＞

次に、本発明の第２の実施の形態に係る物体形状推定装置の構成について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、照明部２１０が、３つの光源で構成されており、波長が異なる２つの光の各々と、２つの光の各々の波長を包含する波長域を有する光とが照射される点、反射率比を推定する原理、及び法線ベクトルを算出する原理が第１の実施の形態と異なっている。

図８に示すように、本発明の第２の実施の形態に係る物体形状推定装置２００は、照明部２１０と、照明制御部２１２と、撮像部２１４と、画像処理部２２０と、出力部２５０とを備えている。

照明部２１０は、物体表面に対して、光を照射する３つの光源で構成されている。３つの光源のうち２つは、物体表面に対して、撮像部２１４で分光撮像可能なＲＧＢのうち２つに対応した２つの光の各々を、それぞれ異なる位置から照射する光源である。本実施の形態では、２つの光はＲＧＢのうちＧとＢの波長の各々に対応する。なお、当該２つの光源が第１光照射手段の一例である。残りの１つの光源は、図９に示すように、波長の異なる２つの光の各々のＧとＢの波長と、当該２つの光の各々の波長とは異なるＲの波長とを全て包含する波長域を有する光を物体表面に対して照射する白色光源である。なお、当該白色光源が第２光照射手段の一例である。

照明制御部２１２は、照明部２１０の光源のうち白色光源により照射される光の点灯及び消灯を一定周期で繰り返すように制御する。

撮像部２１４は、照明制御部２１２から送信されるトリガ信号に合わせてシャッターを制御し、物体表面を撮像する。図１０に本実施の形態の撮影環境の模式図を示す。未知の反射率ρを有する物体表面から反射された３光源の光をカメラで撮像する。

画像処理部２２０は、図８に示すように、画像取得部２３０と、撮像情報格納部２３２と、反射率推定部２３４と、法線ベクトル算出部２３６とを備えている。

画像取得部２３０は、撮像部１４により物体表面を撮像することにより得られた、照明制御部１２による白色光源の光の点灯及び消灯に対応する一組の画像の各々から、ＲＧＢに対応する分光画像データの各々を取得すると同時に、白色光源の点灯状態を識別するためのフラグ情報を取得する。そして、白色光源の点灯及び消灯に対応した一組の画像を揃えて、反射率推定部２３４に受け渡す。

撮像情報格納部２３２は、画像取得部３０で取得された一組の画像についての分光画像データが格納される。また、照明部２１０の波長の異なる２つの光源に起因する明るさの成分Ｌ_g、Ｌ_b、白色光源に起因する明るさの成分Ｅ、及び各注目画素に対応する物体表面上の点から各光源の方向を表す単位ベクトルｓ_E、ｓ_Lg、ｓ_Lbの値等を記憶している。

反射率推定部２３４は、撮像情報格納部２３２に記憶されている照明部２１０により照射される波長の異なる２つの光の各々の明るさ、白色光源の光の明るさ、及び各注目画素に対応する物体表面上の点から白色光源の方向と、画像取得部３０により取得されたＲＧＢに対応する分光画像データの各々とに基づいて、物体表面の各位置について、ＲＧＢ間の反射率比を推定する。

ここで、第２の実施の形態における波長間の反射率比を推定する原理について説明する。

まず、白色光源が点灯した状態に対して、以下（１２）〜（１４）式の関係式が各画素について成り立つ。

一方、白色光源が消灯した状態に対して、以下（１５）、及び（１６）式の関係式が各画素について成り立つ。

Ｒの波長に対応する画素は、白色光源が消灯した場合には光源がなくなるため、関係式はＧとＢに対応する画素のみで成立する。ここで、各注目画素について、ＧとＢに対応する分光画像データの各々の注目画素についての、光の点灯及び消灯における明るさの差分値をとることで、白色光源にのみ起因する以下（１７）、及び（１８）式の関係式が得られる。

上記（１２）、（１７）、及び（１８）式に基づいて、以下（１９）式により、ＲＧＢごとに、反射率が算出される。

従って、各注目画素に対応する物体表面の各位置について、ＲＧＢ間の反射率比は以下（２０）式により推定される。

法線ベクトル算出部２３６は、反射率推定部２３４で上記（２０）式により物体表面の各位置について推定されたＲＧＢ間の反射率比と、撮像情報格納部２３２に記憶されている、照明部２１０により照射される波長の異なる２つの光の各々の明るさ、白色光源の光の明るさ、及び各注目画素に対応する物体表面上の点から各光源の方向と、画像取得部２３０により取得されたＲＧＢに対応する分光画像データの各々とに基づいて、各注目画素に対応する物体表面の各位置の法線ベクトルを算出する。

法線ベクトル算出部２３６では、各注目画素に対応する物体表面の各位置について、反射率推定部３４において物体表面の各位置について推定された、ＲＧＢ間の反射率比を用いて、以下の（２１）式に示す３つの式からなる連立方程式を解くことにより、物体表面の各位置の法線ベクトルを算出する。

＜第２の実施の形態に係る物体形状推定装置の作用＞

次に、本発明の第２の実施の形態に係る物体形状推定装置２００の作用について説明する。照明制御部２１２により照明部２１０の光源のうち白色光源により照射される光の点灯及び消灯を一定周期で繰り返すように制御し、制御周期に同期してトリガ信号を撮像部２１４に送信する。また、照明制御部２１２により、白色光源以外の光源は撮像の間、点灯状態を保つように照明部２１０を制御する。そして、撮像部２１４により、白色光源により照射される光の点灯及び消灯に同期して、対象物の撮像が行われ、撮像された一組の画像を画像処理部２２０において受け付けると、物体形状推定装置２００は、上記図５に示す物体形状推定処理ルーチンと同様の処理ルーチンを実行する。

なお、第２の実施の形態に係る物体形状推定装置２００の他の構成及び作用については、第１の実施の形態と同様であるため、詳細な説明を省略する。

以上説明したように、第２の実施の形態に係る物体形状推定装置によれば、物体表面に対して、ＲＧＢのうち２つに対応する２つの光の各々と、２つの光の各々の波長とＲの波長に対応する光を全て包含する波長域を有する光とが照射され、光の点灯及び消灯に対応する一組の画像の各々からＲＧＢの分光画像データの各々を取得し、取得した分光画像データの各々を用いて、各注目画素に対応する物体表面の各位置について、波長間の反射比を推定し、推定した反射比を用いて、各注目画素に対応する物体表面の各位置の法線ベクトルを算出することにより、物体表面の色が未知の場合であっても、物体の３次元形状を精度よく推定することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述した各実施の形態では、照明部から照射される光は、ＲＧＢに対応する波長を有する３つの光である場合を例として説明したが、これに限定されるものではなく、カメラによって撮像した画像から、３つ以上の波長を識別できる分光画像データの取得が可能な光であれば、どのような波長の光を用いてもよい。

また、上述した各実施の形態では、各注目画素に対応する物体表面の各位置について、反射率比を推定し、法線ベクトルを算出する場合を例として説明したが、これに限定されるものではなく、画像を所定の小領域単位に分割し、分割した小領域領域に対応する物体表面の各位置について、反射率比を推定し、法線ベクトルを算出するようにしてもよい。

１０、２１０照明部
１２、２１２照明制御部
１４、２１４撮像部
２０、２２０画像処理部
３０、２３０画像取得部
３２、２３２撮像情報格納部
３４、２３４反射率推定部
３６、２３６法線ベクトル算出部
５０、２５０出力部
１００、２００物体形状推定装置

Claims

物体表面に対して、波長の異なる少なくとも３つの光の各々を、それぞれ異なる位置から照射する第１光照射手段と、
前記物体表面に対して、前記少なくとも３つの光の各々の波長を全て包含する波長域を有する光を照射する第２光照射手段と、
前記第１光照射手段により照射される光の点灯状態を保ち、かつ、前記第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段と、
前記照射制御手段により制御される前記第２光照射手段により照射される光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記第１光照射手段により照射される光及び前記第２光照射手段により照射される光の点灯、並びに前記第１光照射手段により照射される光の点灯に対応する一組の画像の各々から、前記少なくとも３つの光の各々の波長に対応する分光画像データの各々を取得する画像取得手段と、
前記第１光照射手段により照射される光及び第２光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさから、前記第１光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさを差し引いて得られる明るさと、前記第２光照射手段により照射される光の明るさの成分とに基づいて、前記物体表面の各位置について、前記少なくとも３つの光の各々の波長間の反射率比を推定する反射率推定手段と、
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも３つの光の各々の波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々と、前記物体表面の注目点に対して予め求められた前記第１光照射手段の光源の各々の方向を表す単位ベクトルとに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段と、
を含む物体形状推定装置。
前記法線ベクトル算出手段は、前記物体表面の各位置について、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々の前記位置に対応する画素の明るさと、前記物体表面の注目点に対して予め求められた前記第１光照射手段の光源の各々の方向を表す単位ベクトルとの関係式を用いた連立方程式を、前記反射率推定手段により前記物体表面の前記位置について推定された前記少なくとも３つの光の各々の波長間の反射率比を用いて解くことにより、前記物体表面の前記位置の法線ベクトルを算出する請求項１記載の物体形状推定装置。
前記第２光照射手段は、前記第１光照射手段により前記少なくとも３つの光の各々を照射する位置とは異なる位置から、前記少なくとも３つの光の各々の波長を全て包含する波長域を有する光を照射する請求項１又は２記載の物体形状推定装置。
物体表面に対して、波長の異なる少なくとも２つの光の各々を、それぞれ異なる位置から照射する第１光照射手段と、
前記物体表面に対して、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長を全て包含する波長域を有する光を、前記第１光照射手段の少なくとも２つの光とは異なる位置から照射する第２光照射手段と、
前記第１光照射手段により照射される光の点灯状態を保ち、かつ、前記第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段と、
前記照射制御手段により制御される前記第２光照射手段により照射される光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記第１光照射手段により照射される光及び前記第２光照射手段により照射される光の点灯、並びに前記第１光照射手段により照射される光の点灯に対応する一組の画像の各々から、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々を取得する画像取得手段と、
前記第１光照射手段により照射される光及び第２光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさから、前記第１光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさを差し引いて得られる明るさと、前記第２光照射手段により照射される光の明るさの成分とに基づいて、前記物体表面の各位置について、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を推定する反射率推定手段と、
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々と、前記物体表面の注目点に対して予め求められた前記第１光照射手段の光源の各々の方向を表す単位ベクトルとに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段と、
を含む物体形状推定装置。
前記法線ベクトル算出手段は、前記物体表面の各位置について、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記分光画像データの各々の前記位置に対応する画素の明るさと、前記物体表面の注目点に対して予め求められた前記第１光照射手段の光源の方向を表す単位ベクトルとの関係式を用いた連立方程式を、前記反射率推定手段により前記物体表面の前記位置について推定された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を用いて解くことにより、前記物体表面の前記位置の法線ベクトルを算出する請求項４記載の物体形状推定装置。
前記反射率推定手段は、前記物体表面の各位置について、取得された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々の前記位置に対応する画素の、前記光の点灯及び消灯における明るさの差分値を用いて、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を推定する請求項４又は５記載の物体形状推定装置。
コンピュータを、
物体表面に対して、波長の異なる少なくとも３つの光の各々を、それぞれ異なる位置から照射する第１光照射手段により照射される光の点灯状態を保ち、かつ、前記物体表面に対して、前記少なくとも３つの光の各々の波長を全て包含する波長域を有する光を照射する第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段、
前記照射制御手段により制御される前記第２光照射手段により照射される光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記第１光照射手段により照射される光及び前記第２光照射手段により照射される光の点灯、並びに前記第１光照射手段により照射される光の点灯に対応する一組の画像の各々から、前記少なくとも３つの光の各々の波長に対応する分光画像データの各々を取得する画像取得手段、
前記第１光照射手段により照射される光及び第２光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさから、前記第１光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさを差し引いて得られる明るさと、前記第２光照射手段により照射される光の明るさの成分とに基づいて、前記物体表面の各位置について、前記少なくとも３つの光の各々の波長間の反射率比を推定する反射率推定手段、及び
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも３つの光の各々の波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々と、前記物体表面の注目点に対して予め求められた前記第１光照射手段の光源の各々の方向を表す単位ベクトルとに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段、
として機能させるためのプログラム。
コンピュータを、
物体表面に対して、波長の異なる少なくとも２つの光の各々を、それぞれ異なる位置から照射する第１光照射手段により照射される光の点灯状態を保ち、かつ、前記物体表面に対して、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長を全て包含する波長域を有する光を、前記少なくとも２つの光とは異なる位置から照射する第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段、
前記照射制御手段により制御される前記第２光照射手段により照射される光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記第１光照射手段により照射される光及び前記第２光照射手段により照射される光の点灯、並びに前記第１光照射手段により照射される光の点灯に対応する一組の画像の各々から、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々を取得する画像取得手段、
前記第１光照射手段により照射される光及び第２光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさから、前記第１光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさを差し引いて得られる明るさと、前記第２光照射手段により照射される光の明るさの成分とに基づいて、前記物体表面の各位置について、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を推定する反射率推定手段、及び
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々と、前記物体表面の注目点に対して予め求められた前記第１光照射手段の光源の各々の方向を表す単位ベクトルとに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段、
として機能させるためのプログラム。