JP6679289B2

JP6679289B2 - 処理装置、処理システム、撮像装置、処理方法、処理プログラムおよび記録媒体

Info

Publication number: JP6679289B2
Application number: JP2015232849A
Authority: JP
Inventors: 祐一楠美; 智暁井上; 義明井田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-11-30
Filing date: 2015-11-30
Publication date: 2020-04-15
Anticipated expiration: 2035-11-30
Also published as: CN106817543A; US20170155883A1; JP2017101934A; EP3174011A3; CN106817543B; US10321113B2; EP3174011B1; EP3174011A2

Description

本発明は、処理装置、処理システム、撮像装置、処理方法、処理プログラム、および記録媒体に関する。

被写体に関するより多くの物理情報を取得しておくことで、撮像後の画像処理において、物理モデルに基づく画像生成を行うことができる。例えば、被写体の見えを変更した画像を生成することが可能となる。被写体の見えは、被写体の形状情報、被写体の反射率情報、光源情報等で決定される。光源から射出され、被写体によって反射される光の物理的な振る舞いは局所的な面法線に依存するため、形状情報としては３次元形状ではなく被写体の面法線を用いることが特に有効である。被写体の面法線を取得する方法として、例えば、レーザ光を用いた三角測量や２眼ステレオなどの方法で取得される距離情報から求められた三次元形状を面法線情報に変換する方法が知られている。しかしながら、このような方法では装置は複雑になり、取得された面法線の精度は不十分である。

そこで、特許文献１や非特許文献１では、被写体の面法線を直接取得する方法として照度差ステレオ法を開示している。照度差ステレオ法は、被写体の面法線と被写体から光源への方向に基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を算出する方法である。被写体の反射特性は、例えば、ランバートの余弦則に従うランバート反射モデルを用いて近似することができる。

特開２０１０−１２２１５８号公報

松下康之、"照度差ステレオ"、情報処理学会研究報告、２０１１、Ｖｏｌ．２０１１−ＣＶＩＭ−１７７、Ｎｏ．２９、ｐｐ．１−１２

デジタルカメラなどの撮像装置において照度差ステレオ法により被写体の面法線情報を取得する際、赤色情報（以下、Ｒｃｈ．とする）、緑色情報（以下、Ｇｃｈ．とする）、青色情報（以下、Ｂｃｈ．とする）等の複数の波長で輝度情報が取得される。取得される輝度情報は、被写体や光源の色情報に依存するため、波長ごとにＳＮ比が異なる。そのため、それぞれの波長でノイズの影響が異なり、算出される面法線情報のばらつきが波長ごとに異なる。例えば、赤色の被写体をＲｃｈ．、Ｇｃｈ．、Ｂｃｈ．の波長ごとに撮影した場合、Ｒｃｈ．ではＳＮ比が高く、面法線情報のばらつきも小さいが、Ｇｃｈ．やＢｃｈ．ではＳＮ比が低く、面法線情報のばらつきが大きくなる。すなわち、取得される輝度情報に基づいて、適切な波長で面法線情報を算出する必要がある。しかしながら、特許文献１や非特許文献１には、取得される輝度情報に基づいた適切な波長による面法線情報の取得については開示されていない。

このような課題に鑑みて、本発明は、取得される輝度情報に基づいて、適切な波長で面法線情報を取得可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供することを目的とする。

本発明の一側面としての処理装置は、互いに異なる位置からの光を被写体に順次照射してそれぞれ撮像された複数の撮像画像ごとに、色ごとの輝度情報を取得する輝度情報取得部と、前記輝度情報に基づいて、前記複数の撮像画像に含まれる画像の領域ごとに面法線情報を取得する際に使用する色を設定する色設定部と、を有し、前記色設定部は、前記領域内で前記輝度情報の大きさが所定値より大きい色を前記使用する色として設定することを特徴とする。

また、本発明の他の発明としての処理システムは、互いに異なる位置からの光を被写体に順次照射してそれぞれ撮像された複数の撮像画像ごとに、色ごとの輝度情報を取得する輝度情報取得部と、前記輝度情報に基づいて、前記複数の撮像画像に含まれる画像の領域ごとに面法線情報を取得する際に使用する色を設定する色設定部と、前記使用する色の輝度情報に基づいて前記面法線情報を取得する面法線取得部と、を有し、前記色設定部は、前記領域内で前記輝度情報の大きさが所定値より大きい色を前記使用する色として設定することを特徴とする。

また、本発明の他の発明としての撮像装置は、被写体を撮像する撮像部と、前記撮像部により、互いに異なる位置からの光を前記被写体に順次照射してそれぞれ撮像される複数の撮像画像ごとに、色ごとの輝度情報を取得する輝度情報取得部と、前記輝度情報に基づいて、前記複数の撮像画像に含まれる画像の領域ごとに面法線情報を取得する際に使用する色を設定する色設定部と、前記使用する色の輝度情報に基づいて前記面法線情報を取得する面法線取得部と、を有し、前記色設定部は、前記領域内で前記輝度情報の大きさが所定値より大きい色を前記使用する色として設定することを特徴とする。

また、本発明の他の発明としての処理方法は、互いに異なる位置からの光を被写体に順次照射してそれぞれ撮像された複数の撮像画像ごとに、色ごとの輝度情報を取得するステップと、前記輝度情報に基づいて、前記複数の撮像画像に含まれる画像の領域ごとに面法線情報を取得する際に使用する色を設定するステップと、を有し、前記色を設定するステップは、前記領域内で前記輝度情報の大きさが所定値より大きい色を前記使用する色として設定することを特徴とする。

本発明によれば、取得される輝度情報に基づいて、適切な波長で面法線情報を取得可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供することができる。

撮像装置の外観図である（実施例１，２）。撮像装置のブロック図である（実施例１，２）。処理システムを示す図である（実施例１，２）。面法線算出処理を示すフローチャートである（実施例１，２）。取得される輝度情報を示す図である（実施例１）。取得される輝度情報を示す図である（実施例２）。面法線算出処理を示すフローチャートである（実施例３）。面法線情報取得システムの外観図である（実施例４）。Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルを示す図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

照度差ステレオ法は、被写体の面法線と被写体から光源への方向に基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を算出する方法である。反射特性は、所定の面法線と光源の位置が与えられたときに反射率が一意に定まらない場合、ランバートの余弦則に従うランバート反射モデルで近似すればよい。また、鏡面反射成分は、図８に示されるように、光源ベクトルｓと視線方向ベクトルｖの２等分線と、面法線ｎのなす角αに依存する。したがって、反射特性は、視線方向に基づく特性としてもよい。また、輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。

以下、ランバート反射モデルで反射特性を仮定した場合について説明する。反射光の輝度値をｉ、物体のランバート拡散反射率をρｄ、入射光の強さをＥ、物体から光源への方向（光源方向）を示す単位ベクトル(光源ベクトル)をｓ、物体の単位面法線ベクトルをｎとすると、輝度ｉはランバートの余弦則から以下の式（１）で示される。

異なるＭ個（Ｍ≧３）の光源ベクトルの各成分をｓ_１、ｓ_２、・・・、ｓ_Ｍ、光源ベクトルの各成分ごとの輝度値をｉ_１、ｉ_２、・・・ｉ_Ｍとすると、式（１）は以下の式（２）で示される。

式（２）の左辺はＭ行１列の輝度ベクトル、右辺の［ｓ_１ ^Ｔ、・・・ｓ_Ｍ ^Ｔ］はＭ行３列の光源方向を示す入射光行列Ｓ、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は、入射光行列Ｓの逆行列Ｓ^−１を用いて、Ｅρ_ｄｎは以下の式（３）で示される。

式（３）の左辺のベクトルのノルムが入射光の強さＥとランバート拡散反射率ρ_ｄの積であり、正規化したベクトルが物体の面法線ベクトルとして算出される。すなわち、入射光の強さＥとランバート拡散反射率ρ_ｄは積の形でのみ条件式に現れるので、Ｅρ_ｄを１つの変数とみなすと、式（３）は単位面法線ベクトルｎの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。したがって、少なくとも３つの光源を用いて輝度情報を取得することで、各変数を決定することができる。なお、入射光行列Ｓが正則行列でない場合は逆行列が存在しないため、入射光行列Ｓが正則行列となるように入射光行列Ｓの各成分ｓ_１〜ｓ_３を選択する必要がある。すなわち、成分ｓ３を成分ｓ１，ｓ２に対して線形独立に選択することが望ましい。

また、Ｍ＞３の場合は求める未知変数より多い条件式が得られるので、任意に選択した３つの条件式からＭ＝３の場合と同様の方法で単位面法線ベクトルｎを算出すればよい。４つ以上の条件式を用いる場合は、入射光行列Ｓが正則行列ではなくなるため、例えば、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ疑似逆行列を使って近似解を算出すればよい。また、フィッティング手法や最適化手法によって単位面法線ベクトルｎを算出してもよい。

被写体の反射特性をランバート反射モデルとは異なるモデルで仮定した場合は、条件式が単位面法線ベクトルｎの各成分に対する線形方程式と異なる場合がある。その場合、未知変数以上の条件式が得られれば、フィッティング手法や最適化手法を用いることができる。

また、Ｍ＞３の場合には３以上Ｍ−１以下の複数の条件式が得られるため、単位面法線ベクトルｎの複数の解の候補を求めることができる。この場合、さらに別の条件を用いて複数の解の候補から解を選択すればよい。例えば、単位面法線ベクトルｎの連続性を条件として用いることができる。単位面法線ｎを撮像装置の１画素ごとに算出する場合、画素（ｘ、ｙ）での面法線をｎ（ｘ、ｙ）として、ｎ（ｘ−１、ｙ）が既知であれば以下の式（４）で示される評価関数が最小となる解を選択すればよい。

また、ｎ（ｘ＋１、ｙ）やｎ（ｘ、ｙ±１）も既知であれば、以下の式（５）が最小となる解を選択すればよい。

既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、以下の式（６）で示される式（５）の全画素での総和が最小となるように解を選択してもよい。

なお、最近傍以外の画素での面法線を用いたり、注目する画素位置からの距離に応じて重みづけした評価関数を用いてもよい。

また、別の条件として、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、単位面法線ベクトルと光源方向ベクトルが近いほど反射光の輝度が大きくなる。よって、複数の光源方向での輝度値のうち最も輝度値が大きくなる光源方向ベクトルに近い解を選択することで、単位面法線ベクトルを決定することができる。

また、鏡面反射モデルでは、光源ベクトルをｓ、物体からカメラへの方向の単位ベクトル(カメラの視線ベクトル)をｖとすると、以下の式（７）が成り立つ。

式（７）に示されるように、光源方向ベクトルｓとカメラの視線ベクトルｖが既知であれば単位面法線ベクトルｎを算出することができる。表面に粗さがある場合、鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解の候補うち最も平滑面に対する解に近い候補を選択すればよい。また、複数の解の候補の平均によって真の解を決定してもよい。

図１は本実施例の撮像装置の外観図であり、図２Ａは撮像装置のブロック図である。撮像装置は、被写体を撮像する撮像部１００および光源部２００を備える。撮像部１００は、撮像光学系１０１を備える。光源部２００は、撮像光学系１０１の光軸を中心とする同心円状に等間隔で配置される８個の光源から構成される。なお、照度差ステレオ法を実施する際に必要な光源は少なくとも３個であるため、光源部２００は３個以上の光源を備えていればよい。また、本実施例では光源部２００は複数の光源を撮像光学系１０１の光軸を中心とした同心円状に等間隔で配置しているが、本発明はこれに限定されない。また、本実施例では、光源部２００は、撮像装置に内蔵されているが、着脱可能に取り付けられる構成としてもよい。

撮像光学系１０１は、絞り１０１ａを備え、被写体からの光を撮像素子１０２上に結像させる。本実施例では、撮像光学系１０１は、撮像装置に内蔵されているが、一眼レフカメラのように撮像装置に着脱可能に取り付けられる構成であってもよい。撮像素子１０２はＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体を撮像する。撮像素子１０２の光電変換によって生成されるアナログ電気信号は、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて画像処理部１０４に入力される。

画像処理部１０４は、デジタル信号に対して一般的に行われる画像処理と併せて、被写体の面法線情報を取得する。画像処理部１０４は、輝度情報を取得する輝度情報取得部１０４ａ、面法線情報とする波長を設定する波長設定部１０４ｂ、および面法線情報を取得する面法線情報取得部１０４ｃを備える。画像処理部１０４で処理され、出力される画像は、半導体メモリや光ディスク等の画像記録部１０９に保存される。また、出力画像を表示部１０５に表示してもよい。なお、本実施例では、輝度情報取得部１０４ａと波長設定部１０４ｂは、撮像装置に内蔵されているが、撮像装置とは別の処理装置として構成されてもよい。

情報入力部１０８は、ユーザーによって選択された撮影条件（例えば、絞り値、露出時間、または焦点距離）をシステムコントローラ１１０に供給する。照射光源制御部１０６は、システムコントローラ１１０からの指示に応じて光源部２００の発光状態を制御する。撮像制御部１０７は、システムコントローラ１１０からの情報に基づいて、ユーザーが選択した所望の撮影条件で画像を取得する。

本実施例の面法線算出処理について、図３のフローチャートを参照して説明する。図３は、本実施例の面法線算出処理を示すフローチャートである。本実施例の面法線算出処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータを処理装置として機能させるための処理プログラムにしたがって実行される。なお、処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。

ステップＳ１０１では、輝度情報取得部１０４ａは、システムコントローラ１１０により被写体を照明する光源の位置を互いに異ならせて撮像された複数の撮像画像ごとに、波長ごとの輝度情報を取得する。ここで、図４に示されるベイヤー配列の撮像素子１０２は、１画素に対して１つの波長のみの輝度情報を取得する。本実施例ではＲｃｈ．、Ｇｃｈ．、Ｂｃｈ．のベイヤー配列の撮像素子を用いて波長ごとに輝度情報を取得するが、本発明はこれに限定されない。また、本実施例では、システムコントローラ１１０は、複数の撮像画像を撮像する際に、照射光源制御部１０６を制御し、光源部２００の光源強度の制御および光源位置の設定を行っているが、本発明はこれに限定されない。例えば、光源位置は単一の光源の位置を変更することで設定してもよいし、光源部２００とは別に互いに位置の異なる複数の光源を設定してもよい。

ステップＳ１０２では、波長設定部１０４ｂは、ステップＳ１０１で取得される輝度情報に基づいて、面法線情報とする波長、すなわち面法線情報を取得する際に使用する波長を設定する。取得される輝度情報は、被写体や光源の色情報に依存するため、各画素における波長ごとにＳＮ比が異なる。そのため、それぞれの波長でノイズの影響が異なり、取得される面法線情報のばらつきが各画素の波長ごとに異なる。

ここで、式（２）においてノイズを考慮すると、以下の式（８）で表される。

また、式（３）においてノイズを考慮すると、以下の式（９）で表される。

式（８），（９）において、取得される輝度情報に対してノイズの影響が大きくなると、取得される面法線情報ｎのばらつきが大きくなる。したがって、取得される輝度情報に基づいて、面法線情報を取得する際に使用する波長を適切に設定する必要がある。例えば、ステップＳ１０１で取得される領域ごとのＲｃｈ．，Ｇｃｈ．，Ｂｃｈ．の輝度情報のうち、輝度情報の大きさが最大となる波長を面法線情報とする波長として設定する。輝度情報の大きさを求める場合、複数の光源位置で取得される複数の輝度情報の平均値や中央値を用いてもよいし、複数の光源位置で取得される複数の輝度情報のうち１枚の輝度情報を用いてもよい。また、領域は、図４に示されるように、４画素から構成される領域３００でもよいし、４画素内の各波長における輝度情報の比率が一定の範囲内の領域である被写体の色に基づいて決定される領域でもよい。領域内で各波長の輝度情報が複数存在する場合、輝度情報の平均値や中央値を用いてもよい。本実施例では、領域として、４画素の領域を用いて説明したが、本発明はこれに限定されない。

また、輝度情報の大きさが所定値より大きくなる波長を面法線情報とする波長として設定してもよい。取得する面法線情報のばらつきは、輝度情報に含まれる撮像装置のＩＳＯ感度や輝度レベル等の撮影条件に対するノイズ特性と、撮影時の光源数に影響される。そのため、所定値は、センサーのノイズ特性と光源数に基づいて設定すればよい。例えば、所定値は、以下の式（１０）で表される。

ここで、Ｉ_λは各波長の輝度情報、σ_ｎはノイズ特性、Ｎは光源数、Ｃは定数である。ただし、所定値の設定は、式（１０）に限定されない。なお、ノイズ特性は、あらかじめ測定してメモリに記憶しておき、撮影時の撮影条件と輝度情報に応じて取得すればよい。

ステップＳ１０３では、面法線情報取得部１０４ｃは、ステップＳ１０２で設定される面法線情報とする波長の輝度情報の光源位置による変化に基づいて、照度差ステレオ法を用いて面法線情報を取得する。例えば、領域内で面法線情報とする波長をＲｃｈ．と設定した場合、その波長の画素においてのみ面法線情報を取得する。面法線情報とする波長を設定することで波長設定部１０４ｂに設定されない波長に対応する、すなわち面法線情報を取得しない画素については、その画素の近傍画素の面法線情報に基づいて、種々の補間処理によって面法線情報が生成される。

なお、本実施例では撮像装置内で被写体の面法線を算出しているが、図２Ｂに示されるように、撮像装置とは異なる処理システム２を用いて被写体の面法線を算出してもよい。図２Ｂに示される処理システム２は、処理装置５００、面法線情報取得部５０１、撮像部５０２、および光源部５０３を備える。処理装置５００は、輝度情報取得部５００ａと波長設定部５００ｂを備える。処理システム２を用いて面法線情報を算出する場合、まず、光源部５０３が被写体に少なくとも３つ以上の光源位置から光を照射し、撮像部５０２が各光源位置において画像を撮像する。光源位置は、光源部５０３が１つの光源から構成される場合、撮影ごとに光源部５０３を移動させればよいし、光源部５０３が少なくとも３つ以上の光源を備える場合、撮影ごとに光を照射する光源を変更すればよい。次に、輝度情報取得部５００ａが画像ごとに波長ごとの輝度情報を取得し、波長設定部５００ｂが輝度情報に基づいて面法線情報を取得する際に使用する波長を設定する。次に、面法線取得部が波長設定部５００ｂにより設定される波長の輝度情報に基づいて面法線情報を取得する。なお、処理システムは少なくとも処理装置５００と面法線情報取得部５０１を備えていればよく、処理装置５００が面法線情報取得部５０１を備えていてもよい。また、撮像部５０２および光源部５０３はそれぞれ、個別の装置であってもよいし、光源部５０３が撮像部５０２に内蔵されていてもよい。

以上説明したように、本実施例では、取得される輝度情報に基づいて、適切な波長で面法線情報を取得することができる。

本実施例の撮像装置は、図１および図２に示される実施例１の撮像装置の構成と同様である。そのため、実施例１と同様の構成については、詳細な説明を省略する。本実施例では、図５に示されるように、１画素に対して複数の波長の輝度情報が取得される場合に、取得される輝度情報に基づいて適切な波長で面法線情報が取得される。

本実施例の面法線算出処理について、実施例１と同様に図３のフローチャートを用いて説明する。本実施例の面法線算出処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータを処理装置として機能させるための処理プログラムにしたがって実行する。なお、処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。

ステップＳ１０１では、輝度情報取得部１０４ａは、システムコントローラ１１０により被写体を照明する光源の位置を異ならせて撮像された複数の撮像画像ごとに波長ごとの輝度情報を取得する。ここで、撮像素子１０２は、図５に示されるように、３波長の輝度情報４００〜４０２を取得する。本実施例では、輝度情報の構成を１画素につきＲｃｈ．、Ｇｃｈ．、Ｂｃｈ．の３波長としているが、本発明はこれに限定されない。また、３波長の輝度情報は単一の撮像素子を用いて取得してもよいし、特性がそれぞれ異なる波長フィルターを搭載した複数の撮像素子を用いて取得してもよい。単一の撮像素子を用いる場合は、波長フィルターがベイヤー配列である撮像素子で取得した輝度情報をデモザイク処理した後の輝度情報を取得してもよいし、単一画素に複数の波長フィルターを搭載した撮像素子で取得した輝度情報を取得してもよい。

ステップＳ１０２では、波長設定部１０４ｂは、ステップＳ１０１で取得される輝度情報に基づいて面法線情報とする波長の設定を行う。具体的には、波長設定部１０４ｂは、領域ごとのＲｃｈ．、Ｇｃｈ．、Ｂｃｈ．の輝度情報の大きさに基づいて面法線情報とする波長として設定する。領域は、１画素で構成されてもよい。また、各波長における輝度情報の比率が一定の範囲内の領域である被写体の色に基づいて決定される領域としてもよい。また、各画素における各波長の輝度情報の値の大きさに応じた重み付けを行い、各波長の輝度情報の重み付け線形和で表したものを輝度情報として、ステップＳ１０３で面法線情報を取得する際に使用してもよい。その際、ＳＮ比が高い波長、すなわち輝度情報の値が大きい波長ほど重みを大きく設定する。

ステップＳ１０３では、面法線情報取得部１０４ｃは、ステップＳ１０２で設定される面法線情報とする波長の輝度情報の光源位置による変化に基づいて、照度差ステレオ法を用いて面法線情報を取得する。面法線情報とする波長の設定により法線情報が複数求められる場合は、その平均値を法線情報としてもよい。また、それぞれの波長における輝度情報が大きいほど重みを大きく設定した加重平均を行って面法線情報を取得してもよい。

本実施例の撮像装置は、図１および図２に示される実施例１と実施例２の撮像装置の構成と同様である。そのため、実施例１と同様の構成については、詳細な説明を省略する。

本実施例の面法線算出処理について、図６のフローチャートを参照して説明する。図６は、本実施例の面法線算出処理を示すフローチャートである。本実施例の面法線算出処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータを処理装置として機能させるための処理プログラムにしたがって実行される。なお、処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。

ステップＳ２０１では、輝度情報取得部１０４ａは、システムコントローラ１１０により被写体を照明する光源の位置を互いに異ならせて撮像された複数の撮像画像ごとに波長ごとの輝度情報を取得する。撮像素子１０２は、実施例１で説明したように１画素に対して１つの波長のみの輝度情報を取得してもよいし、実施例２で説明したように１画素に対して複数の波長の輝度情報を取得してもよい。

ステップＳ２０２では、面法線情報取得部１０４ｃは、複数の光源位置における輝度情報に基づいて、Ｒｃｈ．、Ｇｃｈ．、Ｂｃｈ．の全波長の面法線情報を算出する。

ステップＳ２０３では、波長設定部２０４ｂは、ステップＳ２０１で取得される輝度情報に基づいて面法線情報とする波長の設定を行う。ステップＳ２０３は、ステップＳ２０２の前に行ってもよい。

ステップＳ２０４では、面法線情報取得部１０４ｃは、ステップＳ２０２で算出される面法線情報のうち、ステップＳ２０３で設定される面法線情報とする波長に基づいて、面法線情報を取得する。面法線情報とする波長を設定することで面法線情報を算出しない画素については、その画素の近傍画素における法線情報に基づいて、種々の補間処理によって生成する。

実施例１〜３では、光源部２００を内蔵する撮像装置について説明したが、本実施例では撮像装置と光源ユニットから構成される面法線情報取得システムについて説明する。

図７は、面法線情報取得システムの外観図である。面法線情報取得システムは、被写体７０３を撮像する撮像装置７０１および複数の光源を有する光源ユニット７０２を備える。本実施例の撮像装置７０１は、実施例１〜３の撮像装置と同様の構成であるが、光源部として照度差ステレオ法用の複数の光源を内蔵する必要はない。光源ユニット７０２は、撮像装置７０１と有線または無線で接続され、撮像装置７０１からの情報に基づいて制御できることが好ましい。また、光源ユニット７０２が自動で光源位置を変更できない場合や光源ユニット７０２が撮像装置７０１により制御できない場合には、撮像装置７０１の表示部に表示される光源条件になるようにユーザーに光源ユニット７０２を調整させるようにしてもよい。

照度差ステレオ法では少なくとも３光源で撮像した画像が必要であるが、本実施例のように光源位置が可変な光源ユニットを使用する場合、少なくとも一つの光源ユニットがあればよい。ただし、光源ユニットの位置を変えることで、最低３つの光源位置で撮影を行う必要がある。

以上説明したように、本実施例では、取得される輝度情報に基づいて、適切な波長で面法線情報を取得することができる。本実施例の面法線算出処理については、実施例１〜３のフローと同様であるため詳細な説明は省略する。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０４ａ輝度情報取得部
１０４ｂ波長設定部

Claims

互いに異なる位置からの光を被写体に順次照射してそれぞれ撮像された複数の撮像画像ごとに、色ごとの輝度情報を取得する輝度情報取得部と、
前記輝度情報に基づいて、前記複数の撮像画像に含まれる画像の領域ごとに面法線情報を取得する際に使用する色を設定する色設定部と、を有し、
前記色設定部は、前記領域内で前記輝度情報の大きさが所定値より大きい色を前記使用する色として設定することを特徴とする処理装置。
前記使用する色の輝度情報に基づいて前記面法線情報を取得する面法線取得部を更に有することを特徴とする請求項１に記載の処理装置。
前記色設定部は、前記輝度情報の大きさに基づいて色ごとの重みを設定し、
前記面法線取得部は、前記重みを用いて算出される色ごとの輝度情報の線形和に基づいて前記面法線情報を取得することを特徴とする請求項２に記載の処理装置。
前記色設定部は、前記領域内で前記輝度情報の大きさが最大である色を前記使用する色として設定することを特徴とする請求項１から３のいずれか１項に記載の処理装置。
前記所定値は、ノイズ特性と光源数に基づいて決定されることを特徴とする請求項１から４のいずれか１項に記載の処理装置。
互いに異なる位置からの光を被写体に順次照射してそれぞれ撮像された複数の撮像画像ごとに、色ごとの輝度情報を取得する輝度情報取得部と、
前記輝度情報に基づいて、前記複数の撮像画像に含まれる画像の領域ごとに面法線情報を取得する際に使用する色を設定する色設定部と、
前記使用する色の輝度情報に基づいて前記面法線情報を取得する面法線取得部と、を有し、
前記色設定部は、前記輝度情報の大きさに基づいて色ごとの重みを設定し、
前記面法線取得部は、前記重みを用いて算出される色ごとの輝度情報の線形和に基づいて前記面法線情報を取得することを特徴とする処理装置。
互いに異なる位置からの光を被写体に順次照射してそれぞれ撮像された複数の撮像画像ごとに、色ごとの輝度情報を取得する輝度情報取得部と、
前記輝度情報に基づいて、前記複数の撮像画像に含まれる画像の領域ごとに面法線情報を取得する際に使用する色を設定する色設定部と、
前記使用する色の輝度情報に基づいて前記面法線情報を取得する面法線取得部と、を有し、
前記色設定部は、前記領域内で前記輝度情報の大きさが所定値より大きい色を前記使用する色として設定することを特徴とする処理システム。
互いに位置の異なる３つ以上の光源を備える光源部を更に有することを特徴とする請求項７に記載の処理システム。
互いに異なる位置からの光を被写体に順次照射してそれぞれ撮像された複数の撮像画像ごとに、色ごとの輝度情報を取得する輝度情報取得部と、
前記輝度情報に基づいて、前記複数の撮像画像に含まれる画像の領域ごとに面法線情報を取得する際に使用する色を設定する色設定部と、
前記使用する色の輝度情報に基づいて前記面法線情報を取得する面法線取得部と、を有し、
前記色設定部は、前記輝度情報の大きさに基づいて色ごとの重みを設定し、
前記面法線取得部は、前記重みを用いて算出される色ごとの輝度情報の線形和に基づいて前記面法線情報を取得することを特徴とする処理システム。
被写体を撮像する撮像部と、
前記撮像部により、互いに異なる位置からの光を前記被写体に順次照射してそれぞれ撮像される複数の撮像画像ごとに、色ごとの輝度情報を取得する輝度情報取得部と、
前記輝度情報に基づいて、前記複数の撮像画像に含まれる画像の領域ごとに面法線情報を取得する際に使用する色を設定する色設定部と、
前記使用する色の輝度情報に基づいて前記面法線情報を取得する面法線取得部と、を有し、
前記色設定部は、前記領域内で前記輝度情報の大きさが所定値より大きい色を前記使用する色として設定することを特徴とする撮像装置。
互いに位置の異なる３つ以上の光源を備える光源部を更に有することを特徴とする請求項１０に記載の撮像装置。
前記撮像部は、ベイヤー配列の撮像素子を備えることを特徴とする請求項１０または１１に記載の撮像装置。
前記面法線取得部は、前記使用する色と異なる色に対応する第１画素の近傍に位置する単一または複数の第２画素における面法線情報に基づいて、前記第１画素の面法線情報を取得することを特徴とする請求項１２に記載の撮像装置。
被写体を撮像する撮像部と、
前記撮像部により、互いに異なる位置からの光を前記被写体に順次照射してそれぞれ撮像される複数の撮像画像ごとに、色ごとの輝度情報を取得する輝度情報取得部と、
前記輝度情報に基づいて、前記複数の撮像画像に含まれる画像の領域ごとに面法線情報を取得する際に使用する色を設定する色設定部と、
前記使用する色の輝度情報に基づいて前記面法線情報を取得する面法線取得部と、を有し、
前記色設定部は、前記輝度情報の大きさに基づいて色ごとの重みを設定し、
前記面法線取得部は、前記重みを用いて算出される色ごとの輝度情報の線形和に基づいて前記面法線情報を取得することを特徴とする撮像装置。
互いに異なる位置からの光を被写体に順次照射してそれぞれ撮像された複数の撮像画像ごとに、色ごとの輝度情報を取得するステップと、
前記輝度情報に基づいて、前記複数の撮像画像に含まれる画像の領域ごとに面法線情報を取得する際に使用する色を設定するステップと、を有し、
前記色を設定するステップは、前記領域内で前記輝度情報の大きさが所定値より大きい色を前記使用する色として設定することを特徴とする処理方法。
前記使用する色の前記輝度情報に基づいて前記面法線情報を取得するステップを更に有することを特徴とする請求項１５に記載の処理方法。
前記輝度情報に基づいて前記面法線情報を算出するステップと、
前記使用する色に基づいて前記面法線情報から使用する面法線情報を取得するステップと、を更に有することを特徴とする請求項１５に記載の処理方法。
互いに異なる位置からの光を被写体に順次照射してそれぞれ撮像された複数の撮像画像ごとに、色ごとの輝度情報を取得するステップと、
前記輝度情報に基づいて、前記複数の撮像画像に含まれる画像の領域ごとに面法線情報を取得する際に使用する色を設定するステップと、
前記使用する色の輝度情報に基づいて前記面法線情報を取得するステップと、を有し、
前記色を設定するステップは、前記輝度情報の大きさに基づいて色ごとの重みを設定し、
前記面法線情報を取得するステップは、前記重みを用いて算出される色ごとの輝度情報の線形和に基づいて前記面法線情報を取得することを特徴とする処理方法。
コンピュータを請求項１から６のいずれか１項に記載の処理装置として機能させるためのプログラム。
請求項１９に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。