JP3887377B2

JP3887377B2 - 画像情報取得装置、画像情報取得方法及び画像情報取得プログラム

Info

Publication number: JP3887377B2
Application number: JP2004010910A
Authority: JP
Inventors: 晋久岸川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-01-19
Filing date: 2004-01-19
Publication date: 2007-02-28
Anticipated expiration: 2024-01-19
Also published as: JP2005201868A

Description

本発明は反射光画像を撮影することで撮影対象までの距離としての奥行き値を取得する技術にかかり、特に、得られた反射光画像の輝度値から奥行き値を求めることで得られる奥行き値の精度を向上させる画像情報取得装置、画像情報取得方法及び画像情報取得プログラムに関する。

コンピュータをはじめとする各種情報機器において、情報の入力手段をどのようにして実現するかは極めて重要な問題である。

特に、いわゆる空間の３次元に関する情報は３次の自由度を持つため、正確に効率良く入力できる手段を実現することは難しい。既に考案、開発されている３次元情報の取得装置、取得方法は、それぞれが立脚する原理によって、様々な長所および短所が存在する。

例えば、機械的な計測によって３次元情報を獲得する装置が用いられている。この例は、対象の表面をニードルでなぞり、そのニードルの先端の位置を記録してゆく方法である。この場合、対象に直接干渉するため正確な３次元情報が獲得出来るという長所がある一方で、直接干渉することが可能な物体に利用が限られるという欠点がある。また、計測手段を物理的に移動させながら逐次的に情報を蓄積するため、ある特定の範囲全体の３次元情報を獲得する場合には時間が掛かるという問題点もある。

例えば、測量的な計測によって３次元情報を獲得する装置も用いられている。例えば、レーザーレンジカメラを使って対象物までの距離を計測する方法である。レーザーレンジカメラはレーザー光を照射して対象までの距離を計測する為、正確な３次元情報が得られるという長所を持つ。また、前記ニードル方式よりは高速に３次元情報が獲得出来る。しかし、レーザー光による走査時間は数秒掛かる為、動画のように連続して３次元情報を獲得することは出来ない。また、レーザー光を使用した特殊な機器であるため、高価であったり操作が難しいという欠点がある。

さらに例えば、画像情報から３次元情報を獲得する装置も用いられている。画像を利用して３次元情報を求める技術は、これまで画像処理、画像認識技術として研究されてきたもので、ステレオ画像処理やパターン光投影法などが挙げられる。画像情報自体は動画として撮影可能であるため、後段の情報処理を高速化することで連続して高速に３次元情報を獲得できる余地があるが、画像の内容(見え方)のみが手掛かりである為、適用条件が制限されたり、得られる結果が不安定になりやすいという問題点がある。

さらに他にも、例えば、三角測量の原理で奥行を求めるステレオ画像処理技術がある。しかしながら、複数の画像間で対応する点の探索を行うため、対応点を特定できない画像(白い壁など)には適用できないという欠点がある。

また、パターン光投影法は、色や濃淡のパターン光を対象に投影し、その投影パターンが対象表面の凹凸によって歪むことを利用して、対象の断面形状を推定する技術であるが、パターン光を投影する原理上、明るい場所では使えないという欠点がある。

次に、本発明における情報取得装置および方法が基礎と置いている技術について述べる。

特開平10-177449号公報（特許文献１）に記載の発明は、反射光が距離の２乗に反比例するという性質を利用して、カメラ側で発した照射光により反射した光の輝度を参照することで、間接的に奥行き情報を得る手段および方法である。この発明において、距離情報を算出する根拠となる反射光の画像は、依然として画像の一種である。したがって、既存の動画撮影技術の応用により毎秒１０〜３０枚程度のフレームレートで距離情報を取得することが可能であるとしている。

しかし、反射光の画像における反射光の強度は、対象との距離以外の、例えば対象の表面の反射係数などといった条件によって変動し、必ずしも実際の距離を反映していない場合がある。よって、反射光の画像が真の距離情報を反映したものに近づくように、何らかの手段で反射光の画像の輝度を補正しなければ、奥行き情報を取得する手段としては不十分である。

前記問題に対して、例えば、特開2003-185412号公報（特許文献２）に記載の発明は、照射光成分と自然光成分による画像と共に一般の自然光画像を取得する手段を設けることで、対象の表面の色情報から対象の反射係数を推定し、補正する装置及び方法について述べている。しかしながら、この発明における補正内容は、対象の表面色などに起因する反射係数の問題についてのみ言及しており、それ以外の要因による輝度値の変動、例えば対象物の表面が傾いていることによる輝度低下の問題などについては解決できていない。
特開平10-177449号特開2003-185412号

以上で述べたように、従来の画像情報取得装置では、反射光の画像の輝度を参照することで、毎秒１０〜３０回程度の高速で、かつ簡便に３次元情報を獲得することができるが、これらの装置または方法によって取得される３次元情報の精度は必ずしも良好であるとは言えなかった。

すなわち、反射光の強さが距離の２乗に反比例するという性質として、Ｖ＝ｎ／Ｄ^２(Ｖ：反射光の強さ、ｎ：係数、Ｄ：物体との距離)を利用することで、反射光の画像の輝度を参照して光源から対象までの距離を測定することが可能となる。しかし、反射光の強度は対象までの距離以外の様々な要因によっても変動するため、単純に反射光の画像の輝度値のみを参照して正確な距離情報を得ることは難しい。特に、表面に凹凸のある対象物の場合には、表面の傾きによって反射光の輝度が低下する現象が発生し、輝度値をそのまま距離の情報に変換して利用すると誤差が大きくなるという問題がある。

本発明は上記課題を解決するためになされたもので、その目的とするところは、対象の奥行き値を高精度で算出することのできる画像情報取得装置、画像情報取得方法及び画像情報取得プログラムを提供することにある。

本発明のある観点によれば、対象に対して光を照射する照射手段と、対象が照射光のみに照らされた状態の第１の画像を取得する画像取得手段と、前記第１の画像の第１の位置の第１の輝度に基づき、前記第１の輝度が、前記第１の位置の奥行き値と前記第１の位置の面の傾きとにより決定される第１拘束条件と、第１の位置の面の傾きと前記第１の画像の第２の位置の面の傾きとが滑らかに接続される第２拘束条件とを満たすように、前記第１の位置の前記奥行き値を算出する奥行き値算出手段とを具備してなることを特徴とする画像情報取得装置が提供される。

また、本発明の別の観点によれば、対象に対して光を照射する照射手段と、前記対象が自然光のみに照らされた状態の第１の画像と、前記対象が照射光と自然光に照らされた状態の第２の画像とを取得する画像取得手段と、前記第１の画像と前記第２の画像に基づき、前記対象が照射光のみに照らされた状態の前記対象の第１の位置の第１の輝度を取得する輝度取得手段と、前記第１の輝度に基づき、前記第１の輝度が、前記第１の位置の奥行き値と前記第１の位置の面の傾きとにより決定される第１拘束条件と、第１の位置の面の傾きと前記対象の第２の位置の面の傾きとが滑らかに接続される第２拘束条件とを満たすように、前記第１の位置の前記奥行き値を算出する奥行き値算出手段とを具備してなることを特徴とする画像情報取得装置が提供される。

また、本発明のさらに別の観点によれば、対象が照射光のみに照らされた状態の第１の画像の第１の位置の第１の輝度に基づき、前記第１の輝度が、前記第１の位置の奥行き値と前記第１の位置の面の傾きとにより決定される第１拘束条件と、前記第１の位置の面の傾きと前記第１の画像の第２の位置の面の傾きとが滑らかに接続される第２拘束条件とを満たすように、前記第１の位置の前記奥行き値を算出することを特徴とする画像情報取得方法が提供される。

また、本発明のさらに別の観点によれば、コンピュータに、対象が照射光のみに照らされた状態の第１の画像の第１の位置の第１の輝度に基づき、前記第１の輝度が、前記第１の位置の奥行き値と前記第１の位置の面の傾きとにより決定される第１拘束条件と、前記第１の位置の面の傾きと前記第１の画像の第２の位置の面の傾きとが滑らかに接続される第２拘束条件とを満たすように、前記第１の位置の前記奥行き値を算出させる機能を実現させることを特徴とする画像情報取得プログラムが提供される。

本発明によれば、対象の奥行き値を高精度で算出することができる。

以下、図面を参照しながら本発明の実施形態を説明する。
（第１実施形態）
図１は本発明の第１実施形態に係る画像情報取得装置１の全体構成を示すブロック図である。この画像情報取得装置１は、対象物４に光を照射し、その照射光により反射した光の画像を撮影することで、対象物４の各部までの距離情報を取得する装置である。反射した光の画像を撮影することで対象物の各部までの距離情報が得られる原理については後述する。

なお、以下の実施形態では、説明の便宜のため、自然光（環境光）のみに照らされ得られた画像を自然光画像、自然光（環境光）及び照射光の双方に照らされ得られた画像を混合光画像、照射光のみに照らされ得られた画像を反射光画像と呼ぶ。

この画像情報取得装置１は、画像取得部２と情報処理部３からなる。画像取得部２は対象物３から反射した光の画像を撮像して取得するもので、制御部２１と、照射部２２と、撮像光学系２３と、撮像センサ２４と、撮像回路２５と、インタフェース（Ｉ／Ｆ）回路２６からなる。情報処理部３は、画像取得部２で取得された画像情報を処理するためのもので、情報入出力部３１と、情報演算部３２と、情報蓄積部３３からなる。

照射部２２は、光を発光して対象物４に照射する。対象物４の像は撮像光学系２３で光学的に結像される。この結像された像は撮像センサ２４で検出されて光電変換され、電気信号として撮像回路２５に出力される。撮像回路２５は撮像センサ２４の光電変換動作を制御する。また、撮像回路２５は、照射部２２からの照射光照射時の第１の画像信号（混合光画像信号）の電荷量と、照射光を照射しない時に得られた第２の画像信号（自然光画像信号）の電荷量を差分し、照射光のみの画像信号量を算出する差分情報取得部２５１を備える。電気信号に変換された画像情報はＩ／Ｆ回路２６を介して外部に出力される。照射部２２、撮像回路２５及びＩ／Ｆ回路２６などの動作は制御部２１で総括して制御される。

情報入出力部３１は、外部装置や外部端末との情報の入出力を行う。情報演算部３２は、情報入出力部３１を介して画像取得部２から得られた画像情報を処理し、かつ撮像動作の制御の為の演算を行い、当該演算結果を情報入出力部３１を介して画像取得部２に伝え、その各構成を制御する。情報蓄積部３３は、情報演算部３２から自由にアクセス可能に構成され、情報演算部３２が参照するパラメータや情報処理の結果などを蓄積する。また、得られた演算結果は情報入出力部３１を介して外部システム５に出力される。外部システム５は、受信した演算結果に基づき画像情報として例えば対象の断面形状を表示したりする。

画像取得部２と情報処理部３は、1つの装置として実装されていても良いし、別個の装置を有線や無線等の手段で接続した統合システムであっても良い。

図２は画像情報取得装置１の概観構成図である。図２の例では、画像情報取得装置１の画像取得部２は単体のカメラヘッドで構成され、情報処理部３はパーソナルコンピュータで構成される。これらカメラヘッドとパーソナルコンピュータは互いにＵＳＢ等のデータバスで接続される。

図３は情報演算部３２及び情報蓄積部３３の詳細な構成の一例を示す図である。図３に示すように、情報演算部３２は、輝度取得手段３２１と、アンカー点取得手段３２２と、処理範囲確定手段３２３と、奥行き値・勾配算出手段３２４からなる。また、情報蓄積部３３に蓄積されるデータとして、画像情報３３１と、輝度値３３２と、アンカー点３３３と、処理範囲３３４と、奥行き値・勾配値３３５と、第１拘束条件及び第２拘束条件が示されている。

まず、画像取得部２から取得された対象物４の画像情報３３１に基づき輝度取得手段３２１はその画像情報３３１の各位置における輝度値３３２を算出する。次に、アンカー点取得手段３２２は、得られた輝度値３３２に基づき、奥行き値及び勾配値の算出の基準点としてのアンカー点を算出する。アンカー点が設定されると、処理範囲確定手段３２３は得られたアンカー点に基づき処理範囲３２４を確定する。奥行き値・勾配算出手段３２４は、与えられた処理範囲３２４において、輝度値３３２に基づき第１拘束条件及び第２拘束条件に従う奥行き値・勾配値３３５を画像情報３３１の各位置について算出し、情報蓄積部３３に蓄積する。奥行き値とは、観察位置から対象物４までの距離情報のうち、奥行き方向の距離を示す情報である。勾配値とは、対象物４のある位置における局所的な面の傾きを示す情報である。

なお、得られた奥行き値・勾配値３３５を例えば外部システム５に出力し、外部システム５に設けられた視覚化処理装置を用いて、奥行き値・勾配値３３５で与えられた断面形状を生成し、その外部システム５に設けられた表示部に表示することで、高精度の奥行き値に基づいた対象の断面形状を確認することができる。

対象物４の撮影により反射光画像を取得することで距離情報が得られる原理は、反射光の強度は光源から対象物までの距離の二乗に反比例するという性質に基づく。これにより、撮影位置から発した照射光のみによって照らされた対象物４の反射光画像を取得することで、撮影位置から対象物４の各部までの距離情報を得ることが可能となる。本実施形態では、照射部２２が画像取得部２内に存在し、照射部２２が発する照射光のみに照らされた反射光画像を取得することで、画像取得部２からの距離情報を得ることができる。

次に、画像情報取得装置１の基本動作について説明する。

まず、照射部２２が制御部２１からの制御情報に従って照射光を対象物４に向けて発光する。この照射光が対象物４に照射されている間の対象物４の像は、撮像光学系２３で結像されて撮像センサ２４内で光電変換されて第１の電荷蓄積部に電荷として蓄積される。また、照射光を対象物４に向けて照射していない間に撮像センサ２４内で発生した電荷は第２の電荷蓄積部に蓄積される。

これにより、第１の電荷蓄積部には、照射部２２が発した照射光と、最初から対象物４を照らしていた太陽光や照明光などの自然光の両方による混合光により反射した光についての電荷が蓄積される。また、第２の電荷蓄積部には自然光のみにより反射した光についての電荷が蓄積される。なお、自然光とは、太陽光や照明光など、照射部２２が発した照射光以外の光成分を含むものである。

撮像回路２５は撮像センサ２４の各セルから電荷を読み出す際に、第１及び第２の電荷蓄積部を順番に読み出す。撮像回路２５内の差分画像取得部２５１は、第１の電荷蓄積部の蓄積量から、第２の電荷蓄積量を差分することにより、混合光成分から自然光成分を差し引いた反射光成分の電荷量を算出する。撮像回路２５は、この反射光成分についての電荷量に基づき画像情報を構成する。したがって、この画像情報は照射部２２が発した照射光成分のみの対象物４の反射光画像が得られる。得られた画像情報はＩ／Ｆ回路２６を介して情報処理部３に出力される。

情報処理部３では、画像取得部２から情報入出力部３１を介して取得した画像情報を情報蓄積部３３に蓄積する。そして、この蓄積された画像情報に基づき情報演算部３２が奥行き値及び勾配値の算出を行い、算出結果は情報蓄積部３３に蓄積され、または外部システム５に情報入出力部３１を介して出力される。

なお、この例では、画像取得部２側で照射光成分のみ、すなわち反射光成分の画像情報を得る例として示したが、情報処理部３側で照射光成分のみの差分画像情報を取得してもよい。

図４は情報処理部３側で照射光成分のみの画像情報を取得する情報処理部３の変形例を示す図である。図３の情報処理部３と異なるのは、差分画像演算手段３２０を備える点である。また、この例の場合、撮像回路２５は差分画像取得部２５１を備える必要はない。図３と共通する部分には同一符号を付し、詳細な説明は省略する。

図４の例の場合、撮像センサ２４は、自然光成分の反射光による第１の電荷を蓄積し、これに基づき撮像回路２５が画像情報（以下、自然光画像情報３３１ｂという）を取得し、情報処理部３に出力する。また、撮像センサ２４は、照射光及び自然光成分の反射光による第２の電荷を蓄積し、これに基づき撮像回路２５が画像情報（以下、混合光画像情報３３１ａという）を取得し、情報処理部３に出力する。情報処理部２の情報蓄積部３２には、混合光画像情報３３１ａと自然光画像情報３３１ｂが蓄積される。

図４の差分画像演算手段３２０は、混合光画像情報３３１ａから自然光画像情報３３１ｂを差分する差分演算を行うことで、自然光成分を含まない照射光成分のみの画像情報（以下、反射光画像情報３３１ｃという）を取得し、情報蓄積部３３に蓄積する。

次に、画像情報３３１あるいは反射光画像情報３３１ｃから、対象物４の距離の情報としての奥行き値を求める具体的な例について説明する。本実施形態では、対象物４として人物の顔を撮影して反射光画像を取得し、顔面の３次元形状を獲得する場合を例に説明する。また、説明の便宜のため、反射光画像情報３３１ｃに基づき算出する場合を示すが、画像情報３３１に基づく算出についても同様に成立することはいうまでもない。

撮影された画像を照射光成分のみにした反射光画像情報３３１ｃの模式図の一例を図５に示す。この反射光画像情報３３１ｃはＸ軸方向及びＹ軸方向に縦３２０×横２４０画素で構成され、それぞれ縦３７５ｍｍ×横３００ｍｍ相当の領域が撮影されている。実際に撮影される画像は透視投影変換されているので、画像に収められる領域の実寸は対象の遠近によって異なるが、撮像装置の画角が既知であることを利用して、平行投影データに変換して取り扱う。基本的には、図５に示す反射光画像情報３３１ｃの各画素の濃淡を距離情報に読み替えることで、対象物である顔面５１の３次元形状データが得られる仕組みとなる。

次に、奥行き値の状況を説明する為、図５中の線５２の位置における顔面５１の断面形状の例を図６および図７に模式的に示す。なお、反射光画像によって得られる奥行き値は画像に撮影される部分、つまり表側に限られるので、得られる断面形状は奥行き方向であるＺ軸方向に対する一価の凸形状となる。

図６は顔面５１の真値による断面形状を示したもので、反射光画像によって取得される奥行き値の理想的な状況、すなわち実際の顔面５１の真値断面５４を示している。一方、図７は顔面５１の反射光画像の輝度値をそのまま奥行き値に読み替えた場合に得られる偽値断面５５を示しており、図６に示す真値断面５４と比較して誤差（歪み）の発生が認められる。反射光画像の輝度値から奥行き値を得る際に発生する真値との誤差（歪み）は様々な要因によってもたらされるが、最も大きく影響を与える要因の一つに、対象物４の表面法線が照射光の光軸に対して傾くことによる反射率の低下、すなわち反射光輝度の低下が挙げられる。輝度値をそのまま奥行き値に読み替える場合、対象物４の表面の法線は、観察位置から対象物４を結んだ線と平行であると仮定して算出される。

したがって、図５の顔面５１の例においては、例えば鼻の頂点や頬の中央寄りの部分は、光軸に対してほぼ正対している為、反射光の輝度値は理論値に近くなり、得られる奥行値は真値に近くなる。一方、鼻の両側面や頬の両側面は光軸に対して大きく傾いている為、理論値よりも暗い輝度で撮影される。この為、得られた反射光画像の輝度値を単純に奥行き値に変換しただけでは、良好な形状データを獲得できない。

本実施形態の画像情報取得装置１およびこれを用いた画像情報取得方法は、上記現象による歪みを鑑みて成されたものであり、面の傾きによる反射光輝度値の低下の影響を軽減し、より真値に近い奥行き値を獲得することができる。

以下、真値に近い奥行き値を獲得するための情報処理の内容を具体的に説明する。本実施形態では、図５のように得られた反射光画像情報３３１ｃについて、特に画素値情報の歪みが大きい鼻の側面部に着目して説明する。

まず、輝度値Ｖを単純に距離値（奥行き値）に変換する場合の問題点を説明する。
図８は、図７で得られた偽値断面５５のうち、鼻の側面部付近に対応した画素配列８１の一例を示す図である。図８に示すように、Ｘ軸方向の位置がｐＡから正の方向に、１．２５ｍｍごとに位置ｐＫまで１１個の画素が設けられている。点ｐＡから点ｐＫまでは１０画素区間であり１２．５ｍｍに相当する。これは、既に説明した撮影条件より画像の解像度が１．２５ｍｍ／画素であることから求められる。各画素の濃淡は、図８で模式的に示されている通り、点ｐＡが輝度値分布の極大値であり、点ｐＫにかけて徐々に輝度値が小さくなり、点ｐＫが極小値をとる。図８には、あわせて各点ｐＡ〜点ｐＫまでの各輝度値を示している。

次に、本実施形態における画像取得部２の特性を「距離が２００ｍｍの時、反射光の輝度値が２５５」になるものと設定する。「反射光の強度は距離の二乗に反比例する」という原理から、輝度Ｖと奥行き値Ｄの関係はｎを係数とすると、輝度Ｖと奥行き値Ｄ（距離）との関係は、Ｖ＝ｎ／Ｄ^２で表される。上記距離と輝度値の設定条件に基づくと係数ｎ＝１０，２００，０００であり、
Ｖ＝１０，２００，０００／Ｄ^２ …（式１）
が成立する。

次に、（式１）を用いて点ｐＡ〜点ｐＫの各点の輝度と距離の関係を以下の表１に示す。

表１では、輝度値Ｖが得られている場合に、この輝度値Ｖに基づき各点ｐＡ〜ｐＫについて距離Ｄ（奥行き値）を（式１）を用いて単純に変換した値が示してある。また、輝度値分布の極大値である２００に対する輝度の比率を輝度比ｃｏｓθとして表し、この輝度比ｃｏｓθを角度θに換算したものもあわせて表している。

以下、輝度を距離に単純に変換した第１の奥行き値計算手法と、輝度を角度に単純に変換した第２の奥行き値計算手法を説明する。

図９は、輝度を距離に単純に変換した第１の奥行き値計算手法に基づき得られた断面及び面の傾きの模式図である。具体的には、図９は表１に与えられた距離値を用いて点ｐＡ〜点ｐＫの奥行き値を模式的に示したものである。Ｚ軸方向に表１の距離Ｄを奥行き値として示している。この場合、鼻の頂点である点ｐＡと、鼻と頬の接合点に近い点ｐＫとの距離差は１４３ｍｍとなる。すなわち、鼻の高さがおよそ１４３ｍｍであることを表しており、人間の鼻の高さとしては異常な値であることが分かる。この図９に示す模式図の前提として用いている（式１）は、反射光画像の輝度値が距離の遠近によってのみ成立していると仮定したものである。この仮定は、各点における局所的な面の傾き（勾配値）は０であることを示している。図９の各画素には、各点における局所的な面の傾きを実線で表している。図９に示すように、各点が示す対象物４（顔面）の輪郭線は、各画素毎に正面を向いた面が階段状に接続されていることとなり、極めて不自然である。

このように、距離差への換算と、局所的な面の勾配の不自然さだけを取り上げて見ても、輝度値を単純に距離に変換した値が全く正確でないことが明らかである。

次に、輝度値Ｖを単純に局所的な面の傾き（勾配値）に変換する場合の問題点を説明する。
前述の図８の例では、輝度値Ｖを単純に距離値Ｄに換算したが、これでは局所的な面の傾きが正しくなくなる。その原因は、観察位置と対象物４とを結ぶ直線に対する各点における局所的な面の法線の傾きを０と仮定するという実態に即しない仮定をしているためである。そこで、（式１）の計算の対極として、各点の輝度が、局所的な面の法線の傾きによる輝度低下の影響のみによって成立している場合を説明する。

局所的な面の法線の傾きによる輝度低下とは、照射光軸と照射される面とが正対していないことによる光量の損失のことである。観察位置（照射光の照射位置）と対象物４とを結ぶ照射光軸のベクトルと照射される面の法線のベクトルが作る角度をαとすると、光量の損失係数はｃｏｓαで表現される。本実施形態では説明の便宜上、光量の損失係数を面傾斜損失係数と呼ぶこととする。

このように、局所的な面の傾きの影響によってのみ、輝度値に差がついている状態を考えると、各点の真の奥行きは同じ位置にあり、それぞれの点における局所的な面の傾きが異なっている状態であると説明できる。

ここで、点ｐＡは断面形状の極大点であり、局所的な面の傾きが０であると推定できるので、点ｐＡを基準として各点の輝度値の低下率、つまり本実施形態における面傾斜損失係数を計算したものが、表１の輝度比ｃｏｓθに該当する。また、面傾斜損失係数であるｃｏｓθから各点毎の局所的な法線の傾きの角度を逆算したものが、表１の角度θに該当する。

図１０は、輝度を角度に単純に変換した第２の奥行き値計算手法に基づき得られた断面及び面の傾きの模式図である。具体的には、図１０は上記表１の計算結果をもとに、各点ｐＡ〜ｐＫの位置と局所的な面の傾きを模式的に示したものである。図１０に示すように、各点の奥行きは同じであるが、それぞれの点における局所的な面の傾きが異なることで見かけの輝度値が異なっている。この場合、各点は同じＺ座標を持ち、Ｘ軸方向に一列に並んでいるが、それぞれの画素位置における局所的な面の傾きが異なる。各々の面の傾きを示す線を結んで得られる輪郭線は各画素毎に鋸の歯状に接続されたものとなり、やはり不自然である。

次に、本実施形態による奥行き値計算方法について説明する。

図９及び図１０を用いて説明した第１及び第２の奥行き値計算方法の結果を踏まえて、ある注目点の輝度が、奥行き方向の距離の要因と局所的な面の傾きの要因の２種類の混合によって決定しているものと考える。ここで、先に説明した点ｐＡ、点ｐＫを例に挙げ、奥行き値を計算する具体的な手順を説明する。

まず、第１拘束条件を決定する。注目点の真の奥行き値、観測される輝度、局所的な面の傾きの関係は以下の通りである。

Ｖ＝（１０，２００，０００／Ｄ^２）・ｃｏｓθ …（式２）
ここで、０≦θ≦π／２である。上記（式２）において、点ｐＫにおける輝度、距離値と局所的な面の勾配値の関係は以下のように表される。

Ｖ（Ｋ）＝（１０，２００，０００／Ｄ（Ｋ）^２）・ｃｏｓθ（Ｋ） …（式２’）
上記（式２）において、観測される輝度値Ｖは画像が撮影された時点で固定される為、定数である。よって、（式２）は距離値Ｄと局所的な面の傾きθの関係を示しており、一方を決定すればもう一方も一意に決まることを意味している。この（式２）の関係式を第１拘束条件とする。特に、点ｐＫについては、（式２’）が成立する。

図１１を用いて点ｐＫに関する第１拘束条件を説明する。

図１１は、点ｐＡと点ｐＫについて光軸方向に垂直な方向の位置と、光軸方向に沿った奥行き値を模式的に示したものである。奥行き値と局所的な面の傾きを算出する点ｐＫを注目点という。点ｐＡは点ｐＫの奥行き値と局所的な面の傾きとを決定するための点であり、これを以下、参照点という。

線１１１は、点ｐＡのＸ軸上の位置を示し、線１１２は、点ｐＫのＸ軸上の位置を示す。また、点ｐＡは符号１１３で示されるＸ軸上及びＹ軸上の位置にあるものとする。

図９と同様に、観測される点ｐＫの輝度値は７５であり、この輝度値が距離の影響によってのみ決定されていると仮定する。この場合、（式１）に基づき距離値が算出され、点ｐＫの位置は図１１中の符号１１４に示す点ｐＫ（far）となる。面の勾配は考慮されていないため、点ｐＫ（far）の局所的な面の傾きは０度である。

一方、図１０と同様に、点ｐＡを基準として、点ｐＫの輝度値が面の傾きの影響によってのみ決定されていると仮定する。この場合、点ｐＫの位置は図１１中の符号１１５に示す点ｐＫ（near）となる。点ｐＡとの奥行き値の差は考慮されていないため、点ｐＫ（near）の奥行き値は点ｐＡの奥行き値と等しい。この時、点ｐＡに対する点ｐＫ（near）の輝度が０．３８倍であることから、ｃｏｓθ＝０．３８より、点ｐＫ（near）の局所的な面の傾きθ（Ｋ）は約６８度となる。

このように、点ｐＫの輝度値が、奥行き方向の距離と局所的な面の傾きとの２種類の要因の組合せによって決定されていると考えた場合、点ｐＫの位置は光軸に平行な軸１１２上で、かつ符号１１５で示されるｐＫ(near)から符号１１４で示されるｐＫ(far)までの区間の任意の位置を取り得ることとなる。すなわち、太線１１８上がｐＫのとり得る範囲である。

しかし、第１拘束条件だけでは点ｐＫの位置はある区間中のどこかに取り得るということが言えるだけで、具体的に奥行き値を決定する根拠が無い。

そこで、点ｐＫの位置を具体的に決定する為、第２拘束条件を設定する。

第２拘束条件は、各点は互いに滑らかに接続するという条件である。言い換えると、各点における局所的な面の傾きを推定する際に、相互の連続性を考慮した条件である。本実施形態においては、特に点ｐＫにおける局所的な面の傾きの延長上に点ｐＡが存在するような点ｐＫの奥行き値を考えることとする。

図１２は第１の拘束条件を説明するための図である。

図１２は、図１１に示す模式図のうち、点ｐＡ、点ｐＫ及び点ｐＸからなる直角三角形１２１を抽出して示した図である。

点ｐＡは、基準とする点であり、定点である。点ｐＫは、位置の決まっていない変数である。点ｐＸは、点ｐＡを通る光軸（Ｚ軸）に平行な線１１２と、点ｐＫから線１１１に伸ばした垂線１１９との交点である。

また、この直角三角形１２１において、辺ｐＡ−ｐＸは、点ｐＡから点ｐＫとの距離のＺ軸成分である。このＺ軸成分の距離は、点ｐＡの奥行き値Ｄ（Ａ）から、点ｐＫの奥行き値Ｄ（Ｋ）を引いたものである。実際には点ｐＫの位置が定まらない為、変数である。辺ｐＸ−ｐＫは、点ｐＡから点ｐＫまでの距離のＸ軸成分である。これは点ｐＡと点ｐＫの画像平面上での距離であり、画像が撮影された時点で固定される為、定数である。本実施形態においては図８に示す通り１０画素距離であるから、辺ｐＸ−ｐＫは１２．５ｍｍとなる。

辺ｐＡ−ｐＫは直角三角形１２１の斜辺であり、辺ｐＡ−ｐＸと辺ｐＸ−ｐＫの長さから三角定理に従って求められる。すなわち、ｐＡｐＫ^２＝ｐＸｐＫ^２＋ｐＡｐＸ^２である。

ここで、三角形ｐＡｐＫｐＸが直角三角形であることを利用して、点ｐＫにおけるｃｏｓθを表現すると、三角定理に従って以下の（式３）が導かれる。この（式３）が第２の拘束条件である。

ｃｏｓθ＝ｐＸｐＫ／ｐＡｐＫ＝ｐＸｐＫ／（ｐＸｐＫ^２＋ｐＡｐＸ^２）^１／２ …（式３）
この（式３）に既知の値を代入すると以下の（式３’）となる。

ｃｏｓθ（Ｋ）＝１２．５／ｐＡｐＫ
＝１２．５／｛１２．５^２＋（Ｄ（Ａ）−Ｄ（Ｋ））^２｝^１／２ …（式３）
以上、先に説明した第１拘束条件の（式２）と、上記説明した第２拘束条件にかかる（式３）を連立方程式として扱うことで、両方の条件を満たす解を一意に得ることが出来る。

これにより、点ｐＫにおける局所的な面の傾きが、その面の延長上に点ｐＡを含むような角度になる時の奥行き値Ｄ（Ｋ）が求められる。点ｐＫの例について計算を行うと、連立方程式の解はＤ（Ｋ）＝２４９．８ｍｍ、ｃｏｓθ（Ｋ）≒０．４５９となり、θ（Ｋ）≒６２．５度という解が得られる。このとき、点ｐＡと点ｐＫの奥行き値の差は約２４ｍｍとなり、人間の顔面における鼻の高さの値としては妥当な値であると言える。単純に両点の輝度を奥行き値に変換した場合の距離差が１４３ｍｍであることと比較すれば、本発明による反射光画像の輝度値からの奥行き値計算方法が極めて有効であることは明白である。

なお、対象物４の表面形状が滑らかに接続されていても、局所的な面の傾きが連続的に変化している場合には、隣接しない２点の局所的な面の傾きが一致しないことがある。上記図１１及び図１２の例では、説明の簡単の為に１０画素分離れた点ｐＡと点ｐＫを例として示したが、これに限定されない。局所的な面の傾きが連続的に変化しているような対象物に関しては、基準点から順に隣接画素毎に連続性を評価して逐次的に奥行き値を決定してゆくことで、より真値に近い奥行き値を求めることが出来る。

この場合であっても、基本的には前記第１拘束条件及び第２拘束条件の両方を使って連立方程式を解くという奥行き値計算方法であることに変わりは無い。

以下、情報演算部２３における具体的な演算処理を図１３及び図１４のフローチャートに沿って説明する。この図１３及び図１４の例では、基準点であるアンカー点３３３から順に隣接画素毎に連続性を評価して逐次的に奥行き値を決定する手法に基づき説明している。

図１３に示すように、まず、画像情報３３１を画像取得部２から、あるいは情報蓄積部３から読み出し入力バッファに取り込む（ｓ１１０）。次に、輝度取得手段３２１で取得された輝度値３３２をアンカー点取得手段３２２が調査する（ｓ１２０）。アンカー点取得手段３２２は、この輝度情報の調査において、輝度値が極大となる点（極大点）を抽出する（ｓ１３０）。抽出できた場合、抽出された極大点のＸ，Ｙ座標を記録する（ｓ１５０）。画像情報３３１中の調査範囲をすべて調査していない場合にはステップ（ｓ１２０）に戻り輝度値３３２の調査を行い、すべて調査した場合には、アンカー点取得手段３２２はアンカー点３３３として適切な輝度極大点が存在するか否かを判定する（ｓ１６０）。アンカー点３３３とは、奥行き値及び勾配値の算出の基準点となるＸ方向成分とＹ方向成分で示される座標である。基準としては、輝度値の極大値が選択される。輝度値が極大となった点をアンカー点３３３とし、このアンカー点３３３を光軸（Ｚ軸）方向に対して垂直で完全に正対した位置と仮定することにより、他の位置に対する基準点として用いることができる。輝度極大点が存在しない場合には、エラーを出力して処理を終了する（ｓ１７０）。輝度極大点が存在する場合には、得られた極大点をアンカー点３３３として、処理範囲の確定処理に移る。得られた極大点が複数ある場合には、アンカー点３３３を複数とる。処理範囲の確定処理では、処理範囲確定手段３２３は、得られたアンカー点３３３の周囲の輝度情報を調査する（ｓ１８０）。この調査により、処理範囲の確定が可能な輝度変節点が存在するかが判定される（ｓ１９０）。輝度変節点は、輝度の増加及び減少の傾向が変化する点であり、例えば隣接する輝度の極大値が用いられる。輝度変節点が存在しない場合には、処理範囲確定手段３２３はその調査の対象としたアンカー点に「失敗」フラグを付して処理を中止し、ステップ（ｓ３６０）に進む。

輝度変節点が存在する場合には、その輝度変節点を処理の終端とした処理範囲を確定する（ｓ２００）。次に、奥行き値・勾配算出手段３２４による奥行き値及び勾配値の算出が開始する。まず、奥行き値・勾配算出手段３２４は、参照点としてアンカー点３３３を採用し（ｓ２１０）、また処理範囲内のアンカー点以外の任意の点を奥行き値及び勾配値の算出の対象とする注目点として選択する（ｓ２２０）。これら参照点と注目点の画像平面上での位置関係、すなわちＸ座標及びＹ座標は、変数として情報蓄積部３３に格納される（ｓ２３０）。

図１４に移り、奥行き値・勾配算出手段３２４は、予め蓄積された第１拘束条件に基づき、注目点における第１拘束条件を設定する（ｓ２４０）。

また、奥行き値・勾配算出手段３２４は、予め蓄積された第２拘束条件に基づき、参照点と注目点の奥行き方向の位置関係と、注目点における面の局所勾配値との関係を表す第２拘束条件を設定する（ｓ２５０）。

そして、奥行き値・勾配算出手段３２４は、これら第１拘束条件と第２拘束条件を連立させた計算式の解を求めることで、第１拘束条件と第２拘束条件を満たす注目点の奥行き値と面の局所勾配値の組合せを求める（ｓ２６０）。奥行き値・勾配算出手段３２４は、注目点における奥行き値と局所勾配値の有効な解が得られたか否かを判定する（ｓ２７０）。得られていない場合には、別の代替可能な注目点を有するか否かをさらに判定する（ｓ２８０）。代替可能な注目点があればその代替点を新たに注目点に設定し（ｓ２９０）、（ｓ２３０）に戻り、この新たな注目点と参照点に基づく奥行き値及び局所勾配値の算出処理を行う（ｓ２４０）〜（ｓ２７０）。代替可能な注目点がなければ、現在の注目点に「失敗」フラグを付し、当該注目点についての奥行き値及び局所勾配値の解釈を保留し（ｓ３１０）、ステップ（ｓ３２０）に進む。

ステップ（ｓ２７０）の判定で、奥行き値と局所勾配値の有効な解が得られたと判定された場合、奥行き値・勾配算出手段３２４は、現在の注目点に「完了」フラグを付し、得られた奥行き値・勾配値３３５を出力バッファに格納し（ｓ３００）、ステップ（ｓ３２０）に進む。

ステップ（ｓ３２０）では、奥行き値・勾配算出手段３２４は、他に奥行き値・勾配値３３５の解釈処理を行うべき点があるか否かを判定する。ある場合には、（ｓ３００）で奥行き値が既に確定した点を新たな参照点に設定する（ｓ３３０）。そして、ステップ（ｓ２０）に戻り、その参照点に対して奥行き値・勾配値３３５の算出の対象とすべき注目点を新たに設定する（ｓ２２０）。そして、上記と同様に、（ｓ２３０）〜（ｓ３００）のプロセスを経て、注目点における奥行き値・勾配値３３５を算出し、出力バッファに格納する。

ステップ（ｓ３２０）で解釈を行うべき点が存在しない場合には、奥行き値の解釈処理を保留している点が存在するか否かを判定する（ｓ３４０）。存在する場合には、解釈が確定した点の情報を参照し、その保留している点の奥行き値・勾配値３３５を推定し、出力バッファに格納する（ｓ３５０）。この奥行き値・勾配値３３５の推定では、例えば既に解釈が確定した点のいずれかを参照点に設定し、かつ解釈を保留している点を注目点に設定する。そして、これら参照点及び注目点に関して、上記と同様の第１拘束条件及び第２拘束条件を満たす奥行き値・勾配値３３５を算出すればよい。また、別の推定では、解釈を保留している点に隣接する点における奥行き値・勾配値３３５を参照し、その隣接点との関係で不自然とならない程度の奥行き値・勾配値３３５を求めてもよい。この場合、例えば保留点をはさんで対称の位置にある２点の奥行き値・勾配値３３５の平均値をとってもよいし、その２点の間の値をとる奥行き値・勾配値３３５を採用してもよいし、その他のいかなる手法によって推定処理を行ってもよい。

この（ｓ３５０）で解釈を保留している点がなくなった場合、当該アンカー点３３３についての奥行き値・勾配値３３５の算出は終了し、ステップ（ｓ３６０）に進む。

ステップ（ｓ３６０）では、奥行き値・勾配算出手段３２４は、新規に奥行き値・勾配値３３５の算出処理を行うべきアンカー点３３５が他に存在するかを判定する。存在する場合、新たなアンカー点３３５に設定して（ｓ１８０）に進み、処理範囲を確定し、当該処理範囲について奥行き値・勾配値３３５の算出処理を上記と同様に行う（ｓ１８０〜ｓ３５０）。

すべてのアンカー点３３５について算出処理が終了すると、奥行き値・勾配値３３５算出処理は終了する。

なお、上記は基準点であるアンカー点３３３から順に隣接画素毎に連続性を評価して逐次的に奥行き値を決定してゆく手法で示したが、これに限定されず、参照点と注目点の設定を種々変更することにより、異なる算出手法が適用できる。

また、対象物４の反射光画像の輝度値は、距離の遠近や局所的な面の傾きの要因以外によっても変動することがある。この場合は、遠近及び面の傾き以外の該要因による歪みを補正する手段と、本発明による奥行き値計算方法を併用することで、より真値に近い奥行き値を得ることが可能となる。

また、対象物４の照射光成分のみの反射光画像を得るため、撮像回路２５の差分画像取得部２５１で照射光成分と自然光成分の混合光画像成分から自然光成分のみの自然光画像成分を差分した差分画像成分を取得する第１の場合と、情報演算部３２の差分画像演算手段３２０が差分画像情報を取得する第２の場合を説明したが、これらに限定されるものではない。自然光成分が照射光成分に対して測定に影響を与えない程度のものである場合には、照射光を照射し、対象物４から反射して得られる光に基づく画像のみに基づき奥行き値・勾配値３３５を算出してもよい。

このように本実施形態によれば、反射光画像の輝度値が、注目点の局所的な面の傾きと注目点自身の奥行き(距離)の２つの要因によって構成される枠組みでかつ、対象の表面が滑らかに接続しているという仮定を拘束条件として与えることで、対象の局所的な面の傾きを考慮して奥行き値を算出する。これにより、最終的に取得される奥行き値の精度が向上する。

（第２実施形態）
本実施形態は第１実施形態の変形例に係わる。本実施形態は、照射光成分のみの反射光画像の評価手法が第１実施形態と相違する。

図１５は本実施形態に係る画像情報取得装置２０１の一例を示す図である。第１実施形態の図１と共通する部分には同一符号を付し、詳細な説明は省略する。本実施形態の画像情報取得装置２０１が第１実施形態の画像情報取得装置１と異なる点は、撮像回路２０４と情報演算部２０５である。

本実施形態の撮像回路２０４は、第１実施形態の撮像回路２５のように差分画像取得部２５１を備える必要がない。本実施形態の画像取得部２０２は、対象物４を撮影して自然光画像及び混合光画像を取得するが、制御部２１、照射部２２、撮像光学系２３、撮像センサ２４及びＩ／Ｆ回路２６を備える点、対象物４の画像を撮影する手順、および対象物４の画像を得る原理は、第１実施形態の画像取得部２と共通する。

また、情報演算部２０５は、混合光画像情報３３１ａ及び自然光画像情報３３１ｂに基づき反射光画像情報３３１ｃを求める演算処理を行う点で第１実施形態の情報演算部３２と共通するが、反射光画像情報３３１ｃと自然光画像情報３３１ｂに基づき補正輝度値３３２ｃを求める演算処理を行う点で第１実施形態の情報演算部３２と相違する。また、情報演算部２０５が、輝度値を用いて奥行き値・勾配値３３５を算出する工程は、第１実施形態の情報演算部３２と共通する。本実施形態の情報処理部２０３が、情報入出力部３１及び情報蓄積部３３を備える点は第１実施形態の情報処理部３と共通する。

もちろん、第１実施形態の第１実施形態の撮像回路２５のように差分画像取得部２５１を備え、この差分画像取得部２５１を用いて反射光画像を生成してもよい。この場合、撮像回路２５は、差分画像取得部２５１で得られた反射光画像のみならず自然光画像もあわせてＩ／Ｆ回路２６を介して情報処理部２０３に出力する。

第１実施形態では、情報処理部３は、得られた反射光画像の輝度値から、対象の局所的な表面の傾きを考慮して奥行き値を解釈する情報処理を行う例を示した。第２実施形態では、情報処理部２０３は、撮影された自然光画像を参照して、照射光のみを照射した反射光画像の輝度値を補正し、この補正された輝度値から、対象の局所的な表面の傾きを考慮して奥行き値を解釈する。

図１６は本実施形態の情報演算部２０５及び情報蓄積部３３の詳細な構成の一例を示す図である。図１６に示すように、輝度補正手段３２５を備える点で図４の情報演算部３２と相違し、差分画像演算手段３２０、輝度取得手段３２１、アンカー点取得手段３２２、処理範囲確定手段３２３及び奥行き値・勾配算出手段３２４の基本的な機能及び処理内容は共通する。

図１６に示すように、差分画像演算手段３２０は、画像取得部２０２から得られた混合光画像情報３３１ａ及び自然光画像情報３３１ｂに基づき反射光画像情報３３１ｃを生成する。輝度取得手段３２１は、反射光画像情報３３１ａから反射光輝度値３３２ａを取得し、自然光成分について自然光画像情報３３１ｂから自然光輝度値３３２ｂを取得する。

輝度補正手段３２５は、反射光輝度値３３２ａに対して自然光輝度値３３２ｂを参照して輝度の補正値、すなわち補正輝度値３３２ｃを算出する。この補正輝度値３３２ｃが、実質的に照射光成分のみによる画像の輝度値として奥行き値・勾配値３３５の算出の基礎として用いられる。すなわち、この補正輝度値３３２ａに基づきアンカー点取得手段３２２がアンカー点３３３を算出する。次に、処理範囲確定手段３２３がアンカー点３３３の周辺の処理範囲３３４を確定する。奥行き値・勾配算出手段３２４は、処理範囲３３４、第１拘束条件及び第２拘束条件に基づき奥行き値・勾配値３３５を算出する。

次に、本実施形態が例示する、反射光画像に対する補正が必要となる状況について説明する。
図１７は対象物４の一例としての円柱状物体３０１を模式的に示したものである。図１７は、円柱状物体３０１の側面から見たもので、中心軸３０２の上から下にかけて上層３０３、中層３０４及び下層３０５の３層構造からなる。側面図であるため、観察位置である視点に対して、円柱状物体３０１の端部３０６の方が、中央部３０７に比較して遠くなり、奥行き値が大きくなる。

上層３０３、中層３０４及び下層３０５はその外径などの形状は一致するため奥行き値は一致するが、各々の表面色がＣ１，Ｃ２及びＣ３と異なる。Ｃ１が最も反射強度が高い色、Ｃ２が中間的な反射強度の色、最も反射強度の低い色である。なお、ここでは単に表面色の相違として示しているが、表面色の濃淡の相違でもよいし、赤、青、緑などの色相を持つものであってもよい。

いずれにせよ、表面反射強度が一様でないため、円柱状物体３０１を撮影して反射光画像を取得すると、濃淡値の構成が異なる少なくとも３つの領域に分かれる。

図１８は円柱状物体３０１の照射光成分のみによる反射光画像情報３３１ｃを模式的に示す図である。図１８（ａ）は反射光画像情報３３１ｃの概観図であり、（ｂ）は反射光画像情報３３１ｃの輝度を各画像領域に対応付けて数値化して示した図である。

図１８（ａ）に示すように、上層３０３、中層３０４と下層３０５の各々の輝度が異なって見えるのが分かる。また、図１８（ｂ）からも、上層３０３が最も輝度が高く、下層３０５が最も輝度が低い傾向が認められる。また、同一の層でも中央部が端部に比較して輝度が高い。なお、図１８（ｂ）では説明の簡単の為、本来は連続的に変化する円柱の円周方向の反射光の輝度値分布を３値で代表して表現している。

上記反射光画像情報３３１ｃの輝度値をそのまま距離情報に変換する（式１）を適用すると、本来は単純な外形の円柱状物体３０１が、奥行きの異なる円柱、すなわち外径が異なる３層に積み重なった物体であるかのように誤って解釈される。

上記の様な誤解釈を防ぐ為、本実施形態における画像情報取得装置２０１では、対象である円柱状物体３０１の自然光画像情報３３１ｂも撮影し、その輝度値を参照することで、反射光画像情報３３１ｃの輝度値をより正確な奥行き情報に解釈できるように補正する。

図１９は円柱状物体３０１の自然光成分のみの自然光画像情報３３１ｂを模式的に示す図である。図１９（ａ）は自然光画像情報３３１ｂの概観図であり、（ｂ）は自然光画像情報３３１ｂの輝度を各画像領域に対応付けて数値化して示した図である。この自然光画像情報３３１ｂを参照することにより、反射光画像情報３３１ｃの奥行き情報を補正する。

次に、本実施形態における反射光画像情報３３１ｃへの補正処理の具体的な内容について説明する。

本実施形態における補正処理では、自然光画像情報３３１ｂにおける輝度の高低に応じて反射光画像情報３３１ｃの輝度値を増減させる。これにより、対象物４の表面色の影響による反射光輝度のばらつきを除去する。

補正対象となる反射光画像情報３３１ｃの輝度値は、図１８（ｂ）に示すように表面色Ｃ１の上層３０３では、視点に最も近い中央部分の輝度が２３１、中間の輝度が１４６、最も遠い両端部分の輝度が６１である。表面色Ｃ２の中層３０４では、視点に最も近い中央部分の輝度が１６３、中間の輝度が１０３、最も遠い両端部分の輝度が４７である。表面色Ｃ３の下層３０５では、視点に最も近い中央部分の輝度が１１５、中間の輝度が７３、最も遠い両端部分の輝度が３１である。

また、円柱状物体３０１の自然光画像情報３３１ｂの輝度値は、図１９（ｂ）に示すように、表面色Ｃ１の上層３０３で１７０、表面色Ｃ２の中層３０４で１２０、表面色Ｃ３の下層３０５で８５である。

次に、本実施形態では、補正値を求める変換式として、以下の（式４）を用いる。
Ｖ_ｘ＝（Ｖ_ｎ×α）＋Ｓ_ｖ …（式４）
ここで、Ｖ_ｎは反射光画像における注目点の補正前の輝度値(観測される値)、Ｖ_ｘは反射光画像における注目点の補正後の輝度値（求める値）、αは反射光画像の補正係数、Ｓ_ｖは反射光画像の補正バイアス（シフト値）である。

また、補正係数αは以下の（式５）を用いる。

α＝（Ｃ_ｎ／Ｃ_ｒ）×Ｓ_ｃ…（式５）
ここで、Ｃ_ｎは自然光画像における注目点の輝度値、Ｃ_ｒは自然光画像における補正値算出の基準輝度（補正原点）、Ｓ_ｃはこの（式５）で算出される補正係数の影響度を決定するスケール係数である。

一例として、補正の原点となる基準輝度をＣ_ｒ＝１２０、スケール係数Ｓ_ｃ＝１．０、補正用バイアス値Ｓ_ｖ＝０．０として、反射光画像情報３３１ｃ中の各輝度値に対応する補正後の輝度値Ｖ_ｘを計算する。

表面色Ｃ１の上層３０３では、α＝（１２０／１７０）×１．０≒０．７１である。したがって、中央部分の輝度は２３１×０．７１≒１６４、中間部分の輝度は１４６×０．７１≒１０４、両端部分の輝度は６１×０．７１≒４７である。表面色Ｃ２の領域では、α＝（１２０／１２０）×１．０＝１．００である。したがって、中央部分の輝度は１６３×１．００＝１６３、中間部分の輝度は１０３×１．００＝１０３、両端部分の輝度は４７×１．００＝４７である。表面色Ｃ３の領域では、α＝（１２０／８５）×１．０≒１．４１である。したがって、中央部分の輝度は１１５×１．４１≒１６２、中間部分の輝度は７３×１．４１≒１０３、両端部分の輝度は３３×１．４１≒４７となる。

図２０は、これらの計算結果を元に再構成した補正反射光画像情報３３１ｄを模式的に示す図である。図２０（ａ）は補正反射光画像情報３３１ｄの概観図であり、（ｂ）は補正反射光画像情報３３１ｄの輝度を各画像領域に対応付けて数値化して示した図である。

図２０から分かるように、補正反射光画像情報３３１ｄが示す奥行き情報は、表面色Ｃ１、Ｃ２、Ｃ３のいずれの領域においても、ほぼ同じ位置に円柱の断面が存在すると解釈可能な値である。円柱状物体３０１表面の色の影響による反射光画像の歪みを十分に低減できている。

自然光画像情報３３１ｂの内容を参照することで反射光画像情報３３１ｃの輝度値を補正する手法の詳細は、例えば特開２００３−１８５４１２に開示されている通りである。本実施形態の場合、反射光画像の輝度値の補正処理に引き続き、第１実施形態で例示した奥行き情報解釈方法を続けて適用することで、より精度の高い奥行き情報が得られる点に特徴がある。

図２１〜図２３を用いて、より詳細に本実施形態の画像情報取得処理を説明する。

図２１は補正反射光画像情報３３１ｄの一部を取り出して示したもので、（ａ）は中層３０４の概略図、（ｂ）は中層３０４の輝度を各画像領域に対応付けて数値化して示した図である。

図２１（ｂ）に示すように、半径１００ｍｍの円柱に対して、点Ｒａは円柱の中心であり、最も輝度値が高く１６３である。点Ｒｂは中心から６５ｍｍの距離にあり、輝度値は１０３である。また、点Ｒｂ’は点Ｒｂと左右対称の位置にあり、輝度値は点Ｒｂと同じである。点Ｒｃは中心から９０ｍｍの距離にあり、輝度値は４７である。また、点Ｒｃ’は点Ｒｃと左右対称の位置にあり、輝度値は点Ｒｃと同じである。

なお、本来は円柱の円周上の各点の輝度値は連続的に変化し多様な値を取るが、既に述べた様に、説明の簡単の為にＲａ，Ｒｂ，Ｒｂ’，Ｒｃ，Ｒｃ’の５点の輝度値（３値）で代表している。

また、反射光画像の補正輝度値Ｖ_ｘと奥行き方向の距離、及び注目点における局所的な面の傾きの関係は、第１実施形態と同じく（式１）や（式２）に従うものとする。表２は、円柱状物体３０１についての補正輝度値Ｖ_ｘと、単純解釈距離Ｄ_ｓと、傾きを考慮した距離Ｄ_ｄと、傾きを考慮した角度θの点Ｒａ、Ｒｂ及びＲｃについての値をまとめた表である。

次に、従来の単純な輝度値と距離との変換公式（式１）による奥行き値解釈によって得られる円柱状物体３０１の断面形状の例を図２２に示す。点線２１１は真値である半径１００ｍｍの円柱の断面を示しているが、従来の単純な奥行き値解釈では、得られる断面形状の誤差が大きくなっている。

一方、本実施形態の局所的な面の傾きと反射光補正輝度値との関係を考慮して奥行き値解釈を行う第１拘束条件及び第２拘束条件に従った円柱状物体３０１の断面形状の例を図２３に示す。点線２２１は真値である半径１００ｍｍの円柱の断面を示しているが、図２２の例に比べて得られる断面形状の誤差が小さくなっていることが明白である。

本実施形態では、説明の簡単の為にＲａ，Ｒｂ，Ｒｂ’，Ｒｃ，Ｒｃ’の５点の輝度値（３値）に注目して計算を行ったが、実際には円柱の表面に対応して連続的に変化する多数の輝度情報が存在し、これらに注目して逐次的に処理する。これにより、本実施形態に挙げた計算結果よりも滑らかで精度の高い奥行き情報が得られる。

以上で述べたように、本発明が提案する奥行き情報の解釈方法を利用することで、従来の単純な輝度値と距離との変換によって得られる奥行き情報よりも精度の高い奥行き情報を得ることができる。また、特に本実施形態で示したように、反射光画像の歪みを補正する他の補正処理手段と併用して本発明における奥行き情報の解釈方法を利用することで、さらに破綻が少なく精度が向上した奥行き情報を得ることができる。本実施形態が提案する画像情報取得方法の有用性は明白である。

また、上記各図に示した情報処理部３は、コンピュータで実現されるものであって、したがって、プロセッサと、このプロセッサから自由にアクセスできるメモリと、このメモリに格納され、プロセッサを、差分画像演算手段３２０、輝度取得手段３２１、アンカー点取得手段３２２、処理範囲確定手段３２３、奥行き値・勾配算出手段３２４、輝度補正手段３２５等として機能させるためのプログラムとを備えることを特徴とする画像情報取得装置として成立することはもちろんである。

なお、上記に挙げた補正項目や補正値、補正式などはあくまで一例であり、例えば対象物の材質に関する補正や、対象物の表面光沢に対する補正など、他の様々な要素に対する補正処理と、本発明による画像情報取得方法を組み合わせても良い。

特に、第１拘束条件と第２拘束条件は、上記に示したものに限定されない。

第１拘束条件は、輝度が奥行き情報と局所的な面の傾きとにより表される関係にある条件であれば、上記（式２）に示された条件に限定されないことはもちろんである。例えば、輝度が奥行き情報と面の傾き以外の他のパラメータの影響をも受ける拘束条件であってもよい。

また、第２拘束条件は、ある点の面の傾きが、その点と別の点とを結び、その面を延長した線上にその別の点が存在するようなものを例に説明したが、これに限定されないことはもちろんである。滑らかに接続される条件を満たすものであって、第１拘束条件とともに奥行き情報及び面の傾きを一意に決定するような条件であればよい。

以上説明したようにこの発明は、画像から奥行き値などの画像情報を得るための画像情報取得装置、画像情報取得方法及び画像情報取得プログラムの技術分野に有効である。

本発明の第１実施形態に係る画像情報取得装置の全体構成を示すブロック図。同実施形態に係る画像情報取得装置の概観構成図。同実施形態に係る情報演算部及び情報蓄積部の詳細な構成の一例を示す図。同実施形態に係る情報処理部側で照射光成分のみの画像情報を取得する情報処理部の変形例を示す図。同実施形態に係る撮影された画像を照射光成分のみに補正した反射光画像情報の模式図。同実施形態に係る顔面の真値に基づく断面形状の例を模式的に示す図。同実施形態に係る顔面の輝度値をそのまま奥行き値に読み替えた場合に得られる断面形状の例を模式的に示す図。同実施形態に係る鼻の側面部付近に対応した画素配列の一例を示す図。同実施形態に係る第１の奥行き値計算手法に基づき得られた断面及び面の傾きの模式図。同実施形態に係る第２の奥行き値計算手法に基づき得られた断面及び面の傾きの模式図。同実施形態に係る点ｐＫに関する第１拘束条件を説明するための図。同実施形態に係る第１の拘束条件を説明するための図。同実施形態に係る情報演算部における具体的な演算処理のフローチャートを示す図。同実施形態に係る情報演算部における具体的な演算処理のフローチャートを示す図。本発明の第２実施形態に係る画像情報取得装置の一例を示す図。同実施形態に係る情報演算部及び情報蓄積部の詳細な構成の一例を示す図。同実施形態に係る対象物の一例としての円柱状物体を模式的に示した図。同実施形態に係る円柱状物体の反射光画像情報を模式的に示す図。同実施形態に係る円柱状物体の自然光成分のみの自然光画像情報を模式的に示す図。同実施形態に係る補正反射光画像情報を模式的に示す図。同実施形態に係る補正反射光画像情報の一部を取り出して示した図。同実施形態に係る（式１）による奥行き値解釈によって得られる円柱状物体の断面形状の例を示す図。第１拘束条件及び第２拘束条件に従った円柱状物体の断面形状の例を示す図。

符号の説明

１…画像情報取得装置、２…画像取得部、３…情報処理部、４…対象物、５…外部システム、２１…制御部、２２…照射部、２３…撮像光学系、２４…撮像センサ、２５…撮像回路、２６…Ｉ／Ｆ回路、３１…情報入出力部、３２…情報演算部、３３…情報蓄積部

Claims

対象に対して光を照射する照射手段と、
前記対象が照射光のみに照らされた状態の第１の画像を取得する画像取得手段と、
前記第１の画像の第１の位置の第１の輝度に基づき、
前記第１の輝度が、前記第１の位置の奥行き値と前記第１の位置の面の傾きとにより決定される第１拘束条件と、
前記第１の位置の面の傾きと前記第１の画像の第２の位置の面の傾きとが滑らかに接続される第２拘束条件とを満たすように、
前記第１の位置の前記奥行き値を算出する奥行き値算出手段と
を具備してなることを特徴とする画像情報取得装置。
対象に対して光を照射する照射手段と、
前記対象が自然光のみに照らされた状態の第１の画像と、前記対象が照射光と自然光に照らされた状態の第２の画像とを取得する画像取得手段と、
前記第１の画像と前記第２の画像に基づき、前記対象が照射光のみに照らされた状態の前記対象の第１の位置の第１の輝度を取得する輝度取得手段と、
前記第１の輝度に基づき、
前記第１の輝度が、前記第１の位置の奥行き値と前記第１の位置の面の傾きとにより決定される第１拘束条件と、
第１の位置の面の傾きと前記対象の第２の位置の面の傾きとが滑らかに接続される第２拘束条件とを満たすように、
前記第１の位置の前記奥行き値を算出する奥行き値算出手段と
を具備してなることを特徴とする画像情報取得装置。
前記輝度取得手段は、前記第１の画像と前記第２の画像とに基づき、前記対象が照射光のみに照らされた状態の前記対象の第３の画像を生成し、この第３の画像に基づき前記第１の輝度を算出することを特徴とする請求項５に記載の画像情報取得装置。
対象が照射光のみに照らされた状態の第１の画像の第１の位置の第１の輝度に基づき、
前記第１の輝度が、前記第１の位置の奥行き値と前記第１の位置の面の傾きとにより決定される第１拘束条件と、
前記第１の位置の面の傾きと前記第１の画像の第２の位置の面の傾きとが滑らかに接続される第２拘束条件とを満たすように、
前記第１の位置の前記奥行き値を算出する
ことを特徴とする画像情報取得方法。
前記対象が自然光のみに照らされた状態の第２の画像も参照して前記第１の位置の前記奥行き値を算出することを特徴とする請求項１に記載の画像情報取得方法。
コンピュータに、
対象が照射光のみに照らされた状態の第１の画像の第１の位置の第１の輝度に基づき、
前記第１の輝度が、前記第１の位置の奥行き値と前記第１の位置の面の傾きとにより決定される第１拘束条件と、
前記第１の位置の面の傾きと前記第１の画像の第２の位置の面の傾きとが滑らかに接続される第２拘束条件とを満たすように、
前記第１の位置の前記奥行き値を算出させる機能
を実現させることを特徴とする画像情報取得プログラム。