JPH06341818A

JPH06341818A - 物体および光源情報抽出方法とそれを用いた装置

Info

Publication number: JPH06341818A
Application number: JP5131819A
Authority: JP
Inventors: Hideki Hayakawa; 秀樹早川
Original assignee: A T R NINGEN JOHO TSUSHIN KENK; A T R NINGEN JOHO TSUSHIN KENKYUSHO KK
Current assignee: A T R NINGEN JOHO TSUSHIN KENK; A T R NINGEN JOHO TSUSHIN KENKYUSHO KK
Priority date: 1993-06-02
Filing date: 1993-06-02
Publication date: 1994-12-13
Anticipated expiration: 2010-10-09
Also published as: JPH0792370B2

Abstract

(57)【要約】【目的】事前に光源の明るさやその方向を与えない
で、しかも撮像された複数画像の中で影となる部分があ
っても３次元物体の相対的な面の向きや反射率を一意的
に決定できかつ相対的な光源の明るさや方向を抽出する
ことを目的とする。【構成】異なった光源方向により照明される対象物１
をテレビカメラ４によって撮像し、得られた複数の画像
を画像処理装置５によって処理し、ＣＰＵ６によって各
画像からその画像強度データからなる画像行列を構成す
る。ＣＰＵ６によってその画像行列を特異値分解を用い
て２組の２行列の積の形に分解し、そのうちの１組を選
択したうえ、その処理結果から、光源の明るさもしくは
反射率に関する条件により適当な変換行列を計算し、そ
の変換行列を前処理結果に施すことによって、対象物の
相対的な反射率や面の向きおよび相対的な光源の明るさ
や光源方向を抽出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は物体および光源情報抽
出方法およびこれを用いた装置に関する。より特定的に
は、この発明は画像処理により３次元物体の反射率や形
状あるいは光源の明るさや方向の変化の様子をコンピュ
ータの中に構築するものであって、物体モデルの自動入
力や移動ロボットにおける環境認識などに利用され、あ
るいはＦＡなどを含む計測分野や移動ロボットにおける
環境認識などに利用されるような物体および光源情報抽
出方法およびこれを用いた装置に関する

【０００２】

【従来の技術】画像強度の分布から３次元物体の情報を
抽出する方法は、「陰影からの形状復元」と呼ばれてい
る。図８はその概要を示すために、物体の例として球８
１を用いたものである。表面が一様な拡散反射の３次元
物体を十分離れた点光源８２により照明した場合、撮像
される画像の各座標点での画像強度は、その点の面の向
きにより一意的に決まる。したがって、何らかの方法で
光源の明るさや方向を検出すれば、撮像される画像強度
から、その点の面の向きがどちらを向いているかを或る
程度限定することができる。

【０００３】以下、例を用いて具体的に説明する。図９
は図８の明るさ分布を同じ明るさの点を結んだ曲線で書
き換えたものである。たとえば、図９に示すように光源
８２が配置され、球８１と同じ反射率を持つ撮像された
或る点（ｉ，ｊ）の画像強度が０．２であるとき、その
点の面の向きは球の上の太線９１で示される０．２の明
るさの曲線上の面の向きの集合に限定される。しかし、
この方法では、これ以上絞り込むことができず、面の向
きを一意的には決めることができない。

【０００４】この問題を解決する方法として、カメラと
物体の位置を固定したうえで、光源を異なる３方向から
次々に照射することにより、３枚の画像強度の分布から
３次元物体の情報を抽出する、照度差ステレオ法が提案
されている。

【０００５】図１０は上述の照度差ステレオ法の原理を
説明するための図である。図１０において、３方向の光
源の明るさは一様もしくは既知であり、その方向は事前
に求められているものとする。まず、光源１０１の照明
のみによる点（ｉ，ｊ）の画像強度をＩ₁（ｉ，ｊ）＝
０．２とすれば、図９と同じように面の向きを太線１０
４の上に限定することができる。さらに、光源１０２お
よび１０３の照明のみによるその点の画像強度をＩ
₂（ｉ，ｊ）＝０．８，Ｉ₃（ｉ，ｊ）＝０．２とすれ
ば、それぞれ太線１０５，１０６の上に限定することが
できる。したがって、撮像された点（ｉ，ｊ）の面の向
きは、これらの太線の交点１０７における面の向きで一
意的に表わされることがわかる。また、面の向きが求め
られれば、光源の方向が既に与えられているため、画像
強度の値からその点の相対的な反射率も決定することが
できる。

【０００６】

【発明が解決しようとする課題】上述のごとく、照度差
ステレオ法は３次元物体の面の向きおよび反射率を一意
的に決定する優れた手法であるが、以下のような欠点が
ある。

【０００７】まず、３つの光源の明るさが一様もしくは
既知であり、それらの方向を精度よく求めておく必要が
ある。次に、撮像された３枚の画像の中で、１枚でも影
になってしまうような座標点の面の向きや反射率は求め
ることができないという点である。

【０００８】それゆえに、この発明の主たる目的は、事
前に光源の明るさやその方向を与えないで、しかも撮像
された複数画像の中で影となる部分があっても、３次元
物体の相対的な面の向きや反射率を一意的に決定する物
体情報抽出方法およびそれを用いた装置を提供すること
である。

【０００９】この発明の他の目的は、事前に光源の明る
さやその方向を与えないという点から、相対的な光源の
明るさや方向を抽出する光源情報抽出方法およびそれを
用いた装置を提供することである。

【００１０】

【課題を解決するための手段】請求項１に係る発明は、
異なった光源方向により照明される対象物を撮像した複
数の画像を処理し、その対象物の相対的な反射率や面の
向きおよび相対的な光源の明るさや光源方向を抽出する
物体および光源情報抽出方法であって、各画像から、そ
の画像強度データからなる画像行列を構成する第１のス
テップと、構成された画像行列を特異値分解を用いて２
組の２行列の積の形に分解し、その１組を選択する第２
のステップと、第２のステップの処理結果から、光源の
明るさもしくは反射率に関する制約条件により適当な変
換行列を計算し、その変換行列を第２のステップの処理
結果に施すことによって、その対象物の相対的な反射率
や面の向きおよび相対的な光源の明るさや光源方向を抽
出する第３のステップを含んで構成される。

【００１１】請求項２に係る発明は、請求項１の発明の
第２のステップの前処理として、画像平面座標に領域を
設定するステップと、設定した領域が影となる画像のす
べての画像強度データを画像行列から削除するステップ
と、その画像行列から常に影とならない座標点の画像強
度データのみで影の領域を含まない画像小行列を構成す
るステップを含み、後処理として、残された影の領域を
含む画像小行列と得られた相対的な光源の明るさや方向
から、相対的な反射率や面の向きが未知の座標点につい
て計算するステップを含んで構成される。

【００１２】請求項３に係る発明は、対象物の画像を撮
像する撮像手段と、対象物と光源の相対的位置関係を変
化させる光源移動手段と、撮像手段によって撮像された
異なった光源方向からの画像からその画像強度データか
らなる画像行列を特異値分解を用いて２組の２行列の積
の形に分解し、その１組を選択した上、その処理結果か
ら光源の明るさもしくは反射率に関する制約条件により
適当な変換行列を計算し、その変換行列を処理結果に施
すことによって、その対象物の相対的な反射率や面の向
きおよび相対的な光源の明るさや光源方向を抽出する画
像処理手段とを含んで構成される。

【００１３】

【作用】この発明に係る物体および光源情報抽出方法
は、異なった光源方向により照明される対象物を撮像し
た各画像から、その画像強度データからなる画像行列を
構成して、その画像行列を特異値分解を用いて２組の２
行列の積の形に分解し、そのうちの１組を選択したう
え、その処理結果から、光源の明るさもしくは反射率に
関する制約条件により適当な変換行列を計算し、その変
換行列を処理結果に施すことにより、事前に光源の明る
さやその方向を与えなくても、３次元物体の相対的な面
の向きや反射率を精度よく求めることができる。

【００１４】また、事前に光源の明るさやその方向を与
えないという点から言えば、異なった光源方向により照
明される対象物を撮像した複数の画像から、それらの相
対的な光源の明るさや方向を抽出することができる。

【００１５】さらに、異なった光源方向により照明され
る対象物を撮像した複数の画像において、いずれか１枚
にでも影の領域が存在する場合に、前述の特異値分解に
よる分解および分解結果の選択処理において、その前処
理として、画像平面座標に領域を設定し、設定した領域
が影となる画像のすべての画像強度データを画像行列か
ら削除して、その結果得られた画像行列から常に影とな
らない座標点の画像強度データのみで、影の領域を含ま
ない画像小行列を構成したうえに、後処理として、残さ
れた影の領域を含む画像小行列と得られた相対的な光源
の明るさや方向から、相対的な反射率や面の向きが未知
である座標点について計算することにより、撮像された
複数画像の中で影となる部分があっても、３次元物体の
相対的な面の向きや反射率を精度よく求めることができ
る。

【００１６】

【実施例】図１はこの発明の一実施例の概略ブロック図
である。図１において、対象物の一例としての円筒１は
光源２によって照明され、撮像手段としてのテレビカメ
ラ４によって円筒１が撮像される。テレビカメラ４で撮
像された画像は画像処理装置５に与えられて処理され
る。光源２は移動装置３によって対象物との相対的な位
置が制御される。ただし、光源２の移動においては精度
が不要であるため、手動により適当に動かしてもよくあ
るいは太陽のように制御できない光源を用いてもよい。
画像処理装置５と移動装置３はＣＰＵ６によって制御さ
れるとともに、ＣＰＵ６によって円筒１の物体情報およ
び光源２の光源情報を抽出するための処理が実行され
る。

【００１７】図２〜図７はこの発明の一実施例の動作を
説明するためのフロー図であり、特に、図２は全体の流
れを示し、図３は図２に示したステップ（図示ではＳＰ
と略称する）ＳＰ１の具体的なフローを示し、図４はス
テップＳＰ２の具体的なフローを示し、図５および図６
はステップＳＰ３の具体的なフローを示す。さらに、異
なった光源方向により照明される円筒１を撮像した複数
の画像において、どれか１枚にでも影の領域が存在する
場合のステップＳＰ２の具体的なフローを図７に示す。

【００１８】次に、図１〜図７を参照して、この発明の
一実施例の具体的な動作について説明する。図１に示し
たテレビカメラ４は光源２の照明の下で円筒１を撮像
し、その撮像出力を画像処理装置５に与える。画像処理
装置５は撮像された画像を処理してＣＰＵ６に与える。
ＣＰＵ６は移動装置３に指令信号を出力し、光源２を任
意に移動させる。これらの動作を繰返し、テレビカメラ
４は円筒１を異なった光源方向のもとで順次撮像する。
なお、手動により光源２を移動させる場合や太陽のよう
に制御できない光源を用いる場合には、光源を移動させ
ている間もしくは動いている間、連続的もしくは適当な
間隔で複数の画像を撮像すればよい。

【００１９】ＣＰＵ６は図２に示すステップＳＰ１にお
いて、画像処理装置５から各画像信号を取込み、画像行
列なるものを生成する。そして、ステップＳＰ２におい
て、ＣＰＵ６はその画像行列を特異値分解を用いて２組
の２行列の積の形に分解し、その１組を選択する。さら
に、ＣＰＵ６はステップＳＰ３において、ステップＳＰ
２の処理結果から、光源２の明るさもしくは円筒１の反
射率に関する条件により適当な変換行列を計算し、その
変換行列をステップＳＰ２の処理結果に施す。なお、異
なった光源方向により照明される円筒１を撮像した複数
の画像において、どれか１枚にでも影の領域が存在する
ときには、ステップＳＰ２において、前処理と後処理を
追加することにする。

【００２０】上述の各ステップの動作についてより詳細
に説明する。図２に示したステップＳＰ１の具体的な処
理は図３に示されている。図３に示すステップＳＰ１１
において、インデックス変数ｋが０に初期化される。ス
テップＳＰ１２において、テレビカメラ４から画像信号
が画像処理装置５に読込まれ、画像データｉｍａｇｅ−
ｋとされる。なお、撮像された１枚の画像はｎ個（ただ
し、ｎ≧６）の座標点をもった画像サイズとし、画像デ
ータを構成するときに、光源２を点灯していない状態で
撮像した画像強度の値の分だけ、撮像された画像強度か
ら差し引くものとする。このようにして得られた画像デ
ータｉｍａｇｅ−ｋはＣＰＵ６に与えられる。

【００２１】ステップＳＰ１３は異なる光源方向の照明
のもとでの円筒１を撮像するための処理であり、ＣＰＵ
６は移動装置３に命令を出し、光源２を移動させる。そ
れに伴い、ステップＳＰ１４においてインデックス変数
たるｋをインクリメントする。ＣＰＵ６はステップＳＰ
１５においてインデックス変数ｋがｍ（ただし、ｍ≧
６）になったか否かを判別し、インデックス変数ｋがｍ
でなければステップＳＰ１２に戻り、上述のステップＳ
Ｐ１２〜１４の処理を繰返す。

【００２２】インデックス変数ｋがｍになるまで処理を
繰返し、ｎ個の座標点をもったｍ枚の画像データが得ら
れた後に、ステップＳＰ１６において、次の第（１）式
に示す画像行列Ｉを生成する。なお、この行列の各行は
画像の各座標点に、各列は１つの光源方向の照明のもと
での各画像に対応している。

【００２３】

【数１】

【００２４】最後に、ステップＳＰ１７において、得ら
れた画像行列Ｉの階数が３以上であることを計算により
確認し、ステップＳＰ１の動作を終了する。なお、階数
が２以下の場合には、ステップＳＰ２以降の処理を行な
わず、エラーメッセージを出力し、全体の動作を終了す
る。

【００２５】上述のステップＳＰ１で生成された画像行
列Ｉは、観測している物体の表面を近似的に拡散反射面
とみなすことによって、次の第（２）式の関係式を満た
す。

【００２６】

【数２】

【００２７】上述のＮは面特性行列と呼び、Ｓは光源特
性行列と呼ぶ。面特性行列Ｎの行ベクトルを各座標点に
関する面特性ベクトルと呼び、その大きさは反射率に対
応し、その方向は面の法線方向に対応する。また、光源
特性行列Ｓの列ベクトルを各画像に関する光源特性ベク
トルと呼び、その大きさは光源の明るさに対応し、その
方向は光源方向に対応する。以下で説明するステップＳ
Ｐ２の画像行列の分解１およびステップＳＰ３の画像行
列の分解２は、このような面特性行列Ｎ，光源特性行列
Ｓを一意的に求めるための処理となっている。

【００２８】次に、図４を参照して、ステップＳＰ２の
画像行列の分解１の処理について説明する。まず、ステ
ップＳＰ２１において、画像行列Ｉがｎ≧ｍであるとし
たとき、特異値分解を画像行列Ｉに施すことによって、
次のような（ｎ，ｍ）行列Ｕ，（ｍ，ｍ）の非負の対角
化行列Σ，（ｍ，ｍ）行列Ｖを求める。なお、ｎ＜ｍの
ときには予め転置行列を計算し、面特性行列Ｎと光源特
性行列Ｓを以下すべて入れ替えて、同様の処理を行なえ
ばよい。

【００２９】

【数３】

【００３０】さらに、特異値分解により得られた３つの
行列Ｕ，Σ，Ｖから、それぞれの小行列Ｕ′，Σ′，
Ｖ′を次のように抽出する。

【００３１】

【数４】

【００３２】そして、ステップＳＰ２２において、２組
の仮の面特性行列Ｎ′と仮の光源特性行列Ｓ′を次のよ
うに計算する。

【００３３】

【数５】

【００３４】続いて、ステップＳＰ２３において、これ
らの２組の行列の積から１組を選択する。この選択を行
なうための前提条件として、同一平面上にない３つの光
源方向ベクトル、もしくは面の法線ベクトルの相対関係
がわかっていなければならない。ここでの相対関係と
は、方向を表わす３つのベクトルのうちの１つをｚ軸方
向の単位ベクトルと一致させた任意の座標系で、他の２
つの方向を表わすベクトルのｘｙ成分の符号が明確に定
義できる場合を指す。

【００３５】以下、簡単のために、光源方向ベクトルの
相対関係がわかっている場合について述べる。まず、光
源に関する２つの解の行列Ｓ′の中から、相対関係のわ
かっている光源の計算結果のみを取出して行列を構成
し、その行列式を計算する。そして、実際の相対関係か
ら得られる行列式の符号と照らし合わせて、符号の一致
する解の行列Ｓ′を選択する。ただし、実際の相対関係
においては、方向ベクトルのｘｙ成分の符号のみがわか
っているので、その符号で行列式の符号が決まるよう
に、座標系を決定する必要がある。

【００３６】なお、３つの方向ベクトルのすべての組合
せの場合について、行列式の符号が方向ベクトルのｘｙ
成分の符号のみで決定できることは別途確認済みであ
る。もちろん、面の向きに関する行列Ｎ′は選ばれた
Ｓ′と組になっているものを選択する。なお、３つの面
の法線のベクトルの相対関係がわかっている場合も、同
様の処理を行なう。

【００３７】次に、図５および図６を参照して、ステッ
プＳＰ３の画像行列の分解２の処理について説明する。
撮像した複数の画像において、６枚以上の画像の光源の
明るさが一定もしくはそれらの比がわかっている場合に
は図５による処理を行ない、６点以上の座標点の反射率
が一定もしくはそれらの比がわかっている場合には図６
による処理を行なう。

【００３８】まず、図５による光源の明るさが一定もし
くはそれらの比がわかっている場合の処理について説明
する。ステップＳＰ３１において、ステップＳＰ２の画
像行列の分解１の処理で得られた仮の光源特性行列Ｓ′
から、光源の明るさが一定もしくはそれらの比がわかっ
ている画像の光源特性ベクトルｓ′のみを取出す。そし
て、光源の明るさが一定の場合には、次の方程式を構成
する。ただし、行列Ａは求めたい（３，３）の変換行列
である。

【００３９】

【数６】

【００４０】なお、光源の明るさの比がわかっている場
合には、第（６）式の右辺をすべて１にする代わりに、
それぞれそれらの比の値を設定するが、以下簡単のため
に一定の場合について説明する。この式は（３，３）の
対称行列Ｂ＝Ａ^TＡを用いれば、

【００４１】

【数７】

【００４２】と書き直すことができる。よって、行列Ｂ
の各要素を線形最小二乗法で求め、得られた行列Ｂにつ
いて次のように特異値分解を施し、変換行列Ａを求め
る。

【００４３】

【数８】

【００４４】続いて、ステップＳＰ３２において、仮の
光源特性行列Ｓ′と変換行列Ａから真の光源特性行列Ｓ
を次のように計算する。

【００４５】

【数９】

【００４６】さらに、ステップＳＰ３３において、仮の
面特性行列Ｎ′と変換行列の逆行列Ａ^-1から、真の面特
性行列Ｎを次のように計算する。

【００４７】

【数１０】

【００４８】次に、図６による反射率が一定もしくはそ
れらの比がわかっている場合の処理について説明する。
ステップＳＰ３１′において、ステップＳＰ２の画像行
列の分解１の処理で得られた仮の面特性行列Ｎ′から、
反射率が一定もしくはそれらの比がわかっているような
座標点の面特性ベクトルｎ′のみを取出す。そして、反
射率が一定の場合には、次の方程式を構成する。ただ
し、行列Ａは求めたい（３，３）の変換行列である。

【００４９】

【数１１】

【００５０】なお、反射率の比がわかっている場合に
は、第（１２）式の右辺をすべて１にする代わりに、そ
れぞれそれらの比の値を設定するが、以下簡単のため
に、一定の場合について説明する。この式は（３，３）
の対称行列Ｂ＝ＡＡ^Tを用いれば、

【００５１】

【数１２】

【００５２】と書き直すことができる。よって、行列Ｂ
の各要素を線形最小二乗法で求め、次のようにして、得
られた行列Ｂについて特異値分解を施し、変換行列Ａを
求める。

【００５３】

【数１３】

【００５４】続いて、ステップＳＰ３２′において、仮
の面特性行列Ｎ′と変換行列Ａから、真の面特性行列Ｎ
を次のように計算する。

【００５５】Ｎ＝Ｎ′Ａ…（１６）さらに、ステップＳＰ３３′において、仮の光源特性行
列Ｓ′と変換行列の逆行列Ａ^-1から、真の光源特性行列
Ｓを次のように計算する。

【００５６】Ｓ＝Ａ^-1Ｓ′…（１７）これら２つの場合のどちらかによる処理が終了した時点
で、ステップＳＰ３の処理を終え、全体の処理を終了す
る。なお、テレビカメラ４の座標系で表わされる面の向
きや光源方向が２つ以上わかっている場合には、求めら
れたすべての相対的な面の向きや光源方向をカメラ４の
座標系に合うような絶対的なものに変換することができ
る。

【００５７】以上説明した実施例は、撮像した複数画像
の中に影の領域が全く存在しない場合である。以下、図
７を参照して、異なった光源方向により照明される円筒
１を撮像した複数の画像において、どれか１枚にでも影
の領域が存在するときのステップＳＰ２の具体的な処理
を説明する。ただし、ステップＳＰ１およびステップＳ
Ｐ３は同じ処理を行なうものとする。

【００５８】まず、ステップＳＰ２１′において、画像
平面にある領域を設定する。ただし、設定した領域の座
標点の中で、少なくとも３点の面の法線ベクトルは同一
平面上にないようにする。次に、ステップＳＰ２２′に
おいて、撮像されたｍ枚の画像から、設定領域の一部で
も影となる画像データｉｍａｇｅ−ｋを画像行列Ｉから
削除する。ただし、削除した後得られた画像行列Ｉを構
成する複数の画像データの枚数はｍ′枚（ただし、ｍ≧
ｍ′≧６）で、それらを構成する光源方向ベクトルのう
ち、少なくとも３つは同一平面上にはないようにする。

【００５９】そして、ステップＳＰ２３′において、
（ｎ，ｍ′）の画像行列Ｉから、常に影とならない座標
点の画像データのみで、影の領域を含まない（ｆ，
ｍ′）の画像小行列Ｉ₁を構成する。ただし、ｎ≧ｆ≧
６で、この画像小行列Ｉ₁を構成する、同一平面上にな
い３つの光源方向ベクトルもしくは面の法線ベクトルの
相対関係がわかっているものとする。

【００６０】ステップＳＰ２４′では、得られた画像小
行列Ｉ₁に特異値分解を施す。処理方法はステップＳＰ
２１と全く同じである。続いて、ステップＳＰ２５′で
２組の仮の面特性小行列と光源特性行列を計算する。処
理方法はステップＳＰ２２と全く同じである。さらに、
ステップＳＰ２６′で得られた２組の仮の面特性小行列
と光源特性行列から１組を選択する。処理方法はステッ
プＳＰ２３と全く同じである。この段階で、ｆ個の面の
特性を表わす仮の面特性小行列とｍ′個の光源特性を表
わす仮の光源特性行列が得られる。

【００６１】最後に、ステップＳＰ２７′において、得
られたｍ′個の光源特性を表わす光源特性行列と影の領
域を含む（ｎ−ｆ，ｍ′）の画像小行列Ｉ₂から、ｎ−
ｆ個の未知の面特性ベクトルについて計算する。第
（２）式より、Ｉ₂＝Ｎ₂Ｓ…（１８）となり、画像小行列Ｉ₂と光源特性行列Ｓはわかってい
るので、各座標点の面特性ベクトルに関して、それぞれ
線形最小二乗法を施せば、ｎ−ｆ個の未知の面特性ベク
トルを決定することができる。ただし、求めたい面特性
ベクトルに関する、影でない画像データが３つ以上ない
場合には、その部分は求めることができない。最後に、
既に求められているｆ個の面特性ベクトルと組合わせる
ことによって、全体のｎ個の面特性行列を構成すること
ができる。以上のようにして、撮像した複数の画像にお
いて、どれか１枚にでも影の領域が存在するときのステ
ップＳＰ２の具体的な処理を終了する。

【００６２】

【発明の効果】以上のように、この発明によれば、異な
った光源方向により照明される対象物を撮像して複数の
画像を処理し、各画像からその画像強度データからなる
画像行列を構成して、その画像行列を特異値分解を用い
て２組の２行列の積の形に分解し、そのうちの１組を選
択したうえ、その処理結果から光源の明るさもしくは反
射率に関する条件により適当な変換行列を計算し、その
変換行列を処理結果に施すことにより、事前に光源の明
るさやその方向を与えなくても、３次元物体の相対的な
面の向きや反射率を精度よく求めることができる。ま
た、事前に光源の明るさやその方向を与えないという点
から言えば、異なった光源方向により照明される対象物
を撮像した複数の画像から、それらの相対的な光源の明
るさや方向を抽出することができることになる。

【００６３】さらに、異なった光源方向により照明され
る対象物を撮像した複数の画像において、どれか１枚に
でも影の領域が存在する場合に、前述の特異値分解によ
る分解および分解結果の選択処理において、その前処理
として、画像平面座標に領域を設定し、設定した領域が
影となる画像のすべての画像強度データを画像行列から
削除して、その結果得られた画像行列から常に影となら
ない座標点の画像強度データのみで、影の領域を含まな
い画像小行列を構成したうえに、後処理として、影の領
域を含む画像小行列と得られた相対的な光源の明るさや
方向から、相対的な反射率や面の向きが未知である座標
点について計算することにより、撮像された複数画像の
中で影となる部分があっても、３次元物体の相対的な面
の向きや反射率を精度よく求めることができる。

【図面の簡単な説明】

【図１】この発明の一実施例の概略ブロック図である。

【図２】この発明の一実施例による物体および光源情報
抽出方法を示す全体のフロー図である。

【図３】図２に示した全体のフロー図のステップＳＰ１
の詳細を示すフロー図である。

【図４】図２に示した全体のフロー図のステップＳＰ２
の詳細を示すフロー図である。

【図５】図２に示した全体のフロー図のステップＳＰ３
の詳細を示すフロー図である。

【図６】図２に示した全体のフロー図のステップＳＰ３
の詳細を示すフロー図である。

【図７】撮像した複数の画像において影の領域が存在す
るときの、図２に示した全体のフロー図のステップＳＰ
２の詳細を示すフロー図である。

【図８】従来の物体情報抽出方法の原理を説明するため
の図である。

【図９】従来の物体情報抽出方法の原理を説明するため
の図である。

【図１０】従来の物体情報抽出方法を説明するための図
である。

【符号の説明】

１対象物体２光源３移動装置４テレビカメラ５画像処理装置６ＣＰＵ

Claims

【特許請求の範囲】

【請求項１】異なった光源方向により照明される対象
物を撮像した複数の画像を処理し、該対象物の相対的な
反射率や面の向きおよび相対的な光源の明るさや光源方
向を抽出する物体および光源情報抽出方法であって、前記各画像から、その画像強度データからなる画像行列
を構成する第１のステップと、前記第１のステップで構成された画像行列を特異値分解
を用いて２組の２行列の積の形に分解し、その１組を選
択する第２のステップと、前記第２のステップの処理結果から、光源の明るさもし
くは反射率に関する制約条件により適当な変換行列を計
算し、その変換行列を前記第２のステップの処理結果に
施すことによって、該対象物の相対的な反射率や面の向
きおよび相対的な光源の明るさや光源方向を抽出する第
３のステップを含む、物体および光源情報抽出方法。
【請求項２】前記第２のステップは、前記各画像のい
ずれか１つにでも影の領域が存在する場合に、前処理と
して、画像平面座標に領域を設定するステップと、前記設定した領域が影となる画像のすべての画像強度デ
ータを前記画像行列から削除するステップと、および前
記画像行列から常に影とならない座標点の画像強度デー
タのみで、影の領域を含まない画像小行列を構成するス
テップを含み、後処理として、前記画像行列から前記影の領域を含まな
い画像小行列を除いた影の領域を含む画像小行列と得ら
れた相対的な光源の明るさや方向から、相対的な反射率
や面の向きが未知の座標点について計算するステップを
含む、請求項１の物体および光源情報抽出方法。
【請求項３】異なった光源方向により照明される対象
物を撮像した複数の画像を処理し、該対象物の相対的な
反射率や面の向きおよび相対的な光源の明るさや光源方
向を抽出する物体および光源情報抽出装置であって、前記対象物の画像を撮像する撮像手段、前記対象物と前記光源の相対的位置関係を変化させる光
源移動手段、および前記撮像手段によって撮像された異
なった光源方向からの画像からその画像強度データから
なる画像行列を特異値分解を用いて２組の２行列の積の
形に分解し、その１組を選択したうえ、その処理結果か
ら、光源の明るさもしくは反射率に関する制約条件によ
り適当な変換行列を計算し、その変換行列を処理結果に
施すことにより、前記対象物の相対的な反射率や面の向
きおよび相対的な光源の明るさや光源方向を抽出する画
像処理手段を備えた、物体および光源情報抽出装置。