JP4357997B2 - 物体の双方向反射分布関数の高速推定方法 - Google Patents

Description

本発明は、物体の双方向反射分布関数の推定方法に係り、特に、ウィーナー（Ｗｉｅｎｅｒ）推定法を用いた物体の双方向反射分布関数（ＢＲＤＦ）の高速推定方法に関するものである。

近年、デジタルアーカイブなどにおいて、さまざまな光源下での物体の見えをリアルに再現するために、物体の偏角反射特性を正確に記録することが求められている。物体の反射特性は、物体の入射角と反射角に対する反射率であるＢＲＤＦを、照明位置を変化させることにより記録できる。したがって、従来は多方向からの照明に対する測定データ群に対して、処理を行うことで、ＢＲＤＦを取得することが行われている。
Ｉ Ａｓｈｄｏｗｎ．Ｎｅａｒ−Ｆｉｅｌｄ Ｐｈｏｔｏｍｅｔｒｙ：Ａ Ｎｅｗ Ａｐｐｒｏａｃｈ．Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｉｌｌｕｍｉｎａｔｉｎｇ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ ２２ｌ（Ｗｉｎｔｅｒ）ｐｐ．１６３−１８０．１９９３． Ｉ Ａｓｈｄｏｗｎ．Ｎｅａｒ−Ｆｉｅｌｄ Ｐｈｏｔｏｍｅｔｒｙ：Ｍｅａｓｕｒｉｎｇ ａｎｄ Ｍｏｄｅｌｉｎｇ Ｃｏｍｐｌｅｘ ３−Ｄ Ｌｉｇｈｔ Ｓｏｕｒｃｅｓ．ＡＣＭ ＳＩＧＧＲＡＰＨ ９５ Ｃｏｕｒｓｅ Ｎｏｔｅｓ−Ｒｅａｌｉｓｔｉｃ Ｉｎｐｕｔ ｆｏｒ Ｒｅａｌｉｓｔｉｃ Ｉｍａｇｅｓ，ＡＣＭ，ｐｐ．１−１５．１９９５． Ｐ．Ｄｅｂｅｖｅｃ，Ｔ．Ｈａｗｋｉｎｓ，Ｃ．Ｔｃｈｏｕ，Ｈ．Ｄｕｉｋｅｒ，Ｗ．Ｓａｒｏｋｉｎ，ａｎｄ Ｍ．Ｓａｇａｒ．Ａｃｑｕｉｒｉｎｇ ｔｈｅ Ｒｅｆｌｅｃｔａｎｃｅ Ｆｉｅｌｄ ｏｆ ａ Ｈｕｍａｎ Ｆａｃｅ．Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ（ＡＣＭ ＳＩＧＧＲＡＰＨ００）ｐｐ．１４５−１５６．２０００． Ｈ．Ｈａｎｅｉｓｈｉ ｅｔ ａｌ．Ｇｏｎｉｏｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ ｏｆ Ｔｈｒｅｅ−Ｄｉｍｅｎｔｉｏｎａｌ Ｏｂｊｅｃｔｓ．Ｊ．Ｉｍａｇｉｎｇ Ｓｃｉ．Ｔｅｃｈｎｏｌ．４５，４５１−４８３．２００１． Ｔ．Ｆｕｊｉｍａｋｉ，Ｋ．Ｉｓｈｉ，Ｔ．Ｉｋｅｄａ，Ｎ．Ｔｓｕｍｕｒａ，ａｎｄ Ｙ．Ｍｉｙａｋｅ．Ｐｒｏｐｏｓａｌｓ ｏｆ Ｓｔａｎｄａｒｄ Ｓｐｅｓｔｒａｌ Ｉｍａｇｅ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｄｅｓｉｇｎｉｎｇ ｏｆ ＣＣＤ ｃａｍｅｒａ．ＰＩＣＳ ２００３ ｐｐ．４９６−４９９．２００３． Ｍｉｃｈｅａｌ Ｇｏｅｓｅｌｅ，Ｘａｉｖｉｅｒ Ｇｒａｎｉｅｒ，Ｗｏｌｆｇａｎｇ Ｈｅｉｄｒｉｃｈ，ａｎｄ Ｈａｎｓ−Ｐｅｔｅｒ Ｓｅｉｄｅｌ．Ａｃｃｕｒａｔｅ Ｌｉｇｈｔ Ｓｏｕｒｃｅ Ａｃｑｕｉｓｉｔｉｏｎ ａｎｄ Ｒｅｎｄｅｒｉｎｇ．Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ（ＡＣＭ ＳＩＧＧＲＡＰＨ ０３），ＡＣＭ，ｐｐ．６２１−６３０．２００３． Ｓ．Ｊ．Ｇｏｒｔｌｅｒ，Ｒ．Ｇｒｚｅｓｚｃｚｕｋ，Ｒ．Ｓｚｅｌｉｎｓｋｉ，ａｎｄ Ｍ．Ｆ．Ｃｏｈｅｎ．Ｔｈｅ Ｌｕｍｉｇｒａｐｈ．Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ（ＡＣＭ ＳＩＧＧＲＡＰＨ ９６），ＡＣＭ，ｐｐ．４３−５４．１９９６． Ｗａｒｄ Ｇ．Ｊ．Ｍｅａｓｕｒｉｎｇ ａｎｄ ｍｏｄｅｌｉｎｇ ａｎｉｓｏｔｒｏｐｉｃ ｒｅｆｌｅｃｔｉｏｎ．Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ（ＡＣＭ ＳＩＧＧＲＡＰＨ ９６）Ｖｏｌ．２６，Ｎｏ．２，ｐｐ．２６５−２７２．１９９２． Ｃｏｏｋ Ｒ．Ｌ．ａｎｄ Ｋ．Ｅ．Ｔｏｒｒａｎｃｅ．Ａ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌ ｆｏｒ ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ．Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ（ＡＣＭ ＳＩＧＧＲＡＰＨ ８２）Ｖｏｌ．１５，Ｎｏ．３，ｐｐ．３０７−３１６．１９８２． Ｍ．Ｌｅｖｏｙ ａｎｄ Ｐ．Ｈａｎｒａｈａｎ．Ｌｉｇｈｔ ｆｉｅｌｄ ｒｅｎｄｉｎｇ．Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ（ＡＣＭ ＳＩＧＧＲＡＰＨ ９６），ＡＣＭ，ｐｐ．３１−４２．１９９６． Ｍｉｃｈｅａｌ Ｏｒｅｎ ａｎｄ Ｓｈｒｅｅ Ｋ．Ｎａｙｅｒ．Ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｏｆ ｔｈｅ Ｌａｍｂｅｒｔｉａｎ Ｍｏｄｅｌ ａｎｄ Ｉｍｐｌｉｃａｔｉｏｎｓ ｆｏｒ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｖｏｌ．１４，ｐｐ．２２７−２５１．１９９５． Ｂ．Ｐｈｏｎｇ．Ｉｌｌｕｍｉｎａｔｉｏｎ ｆｏｒ ｃｏｍｐｕｔｅｒ−ｇｅｎｅｒａｔｅｄ ｐｉｃｔｕｒｅｓ．Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ ｖｏｌ．１８，Ｎｏ．６，ｐｐ．３１１−３１７．１９８２．

上記したように、従来は、ＷａｒｄやＰｈｏｎｇなどの反射モデルを用いて、多方向からの照明に対する測定データ群に対してフィッティングすることで、ＢＲＤＦを得ていた。しかし、物体の各点におけるフィッティングの計算には多大な時間を要するため実用的ではなかった。
簡単な方法としては、単なる線形補間が行われてきたが、計測角度数が少ない場合に大きな誤差が生じた。また光源が理想的な遠方光源ではない場合には、実際の配光の影響によりＢＲＤＦの測定に誤差が生じていた。

例えば、図１１は従来のＷａｒｄモデルの例を示す図であり、横軸に物体へ入射する光線の入射角（°）、縦軸に反射輝度率を示している。ここでは、ＢＲＤＦが等方で内部反射光成分ρ_d ＝０．３、表面反射光成分ρ_s ＝０．７、物体表面の荒さα＝０．１５である仮想物体の視線方向４５°への反射輝度率を示している。
そこで、本発明は、上記状況に鑑みて、光源が理想的な遠方光源ではない場合に対しても適用可能で、かつ、得られた計測値から非常に高速に双方向反射分布関数を算出することができるウィーナー推定法を用いた物体の双方向反射分布関数の高速推定方法を提供することを目的とする。

〔１〕物体の双方向反射分布関数の高速推定方法において、ウィーナー推定法を用いたカメラによる計測時の照明の配光分布を考慮して、前記カメラの総合感度ｓと物体へ入射する光線の光線分布〔ｌ ₁ ，ｌ ₂ ，ｌ ₃ ，…，ｌ _m 〕 ^t の積であるシステムマトリクスＨが正方行列であるとき、逆行列Ｈ ^-1 に基づいて物体の双方向反射分布関数を求めることを特徴とする。

〔２〕上記〔１〕記載の物体の双方向反射分布関数の高速推定方法において、前記システムマトリクスＨが正方行列でないとき、擬似逆行列Ｈ^- に基づいて物体の双方向反射分布関数を求めることを特徴とする。
〔３〕上記〔２〕記載の物体の双方向反射分布関数の高速推定方法において、入力ベクトルρと

の平均二乗誤差ＭＳＥを最小とする推定行列を用いることを特徴とする。

本発明によれば、光源の配光分布を考慮することにより、遠方光源を用いる必要がなくなる。そのため、小規模な測定システムを実現することができる。
また、Ｗｉｅｎｅｒ推定により高速に正確な双方向反射分布関数を測定できるため、大量のデータ処理、様々な照明下における見えをリアルタイムに再現することができる。

ウィーナー推定法を用いたカメラによる計測時の照明の配光分布を考慮して、前記カメラの総合感度ｓと物体へ入射する光線の光線分布〔ｌ ₁ ，ｌ ₂ ，ｌ ₃ ，…，ｌ _m 〕 ^t の積であるシステムマトリクスＨが正方行列であるとき、逆行列Ｈ ^-1 に基づいて物体の双方向反射分布関数を求める。よって、大量のデータ処理、様々な照明下における見えをリアルタイムに再現することができる。

本発明の実施の形態について図面を参照して詳細に説明する。
まず、Ｗｉｅｎｅｒ推定法を用いたＢＲＤＦ推定について説明する。
ここでは、照明の配光分布を考慮したときのＢＲＤＦの測定法について述べる。照明の配光分布を考慮し、任意方向から物体を照らしたときの測定ジオメトリは図１のようになる。図１において、１は物体、１Ａはその物体の表面、２は光源、３は光源２からの光線である。

ここで説明を簡単にするために、照明の配光分布は２次元、照明の方位角は一定、物体のＢＲＤＦは等方、カメラの総合感度は線形であるとする。物体のＢＲＤＦは前述したように図１１で表される。このとき物体１に入射する光線３の入射角をθとし、物体のＢＲＤＦをρ（θ）とする。同様にある照明方向のときの物体１へ入射する光線の光線分布ｌ（θ）は図２となる。図２の横軸は物体へ入射する光線の入射角（°）、縦軸は入射光線の放射輝度〔Ｗ／（ｓｒ・ｍ² ）〕である。したがってカメラの総合感度をｓとすると、物体撮影時に得られるディジタル画像の画素値ｖは

となる。
ここで、ｍ方向から物体を照らしたときに得られるディジタル画像の画素値は、

となる。
さらに光線の入射角θをｎ個に離散化したとき物体のＢＲＤＦρ（θ）、光線分布ｌ_i （θ）は、
ρ＝［ρ（θ₁ ），ρ（θ₂ ），ρ（θ₃ ），…，ρ（θ_n ）］^t
…（３）
ｌ_i ＝［ｌ_i （θ₁ ），ｌ_i （θ₂ ），ｌ_i （θ₃ ），…，ｌ_i （θ_n ）］^t
…（４）
となり
ｖ_i ＝ｓρ^t ｌ_i …（５）
となる。

さらに、画素値ベクトルｖ、システムマトリクスＨを、
ｖ＝［ｖ₁ ，ｖ₂ ，ｖ₃ ，…，ｖ_m ］^t …（６）
Ｈ＝ｓ［ｌ₁ ，ｌ₂ ，ｌ₃ ，…，ｌ_m ］^t …（７）
とすれば、上記式（５）は、
ｖ＝Ｈρ …（８）
の形で簡潔に表すことができる。

ｎ次元の物体のＢＲＤＦベクトルρを入力、ｍ次元の画素値ベクトルｖを出力とすれば、ＢＲＤＦ測定はｎ次元空間からｍ次元空間への線形射影を行っていると考えることができる。
一般に物体のＢＲＤＦベクトルの次元ｎはＢＲＤＦ測定によって得られる画素数ｍより大きいため、物体のＢＲＤＦを正確に求めることができない。

そこで、本発明では様々なＢＲＤＦを持つ物体をサンプルとして用いて、低次元な画素値ベクトルから高次元な物体のＢＲＤＦベクトルを推定する。
例えば、Ｗｉｅｎｅｒ推定法を用いて物体のＢＲＤＦを推定する。そこで画素値ベクトルから物体のＢＲＤＦベクトルを推定する行列を作成する。
（Ｗｉｅｎｅｒ推定法を用いたＢＲＤＦ推定）
始めに、画素値ベクトルから物体のＢＲＤＦベクトルを推定する行列を作成する。上記式（８）においてシステムマトリクスＨが正方であるとき、逆行列Ｈ^-1から
ρ＝Ｈ^-1ｖ …（９）
により、物体のＢＲＤＦを求めることができる。ただし、ｖは既知であるＨから推定した値とする。

しかし、画素値ベクトルｖと物体のＢＲＤＦベクトルρの次元が異なるとき、システムマトリクスＨは正方行列ではないため、その逆行列を求めることができない。

を最小とする行列を推定行列として用いる。ここで、〈〉はアンサンブル平均を表している。
ＭＳＥを最小にする擬似逆行列Ｈ^- を求めるため、両辺をＨ^- で偏微分して０とおくと、上記式（１２）は

となる。
したがって、
−２〈ρｖ^t 〉＋２Ｈ^- 〈ｖｖ^t 〉＝０ …（１４）
Ｈ^- ＝〈ρｖ^t 〉〈ｖｖ^t 〉^-1 …（１５）
となる。この結果、擬似逆行列Ｈ^- は、

となる。ただし、

である。

であり、上記式（８）を用いて式（１６）は、

としても与えられる。
画素値にノイズｎが含まれる場合には、上記式（８）は
ｖ＝Ｈρ＋ｎ …（２１）
となる。ここで入力ベクトルとノイズベクトルが無相関ならば、平均二乗誤差を最小にする推定行列は以下の式で与えられる。

ここで、Ｒ_nnはノイズの自己相関行列を示し、
Ｒ_nn＝〈ｎｎ^t 〉 …（２３）
である。このようにＷｉｅｎｅｒ推定法は、信号とノイズの統計量が分かっている場合には簡単な線形演算で推定値の平均二乗誤差を最小とする推定行列を与える。
物体のＢＲＤＦρは得られた擬似逆行列Ｈ^- を用いて、
ρ＝Ｈ^- ｖ …（２４）
となる。したがって低次元の画素値ｖから高次元の物体のＢＲＤＦρを推定することができる。また、線形演算で物体のＢＲＤＦを推定することができるので、処理を高速に行うことができる。

次に、本発明の方法を用いて、物体のＢＲＤＦの推定シミュレーションを行う。
ここでは、本発明の方法の推定速度と精度を調べるために、照明の配光分布を考慮した物体のＢＲＤＦ推定のシミュレーションによる評価を行う。
はじめに物体のＢＲＤＦ推定のシミュレーションのジオメトリについて説明する。
図３で表されるジオメトリで物体のＢＲＤＦ推定のシミュレーションを行う。

この図３において、１１は物体、１１Ａはその物体１１の表面、１１Ｂはその物体の測定点、１２は各点光源、１２Ａは光源面、１３は各点光源１２からの光線である。
また、ここでも、照明の配光分布は２次元、照明の方位角は一定、物体のＢＲＤＦは等方、カメラの総合感度は線形とする。ここで、照明は５個の点光源１２の集合であり、図３に示されるように並んでいるとする。このとき、各点光源１２はそれぞれ隣り合う点光源との距離が約０．１７ｃｍで光源面１２Ａ上に並び、中心の点光源１２と物体の測定点１１Ｂとの距離は１０ｃｍとした。

次に、シミュレーション条件を表１に、シミュレーションに用いた計算機情報を表２に示す。図３で示されるように各点光源１２から出射された複数の光線１３が物体表面１１Ａへ入射する。表１における照明の配光分布の考慮では、物体１１へ入射する複数の光線１３を一定入射角から入射する光線とみなす場合を「なし」、それぞれ異なる入射角から入射する光線と見なす場合を「あり」とする。また、シミュレーションで各測定中における照明の中心光源から出射された光線の物体への入射角を表３に示す。ここで、一つの物体に対して７つの照明位置でＢＲＤＦを測定した。

図４に従来の方法と本発明の方法を比較するために用いた物体のＢＲＤＦのテストパターン１２０種を示す。横軸は物体へ入射する光線の入射角（°）、縦軸は物体へ入射する光線の入射角に対する完全拡散板の反射輝度で規格化した反射輝度率である。また、視点方向は４５とした。次に、テストパターンに用いたＢＲＤＦのパラメータを表４に示す。テストパターンは各パラメータのすべての組み合わせで作成した。また、カメラノイズとして測定値の２％の加法ノイズを付加した。

（従来手法によるＢＲＤＦ推定シミュレーション）
表１に示したシミュレーション条件１によって推定されたＢＲＤＦを図５に示す。横軸は物体へ入射する光線の入射角（°）、縦軸は物体へ入射する光線の入射角に対する完全拡散板の反射輝度で規格化した反射輝度率である。テストパターンのＢＲＤＦと推定値のＲＭＳＥは０．６３３、推定速度は２．０７秒となった。

次に、シミュレーション条件２によって推定されたＢＲＤＦを図６に示す。横軸は物体へ入射する光線の入射角（°）、縦軸は物体へ入射する光線の入射角に対する完全拡散板の反射輝度で規格化した反射輝度率である。テストパターンのＢＲＤＦと推定値のＲＭＳＥは０．０７３、推定速度は１３．８秒となった。
（本発明の方法によるＢＲＤＦ推定シミュレーション）
本発明の方法による物体のＢＲＤＦ推定シミュレーションを行う。

まず、Ｗｉｅｎｅｒ推定法より反射輝度から物体のＢＲＤＦを推定する推定行列を計算する。推定行列を計算するために用いたＢＲＤＦのサンプルを図７に示す。また、サンプルとなるＢＲＤＦは表５に示すパラメータのすべての組み合わせで作成した。

本発明の方法によって推定されたＢＲＤＦを図８に示す。横軸は物体へ入射する光線の入射角（°）、縦軸は物体へ入射する光線の入射角に対する完全拡散板の反射輝度で規格化した反射輝度率である。テストパターンのＢＲＤＦと推定値のＲＭＳＥは０．１７９、推定速度は１．５×１０^-2秒となった。
（従来の方法と本発明の方法のＢＲＤＦ推定のシミュレーション評価）
ここでは、これまで行ったＢＲＤＦ推定シミュレーション結果を比較する。

はじめにシミュレーション結果をまとめ、表６に示す。

推定時間では条件２が最も遅くなった。これは、条件１に対して照明の配光分布を考慮したためにフィッティングするデータ数が増えたためであると考えられる。また、本発明の方法である条件３では条件１に対して約１．５×１０⁵ 倍、条件２に対して約１０⁶ 倍高速にＢＲＤＦを推定することができた。
これは前にも述べたように、本発明の方法は、フィッティングの代わりに線形演算のみでＢＲＤＦを推定するからである。

次に、推定精度では照明の配光分布を考慮したために本発明の方法は条件１に対して大幅に推定精度が向上した。また、条件２に対してほぼ同等の精度でＢＲＤＦを推定することができた。本発明の方法の推定精度が最も悪かったテストパターンについてテストパターンを実線、本発明の方法を破線、条件２を点線で図９に、誤差が大きい部分を拡大したものを図１０に示す。それぞれの図の横軸は物体へ入射する光線の入射角（°）、縦軸は物体へ入射する光線の入射角に対する完全拡散板の反射輝度で規格化した反射輝度率である。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、これらを本発明の範囲から排除するものではない。

本発明は、ウィーナー推定法を用いた物体の双方向反射分布関数の高速推定方法は、さまざまな光源下での物体の見えをリアルに再現するためのＢＲＤＦの高速推定方法として利用可能である。

照明の配光分布を考慮したときのＢＲＤＦ測定の模式図である。 物体へ入射する光線分布を示す図である。 ＢＲＤＦ推定シミュレーションにおける照明の点光源配置図である。 物体のＢＲＤＦテストパターンを示す図である。 シミュレーション条件１によって推定されたＢＲＤＦを示す図である。 シミュレーション条件２によって推定されたＢＲＤＦを示す図である。 物体のＢＲＤＦサンプルを示す図である。 本発明の方法によって推定されたＢＲＤＦを示す図である。 ＲＭＳＥが最大の推定結果を示す図である。 図９の拡大図である。 従来のＷａｒｄモデルの例を示す図である。

１，１１ 物体
１Ａ，１１Ａ 物体の表面
２ 光源
３ 光源からの光線
１１Ｂ 物体の測定点
１２ 各点光源
１２Ａ 光源面
１３ 各点光源からの光線

Claims (3)

1. ウィーナー推定法を用いたカメラによる計測時の照明の配光分布を考慮して、前記カメラの総合感度ｓと物体へ入射する光線の光線分布〔ｌ ₁ ，ｌ ₂ ，ｌ ₃ ，…，ｌ _m 〕 ^t の積であるシステムマトリクスＨが正方行列であるとき、逆行列Ｈ ^-1 に基づいて物体の双方向反射分布関数を求めることを特徴とする物体の双方向反射分布関数の高速推定方法。
2. 請求項１記載の物体の双方向反射分布関数の高速推定方法において、前記システムマトリクスＨが正方行列でないとき、擬似逆行列Ｈ^- に基づいて物体の双方向反射分布関数を求めることを特徴とする物体の双方向反射分布関数の高速推定方法。
3. 請求項２記載の物体の双方向反射分布関数の高速推定方法において、入力ベクトルρと
   

   

   の平均二乗誤差ＭＳＥを最小とする推定行列を用いることを特徴とする物体の双方向反射分布関数の高速推定方法。

Images