JP5133626B2 - 表面反射特性測定装置 - Google Patents

Description

本発明は、画像合成等の技術に使用される測定対象の表面反射特性測定装置に関する。

三次元物体の表面反射特性の測定技術としては、例えば、下記非特許文献１及び非特許文献２に記載の技術が知られている。

非特許文献１の技術は、表面反射特性を、多数の光源を測定対象に対して充分に大きな球面上に配置し、順次点灯させたときの測定対象の画像を使って推定するものである。このため、装置規模が大きくならざるを得ないほか、光源を離散的に配置しなくてはならないため、光沢のピークを捉えきれない問題があった。非特許文献２では、これらの問題に対応するために、光源として線光源を用い、それを平面上で移動させながら画像を取得し、表面反射特性を推定するという方法がとられた。しかしながらこの方法では、光源と測定対象、撮像手段のとり得る位置関係が限られてしまい、測定対象全体の表面反射特性を推定するために必要な光沢情報が充分に得られないという問題が新たに生じた。

"A Lighting Reproduction Approach to Live-Action Composing" Paul Debevec他 SIGGRAPH2002 Conference Proceedings "線光源の配光分布を考慮した３次元物体のBRDFスキャナ" 牧野貴雄 他 Optics & Photonics Japan 2006, 8aD1

本発明は、上記従来の課題に鑑みてなされたものであり、測定対象の三次元の表面反射特性を好適に測定することができる表面反射特性測定装置を提供することを目的とする。

本発明は、測定対象の光反射特性情報測定手段と、前記測定対象の三次元形状情報測定手段と、前記測定対象の法線情報測定手段とを具備する表面反射特性測定装置であって、前記光反射特性情報測定手段は、前記測定対象を臨む特定の軌道で移動可能に垂設され前記測定対象に線状の光を照射する可動光源と、前記軌道に沿って移動させながら前記可動光源から前記測定対象に光が照射された状態を撮像するように配設された撮像手段と、前記撮像手段で撮像された前記測定対象の前記状態の画像データに基づいて、前記測定対象の光反射特性情報を求める情報処理手段とを備えている表面反射特性測定装置を提供することにより、前記目的を達成したものである。

本発明の表面反射特性測定装置によれば、測定対象の三次元の表面反射特性を簡便且つ精度良く測定することができる。

以下、本発明の表面反射特性測定装置（以下、単に測定装置ともいう。）を、人の顔の表面反射特性の測定に適用した好ましい実施形態に基づいて説明する。

測定装置１において測定対象となる顔１０の表面反射特性には、後述するように、顔１０の三次元形状情報、法線情報、及び光反射特性情報（光沢の光反射特性情報）が含まれている。該光反射特性情報を表す関数は双方向反射関数（ＢＲＤＦ）と呼ばれており、ある方向から光を照射したときにどの向きにどの程度光が反射するかを表す関数で、一般には入射方向と出射方向に依存した複雑な形となる。ただし知覚的には、光沢は強度及び幅でほぼ表現できることが知られているので、実用上はＢＲＤＦの光沢成分を強度及び幅の２つのパラメータを含むモデルで近似したときのそれぞれのパラメータの値を光反射特性情報としても差し支えなく、本実施形態においても光沢の強度及び幅を光反射特性情報とする。

図１に示したように、本実施形態の測定装置１は、顔１０の光反射特性情報測定手段１Ａと、顔１０の三次元形状情報測定手段１Ｂと、顔１０の法線情報測定手段１Ｃとを具備している。

光反射特性情報測定手段１Ａは、顔１０を臨む軌道上で移動可能に垂設され、顔１０に線状の光を照射する可動光源２と、前記軌道に沿って移動させながら可動光源２から顔１０に光が照射された状態を撮像するように配設された撮像手段３と、撮像手段３で撮像された顔１０の前記状態の画像データに基づいて、顔１０の光反射特性を求める情報処理手段４とを備えている。

三次元形状情報測定手段１Ｂは、明暗の繰り返しからなる光学パターンを顔１０に投影する投影手段５を備えている。本実施形態では、撮像手段３は、顔１０に前記光学パターンが投影された状態を撮像するように配設されている。また、情報処理手段４は、撮像手段３で撮像された前記光学パターンが投影された状態の顔１０の画像データに基づいて、顔１０の三次元形状情報を求めるように設けられている。

法線情報測定手段１Ｃは、定位置に固定され顔１０に光を照射する複数の固定光源６を備えている。本実施形態では、撮像手段３は、前記測定対象に前記各固定光源から光が照射された状態を撮像するように配設されている。また、情報処理手段４は、撮像手段３で撮像された固定光源６から顔１０に光が照射された状態の画像データに基づいて顔１０の法線情報を求めるように設けられている。

＜光反射特性情報測定手段１Ａ＞
測定装置１は、可動光源２の位置移動、各固定光源６の点灯及び消灯、投影手段５による前記光学パターンの投影及び該光学パターンの切り替え、並びに撮像手段３での前記各状態の顔１０の撮像及び撮像された前記各状態の画像データの情報処理手段４への取り込みを制御する制御手段７を備えている。本実施形態では、情報処理手段４及び制御手段７は、情報処理手段４及び制御手段７として機能するコンピュータシステム（以下、単にコンピュータともいう。）８で構成されている。

測定装置１は、測定対象となる人が座った状態で収容できる空間を形成し、且つ可動光源２の軌道となる可動ステージ及び各固定光源６が取り付けられたフレーム１１を備えている。

可動光源２の光源は、その軌道上の任意の位置から、撮像手段３で撮像できる強度の光を測定対象に照射できるものであれば、その光源の種類に特に制限はないが、蛍光灯、発光ダイオードアレイ、ネオン管などが好ましく、さらには線光源の軸を中心に考えたときに放射光量の軸対象性に優れており、細い形態のものが容易に入手できることを考慮すると、ネオン管が好ましい。可動光源２の光源の長さは、測定対象を含んで余りある上下に充分な長さであればよい。

可動光源２の軌道は、測定対象の外形、光源の形状、光源を動かす可動ステージの形態に応じて設定される。本実施形態では、可動光源２の軌道は、測定装置１を平面視したときに測定対象に対して左右対称で且つ測定対象に対して開く略Ｖ字状の２本の軌道とされている。可動ステージとしては直線状に動かすものが容易に入手可能であり、それらを２つ組み合わせて測定対象を取り囲むように配置することで、可動光源２を測定対象の周囲で動かすことを実現している。可動光源をこのような略Ｖ字状の軌道に沿って移動させることによって、測定対象に向かって単に直線的に動かしたときには光沢を観察することができない部分からの光沢情報を得ることができる。なお、可動光源２の軌道は、曲線であっても良く、略円形で合っても良い。

本実施形態では、可動光源２は、測定対象の左側を移動する光源２１と、測定対象の右側を移動する光源２２との二つの光源を備えている。測定開始時には、これらの光源は測定対象から見てそれぞれ左後方、右後方の定位置にある。ネオン管は点灯直後には光強度の安定性があまりよくないが、光源の強度の揺らぎは取得する光反射特性情報に強く影響を与え、光源点灯直後は揺らぎは大きくなってしまう。そのため、これらの光源は装置起動時に点灯しておき、使用していない間は定位置に配置しておく。さらに、この定位置から測定対象を見込む方向には遮蔽板２１１及び２２１を設置しておき、光源が定位置にある間は点灯していても測定対象を照らさないようにしておく。

光源２１、２２は、前記可動ステージに沿って移動するキャリッジ（図示せず）に取り付けられている。該キャリッジは、制御手段７に電気的に接続されており、その駆動手段が制御手段７によって制御されることによって、光源２１、２２の所定の静止位置に応じて静止したり移動したりする。

光源２１、２２の測定対象への光照射のための静止位置の間隔は、光反射特性の精度を高める観点からは、短ければ短いほど良いが、それに伴い測定時間も増加するため、本実施形態のように、測定対象が人の場合など、ある場所に長時間静止し続けることが困難なものの場合は、実用上は測定時間との兼ね合いで決める。静止位置の間隔の上限は以下のようにして決める。測定対象の任意の部位の撮像手段からの見えに着目したとき、光源を移動させると光沢が認められる角度条件近傍では暗かったものが明るくなり、再び暗くなるという現象が見られる。静止位置の間隔の上限は、この明るくなる領域の幅に比べて充分に短くなる範囲で設定するのが好ましい。本実施形態においては、静止位置の間隔は前記可動ステージ上で１ｃｍとした。

撮像手段３は、測定対象である顔１０に対峙するように顔１０の略正面に固定される。撮像手段３は、前記各状態の測定対象である顔１０の全像を所定の画角に収めて撮像できるもので、充分な空間分解能を有するものであれば、特に制限はない。異なる露出で撮像できることが好ましく、さらに動画と静止画の何れも撮像できるものが好ましい。また、制御手段７によって、撮像及び撮像した画像を画像データ（電子データ）としてコンピュータ８への取り込みの制御が可能な、荷電結合素子（ＣＣＤ）や相補型酸化物半導体（ＣＭＯＳ）素子を備えたビデオカメラが好ましい。可動光源２を連続的に移動させても、露出を異にしての一連の撮像の時間の間に光源の移動が殆ど起こっていないとみなせる程度に撮像手段が高速な場合には、光源は静止することなく移動させても構わない。また、撮像手段の光量に対するダイナミックレンジが光沢の強い部分に対応するのに充分な広さを持っており、かつ光量に対する分解能が光沢の弱い部分を表すのに充分な細かさを持っている場合には、異なる露出で撮像する必要はなく、単一の露出で撮像すれば充分である。

撮像手段３は、後のデータ処理が簡単になるように、画素値が入射光量に対して線形になるものを用いており、さらに反射光量の大きなレンジに対応するために露出を変えて撮像できる機能を有している。

＜三次元形状情報測定手段１Ｂ＞
投影手段５は、顔１０に白黒（明暗）の横縞の繰り返しからなる光学パターンを投影する装置である。投影手段５は、その投影位置から撮像手段３で撮像できる強度の光を任意のパターンで測定対象に投影できるものであれは、その種類に特に制限はないが、容易に安価に入手できること、投影パターンを容易に設定できることを考慮すると、コンピュータに接続可能な市販のプロジェクターが好ましい。また、投影手段５は、本実施形態のように投影する光学パターンを制御手段７において自動的に変更可能なものが好ましい。

投影手段５の配置は、測定対象の測定したい領域中に投影パターンが投影されず影になってしまうことが起こらない範囲で、測定対象に対する撮像手段の向きと投影手段５の向きがなるべく異なっていることが望ましい。鼻の影が発生しにくいこと、投影パターンが左右均等に投影されることを考慮すると、測定対象から見て撮像手段の下方に設置することが好ましい。

光学パターンにおける明暗の幅の切り替えは、制御手段７において自動的に行われる。光学パターンにおける明暗の繰り返しをどこまで細かくするかについては、得られる形状の精度向上のためには細かければ細かいほど望ましいが、投影手段の分解能、撮像手段の分解能によって限界がある。目的を考慮すると、測定対象に投影される最も細かいパターンの繰返し幅を２０ｍｍ以下とすることが好ましく、５ｍｍ以下とすることがより好ましい。投影手段及び撮像手段の分解能は、これを実現するのに充分な性能を有する必要がある。具体的には、例えば、投影パターンは空間を上下２分割したものから始めて順次分割数を倍に増やしていき、最終的には２¹⁰（＝１０２４）分割したものまでの１０のパターンを投影する。

＜法線情報測定手段１Ｃ＞
固定光源６の光源には、点光源が用いられる。固定光源６の光源は、その固定位置から撮像手段３で撮像できる強度の光を測定対象に照射できるものであれば、その光源の種類に特に制限はないが、点灯後すぐに強度が安定すること、耐久性に優れていることを考慮すると、発光ダイオード（ＬＥＤ）が好ましい。

固定光源６の向きとそのときの撮像装置３に入ってくる光量の複数の関係からフィッティングを行って法線を求めることになるので、固定光源６の数は多ければ多いほど好ましく、さらに測定対象から見て均等に配置されていることが好ましい。一方で測定時間を短縮するためには光源の数は少ないほど好ましく、少ない数で効率的にデータを取得することを考慮すると、測定対象に対して前方に、測定対象を取り囲むようにリング状に配置することが好ましい。本実施形態においては、表面反射特性に必要な精度を確保するためには、固定光源６は９個で充分であった。

固定光源６は、個々の光源が接続されるリレー回路（図示せず）を備えている。該リレー回路は、制御手段７に接続されており、制御手段７によって該リレー回路のオン・オフスイッチが制御されることによって、個々の光源が点灯・消灯する。

測定装置１においては、測定対象である顔１０と、撮像手段３及び各固定光源６との間に、それぞれ偏光子３１、６１が配されている。ここで、これらの偏光子は、光源側の偏光子と、撮像手段側の偏光子とで、偏光面が互いに交差するように配置されている。ここで、偏光面が互いに交差するとは、光源から照射され測定対象にあたって反射し、撮像手段に入射してくる光の光量が最も小さくなる関係にあることをいう。撮像手段側の偏光子の向きを固定し、光源側の偏光子を回転させながら撮像手段から得られる映像が最も暗くなる条件を満たす光源側の偏光子の向きをもって交差しているとみなすことができる。測定対象に対して光源と撮像手段がほぼ同じ方向にある場合、それぞれの偏光子は直交することになる。この条件のとき、光沢は表面で一回のみ反射するため、光源側の偏光子を通り測定対象で反射した光沢の偏光の向きは保たれることになり、それと直交している撮像手段側の偏光子を通過することはできない。本実施形態では、一連の操作を簡単にするために、他の撮像時にも撮像手段側の偏光子を配置したまま撮像しているが、他の撮像に用いる各光源には偏光子が配置されておらず、そのとき撮像手段側に入ってくる光は殆ど偏光していないため、他の撮像には影響しないとみなせる。

情報処理手段４及び制御手段７は、上述のように、これら各手段として機能するコンピュータ８で構成されている。コンピュータ８は、中央演算処理装置（ＣＰＵ）、主記憶装置、補助記憶装置、入力装置、出力装置を備えたハードウェアと、基本ソフトウェア及び基本ソフトウェアと連動して下記ステップに従って測定装置１に顔１０の表面反射特性を算出させるプログラムを備えたソフトウェアを具備している。コンピュータ８は、ＣＰＵが前記主記憶装置に保持された前記各プログラムを解読してその指令内容を実行し、下記ステップに従ってコンピュータ８を前記情報処理手段４及び制御手段７として機能させる。

＜測定手法＞
次に、前記測定装置１による顔１０の表面反射特性の測定手法について図１〜図５を参照しながら説明する。
先ず、ステップＳ１において、制御手段７の制御下、投影手段５によって測定対象者の顔１０に前述の白黒の繰り返しからなる横縞の光学パターンが投影される。光学パターンの周期は、制御手段７によって連続的に変更され、その投影状態が撮像手段３によって連続的に撮像される。全ての光学パターンの投影状態を撮像した後、投影手段５による顔１０への光学パターンの投影が停止される。

前記光学パターンが投影された状態の顔１０の投影画像データは、制御手段７の制御下、情報処理手段４に取り込まれる。

次に、ステップＳ２において、各固定光源６が、制御手段７の制御下、所定の順番で１回ずつ点灯・消灯され、各固定光源６による顔１０の固定光源光照射画像が撮像手段３によって撮像される。全ての固定光源６による１回ずつの点灯・消灯が終わると、光源６の点灯・消灯が完了する。

各固定光源６による顔１０の固定光源光照射画像は、電子データ（固定光源光照射画像データ、以下、固定光源画像データともいう。）として、制御手段７の制御下、情報処理手段４に取り込まれる。

次に、ステップＳ３において、可動光源２の光源２１が、制御手段７の制御下、顔１０の左後方の定位置から略Ｖ字状の軌道の尖端側まで移動し、その間において所定位置で静止し、顔１０の可動光源光照射画像が撮像手段３によって２種類の露出条件で撮像される。光源２１による光の照射及び撮影が終わると、光源２１は左後方の定位置に戻り、その光は遮蔽板２１１で遮られる。次いで、光源２２が、制御手段７の制御によってまず略Ｖ字状の軌道の尖端側に移動し、しかる後Ｖ字状の軌道の尖端側から顔１０の右後方まで移動し、その間において所定位置で停止し、顔１０の可動光照射画像が撮像手段３によって２種類の露出条件で撮像される。光源２２による光の照射及び撮影が終わると、光源２２は定位置に戻り、その光は遮蔽板２２１で遮られる。

光源２１、２２による顔１０の可動光源光照射画像は、電子データ（可動光源光照射画像データ、以下、可動光源画像データともいう。）として、制御手段７の制御下に情報処理手段４に取り込まれる。

上述のようにして情報処理手段４に取り込まれた投影画像データ、固定光照射画像データ及び可動光照射画像データに基づいて、顔１０の表面光反射特性が情報処理手段４において以下のように求められる。

即ち、ステップＳ４において、情報処理手段４が、該投影画像データに基づいて顔１０の三次元形状情報（三次元基準座標における座標情報）を演算する。測定対象に光学パターンを投影して三次元形状情報を得る方法には、光切断法、イメージエンコーダ法などがあるが、装置及び解析プログラムの構成を比較的簡単にできることから、前記投影画像データから三次元形状情報を算出する空間コード化法が好ましい。

本実施形態の測定装置１において、上記三次元形状情報は、本実施形態では、空間コード化法（Valkenburg,R.J., et al., 1998, Accurate 3D measurement using a structured light system. Image and Vision Computing 16, 2, 99-110）によって求められる。

投影手段５は、１回目に上半分が暗、下半分が明のパターンを投影する。撮像手段から見える測定対象の中で、暗の状態になっている領域は上半分の空間に属し、明の状態になっている領域は下半分の空間に属していることになる。２回目に上半分、下半分をそれぞれ二分して上から順に暗−明−暗−明なる光学パターンを投影したとき、１、２回目共に暗となった領域は１番上の四分の一、１回目に暗、２回目に明となった領域は上から２番目の四分の一といったように、測定対象の各位置が属している空間を絞り込むことができる。
このことを利用して具体的には、以下のようにして形状を求める。図３に示したように、撮像された一連の画像を元に、測定対象の各位置の状態を２進数で表す。一の位は、１回目のパターンを投影したときに撮像された画像で着目している位置が暗の状態のとき０、明の状態のとき１とする。十の位は、２回目のパターンを投影したときに撮像された画像で着目している位置が暗の状態のとき０、明の状態のとき１とする。以下、３回目のパターンを投影したときの画像と百の位、４回目のパターンを投影したときの画像と千の位というように対応させていく。これを続けていくと、撮像手段３に映し出される測定対象の各微小面に対して一つの２進数が対応することになる。この結果得られる２進数はそれぞれ、空間を横向きに薄く切断していったときの一つと対応する。一方で、測定対象のある微小面が撮像された画像のあるピクセルに現れたとき、当該微小面はそのピクセルに対応する、撮像装置から延びる直線上のどこかに属することになる。先に述べた薄く切断された空間を平面と近似した場合、得られた２進数と対応するピクセルの位置から、前記平面と前記直線の交点として測定対象の当該微小面の空間的な位置を求めることができる。

次に、ステップＳ５において、情報処理手段４が、該固定光源画像データ及び前記三次元形状情報に基づいて顔１０の法線情報を演算する。測定対象の法線を求める方法としては、三次元形状の各面の傾きから求める方法等が挙げられる。測定精度を考慮すると、法線を形状とは別の方法で求めることが望ましく、具体的にはフォトメトリックステレオ法が好ましいが、装置規模の小型化を考慮すると、前記固定光源画像データ及び前記三次元形状情報から、修正フォトメトリックステレオ法を用いるのがより好ましい。以下にその具体的な方法を説明する。

本実施形態の測定装置１において、前記法線情報は、法線情報の算出方法（Woodha, R.J. 1980. Photometric method for determining surface orientation from multiple images. Optical Engineering 19, 1, 139-144）を元にした方法によって求められる。この算出方法において、法線情報は、具体的に以下のようにして求められる。

前記固定光源画像データの任意の点（座標）の法線を、顔全面に亘って、以下のようにして求める。

各光源６（本実施形態では９個）がそれぞれ点灯したときの固定光源画像データにおける任意の点の強度をＩｎ（ｎ＝１〜９）とし、着目点の法線ベクトルをＮとする。また、着目点に対する各光源の方向ベクトルをＤｎ（ｎ＝１〜９）とする。さらに、各光源６と着目点との距離をＬｎ（ｎ＝１〜９）とする。また、光の強度が、その点の法線と光源の向きとの内積に比例する（ランバーシアン（Lambertian））と仮定すると、光の強度の理論値Ｉｔｎは、その点の法線ベクトルＮとその点からの光源への方向ベクトルＤｎとによって、下記式（１）で表される。ただし、ｃは定数であり、単位系の取り方や光源の強度、撮像手段の露出条件などにより決まる。また、ｍａｘ（ａ，ｂ）は、ａ、ｂの何れか大きなほうの値をとることを意味する。また、ｄｏｔ（Ａ，Ｂ）は、ベクトルＡとベクトルＢの内積を表す。右辺を除するＬｎ²は、光源から発せられた光の距離による減衰の効果を表している。
Ｉｔｎ＝ｍａｘ（０，ｃ×ｄｏｔ（Ｎ，Ｄｎ））／Ｌｎ² （ｎは１〜９） （１）
そして、Ｎをフィッティングパラメータとしたときに、この式の値が実測と最も近いときのＮの値が真値であると考え、Σ（Ｉｎ − ｍａｘ（０,ｃ×ｄｏｔ（Ｎ，Ｄｎ））／Ｌｎ²）²が最小となるように、最小自乗法によって、法線ベクトルＮを求める。

上述のようにして求められた三次元形状情報及び法線情報は、ステップＳ６において、情報処理手段４によるハイブリッド法と呼ばれる修正処理によってさらに修正されることが好ましい。この修正によって、三次元形状情報と法線情報の整合性が確保でき、さらに三次元形状情報と法線情報の正確さが向上する。異なる方法で得られた三次元形状情報及び法線情報の整合性を確保し、正確さを向上させる方法は現時点ではハイブリッド法が唯一の方法であるが、今後新しい方法が開発された際にはそのような方法で置き換えても良い。

本実施形態の測定装置では、前記三次元形状情報及び法線情報の修正方法として、ハイブリッド法（Nehab,D.,Rusinkiewicz, et al., 2005, Efficiently Efficiently combining position and normals for precise3D geometry. ACM Transactions on Graphics 24, 3, 536-543.）によって行われる。

具体的には、図４に示すように、前記三次元形状情報におけるあるピクセル近傍での形状に着目したとき、該ピクセル及びそれと接している上下左右のピクセルで形成される４つの三角形を考える。それぞれのピクセルには３次元空間での位置情報が含まれているので、各三角形の法線ベクトルを求めることができる。各三角形の法線ベクトルを平均したものを該ピクセルでの法線ベクトルＮ’とする。このようにして求めた法線ベクトルＮ’は、当該文献中にも指摘されている通り、法線ベクトルＮに比べて高周波成分は精度が低く、低周波成分は精度が高いので、正確さを増すためにＮの高周波成分とＮ’の低周波成分を組み合わせて新しい法線ベクトルとする。具体的には、先ず細かな変化の情報が失われるように法線ベクトルＮ’を平滑化し、その結果をＮｓ’とする。平滑化には一般的なガウシアンフィルタを用いるが、そのフィルタの幅（すなわちカットオフ周波数）は測定対象の凹凸の細かさの程度に応じて最適な値が異なることになるので、平滑化の出力を見ながら毛穴や細かなシワに由来すると思われる構造が失われ、かつ全体の平均的な形状が歪まない値を予め選んでおく。この条件は、例えば測定対象が人の顔であれば細かな凹凸の空間周波数はあまり変わらないので、ある人の顔に関して一旦この値を選んでおけば、別の人の顔を計測する際にも同じ値を使用して構わない。本実施形態においては、１０２４×６７８ピクセルに測定対象全体が含まれる条件で撮像して取得したデータに対して、分散値が１２となるガウシアンフィルタを用いて平滑化を行っている。法線ベクトルＮも法線ベクトルＮ’と同じ平滑化条件で平滑化し、その結果をＮｓとする。そして、得られた平滑化法線ベクトルＮｓを法線ベクトルＮに一致させる回転変換を、各点について求め、この回転変換を前記平滑化法線ベクトルＮｓ’に適用し、法線ベクトルＮ”を求める。

次に、測定対象である顔１０の実形状を想定し、それと実測値すなわち前記三次元形状情報及び法線ベクトルＮ”との誤差が最小となるように形状を修正する。具体的には、実形状として最もありうる形状を修正形状情報としたときに、該修正形状情報と前記三次元形状情報との誤差の自乗和と、修正形状情報から求めた修正法線情報と前記法線ベクトルＮ”との誤差の自乗和との重み付けした和が最小となるように、修正形状情報及び修正法線情報（修正法線ベクトルＮ）を求める。重み付けの値は、測定系や測定対象により異なるので、予め当該ステップがうまく機能するように、値を設定しておく。

そして、ステップＳ７において、情報処理手段４が、該可動光源画像データに基づいて顔１０の光反射特性情報を求める。情報処理手段４によって求められる光反射特性情報は、双方向反射関数（ＢＲＤＦ）またはそれから派生する様々な特徴量を取り得るが、本実施例においては特に、照射される光の強さが一定である場合における、光沢の強度及び幅を言い、具体的には、以下のようにして求められる。

先ず、予め可動光源の光源２１、２２が点灯したときに、各光源をｍ個の仮想点光源の連続体として近似したときに、一つの仮想点光源から発せられる光が空間中のどの方向にどれくらいの強度で放射するかを計測しておく。即ち、一つの仮想点光源に相当する長さの要素以外を遮蔽し、そのとき各方向に放射される光量を計測する。本実施例においては取り扱いを簡単にするために、光源の特性が線光源の軸に対して軸対象で、線光源中の各要素の放射特性は光源の部分によらず（中央部でも端部でも）一定であることを仮定した。各光源を高さ方向にｍ個の単位に分割したときにおける各分割単位に対する方向及び強度を計測する。分割単位の個数ｍは、光源の長さ、測定対象の大きさ、光源と測定対象の距離などに応じて設定され、精度向上の点ではｍは大きければ大きいほど好ましいが、一方で計算コストが上昇してしまうことから、総合的には精度を悪化させない範囲で小さいことが好ましく、本実施形態の場合では、ｍは１００程度であることが好ましい。

次に、顔の光反射特性が、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル（以下、ＴＳモデルという。）に従うと仮定する。
即ち、光反射率ｆは、皮膚の屈折率をｎ、光沢の強度をα、広がりをＭとすると、下記（２）式により求められるとする。
ｆ＝α・（Ｆ・Ｇ・Ｄ）／（４ｃｏｓθｉ・ｃｏｓθｒ） （２）
ただし、フレネル項Ｆは、垂直入射に対しては（３）式、垂直入射以外は、（４）式で表される。
Ｆ＝（ｎ−１）²／（ｎ＋１）² （３）
Ｆ＝（１／２）（ｔａｎ²（θｉ−θｔ）／ｔａｎ²（θｉ＋θｔ）＋
ｓｉｎ²（θｉ−θｔ）／ｓｉｎ²（θｉ＋θｔ）） （４）
また、表面粗さ項Ｄは、下記（５）式で表される。
Ｄ＝ｅｘｐ（−ｔａｎ²β／Ｍ²）／πＭ²ｃｏｓ⁴β （５）
また、形状項Ｇは、下記（６）式で表される。ここで、ｍｉｎ（ａ，ｂ，ｃ）はａ，ｂ，ｃの中で最も小さい値を意味する。
Ｇ＝ｍｉｎ（Ｇｓ，Ｇｍ，１） （６）
ここで、 Ｇｓ＝２（Ｎ・Ｈ）・（Ｎ・Ｓ）／（Ｓ・Ｈ）
Ｇｍ＝２（Ｎ・Ｈ）・（Ｎ・Ｖ）／（Ｖ・Ｈ）
Ｈ＝（Ｓ・Ｖ）／｜Ｓ・Ｖ｜
θｉ＝ａｃｏｓ（ｄｏｔ（Ｎ，Ｓ））
θｒ＝ａｃｏｓ（ｄｏｔ（Ｎ，Ｖ））
（ｄｏｔ（Ａ，Ｂ）は、ベクトルＡとベクトルＢの内積）
θｔ＝ａｓｉｎ（ｓｉｎθｉ／ｎ）
（ｎは皮膚表面の屈折率）
であり、Ｎは、修正法線ベクトル、Ｓは光源方向の単位ベクトル、Ｖは撮像手段方向の単位ベクトル、ＨはＳとＶを２等分する単位ベクトル、βはＮとＨが成す角度、θｉは入射角、θｒは受光角、θｔは屈折角である。

次に、前記可動光源画像データの顔の表面に対応する各点に対して、光反射特性を、次のようにして、顔の全面に亘って求める。
即ち、顔の中のある点に着目し、可動光源がそれぞれの静止位置（Ｐ１〜Ｐｎのｎ箇所）において光を照射したときの該点の画像の明るさ（実測値）Ｉ１〜Ｉｎを求める。
そして、可動光源が各静止位置に来たときに前記点に照射される光の各前記仮想点光源の向きＶ１１〜Ｖ１ｍ〜・・・〜Ｖｎ１〜Ｖｎｍと光量Ｌ１（Ｖ１１）〜・・・〜Ｌ１（Ｖ１ｍ）〜Ｌｎ（Ｖｎ１）〜・・・〜Ｌｎ（Ｖｎｍ）を前記計測した方向及び強度のデータから求める。

次に、可動光源の各光源が所定の静止位置において光を照射したとき画像の明るさＩｃ１〜Ｉｃｎを、ＴＳモデルに従うと仮定してＶ１１〜Ｖｎｍ及びＬ１（Ｖ１１）〜Ｌｎ（Ｖｎｍ）から求める。この計算結果には、光沢の強度と幅を表す変数（光反射特性情報）α、Ｍが含まれているので、図５に示すように、Ｉｃ１〜Ｉｃｎが実測値のＩ１〜Ｉｎと最も一致するように、変数α、Ｍを変数としてシンプレックス法を用いてフィットさせ、光反射特性情報α、Ｍを求める。ここで前記実測値Ｉ１〜Ｉｎは、２種類の露出条件で撮影した画像から値を読み取る。具体的には、あらかじめ明るい露出条件で撮影した画像の画素値が同じ場所を暗い露出条件で撮影したときに比べて何倍になるかを係数Ｃとして求めておく。そして、暗い露出条件で撮影したｊ番目の静止位置における画像の該画素値がＩ１ｊ、明るい露出条件で撮影したｊ番目の静止位置における画像の該画素値がＩ２ｊであったとき、画像中の明るい領域（明るい露出条件では画素値が飽和してしまう領域）ではＩｊ＝Ｃ×Ｉ１ｊ、暗い領域ではＩｊ＝Ｉ２ｊとする。

次に、上述のように求めた光反射特性情報α、Ｍのマップの中で、鼻の陰になってしまう等の影響で明らかに数値が正しくない場合には、その値を破棄し、周囲の値で補間する。

このようにして得られた顔１０の精度の高い表面反射特性は、例えば、異なる照明条件下で撮影された背景と人物の映像を、照明条件を考慮し補正した上で見た目に自然な形で合成する目的等において利用される。

以上説明したように、本実施形態の測定装置１は、投影手段５によって所定の光学パターンが顔１０に投影された状態の投影画像データ、固定光源６、可動光源２の光源２１、２２により顔１０に光が照射された状態の各固定光画像データ、可動光源画像データを得ることによって、顔１０の所望の表面反射特性を自動的で簡便に素早く測定することができる。また、測定装置１では、三次元形状情報及び法線情報をハイブリッド法によって修正した上で、光反射特性情報の演算に使用しているので、より精度の高い表面反射特性を得ることができる。さらに、測定装置１は、法線情報取得及び光反射特性情報の取得において、光源と測定対象との距離を考慮したアルゴリズムを導入したことで、従来に比べて装置規模の小型化を図ることができる。さらに、光反射特性情報の取得に使用する光源を線状にし、これを測定対象を取り囲むように移動させながら画像を取得することで、実測した光源角度条件以外の角度からの光反射を精度良く推定できないという問題を解決できる。

本発明の測定装置は、前記実施形態に何ら制限されない。
例えば、前記実施形態の測定装置では、可動光源の可動ステージを平面視Ｖ字状としたが、可動光源の軌道は、これに制限されるものではなく、例えば、半円、楕円等の軌道を採用することもできる。

前記実施形態において、三次元形状情報、法線情報、反射特性を求めるための画像を全て同じ撮像手段で取得しているが、必ずしも同一である必要はない。また、前記実施形態の測定装置では、三次元形状の導出は明暗の繰返しからなる光学パターンの投影をもとに行ったが、三次元形状の導出方法はこれに制限されるものではなく、例えば一般に市販されているレーザースキャナーを代わりに用いても良い。
また、前記実施形態の測定装置では、法線情報をフォトメトリックステレオ法により求めたが、法線情報の導出方法はこれに制限されるものではなく、例えば三次元情報が充分な精度で求められる場合には、それから得られる各微小面の向きから法線を求めても良い。

本発明の表面反射特性測定装置の測定対象に特に制限はない。顔以外の身体の各部位の表面反射特性の他、物品の表面反射特性を測定することができる。

本発明の表面反射特性測定装置を人の顔に適用した一実施形態を示す模式図であり、（ａ）は平面図、（ｂ）は側面図である。 前記実施形態の表面反射特性測定装置における測定手順の概略を示すフローチャートである。 前記実施形態の表面反射特性測定装置の情報処理手段における、空間コード化法による三次元形状情報の算出ステップを説明するための図である。 前記実施形態の表面反射特性測定装置の情報処理手段における、ハイブリッド法による三次元形状情報及び法線情報の修正ステップの中で、形状から法線を求めるステップを説明するための図である。 前記実施形態の表面反射特性測定装置の情報処理手段における、シンプレックス法による光反射特性情報の算出ステップを説明するための概念図であり、（ａ）は撮像される一連のフレーム画像、（ｂ）は一連のフレーム画像中の特定の位置に着目したときの画素値のグラフ（点）と、反射強度及び幅をパラメータとしてフィッティングを行った結果グラフ（破線）とを示す図である。

符号の説明

１ 表面反射特性測定装置
１Ａ 光反射特性情報測定手段
１Ｂ 三次元形状情報測定手段
１Ｃ 法線情報測定手段
２ 可動光源
２１、２２ 光源
２１１、２２１ 遮蔽板
３ 撮像手段
３１ 偏光子
４ 情報処理手段
５ 投影手段
６ 固定光源
６１ 偏光子
７ 制御手段
８ コンピュータシステム

Claims (4)

1. 測定対象の光反射特性情報測定手段と、前記測定対象の三次元形状情報測定手段と、前記測定対象の法線情報測定手段とを具備する表面反射特性測定装置であって、
   前記光反射特性情報測定手段は、
   前記測定対象を臨む軌道上で移動可能に垂設され前記測定対象に線状の光を照射する可動光源と、
   前記軌道に沿って前記可動光源を移動させながら前記可動光源から前記測定対象に光が照射された状態を撮像するように配設された、固定された撮像手段と、
   前記撮像手段で撮像された前記測定対象の前記状態の画像データに基づいて、前記測定対象の光反射特性情報を求める情報処理手段とを備えており、
   前記三次元形状情報測定手段が、明暗の繰り返しからなる光学パターンを測定対象に投影する投影手段を備えており、
   前記撮像手段が、前記測定対象に前記光学パターンが投影された状態を撮像するように配設されているとともに、前記情報処理手段が、前記撮像手段で撮像された前記光学パターンが投影された前記測定対象の状態の画像データに基づいて該測定対象の三次元形状情報を求めるように設けられている表面反射特性測定装置。
2. 前記法線情報測定手段が、定位置に固定され前記測定対象に光を照射する複数の固定光源を備えており、
   前記撮像手段が、前記測定対象に前記各固定光源から光が照射された状態を撮像するように配設されているとともに、前記情報処理手段が、前記撮像手段で撮像された前記固定光源から前記測定対象に光が照射された状態の画像データに基づいて該測定対象の法線情報を求めるように設けられている請求項１に記載の表面反射特性測定装置。
3. 前記測定対象と、前記固定光源及び前記撮像手段との間に、偏光面が互いに交差する偏光子が配されている請求項２に記載の表面反射特性測定装置。
4. 前記軌道が、前記測定装置を平面視したときに、前記測定対象に対して左右対称で且つ前記測定対象に対して開く略Ｖ字状の２本の軌道からなる請求項１ないし３のいずれか一項に記載の表面反射特性測定装置。
   

Images