JP4756148B2 - Gloss / color reproduction system, gloss / color reproduction program - Google Patents

Description

ここに、
Ｉ_d（λ，φ）＝Ｄ（φ）Ｉ_dn（λ）
Ｉ_S（λ，φ）＝Ｓ（φ）Ｅ（λ）
であり、Ｉ_dn（λ）は、∫Ｉ_dn（λ）²ｄλ＝１となるように規格化されているものとする。
【００２８】
スペクトル空間において、Ｉ_dn（λ）は拡散反射成分の方向ベクトル、Ｅ（λ）は鏡面反射成分の方向ベクトル、Ｄ（φ）とＳ（φ）は、それぞれの成分の回転角φにおける強度を意味している。
【００２９】
スペクトル空間において、照明光のスペクトルＥ（λ）と直交する平面を考える。観測された被写体表面からの反射光スペクトルをこの平面に投影し、Ｅ（λ）に直交するスペクトル成分Ｐ（λ）を求める。２色性反射を仮定することができる場合には、鏡面反射成分は照明光と同じスペクトル分布をもつために、この直交成分Ｐ（λ）は鏡面反射の影響を受けずに一定である。そこで、反射光Ｉ（λ，φ）から照明光のスペクトルに相当する成分を取り除き、鏡面反射の影響を受けない成分Ｐ（λ）を求める。観測された反射光Ｉ（λ，φ）は、照明光のスペクトルＥ（λ）と、それと直交する成分Ｐ（λ）（ここにＰ（λ）は、∫Ｐ（λ）²ｄλ＝１となるように規格化されているものとする。）と、を用いて、次の数式２のように表される。
【数２】

【００３０】
ここで、Ｐ（λ）とＥ（λ）は、スペクトル空間上での直交基底をなす方向ベクトルを表し、ｐ（φ）とｑ（φ）は、回転角φにおけるそれぞれの成分の強度を表している。このとき、ｑ（φ）は、次の数式３に示すように、Ｐ（λ）とＥ（λ）の直交性（∫Ｐ（λ）Ｅ（λ）ｄλ＝０）を用いて、Ｉ（λ，φ）とＥ（λ）の内積値を計算することにより求められる。
【数３】

【００３１】
つまり、Ｉ（λ，φ）は観測される量であり、Ｅ（λ）も既知であるために、この数式３を用いることにより、ｑ（φ）が算出される。
【００３２】
そしてｐ（φ）は、数式３で求めたｑ（φ）を用いるとともにＰ（λ）が規格化されていることを利用して、またＰ（λ）は、求めたｑ（φ）とｐ（φ）を用いて数式２を変形することにより、次の数式４によって求められる。
【数４】

【００３３】
以上のような処理を画像中の全ての画素に対して行うことにより、鏡面反射の影響を含まない成分の画像が得られる。鏡面反射成分はＥ（λ）のみに依存しており、このＥ（λ）に直交するＰ（λ）は鏡面反射の影響を全く含まないために、画像間での対応点の画素値はスペクトル空間上で同じ向きを向く。従って、Ｐ（λ）の値を調べることにより、撮影した画像中に鏡面反射が含まれる場合でも、その影響を受けることなく、対応点の追跡を容易に行うことが可能である。
【００３４】
対応点の追跡は、全てのφに対して得られたＰ（λ）の画像を用いて、図１（Ｂ）に示すような時空間断面画像を作成し、その画像上において行う。
【００３５】
この図１は、本発明の各実施形態に係る原理を説明するための図であり、（Ａ）被写体を記述する座標系と観測面の座標系との関係を示す図、（Ｂ）対応点の時空間断面画像の様子を示す図である。
【００３６】
この時空間断面画像上における対応点の軌跡について考える。ここでは簡単のために、図１（Ａ）に示すように、被写体のスペクトル画像測定が並行投影である（つまり、物体の回転軸と画像の投影面（観測面）とが平行である）と仮定する。
【００３７】
被写体の形状を円筒座標系で表現するものとし、被写体表面のある点の座標を（θ，ｒ，ｈ）とする。被写体を角度φだけ回転させたとき、その点は（θ＋φ，ｒ，ｈ）へ移動する。このときの観測面上に投影されたその点の像は、次の数式５のように表される。
【数５】

ここに、ｙ軸は観測面上における上記回転軸の投影像と一致するように取られ、ｘ軸は該観測面上でこのｙ軸と直交するように取られている。
【００３８】
従って、ｙ＝ｈにおける時空断面画像上での対応点の軌跡は、φを変数とするｓｉｎ曲線となる。数式５に示すパラメータの内、ｈは既知であり、初期位相θはセッティングにより所望の値、例えば０にセットすることができ、φは測定時に制御する値であるために、未知数となるのは振幅ｒのみである。
【００３９】
そこで、振幅ｒを様々に変化させて、Ｐ（λ）の時空間断面画像上におけるｓｉｎ曲線上の画素値を調べ、ｓｉｎ曲線の振幅ｒを求める。上述したようにＰ（λ）の画像を用いることにより、鏡面反射の影響を含まないようにすることができるために、対応点の画素値は、スペクトル空間で全て同じ向きを向く。
【００４０】
そこで、コスト関数Ｃ（ｒ）を、スペクトルＰ（λ）の分散を用いて数式６に示すように定義し、このコスト関数Ｃ（ｒ）の値が最小となる振幅ｒを求める。この数式６においては、時空間断面画像上の位置（ｘ，φ）の画素値をＰ_ｘ，φ（λ）と表記している。また、Ｍは上述した画像の枚数であり、−π／２〜π／２の範囲でΣをとるφは、上述したように、π／（Ｍ−１）を単位として変化するものである。
【数６】

【００４１】
なお、オクルージョンが存在する場合には、あるφを境にｅｒｒ（ｒ，φ）の値が急激に変化する。その場合には、それ以降の軌跡上の画素に関する値の計算は行わない。
【００４２】
このようにして未知数であった振幅ｒが算出されることにより、着目点の観測面上における軌跡が、上記数式５に示すように決定される。
【００４３】
ここまでが、対応点を追跡する原理であったが、次に、拡散反射成分と鏡面反射成分とを分離する手段の原理について詳細に説明する。
【００４４】
ｐ（φ），ｑ（φ）は、上記数式１と数式２を用いることにより、次の数式７，数式８に示すようにそれぞれ表される。
【数７】

【数８】

【００４５】
これら数式７と数式８からＤ（φ）を消去して整理することにより、Ｓ（φ）に関する次の数式９が得られる。
【数９】

【００４６】
さらに、上記数式１とこの数式９を用いることにより、拡散反射成分Ｉ_d（λ，φ）と鏡面反射成分Ｉ_S（λ，φ）に関する次の数式１０が得られる。
【数１０】

【００４７】
この数式１０においては、Ｅ（λ）は既知であり、ｐ（φ）とｑ（φ）は上記数式３と数式４により、観測値から算出されるために、未知となっているのはｂ／ａのみである。
【００４８】
そこで、このｂ／ａを求める手段について考える。上記数式８の両辺を数式７の両辺でそれぞれ割ることによって、次の数式１１が得られる。
【数１１】

【００４９】
鏡面反射成分を含まないＩ（λ，φ）が１つ以上あるとすると、Ｓ（φ）≧０，ａＤ（φ）＞０であり、Ｓ（φ）＝０となるφが少なくとも１つは存在することになる。従って、ｂ／ａは、次の数式１２に示すように、Ｉ（λ，φ）が鏡面反射成分を含まないときにとるｑ（φ）/ｐ（φ）の最小値となる。
【数１２】

【００５０】
こうして、−π／２〜π／２の範囲でπ／（Ｍ−１）を単位として変化するφのそれぞれについて、ｑ（φ）/ｐ（φ）の値を上記数式３と数式４を用いて算出し、これらＭ個の値の内の最小値を調べることにより、上記ｂ／ａが決定される。
【００５１】
こうして、数式１０の右辺は、既知量や観測値から算出される量のみから構成されるために、拡散反射成分Ｉ_d（λ，φ）と鏡面反射成分Ｉ_S（λ，φ）とを求めることができる。
【００５２】
このような原理を用いることにより、測定された被写体の反射スペクトルＩ（λ，φ）と照明光スペクトルＥ（λ）とに基づいて、対応点を追跡し、被写体の反射スペクトルを拡散反射成分Ｉ_d（λ，φ）と鏡面反射成分Ｉ_S（λ，φ）とに分離することが可能となる。
【００５３】
このような原理は、線形な入出力特性をもつカメラの撮影信号に対しても同様に成り立つ。
【００５４】
すなわち、被写体スペクトルＩ（λ，φ）の物体を、分光感度ｈ_ｉ（λ）（ｉ＝１〜Ｎ）のカメラにより撮影したときに得られる撮影信号をｇ（ｉ，φ）（ｉ＝１〜Ｎ）とすると、このｇ（ｉ，φ）は、次の数式１３により表される。
【数１３】

【００５５】
また、照明光スペクトルＥ（λ）の光により照明された白色拡散板等を、同じカメラで撮影することにより得られる撮影信号ｅ（ｉ）は、次の数式１４により表される。
【数１４】

【００５６】
ここに、ｋは、撮影信号ｅ（ｉ）が次の数式１５のように規格化されるように定められる定数である。
【数１５】

【００５７】
被写体撮影信号ｇ（ｉ，φ）を、数式１と同様に、拡散反射成分Ｉ_d（λ，φ）と鏡面反射成分Ｉ_S（λ，φ）とに各対応する撮影信号ｇ_d（ｉ，φ）とｇ_S（ｉ，φ）との線形和により表すと、次の数式１６に示すようになる。
【数１６】

【００５８】
ここに、
ｇ_d（ｉ，φ）＝Ｄ（φ）ｇ_dn（ｉ）
ｇ_S（ｉ，φ）＝Ｓ（φ）ｅ（ｉ）
であり、ｇ_dn（ｉ）は、Σｇ_dn（ｉ）²＝１となるように規格化されているものとする。
【００５９】
同様に、観測されたｇ（ｉ，φ）を、上記ｅ（ｉ）と、このｅ（ｉ）に直交し次の数式１７に示すように規格化されている成分Ｐ_g（ｉ）と、を用いて、数式１８のように表す。
【数１７】

【数１８】

【００６０】
ここでＰ_g（ｉ）とｅ（ｉ）は撮影信号値空間上での直交基底をなす方向ベクトルを表し、ｐ_g（φ）とｑ_g（φ）は、回転角φにおけるそれぞれの成分の強度を表している。
【００６１】
これらの内のｑ_g（φ）は、ｇ（ｉ，φ）とｅ（ｉ）の内積値を計算することにより、次の数式１９に示すように求められる。
【数１９】

【００６２】
そして、上記Ｐ_g（ｉ）およびｐ_g（φ）は、ｅ（ｉ）およびｑ_g（φ）を上記数式１８に代入することにより、次の数式２０に示すように求められる。
【数２０】

【００６３】
同様に、対応点の追跡において未知数である振幅ｒを求めるには、時空間断面画像上の位置（ｘ，φ）の画素値をＰ_ｘ，φ（ｉ）と表記し、上述した数式６の代わりに、次の数式２１を用いることにより評価する。
【数２１】

【００６４】
また、ｐ_g（φ）とｑ_g（φ）は、それぞれ数式２２と数式２３に示すように表される。
【数２２】

【数２３】

【００６５】
これら数式２２と数式２３からＤ（φ）を消去して整理することにより、Ｓ（φ）に関する次の数式２４が得られる。
【数２４】

【００６６】
さらに、上記数式１６とこの数式２４を用いることにより、拡散反射成分ｇ_d（ｉ，φ）と鏡面反射成分ｇ_S（ｉ，φ）に関する次の数式２５が得られる。
【数２５】

【００６７】
上記数式２３の両辺を数式２２の両辺でそれぞれ割ることによって、次の数式２６が得られる。
【数２６】

【００６８】
そして、上述と同様の理由により、ｂ’／ａ’は、数式２６の最小値として、次の数式２７に示すように求められる。
【数２７】

【００６９】
こうしてｂ’／ａ’が求められたために、上記数式２５により、拡散反射成分ｇ_d（ｉ，φ）と鏡面反射成分ｇ_S（ｉ，φ）が求められる。
【００７０】
以下、図面を参照して本発明の実施の形態を説明する。
図２から図７は本発明の第１の実施形態を示したものであり、図２は光沢・色再現システムの概略的な構成を示す図、図３は光沢・色再現処理部の構成を示すブロック図、図４はスペクトル推定処理部の構成を示すブロック図、図５は対応点追跡処理部の構成を示すブロック図、図６は光沢分離処理部の構成を示すブロック図、図７は合成再現処理部の構成を示すブロック図である。
【００７１】
この光沢・色再現システムは、図２に示すように、被写体３と、この被写体３を載置して制御しながら回転させることにより複数の撮影条件を実現する回転台２と、上記被写体３に撮影照明光を照射する点光源６と、照明された被写体を撮影する撮影手段でありマルチバンドカメラたるマルチスペクトルカメラ１と、上記回転台２とマルチスペクトルカメラ１を制御する制御用パーソナルコンピュータ（制御用ＰＣ）４と、この制御用ＰＣ４に接続された表示モニタ５と、を有して構成されている。
【００７２】
上記点光源６は、測定に必要なスペクトル分布の照明光を照射し得る光源となっていて、その位置は固定されている。
【００７３】
上記回転台２は、被写体３を載置する上面が光を反射させない黒となっており、回転角を所定の角度単位でステップ刻みに変化させることができるようになっている。
【００７４】
上記マルチスペクトルカメラ１は、回転式のフィルタ装置に例えば１６種類のフィルタが装填されていて、該フィルタ装置を一回転させながら内蔵される撮像素子等を用いて順次撮影することにより、１回の撮影動作で１６バンドの画像データを取得することができるように構成されている。
【００７５】
このような光沢・色再現システムによる撮影時の動作は次のようになる。
【００７６】
上記図２に示したようにセッティングが完了したら、制御用ＰＣ４により自動制御による撮影動作を開始させる。
【００７７】
すると、上記制御用ＰＣ４が、上記マルチスペクトルカメラ１を制御して、上記フィルタ装置を回転させながら、各色フィルタ毎に撮影を行うことにより、１６バンドのマルチバンド画像データが該マルチスペクトルカメラ１から出力される。
【００７８】
このマルチバンド画像データは、制御用ＰＣ４に入力されて、内蔵するＲＡＭやハードディスク等の記憶媒体に記憶される。
【００７９】
次に、制御用ＰＣ４は、上記回転台２を制御して、一単位角度だけ回転させる。この一単位角度は、上述した原理で説明したように、−π／２〜π／２の範囲で回転台２を回転し、その間にＭ組のマルチバンド画像データを取得する場合には、π／（Ｍ−１）となる。
【００８０】
こうして、一単位角度の回転が行われたら、上述と同様にマルチスペクトルカメラ１を制御して、マルチバンド画像データを取得する。
【００８１】
こうして、Ｍ組のマルチバンド画像データが取得されて、制御用ＰＣ４に時系列的に入力され、記憶される。
【００８２】
一連の撮影動作が終了したら、制御用ＰＣ４は、蓄積された被写体撮影画像たる時系列マルチバンド画像データの処理を行うようになっている。
【００８３】
この制御用ＰＣ４の光沢・色再現処理部１０において行われる光沢・色再現処理について、図３を参照して説明する。
【００８４】
光沢・色再現処理部１０は、図３に示すように、スペクトル推定処理部１１と、対応点追跡処理部１２と、光沢分離処理部１３と、合成再現処理部１４と、を有して構成されている。
【００８５】
上記スペクトル推定処理部１１は、時系列マルチバンド画像データと撮影特性データとを読み込み、画像データの各点の反射スペクトルを推定するスペクトル推定手段であり、より詳しくは、図４に示すように構成されている。
【００８６】
すなわち、スペクトル推定処理部１１は、スペクトル推定行列算出部１６と、スペクトル推定部１７と、を有して構成されている。
【００８７】
上記スペクトル推定行列算出部１６は、撮影特性データを入力して、Wiener推定を行うためのスペクトル推定行列を算出するものである。
【００８８】
上記撮影特性データには、カメラの分光感度と、撮影照明光スペクトルと、被写体の分光反射率の統計データとが含まれており、予め測定されたデータが制御用ＰＣ４に記録されているものとする。
【００８９】
上記スペクトル推定行列は、１６バンドの画像信号値に係る３８０nm〜７８０nmの波長領域を、１nm間隔で刻むことにより４０１次元のスペクトルデータに変換するための４０１×１６の行列である。
【００９０】
マルチバンドカメラの撮影信号値から被写体のスペクトルをWiener推定により算出するための行列の算出手段は、村上百合、小尾高史、山口雅浩、大山永昭、小宮康宏による「正確な色再現が可能なカラー画像システムの開発」（カラーフォーラムJAPAN'99論文集（1999）の第５頁から第８頁）（以下、文献３という）等に記載されており、ここでは説明を省略する。
【００９１】
上記スペクトル推定部１７は、１６バンドの時系列マルチバンド画像データを各画素毎に読み込み、上記スペクトル推定行列算出部１６から入力したスペクトル推定行列を、この１６バンドのデータに掛けて、スペクトル画像データを算出し出力するものである。
【００９２】
また、上記対応点追跡処理部１２は、対応点取得手段であって、図５に示すように、鏡面反射係数算出部２１と、拡散反射成分算出部２２と、対応点算出部２３と、を有して構成されている。
【００９３】
上記鏡面反射係数算出部２１は、上記スペクトル推定部１７から出力されるスペクトル画像データ（上述した原理におけるＩ（λ，φ）に該当する）を各画素毎に読み込み、さらに撮影特性データに含まれる撮影照明光スペクトル（上述した原理におけるＥ（λ）に該当する）を読み込んで、上述した数式３を用いることにより、鏡面反射係数ｑ（φ）を算出するものである。
【００９４】
上記拡散反射成分算出部２２は、各画素毎の上記スペクトル画像データと、上記鏡面反射係数算出部２１により算出されたその鏡面反射係数ｑ（φ）と、上記撮影照明光スペクトルとを読み込んで、上述した数式４を用いることにより、照明光成分と直交する成分として、拡散反射成分Ｐ（λ）および拡散反射係数ｐ（φ）を算出するものである。
【００９５】
上記対応点算出部２３は、上述した数式５のｙ＝ｈで表されるライン毎に、上記拡散反射成分算出部２２により算出したＰ（λ）を入力し、数式６に基づいてコスト関数Ｃ（ｒ）を算出し、このコスト関数Ｃ（ｒ）の値が最小となるような振幅ｒを求める。そして、求めた振幅ｒを用いて、数式５により、各φの画像間の対応関係を与える位置データである対応点情報を算出して出力するものである。
【００９６】
次に、上記光沢分離処理部１３は、光沢分離手段であって、図６に示すように、係数算出部２５と、拡散・鏡面成分算出部２６と、を有して構成されている。
【００９７】
上記係数算出部２５は、上記対応点算出部２３から出力される対応点情報（ｐ（λ），ｑ（λ））を読み込んで、各対応点毎に拡散反射係数ｐ（φ）および鏡面反射係数ｑ（φ）を読み込み、上述した数式１２に基づいて、拡散成分比ｂ／ａを求めるものである。
【００９８】
上記拡散・鏡面成分算出部２６は、撮影照明光スペクトルＥ（λ）を読み込むとともに、各対応点毎に上述した拡散反射係数ｐ（φ）、鏡面反射係数ｑ（φ）、拡散成分比ｂ／ａを読み込んで、数式１０に基づいて拡散反射成分Ｉ_d（λ，φ）と鏡面反射成分Ｉ_S（λ，φ）とを算出し、拡散・鏡面反射成分画像データとして出力するものである。
【００９９】
さらに、上記合成再現処理部１４は、図７に示すように、拡散・鏡面成分合成処理部２８と、色再現処理部２９と、を有して構成されている。
【０１００】
上記拡散・鏡面成分合成処理部２８は、上記拡散・鏡面成分算出部２６から出力される拡散・鏡面反射成分画像データを読み込むとともに幾何データを読み込んで、拡散・鏡面反射成分画像データから幾何データに基づいて所定の幾何条件における拡散・鏡面反射成分画像データを合成するものである。
【０１０１】
ここに上記幾何データは、撮影照明光の光源と被写体表面の各点と測定点との位置関係を示す情報を含んだものである。
【０１０２】
これらの情報を用いて、様々な照明光の形状、位置、被写体の向きにおける被写体スペクトルを算出する手段の詳細については、土田勝、小尾高史、山口雅浩、大山永昭による「多方向から撮影した画像を用いた異なる照明環境下における画像再現」（３次元画像コンファレンス99（3D Image Conference '99）（1999）講演論文集の第７頁から第１２頁）（以下、文献４という）等に記載されているために、ここでは説明を省略する。
【０１０３】
上記色再現処理部２９は、上記拡散・鏡面成分合成処理部２８により合成された拡散・鏡面反射成分画像データを読み込むとともに色再現データを読み込んで、拡散・鏡面反射成分画像データを所定の観察条件における光沢・色再現画像データに変換して出力するものである。
【０１０４】
ここに上記色再現データは、観察照明光スペクトルと、等色関数データと、ディスプレイプロファイルデータと、を含んだものである。
【０１０５】
合成された拡散・鏡面反射成分画像データＩ（λ，φ’）から、撮影照明光スペクトルＥ（λ）と、観察照明光スペクトルＥ₀（λ）と、等色関数データｘ（λ），ｙ（λ），ｚ（λ）とを用いて、次の数式２８により三刺激値Ｘ（φ’），Ｙ（φ’），Ｚ（φ’）を算出する。
【数２８】

【０１０６】
これらの三刺激値Ｘ（φ’），Ｙ（φ’），Ｚ（φ’）は、ディスプレイプロファイルを用いてディスプレイへの入力信号値Ｄ_r（φ’），Ｄ_g（φ’），Ｄ_b（φ’）に変換される。
【０１０７】
ここに上記ディスプレイプロファイルは、表示モニタ５のＲＧＢ各原色の色度値と、トーンカーブデータとを含んだものである。
【０１０８】
このディスプレイプロファイルを用いてＸＹＺからＤ_r（φ’），Ｄ_g（φ’），Ｄ_b（φ’）に変換する手段については、田島譲二による「カラー画像複製論」（丸善株式会社発行（１９９６））（以下、文献５という）等に記載されているために、ここでは説明を省略する。
【０１０９】
こうして生成されたディスプレイへの入力信号値Ｄ_r（φ’），Ｄ_g（φ’），Ｄ_b（φ’）は、上記表示モニタ５に入力され、該表示モニタ５において、所望の照明条件下における被写体の光沢・色が正確に再現された画像が、表示される。
【０１１０】
このような第１の実施形態によれば、被写体撮影画像の照明光成分と直交する成分から対応点を取得しているために、画像に光沢部分があったとしてもその影響をほぼ受けることなく、正確な対応点の追跡を行うことができる。
【０１１１】
また、被写体撮影画像の照明光成分と直交する成分を用いて、被写体撮影画像の鏡面反射成分と拡散反射成分とを分離しているために、複雑な計算を行うことなく、簡便に分離を行うことができる。
【０１１２】
こうして、光沢の影響をほぼ受けることなく、簡便に、対応点の追跡を行うとともに、拡散反射成分と鏡面反射成分とを分離することができるために、様々な照明条件下における物体の光沢や色を、正確に再現した画像を表示することが可能となる。
【０１１３】
また、本実施形態で説明したような技術を用いることにより、回転台を使用することなく撮影されたステレオ画像を用いた場合に発生する可能性のあった対応点マッチングのミスマッチ（誤認）を、軽減することができる。
【０１１４】
さらに、本実施形態で説明したような技術は、例えばテクスチャ解析や、交通違反等の証拠写真におけるハレーションの除去等にも応用することが可能である。
【０１１５】
図８から図１２は本発明の第２の実施形態を示したものであり、図８は光沢・色再現システムの概略的な構成を示す図、図９は光沢・色再現処理部の構成を示すブロック図、図１０は対応点追跡処理部の構成を示すブロック図、図１１は光沢分離処理部の構成を示すブロック図、図１２は合成再現処理部の構成を示すブロック図である。
【０１１６】
この第２の実施形態において、上述の第１の実施形態と同様である部分については説明を省略し、主として異なる点についてのみ説明する。
【０１１７】
この第２の実施形態の光沢・色再現システムは、図８に示すように、上述した第１の実施形態の光沢・色再現システムとほぼ同様に構成されているが、マルチスペクトルカメラ１の代わりにＲＧＢカメラ３１を使用し、また、被写体３の近傍に白色板３２を載置している点が異なっている。
【０１１８】
上記ＲＧＢカメラ３１は、１回の撮影動作を行うことにより、ＲＧＢ３バンドの画像データを取得する撮影手段である。
【０１１９】
また、制御用ＰＣ４の制御に基づいて、回転台２を回転させながら、ＲＧＢカメラ３１により順次撮影を行っていくのも上述と同様であるが、白色板３２の撮影については、被写体３の撮影と同時に行っても良いし、あるいは被写体３の撮影を行う前後に、点光源６による同一の照明光環境下において行っても構わない。
【０１２０】
こうして撮影された被写体３の画像データは被写体撮影画像たる時系列ＲＧＢ画像データとして、また、白色板３２の画像データは白色板画像データとして、制御用ＰＣ４の内部にそれぞれ記憶される。
【０１２１】
その後に制御用ＰＣ４は、蓄積された時系列ＲＧＢ画像データの処理を行うようになっている。
【０１２２】
この制御用ＰＣ４の光沢・色再現処理部４０において行われる光沢・色再現処理について、図９を参照して説明する。
【０１２３】
光沢・色再現処理部４０は、図９に示すように、対応点追跡処理部４１と、光沢分離処理部４２と、合成再現処理部４３と、を有して構成されている。
【０１２４】
上記対応点追跡処理部４１は、対応点取得手段であって、図１０に示すように、鏡面反射係数算出部４５と、拡散反射成分算出部４６と、対応点算出部４７と、を有して構成されている。
【０１２５】
上記鏡面反射係数算出部４５は、時系列ＲＧＢ画像データを各画素毎に読み込むとともに、白色板画像データから抽出した照明光スペクトルの撮影信号ｅ（ｉ）を読み込んで、上述した数式１９を用いることにより、鏡面反射係数ｑ_g（φ）を算出するものである。
【０１２６】
上記拡散反射成分算出部４６は、各画素毎にＲＧＢ画像データ（上述した原理におけるｇ（ｉ，φ）に該当する）を読み込むとともに、上記鏡面反射係数算出部４５により算出したその鏡面反射係数ｑ_g（φ）と、照明光スペクトルの撮影信号ｅ（ｉ）とを読み込み、照明光成分と直交する成分として、拡散反射成分Ｐ_g（ｉ）および拡散反射係数ｐ_g（φ）を上述した数式２０より算出するものである。
【０１２７】
上記対応点算出部４７は、上述した数式５のｙ＝ｈで表されるライン毎に、上記拡散反射成分算出部４６により算出したＰ_g（ｉ）を入力し、上述した数式２１に基づいて、コスト関数Ｃ（ｒ）を算出し、このコスト関数Ｃ（ｒ）の値が最小となる振幅ｒを求める。そして、求めた振幅ｒを用いて、数式５により、各φの画像間の対応関係を与える位置データである対応点情報を算出して出力するものである。
【０１２８】
また、上記光沢分離処理部４２は、光沢分離手段であって、図１１に示すように、係数算出部５１と、拡散・鏡面成分算出部５２と、を有して構成されている。
【０１２９】
上記係数算出部５１は、上記対応点算出部４７から出力される対応点情報（ｐ_g（ｉ），ｑ_g（ｉ））を読み込んで、各対応点毎に拡散反射係数ｐ_g（φ）および鏡面反射係数ｑ_g（φ）を読み込み、上述した数式２７に基づいて、拡散成分比ｂ’／ａ’を求めるものである。
【０１３０】
上記拡散・鏡面成分算出部５２は、撮影照明光スペクトルの撮影信号ｅ（ｉ）を読み込むとともに、各対応点毎に、上述した拡散反射係数ｐ_g（φ）、鏡面反射係数ｑ_g（φ）、拡散成分比ｂ’／ａ’を読み込んで、上述した数式２５に基づいて、拡散反射成分ｇ_d（ｉ，φ）と鏡面反射成分ｇ_S（ｉ，φ）とを算出し、拡散・鏡面反射成分画像データとして出力するものである。
【０１３１】
さらに、上記合成再現処理部４３は、図１２に示すように、拡散・鏡面成分合成処理部５５と、色再現処理部５６と、を有して構成されている。
【０１３２】
上記拡散・鏡面成分合成処理部５５は、上記拡散・鏡面成分算出部５２から出力される拡散・鏡面反射成分画像データを読み込むとともに幾何データを読み込んで、拡散・鏡面反射成分画像データから幾何データに基づいて所定の幾何条件における拡散・鏡面反射成分画像データを合成するものである。
【０１３３】
ここに上記幾何データは、撮影照明光の光源と被写体表面の各点と測定点との位置関係を表す情報を含んだものである。
【０１３４】
これらの情報を用いて、様々な照明光の形状、位置、被写体の向きにおける被写体スペクトルを算出する手段の詳細については、上述した文献４に記載されており、ここでも同様の手段を用いることができるために説明を省略する。
【０１３５】
上記色再現処理部５６は、上記拡散・鏡面成分合成処理部５５により合成された拡散・鏡面反射成分画像データを読み込むとともに色再現データを読み込んで、拡散・鏡面反射成分画像データを所定の観察条件における光沢・色再現画像データに変換して出力するものである。
【０１３６】
上記色再現データは、ＲＧＢカメラの分光感度と、撮影照明光スペクトルと、被写体の分光反射率の統計データと、観察照明光スペクトルと、等色関数データと、ディスプレイプロファイルデータとを含んだものである。
【０１３７】
合成された拡散・鏡面反射成分画像データｇ（ｉ，φ’）から、分光反射率画像ｆ（λ，φ’）が推定される。この分光反射率画像ｆ（λ，φ’）の推定手段は、上述した第１の実施形態で用いたWiener推定を用いている。
【０１３８】
こうして推定された分光反射率画像ｆ（λ，φ’）から、観察照明光スペクトルＥ₀（λ）と、等色関数データｘ（λ），ｙ（λ），ｚ（λ）とを用いて、次の数式２９により三刺激値Ｘ（φ’），Ｙ（φ’），Ｚ（φ’）を算出する。
【数２９】

【０１３９】
これらの三刺激値Ｘ（φ’），Ｙ（φ’），Ｚ（φ’）は、ディスプレイプロファイルを用いてディスプレイへの入力信号値Ｄ_r（φ’），Ｄ_g（φ’），Ｄ_b（φ’）に変換される。ここでディスプレイプロファイルを用いてＸＹＺからＤ_r（φ’），Ｄ_g（φ’），Ｄ_b（φ’）に変換する手段も、上述した第１の実施形態で用いた手段と同様である。
【０１４０】
こうして生成されたディスプレイへの入力信号値Ｄ_r（φ’），Ｄ_g（φ’），Ｄ_b（φ’）は、上記表示モニタ５に入力され、該表示モニタ５において、所望の照明条件下における被写体の光沢・色が正確に再現された画像が、表示される。
【０１４１】
このような第２の実施形態によれば、上述した第１の実施形態とほぼ同様の効果を奏するとともに、ＲＧＢカメラと白色板を用いることにより、より簡便に計測を行うことが可能となる。
【０１４２】
図１３から図１５は本発明の第３の実施形態を示したものであり、図１３は光沢・色再現システムの概略的な構成を示す図、図１４は光沢・色再現処理部の構成を示すブロック図、図１５は合成再現処理部の構成を示すブロック図である。
【０１４３】
この第３の実施形態において、上述の第１，第２の実施形態と同様である部分については説明を省略し、主として異なる点についてのみ説明する。
【０１４４】
この第３の実施形態の光沢・色再現システムは、図１３に示すように、上述した第２の実施形態の光沢・色再現システムとほぼ同様に構成されているが、白色板３２の代わりに色票６１を使用している点が異なっている。
【０１４５】
この色票６１は、白色の領域を含む例えば９色の領域から構成されており、無彩色を除く色は、互いに独立な分光反射率となっている。
【０１４６】
また、この色票６１の撮影については、被写体３の撮影と同時に行っても良いし、あるいは被写体３の撮影を行う前後に、点光源６による同一の照明光環境下において行っても構わないことも上述と同様である。
【０１４７】
こうして撮影された被写体３の画像データは時系列ＲＧＢ画像データとして、また、白色領域の画像は白色板画像データとして、さらに、色票全体の撮影画像は色票画像データとして、制御用ＰＣ４の内部にそれぞれ記憶される。
【０１４８】
その後に制御用ＰＣ４は、光沢・色再現処理部７０において、蓄積された時系列ＲＧＢ画像データの処理を行い、光沢・色再現画像データを出力するようになっている。
【０１４９】
光沢・色再現処理部７０は、図１４に示すように、対応点取得手段たる対応点追跡処理部７１と、光沢分離手段たる光沢分離処理部７２と、合成再現処理部７３と、を有して構成されている。
【０１５０】
これらの内の対応点追跡処理部７１は、上述した第２の実施形態の対応点追跡処理部４１と、また、光沢分離処理部７２は、上述した第２の実施形態の光沢分離処理部４２と、それぞれ同様である。
【０１５１】
また、上記合成再現処理部７３は、図１５に示すように、拡散・鏡面成分合成処理部７５と、色再現処理部７６と、を有して構成されている。
【０１５２】
これらの内の拡散・鏡面成分合成処理部７５は、上述した第２の実施形態の拡散・鏡面成分合成処理部５５と同様である。
【０１５３】
一方、上記色再現処理部７６は、上記拡散・鏡面成分合成処理部７５により合成された拡散・鏡面反射成分画像データを読み込むとともに、色再現データと色票画像データとを読み込んで、拡散・鏡面反射成分画像データを所定の観察条件における光沢・色再現画像に変換する。
【０１５４】
上記色再現データは、観察照明光スペクトルと、等色関数データと、ディスプレイプロファイルデータとを含んだものである。
【０１５５】
合成された拡散・鏡面反射成分画像データｇ（ｉ，φ’）から、分光反射率画像ｆ（λ，φ’）が推定される。この分光反射率画像ｆ（λ，φ’）は、色票画像データから抽出された色票の各色のＲＧＢ信号値と、予め測定されている色票の各色の分光反射率データと、から推定される。
【０１５６】
色票画像データを用いた分光反射率の推定手段は、Yuri Murakami、Takashi Obi、Masahiro Yamaguchi、Nagaaki Ohyama、Yasuhiro Komiyaによる「Spectral reflectance estimation from multi-band image using color chart」（Optics Communications 188（2001）の第４７頁から第５４頁）（以下、文献６という）に記載されているので、説明を省略する。
【０１５７】
分光反射率画像ｆ（λ，φ’）からディスプレイへの入力信号値Ｄ_r（φ’），Ｄ_g（φ’），Ｄ_b（φ’）に変換する手段も上述した第２の実施形態と同様であるために、説明を省略する。
【０１５８】
こうして、上記表示モニタ５において、所望の撮影照明条件下における被写体の光沢・色が正確に再現された画像が、表示される。
【０１５９】
このような第３の実施形態によれば、上述した第１，第２の実施形態とほぼ同様の効果を奏するとともに、色票を用いることにより、より忠実な色再現を行うことが可能になる。
【０１６０】
なお、上述した各実施形態におけるブロック図として記載した各処理部は、専用の処理回路として構成しても良いし、あるいはコンピュータにおける処理プログラムとして構成しても構わない。
【０１６１】
また、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０１６２】
【発明の効果】
以上説明したように請求項１による本発明の光沢・色再現システムによれば、光沢があっても簡便に対応点を追跡することができる。
【０１６３】
また、請求項２による本発明の光沢・色再現システムによれば、簡便に拡散反射成分と鏡面反射成分とを分離することができる。
【０１６４】
さらに、請求項３による本発明の光沢・色再現システムによれば、光沢があっても簡便に対応点を追跡することができるとともに、スペクトルを推定することにより、精度を向上することができる。
【０１６５】
請求項４による本発明の光沢・色再現システムによれば、簡便に拡散反射成分と鏡面反射成分とを分離することができるとともに、スペクトルを推定することにより、精度を向上することができる。
【０１６６】
請求項５による本発明の光沢・色再現システムによれば、被写体と撮影手段との位置関係を変化させることにより、請求項１から請求項４に記載の発明と同様の効果を奏することができる。
【０１６７】
請求項６による本発明の光沢・色再現システムによれば、請求項１から請求項４に記載の発明と同様の効果を奏するとともに、撮影手段としてマルチバンドカメラを用いることにより、波長毎のスペクトル成分の違いを高精度に検出することが可能となるために、より精度を向上することができる。
【０１６８】
請求項７による本発明の光沢・色再現プログラムによれば、光沢があっても簡便に対応点を追跡することが可能となる。
【０１６９】
請求項８による本発明の光沢・色再現プログラムによれば、簡便に拡散反射成分と鏡面反射成分とを分離することが可能となる。
【０１７０】
請求項９による本発明の光沢・色再現プログラムによれば、光沢があっても簡便に対応点を追跡することが可能となるとともに、スペクトルを推定することにより、精度を向上することができる。
【０１７１】
請求項１０による本発明の光沢・色再現プログラムによれば、簡便に拡散反射成分と鏡面反射成分とを分離することが可能となるとともに、スペクトルを推定することにより、精度を向上することができる。
【図面の簡単な説明】
【図１】本発明の各実施形態に係る原理を説明するための図であり、（Ａ）被写体を記述する座標系と観測面の座標系との関係を示す図、（Ｂ）対応点の時空間断面画像の様子を示す図。
【図２】本発明の第１の実施形態に係る光沢・色再現システムの概略的な構成を示す図。
【図３】上記第１の実施形態に係る光沢・色再現処理部の構成を示すブロック図。
【図４】上記第１の実施形態に係るスペクトル推定処理部の構成を示すブロック図。
【図５】上記第１の実施形態に係る対応点追跡処理部の構成を示すブロック図。
【図６】上記第１の実施形態に係る光沢分離処理部の構成を示すブロック図。
【図７】上記第１の実施形態に係る合成再現処理部の構成を示すブロック図。
【図８】本発明の第２の実施形態に係る光沢・色再現システムの概略的な構成を示す図。
【図９】上記第２の実施形態に係る光沢・色再現処理部の構成を示すブロック図。
【図１０】上記第２の実施形態に係る対応点追跡処理部の構成を示すブロック図。
【図１１】上記第２の実施形態に係る光沢分離処理部の構成を示すブロック図。
【図１２】上記第２の実施形態に係る合成再現処理部の構成を示すブロック図。
【図１３】本発明の第３の実施形態に係る光沢・色再現システムの概略的な構成を示す図。
【図１４】上記第３の実施形態に係る光沢・色再現処理部の構成を示すブロック図。
【図１５】上記第３の実施形態に係る合成再現処理部の構成を示すブロック図。
【符号の説明】
１…マルチスペクトルカメラ（撮影手段、マルチバンドカメラ）
２…回転台
３…被写体
４…制御用パーソナルコンピュータ
５…表示モニタ
６…点光源
１０，４０，７０…光沢・色再現処理部
１１…スペクトル推定処理部（スペクトル推定手段）
１２，４１，７１…対応点追跡処理部（対応点取得手段）
１３，４２，７２…光沢分離処理部（光沢分離手段）
１４，４３，７３…合成再現処理部
１６…スペクトル推定行列算出部
１７…スペクトル推定部
２１，４５…鏡面反射係数算出部
２２，４６…拡散反射成分算出部
２３，４７…対応点算出部
２５，５１…係数算出部
２６，５２…拡散・鏡面成分算出部
２８，５５，７５…拡散・鏡面成分合成処理部
２９，５６，７６…色再現処理部
３１…ＲＧＢカメラ（撮影手段）
３２…白色板
６１…色票[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a gloss / color reproduction system, a gloss / color reproduction program, and more particularly, to a gloss / color reproduction system and a gloss / color reproduction program that can satisfactorily reproduce the texture of an object such as a three-dimensional effect or glossiness.
[0002]
[Prior art]
In order to faithfully reproduce the texture of an object such as three-dimensionality and glossiness, the appearance of changes in parallax and changes in gloss when the object is observed from various directions must be reproduced according to the observation environment. Is considered effective. To do this, shoot multiple images with gloss under multiple shooting conditions, track the corresponding points between images for each point on the object surface, separate diffuse reflection from specular reflection, and combine There is a need to. Here, an object is considered in which a dichroic reflection model is established or approximately.
[0003]
"Simultaneous measurement of shape and reflectivity by rotation of target object" by Shinsaku Hiura, Kosuke Sato, and Seiji Iguchi as one of the means to estimate the shape of a subject from images taken by rotating the subject Vol. 36 No. 10 (Oct. 1995), pages 2295 to 2302) (hereinafter referred to as document 1), means for using the locus of corresponding points on a spatiotemporal cross-sectional image There is.
[0004]
Tracking of corresponding points between a plurality of images is generally performed by paying attention to the luminance and color of pixels in the image and texture in a small area, and the trajectory is obtained.
[0005]
As a means of separating the diffuse reflection component and specular reflection component of an object from an image taken by illuminating the object from different directions, “Temporal-color space analysis of reflection” by Yoichi Sato and Katsushi Ikeuchi (J .Opt.Soc.Am.A / Vol.11, No.11 / November 1994, pages 2990 to 3002) (hereinafter referred to as Reference 2) and specular reflection color vectors and diffusion An example is a means for separating the specular reflection component and the diffuse reflection component by estimating the geometric vector using the reflection color vector.
[0006]
[Problems to be solved by the invention]
However, in the means for tracking corresponding points as described in Document 1, if the image includes gloss, the luminance and color of the pixels may change even on points on the locus of the corresponding points. There is an error in estimating the shape, or the algorithm for estimating the shape is complicated.
[0007]
Further, in the means for separating the specular reflection component and the diffuse reflection component as described in the above document 2, in order to obtain the required color vector, the spectral characteristics of the camera, the illumination light spectrum, Information on the diffuse reflection characteristic is required, but it is difficult to obtain all of the information accurately, so that it is difficult to carry out the general purpose.
[0008]
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a gloss / color reproduction system and a gloss / color reproduction program that can easily track corresponding points even when gloss is present.
[0009]
Another object of the present invention is to provide a gloss / color reproduction system and a gloss / color reproduction program that can easily separate a diffuse reflection component and a specular reflection component.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, the gloss / color reproduction system according to the first invention provides: Different positional relationship with the subject Under multiple shooting conditions The object illuminated by illumination light whose illumination light component is known Shooting means for recording a plurality of subject shot images and the plurality of subject shot images To the same point on the subject in the subject image A gloss / color reproduction system comprising corresponding point acquisition means for obtaining corresponding points, and gloss separation means for separating specular reflection components and diffuse reflection components of the colors of the corresponding points, wherein the corresponding points acquisition means Of the subject the above Components orthogonal to the illumination light component By obtaining the position where the amount of change in the component space direction in the plurality of imaging conditions is the smallest, The corresponding points are acquired.
[0011]
The gloss / color reproduction system according to the second invention is In the gloss / color reproduction system according to the first invention, Gloss separation means But Of the subject the above The specular reflection component and the diffuse reflection component are separated using a component orthogonal to the illumination light component.
[0012]
Furthermore, the gloss / color reproduction system according to the third invention is: Different positional relationship with the subject Under multiple shooting conditions , Of an object illuminated by illumination light whose illumination light spectrum is known Imaging means for recording a plurality of subject captured images, spectrum estimation means for estimating a subject spectrum from the subject captured images, and the plurality of subject captured images To the same point on the subject in the subject image A gloss / color reproduction system comprising corresponding point acquisition means for obtaining corresponding points, and gloss separation means for separating specular reflection components and diffuse reflection components of the colors of the corresponding points, wherein the corresponding points acquisition means Of the subject spectrum, the above Components orthogonal to the illumination light spectrum By obtaining the position where the amount of change in the spectral space direction in the plurality of imaging conditions is the smallest, The corresponding points are acquired.
[0013]
The gloss / color reproduction system according to the fourth invention is: In the gloss / color reproduction system according to the third invention, Gloss separation means But Of the subject spectrum, the above The specular reflection component and the diffuse reflection component are separated using a component orthogonal to the illumination light spectrum.
[0015]
First 5 The gloss / color reproduction system according to the invention is the gloss / color reproduction system according to the first to fourth inventions, wherein the photographing means is a multiband camera.
[0016]
First 6 By using a computer, the gloss / color reproduction program according to the invention of Different positional relationship with the subject Recorded under multiple shooting conditions The object illuminated by illumination light whose illumination light component is known A gloss / color reproduction program for processing a plurality of subject photographed images, wherein the computer To the same point on the subject in the subject image When finding the corresponding points, the above Components orthogonal to the illumination light component By obtaining the position where the amount of change in the component space direction in the plurality of imaging conditions is the smallest, Corresponding point acquisition means for acquiring corresponding points, and gloss separation means for separating the specular reflection component and diffuse reflection component of the color of the corresponding points.
[0017]
First 7 The gloss / color reproduction program according to the invention of In the gloss / color reproduction program according to the sixth invention, the gloss separation means comprises: When separating the specular reflection component and diffuse reflection component of the corresponding point color, the above Using a component orthogonal to the illumination light component, the specular reflection component and the diffuse reflection component are separated. means It is.
[0018]
First 8 By using a computer, the gloss / color reproduction program according to the invention of Different positional relationship with the subject Recorded under multiple shooting conditions , Of an object illuminated by illumination light whose illumination light spectrum is known A gloss / color reproduction program for processing a plurality of subject captured images, wherein the computer estimates spectrum of the subject from the subject captured images, and the plurality of subject captured images To the same point on the subject in the subject image In finding the corresponding points, the subject spectrum the above Components orthogonal to the illumination light spectrum By obtaining the position where the amount of change in the spectral space direction in the plurality of imaging conditions is the smallest, Corresponding point acquisition means for acquiring corresponding points, and gloss separation means for separating the specular reflection component and diffuse reflection component of the color of the corresponding points.
[0019]
First 9 The gloss / color reproduction program according to the invention of In the gloss / color reproduction program according to the eighth invention, the gloss separation means comprises: In separating the specular reflection component and diffuse reflection component of the corresponding point color, the above Separating specular and diffuse reflection components using a component orthogonal to the illumination light spectrum means It is.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Before specifically describing embodiments of the present invention, the principle used in the present invention will be described with reference to the drawings.
[0021]
The principle used in the present invention is to separate the observed reflected light spectrum into components of the illumination light spectrum and components orthogonal to the illumination light spectrum, and focus on these components to track the corresponding points. The diffuse reflection component and the specular reflection component are separated.
[0022]
The dichroic reflection is valid for many general objects excluding metals and the like, and is a model that can describe the reflected light from the object as a diffuse reflection component and a specular reflection component. Of these, the specular reflection component (glossy component) depends only on the illumination light spectral component. Therefore, when this dichroic reflection is established on the object to be observed, the illumination light is included in the reflected light spectral component of the object. A surface (a surface represented by a linear sum of two vectors) spanned by a component orthogonal to the spectrum or an illumination light spectrum equivalent to the component and the reflected light spectrum of the object is constant without being affected by gloss. Therefore, by paying attention to this component, the corresponding points can be easily traced.
[0023]
Further, by using these components, it is possible to separate the diffuse reflection component and the specular reflection component by obtaining one constant without obtaining the spectral component of the diffuse reflection component.
[0024]
First, the principle of tracking corresponding points (such as the underlying theory and assumed conditions) will be described in detail.
[0025]
The situation at the time of observation is, for example, as shown in FIG. 2 of the embodiment described later. Illumination light of one point light source 6 on which the subject 3 is placed on the turntable 2 and the position is fixed. Then, the subject 3 is illuminated, and the spectral image of the subject 3 is measured from a fixed observation position (multispectral camera 1 in the example of FIG. 2). The M images are measured while rotating the rotary table 2 in steps of an angle unit of π / (M−1), for example, in a range of −π / 2 to π / 2. At this time, it is assumed that the spectrum of the illumination light of the light source 6 is known.
[0026]
In the following description, the reflected light from a certain point on the subject surface is considered.
[0027]
Spectrum E (λ) (where λ is the wavelength and E (λ) is ∫E (λ) ² It is assumed that dλ = 1 is standardized. ), When the subject is rotated by an angle φ, the intensity I (λ, φ) of the reflected light of the wavelength λ from the surface of the subject observed is as shown in the following Equation 1. Diffuse reflection component I _d (Λ, φ) and specular reflection component I _S Further, each of these reflection components is a product of a function having a wavelength λ as a parameter and a function having a geometric condition (here, the angle φ) as a parameter. Shall be represented.
[Expression 1]

here,
I _d (Λ, φ) = D (φ) I _dn (Λ)
I _S (Λ, φ) = S (φ) E (λ)
And I _dn (Λ) is ∫I _dn (Λ) ² It is assumed that dλ = 1 is standardized.
[0028]
In spectral space, I _dn (Λ) represents the direction vector of the diffuse reflection component, E (λ) represents the direction vector of the specular reflection component, and D (φ) and S (φ) represent the intensities of the respective components at the rotation angle φ.
[0029]
Consider a plane orthogonal to the spectrum E (λ) of illumination light in the spectrum space. The reflected light spectrum from the observed object surface is projected onto this plane, and a spectral component P (λ) orthogonal to E (λ) is obtained. When dichroic reflection can be assumed, since the specular reflection component has the same spectral distribution as the illumination light, the orthogonal component P (λ) is constant without being affected by the specular reflection. Therefore, a component corresponding to the spectrum of the illumination light is removed from the reflected light I (λ, φ) to obtain a component P (λ) that is not affected by specular reflection. The observed reflected light I (λ, φ) is a spectrum E (λ) of illumination light and a component P (λ) orthogonal thereto (where P (λ) is ∫P (λ) ² It is assumed that dλ = 1 is standardized. ) And are expressed as the following Expression 2.
[Expression 2]

[0030]
Here, P (λ) and E (λ) represent direction vectors forming orthogonal bases in the spectrum space, and p (φ) and q (φ) represent the intensity of each component at the rotation angle φ. ing. At this time, q (φ) is obtained by using the orthogonality of P (λ) and E (λ) (∫P (λ) E (λ) dλ = 0) as shown in the following Equation 3. It is obtained by calculating the inner product value of λ, φ) and E (λ).
[Equation 3]

[0031]
That is, since I (λ, φ) is an observed quantity and E (λ) is also known, q (φ) is calculated by using Equation 3.
[0032]
Then, p (φ) uses q (φ) obtained by Equation 3 and utilizes the fact that P (λ) is standardized, and P (λ) is obtained from the obtained q (φ) and p By transforming Equation 2 using (φ), the following Equation 4 is obtained.
[Expression 4]

[0033]
By performing the above processing on all the pixels in the image, an image of a component that does not include the influence of specular reflection can be obtained. Since the specular reflection component depends only on E (λ), and P (λ) orthogonal to E (λ) does not include the influence of specular reflection at all, the pixel value of the corresponding point between images is a spectrum. Face the same direction in space. Therefore, by examining the value of P (λ), it is possible to easily track the corresponding points without being affected even when the captured image includes specular reflection.
[0034]
Corresponding points are tracked by creating a spatiotemporal cross-sectional image as shown in FIG. 1B using images of P (λ) obtained for all φs.
[0035]
FIG. 1 is a diagram for explaining the principle according to each embodiment of the present invention. (A) A diagram showing a relationship between a coordinate system describing a subject and a coordinate system of an observation surface, and (B) corresponding points. It is a figure which shows the mode of the spatiotemporal cross-sectional image of this.
[0036]
Consider the locus of corresponding points on the spatiotemporal cross-sectional image. Here, for the sake of simplicity, as shown in FIG. 1A, the spectral image measurement of the subject is parallel projection (that is, the rotation axis of the object and the projection plane (observation plane) of the image are parallel). Assume.
[0037]
Assume that the shape of the subject is expressed in a cylindrical coordinate system, and the coordinates of a certain point on the subject surface are (θ, r, h). When the subject is rotated by an angle φ, the point moves to (θ + φ, r, h). The image of the point projected on the observation surface at this time is expressed as the following Expression 5.
[Equation 5]

Here, the y axis is taken to coincide with the projected image of the rotation axis on the observation plane, and the x axis is taken to be orthogonal to the y axis on the observation plane.
[0038]
Therefore, the locus of the corresponding point on the space-time cross-sectional image at y = h is a sin curve with φ as a variable. Among the parameters shown in Formula 5, h is known, the initial phase θ can be set to a desired value, for example, 0 by setting, and φ is a value controlled at the time of measurement. Only the amplitude r.
[0039]
Therefore, by changing the amplitude r in various ways, the pixel value on the sin curve on the spatiotemporal cross-sectional image of P (λ) is examined to obtain the amplitude r of the sin curve. As described above, by using the image of P (λ), it is possible to prevent the influence of specular reflection, so that the pixel values of the corresponding points all face the same direction in the spectrum space.
[0040]
Therefore, the cost function C (r) is defined as shown in Equation 6 using the variance of the spectrum P (λ), and the amplitude r that minimizes the value of the cost function C (r) is obtained. In Equation 6, the pixel value at the position (x, φ) on the spatiotemporal cross-sectional image is expressed as P _{x, φ} (Λ) is written. Further, M is the number of images described above, and φ taking Σ in the range of −π / 2 to π / 2 changes in units of π / (M−1) as described above.
[Formula 6]

[0041]
When occlusion exists, the value of err (r, φ) changes abruptly at a certain φ. In that case, the calculation of the value regarding the pixel on the subsequent locus is not performed.
[0042]
By calculating the unknown amplitude r in this way, the trajectory of the point of interest on the observation surface is determined as shown in Equation 5 above.
[0043]
Up to this point, the principle of tracking corresponding points has been described. Next, the principle of means for separating the diffuse reflection component and the specular reflection component will be described in detail.
[0044]
p (φ) and q (φ) are expressed as shown in the following Formulas 7 and 8 by using Formula 1 and Formula 2, respectively.
[Expression 7]

[Equation 8]

[0045]
By deleting D (φ) from these Equations 7 and 8, the following Equation 9 relating to S (φ) can be obtained.
[Equation 9]

[0046]
Furthermore, by using Equation 1 and Equation 9, the diffuse reflection component I _d (Λ, φ) and specular reflection component I _S The following formula 10 regarding (λ, φ) is obtained.
[Expression 10]

[0047]
In Eq. 10, E (λ) is known, and p (φ) and q (φ) are calculated from the observed values according to Eq. 3 and Eq. 4 above. / A only.
[0048]
Therefore, a means for obtaining this b / a will be considered. By dividing both sides of Equation 8 by both sides of Equation 7, the following Equation 11 is obtained.
[Expression 11]

[0049]
Assuming that there is one or more I (λ, φ) that does not include a specular reflection component, S (φ) ≧ 0, aD (φ)> 0, and at least one φ satisfying S (φ) = 0 is Will exist. Accordingly, b / a is the minimum value of q (φ) / p (φ) that is taken when I (λ, φ) does not include a specular reflection component, as shown in Equation 12 below.
[Expression 12]

[0050]
Thus, for each of φ that changes in units of π / (M−1) in the range of −π / 2 to π / 2, the value of q (φ) / p (φ) is calculated using Equation 3 and Equation 4 above. B / a is determined by examining the minimum value of these M values.
[0051]
Thus, since the right side of Equation 10 is composed only of a known amount or an amount calculated from an observed value, the diffuse reflection component I _d (Λ, φ) and specular reflection component I _S (Λ, φ) can be obtained.
[0052]
By using such a principle, the corresponding points are tracked based on the measured reflection spectrum I (λ, φ) of the subject and the illumination light spectrum E (λ), and the reflection spectrum of the subject is determined as the diffuse reflection component I. _d (Λ, φ) and specular reflection component I _S It becomes possible to separate into (λ, φ).
[0053]
Such a principle is similarly applied to a photographing signal of a camera having a linear input / output characteristic.
[0054]
That is, the object having the subject spectrum I (λ, φ) _i Assuming that a shooting signal obtained when shooting with a camera of (λ) (i = 1 to N) is g (i, φ) (i = 1 to N), g (i, φ) is expressed by the following equation. 13.
[Formula 13]

[0055]
Further, a shooting signal e (i) obtained by shooting a white diffuser plate or the like illuminated with light of the illumination light spectrum E (λ) with the same camera is expressed by the following Expression 14.
[Expression 14]

[0056]
Here, k is a constant determined so that the photographing signal e (i) is normalized as the following Expression 15.
[Expression 15]

[0057]
The subject photographing signal g (i, φ) is converted into the diffuse reflection component I as in Equation 1. _d (Λ, φ) and specular reflection component I _S Shooting signals g corresponding to (λ, φ) _d (I, φ) and g _S When expressed by a linear sum with (i, φ), the following equation 16 is obtained.
[Expression 16]

[0058]
here,
g _d (I, φ) = D (φ) g _dn (I)
g _S (I, φ) = S (φ) e (i)
And g _dn (I) is Σg _dn (I) ² It is assumed that it is standardized so that = 1.
[0059]
Similarly, the observed g (i, φ) is converted into the above e (i) and the component P orthogonal to the e (i) and normalized as shown in the following Expression 17. _g (I) and are used to express as in Equation 18.
[Expression 17]

[Expression 18]

[0060]
Where P _g (I) and e (i) represent direction vectors forming orthogonal bases on the imaging signal value space, and p _g (Φ) and q _g (Φ) represents the intensity of each component at the rotation angle φ.
[0061]
Q of these _g (Φ) is obtained as shown in the following Equation 19 by calculating the inner product value of g (i, φ) and e (i).
[Equation 19]

[0062]
And P _g (I) and p _g (Φ) is e (i) and q _g By substituting (φ) into Equation 18, the following Equation 20 is obtained.
[Expression 20]

[0063]
Similarly, in order to obtain the amplitude r which is an unknown number in the tracking of corresponding points, the pixel value at the position (x, φ) on the spatiotemporal cross-sectional image is set to _{x, φ} The evaluation is performed by using the following Expression 21 instead of Expression 6 described above.
[Expression 21]

[0064]
P _g (Φ) and q _g (Φ) is expressed as shown in Equation 22 and Equation 23, respectively.
[Expression 22]

[Expression 23]

[0065]
By deleting D (φ) from these Equations 22 and 23 and arranging them, the following Equation 24 regarding S (φ) is obtained.
[Expression 24]

[0066]
Further, the diffuse reflection component g is obtained by using the above equation 16 and the equation 24. _d (I, φ) and specular reflection component g _S The following expression 25 regarding (i, φ) is obtained.
[Expression 25]

[0067]
By dividing both sides of Equation 23 by both sides of Equation 22, the following Equation 26 is obtained.
[Equation 26]

[0068]
For the same reason as described above, b ′ / a ′ is obtained as the minimum value of Expression 26 as shown in the following Expression 27.
[Expression 27]

[0069]
Since b ′ / a ′ is thus obtained, the diffuse reflection component g _d (I, φ) and specular reflection component g _S (I, φ) is required.
[0070]
Embodiments of the present invention will be described below with reference to the drawings.
2 to 7 show the first embodiment of the present invention. FIG. 2 is a diagram showing a schematic configuration of the gloss / color reproduction system. FIG. 3 is a diagram showing the configuration of the gloss / color reproduction processing unit. 4 is a block diagram showing the configuration of the spectrum estimation processing unit, FIG. 5 is a block diagram showing the configuration of the corresponding point tracking processing unit, FIG. 6 is a block diagram showing the configuration of the gloss separation processing unit, and FIG. It is a block diagram which shows the structure of a synthetic | combination reproduction process part.
[0071]
As shown in FIG. 2, the gloss / color reproduction system includes a subject 3, a turntable 2 that realizes a plurality of photographing conditions by placing and rotating the subject 3, and controlling the subject 3. A point light source 6 that irradiates photographing illumination light, a multispectral camera 1 as a multiband camera that is a photographing means for photographing an illuminated subject, and a personal computer for control (control) that controls the rotary base 2 and the multispectral camera 1. PC) 4 and a display monitor 5 connected to the control PC 4.
[0072]
The point light source 6 is a light source capable of emitting illumination light having a spectral distribution necessary for measurement, and its position is fixed.
[0073]
In the turntable 2, the upper surface on which the subject 3 is placed is black that does not reflect light, and the rotation angle can be changed in steps of a predetermined angle unit.
[0074]
The multispectral camera 1 has, for example, 16 types of filters mounted on a rotary filter device, and sequentially captures images using an image sensor or the like built in while rotating the filter device once. It is configured so that 16-band image data can be acquired by a shooting operation.
[0075]
The operation at the time of photographing by such a gloss / color reproduction system is as follows.
[0076]
When the setting is completed as shown in FIG. 2, the control PC 4 starts a photographing operation by automatic control.
[0077]
Then, the control PC 4 controls the multispectral camera 1 and performs imaging for each color filter while rotating the filter device, so that 16-band multiband image data is obtained from the multispectral camera 1. Is output.
[0078]
The multiband image data is input to the control PC 4 and stored in a storage medium such as a built-in RAM or hard disk.
[0079]
Next, the control PC 4 controls the turntable 2 to rotate it by one unit angle. As described in the above-described principle, this one unit angle is obtained by rotating the turntable 2 in the range of −π / 2 to π / 2, and acquiring M sets of multiband image data during that time. / (M-1).
[0080]
Thus, when one unit angle is rotated, the multispectral camera 1 is controlled in the same manner as described above to acquire multiband image data.
[0081]
In this way, M sets of multiband image data are acquired and input to the control PC 4 in time series and stored.
[0082]
When a series of photographing operations is completed, the control PC 4 performs processing of time-series multiband image data that is an accumulated subject photographed image.
[0083]
The gloss / color reproduction processing performed in the gloss / color reproduction processing unit 10 of the control PC 4 will be described with reference to FIG.
[0084]
As shown in FIG. 3, the gloss / color reproduction processing unit 10 includes a spectrum estimation processing unit 11, a corresponding point tracking processing unit 12, a gloss separation processing unit 13, and a synthesis reproduction processing unit 14. Has been.
[0085]
The spectrum estimation processing unit 11 is a spectrum estimation unit that reads time-series multiband image data and imaging characteristic data and estimates the reflection spectrum of each point of the image data. More specifically, the spectrum estimation processing unit 11 is configured as shown in FIG. Has been.
[0086]
That is, the spectrum estimation processing unit 11 includes a spectrum estimation matrix calculation unit 16 and a spectrum estimation unit 17.
[0087]
The spectrum estimation matrix calculation unit 16 inputs imaging characteristic data and calculates a spectrum estimation matrix for performing Wiener estimation.
[0088]
The photographing characteristic data includes the spectral sensitivity of the camera, the photographing illumination light spectrum, and the statistical data of the spectral reflectance of the subject, and data measured in advance is recorded in the control PC 4. To do.
[0089]
The spectrum estimation matrix is a 401 × 16 matrix for converting the wavelength region of 380 nm to 780 nm related to the 16-band image signal values into 401-dimensional spectrum data by carving at 1 nm intervals.
[0090]
Matrix calculation means for calculating the subject spectrum from the multiband camera signal values by Wiener estimation are “color images that can be accurately reproduced by Yuri Murakami, Takashi Oo, Masahiro Yamaguchi, Nagaaki Oyama, Yasuhiro Komiya. System Development "(pages 5 to 8 of the Color Forum JAPAN'99 Proceedings (1999)) (hereinafter referred to as Reference 3), etc., and the description is omitted here.
[0091]
The spectrum estimation unit 17 reads 16-band time-series multiband image data for each pixel, and multiplies the 16-band data by the spectrum estimation matrix input from the spectrum estimation matrix calculation unit 16 to obtain spectral image data. Is calculated and output.
[0092]
Further, the corresponding point tracking processing unit 12 is a corresponding point acquiring unit, and includes a specular reflection coefficient calculating unit 21, a diffuse reflection component calculating unit 22, and a corresponding point calculating unit 23 as shown in FIG. It is configured.
[0093]
The specular reflection coefficient calculation unit 21 reads spectral image data (corresponding to I (λ, φ) in the above-described principle) output from the spectrum estimation unit 17 for each pixel, and is further included in the imaging characteristic data. A specular reflection coefficient q (φ) is calculated by reading a photographing illumination light spectrum (corresponding to E (λ) in the above-described principle) and using the above-described mathematical expression 3.
[0094]
The diffuse reflection component calculation unit 22 reads the spectral image data for each pixel, the specular reflection coefficient q (φ) calculated by the specular reflection coefficient calculation unit 21, and the photographing illumination light spectrum. By using Equation 4 described above, the diffuse reflection component P (λ) and the diffuse reflection coefficient p (φ) are calculated as components orthogonal to the illumination light component.
[0095]
The corresponding point calculation unit 23 inputs P (λ) calculated by the diffuse reflection component calculation unit 22 for each line represented by y = h in Expression 5 described above, and calculates the cost function C based on Expression 6 below. (R) is calculated, and an amplitude r that minimizes the value of the cost function C (r) is obtained. Then, using the obtained amplitude r, the corresponding point information, which is position data that gives the correspondence between the images of φ, is calculated and output according to Equation 5.
[0096]
Next, the gloss separation processing unit 13 is a gloss separation unit, and includes a coefficient calculation unit 25 and a diffusion / specular component calculation unit 26 as shown in FIG.
[0097]
The coefficient calculation unit 25 reads the corresponding point information (p (λ), q (λ)) output from the corresponding point calculation unit 23, and the diffuse reflection coefficient p (φ) and specular reflection for each corresponding point. The coefficient q (φ) is read, and the diffusion component ratio b / a is obtained on the basis of Equation 12 described above.
[0098]
The diffusion / specular component calculation unit 26 reads the photographic illumination light spectrum E (λ), and at the corresponding points, the diffuse reflection coefficient p (φ), the specular reflection coefficient q (φ), and the diffusion component ratio b / a and read the diffuse reflection component I based on Equation 10 _d (Λ, φ) and specular reflection component I _S (Λ, φ) is calculated and output as diffuse / specular reflection component image data.
[0099]
Further, as shown in FIG. 7, the synthesis reproduction processing unit 14 includes a diffusion / specular component synthesis processing unit 28 and a color reproduction processing unit 29.
[0100]
The diffusion / specular component synthesis processing unit 28 reads the diffusion / specular reflection component image data output from the diffusion / specular component calculation unit 26 and reads the geometric data, and converts the diffusion / specular reflection component image data into the geometric data. Based on this, diffusion / specular reflection component image data under a predetermined geometric condition is synthesized.
[0101]
Here, the geometric data includes information indicating the positional relationship among the light source of the photographing illumination light, each point on the surface of the subject, and the measurement point.
[0102]
For details on the means for calculating the subject spectrum for various illumination light shapes, positions, and subject orientations using this information, see "Images taken from multiple directions" by Masaru Tsuchida, Takashi Oo, Masahiro Yamaguchi, Nagaaki Oyama. "Image reproduction under different lighting environments using 3D" (3D Image Conference '99 (1999), pages 7 to 12 of the lecture papers) (hereinafter referred to as Reference 4) Therefore, the description is omitted here.
[0103]
The color reproduction processing unit 29 reads the diffusion / specular reflection component image data synthesized by the diffusion / specular component synthesis processing unit 28 and reads the color reproduction data, and the diffusion / specular reflection component image data is read according to predetermined observation conditions. Is converted into glossy / color reproduction image data and output.
[0104]
Here, the color reproduction data includes observation illumination light spectrum, color matching function data, and display profile data.
[0105]
From the synthesized diffuse / specular reflection component image data I (λ, φ ′), the photographing illumination light spectrum E (λ) and the observation illumination light spectrum E ₀ (Λ) and the color matching function data x (λ), y (λ), z (λ), and the tristimulus values X (φ ′), Y (φ ′), Z ( φ ′) is calculated.
[Expression 28]

[0106]
These tristimulus values X (φ ′), Y (φ ′), and Z (φ ′) are input signal values D to the display using the display profile. _r (Φ '), D _g (Φ '), D _b Converted to (φ ′).
[0107]
Here, the display profile includes chromaticity values of RGB primary colors of the display monitor 5 and tone curve data.
[0108]
XYZ to D using this display profile _r (Φ '), D _g (Φ '), D _b The means for converting to (φ ′) is described in “Color Image Duplication Theory” (published by Maruzen Co., Ltd. (1996)) (hereinafter referred to as Reference 5) by Joji Tajima, and therefore the description thereof is omitted here. To do.
[0109]
The input signal value D to the display thus generated _r (Φ '), D _g (Φ '), D _b (Φ ′) is input to the display monitor 5, and the display monitor 5 displays an image in which the gloss and color of the subject under the desired illumination conditions are accurately reproduced.
[0110]
According to the first embodiment as described above, since the corresponding points are acquired from the component orthogonal to the illumination light component of the subject photographed image, even if there is a glossy portion in the image, it is hardly affected. , Accurate corresponding point tracking can be performed.
[0111]
In addition, since the specular reflection component and the diffuse reflection component of the subject photographed image are separated using a component orthogonal to the illumination light component of the subject photographed image, the separation is easily performed without performing complicated calculations. be able to.
[0112]
In this way, the corresponding points can be easily tracked almost without being affected by the gloss, and the diffuse reflection component and the specular reflection component can be separated, so that the gloss and color of the object under various illumination conditions can be separated. It is possible to display an image that is accurately reproduced.
[0113]
In addition, by using the technique as described in the present embodiment, a mismatch (misidentification) of corresponding point matching that may occur when using a stereo image shot without using a turntable, Can be reduced.
[0114]
Furthermore, the technique as described in the present embodiment can be applied to, for example, texture analysis and removal of halation in evidence photographs such as traffic violations.
[0115]
8 to 12 show a second embodiment of the present invention. FIG. 8 shows a schematic configuration of the gloss / color reproduction system, and FIG. 9 shows a configuration of the gloss / color reproduction processing unit. FIG. 10 is a block diagram showing the configuration of the corresponding point tracking processing unit, FIG. 11 is a block diagram showing the configuration of the gloss separation processing unit, and FIG. 12 is a block diagram showing the configuration of the synthesis reproduction processing unit.
[0116]
In the second embodiment, the description of the same parts as those in the first embodiment will be omitted, and only different points will be mainly described.
[0117]
As shown in FIG. 8, the gloss / color reproduction system according to the second embodiment is configured in substantially the same manner as the gloss / color reproduction system according to the first embodiment described above. The RGB camera 31 is used, and the white plate 32 is placed in the vicinity of the subject 3.
[0118]
The RGB camera 31 is a photographing unit that acquires RGB three-band image data by performing one photographing operation.
[0119]
Further, based on the control of the control PC 4, the RGB camera 31 sequentially captures images while rotating the turntable 2 as described above. It may be performed at the same time, or may be performed in the same illumination light environment by the point light source 6 before and after photographing the subject 3.
[0120]
The image data of the subject 3 thus photographed is stored in the control PC 4 as time series RGB image data as the subject photographed image, and the image data of the white plate 32 is stored as white plate image data.
[0121]
Thereafter, the control PC 4 processes the accumulated time-series RGB image data.
[0122]
The gloss / color reproduction processing performed in the gloss / color reproduction processing unit 40 of the control PC 4 will be described with reference to FIG.
[0123]
As illustrated in FIG. 9, the gloss / color reproduction processing unit 40 includes a corresponding point tracking processing unit 41, a gloss separation processing unit 42, and a composition reproduction processing unit 43.
[0124]
The corresponding point tracking processing unit 41 is a corresponding point obtaining unit, and includes a specular reflection coefficient calculating unit 45, a diffuse reflection component calculating unit 46, and a corresponding point calculating unit 47 as shown in FIG. Configured.
[0125]
The specular reflection coefficient calculation unit 45 reads the time-series RGB image data for each pixel and reads the photographing signal e (i) of the illumination light spectrum extracted from the white plate image data, and uses Equation 19 described above. By means of the specular reflection coefficient q _g (Φ) is calculated.
[0126]
The diffuse reflection component calculation unit 46 reads RGB image data (corresponding to g (i, φ) in the above-described principle) for each pixel, and the specular reflection coefficient q calculated by the specular reflection coefficient calculation unit 45. _g (Φ) and the imaging signal e (i) of the illumination light spectrum are read, and the diffuse reflection component P is used as a component orthogonal to the illumination light component. _g (I) and diffuse reflection coefficient p _g (Φ) is calculated from Equation 20 described above.
[0127]
The corresponding point calculation unit 47 calculates the P calculated by the diffuse reflection component calculation unit 46 for each line represented by y = h in Equation 5 described above. _g (I) is input, and the cost function C (r) is calculated based on the above-described equation 21, and the amplitude r that minimizes the value of the cost function C (r) is obtained. Then, using the obtained amplitude r, the corresponding point information, which is position data that gives the correspondence between the images of φ, is calculated and output according to Equation 5.
[0128]
The gloss separation processing unit 42 is gloss separation means, and includes a coefficient calculation unit 51 and a diffusion / specular component calculation unit 52, as shown in FIG.
[0129]
The coefficient calculation unit 51 outputs corresponding point information (p) output from the corresponding point calculation unit 47. _g (I), q _g (I)) is read, and the diffuse reflection coefficient p for each corresponding point _g (Φ) and specular reflection coefficient q _g (Φ) is read, and the diffusion component ratio b ′ / a ′ is obtained based on the above-described equation 27.
[0130]
The diffusion / specular component calculation unit 52 reads the imaging signal e (i) of the imaging illumination light spectrum and, for each corresponding point, the above-described diffuse reflection coefficient p. _g (Φ), specular reflection coefficient q _g (Φ), the diffusion component ratio b ′ / a ′ is read, and the diffuse reflection component g _d (I, φ) and specular reflection component g _S (I, φ) is calculated and output as diffuse / specular reflection component image data.
[0131]
Further, as shown in FIG. 12, the synthesis reproduction processing unit 43 includes a diffusion / specular component synthesis processing unit 55 and a color reproduction processing unit 56.
[0132]
The diffusion / specular component synthesis processing unit 55 reads the diffusion / specular reflection component image data output from the diffusion / specular component calculation unit 52 and reads the geometric data, and converts the diffusion / specular reflection component image data into the geometric data. Based on this, diffusion / specular reflection component image data under a predetermined geometric condition is synthesized.
[0133]
Here, the geometric data includes information representing the positional relationship between the light source of the photographing illumination light, each point on the surface of the subject, and the measurement point.
[0134]
Details of means for calculating the subject spectrum in various illumination light shapes, positions, and subject orientations using these pieces of information are described in the above-mentioned document 4, and the same means can be used here as well. Since it can do, explanation is omitted.
[0135]
The color reproduction processing unit 56 reads the diffusion / specular reflection component image data synthesized by the diffusion / specular component synthesis processing unit 55 and also reads the color reproduction data, and the diffusion / specular reflection component image data is read according to predetermined observation conditions. Is converted into glossy / color reproduction image data and output.
[0136]
The color reproduction data includes RGB camera spectral sensitivity, photographing illumination light spectrum, subject spectral reflectance statistical data, observation illumination light spectrum, color matching function data, and display profile data. is there.
[0137]
A spectral reflectance image f (λ, φ ′) is estimated from the synthesized diffuse / specular reflection component image data g (i, φ ′). The means for estimating the spectral reflectance image f (λ, φ ′) uses the Wiener estimation used in the first embodiment described above.
[0138]
From the spectral reflectance image f (λ, φ ′) estimated in this way, the observation illumination light spectrum E ₀ (Λ) and the color matching function data x (λ), y (λ), z (λ), and the tristimulus values X (φ ′), Y (φ ′), Z ( φ ′) is calculated.
[Expression 29]

[0139]
These tristimulus values X (φ ′), Y (φ ′), and Z (φ ′) are input signal values D to the display using the display profile. _r (Φ '), D _g (Φ '), D _b Converted to (φ ′). XYZ to D using the display profile here _r (Φ '), D _g (Φ '), D _b The means for converting to (φ ′) is the same as the means used in the first embodiment described above.
[0140]
The input signal value D to the display thus generated _r (Φ '), D _g (Φ '), D _b (Φ ′) is input to the display monitor 5, and the display monitor 5 displays an image in which the gloss and color of the subject under the desired illumination conditions are accurately reproduced.
[0141]
According to the second embodiment as described above, substantially the same effect as that of the first embodiment described above can be obtained, and measurement can be performed more easily by using an RGB camera and a white plate.
[0142]
FIGS. 13 to 15 show a third embodiment of the present invention. FIG. 13 shows a schematic configuration of a gloss / color reproduction system, and FIG. 14 shows a configuration of a gloss / color reproduction processing unit. FIG. 15 is a block diagram showing the configuration of the synthesis reproduction processing unit.
[0143]
In the third embodiment, description of parts that are the same as those in the first and second embodiments described above will be omitted, and only differences will be mainly described.
[0144]
As shown in FIG. 13, the gloss / color reproduction system of the third embodiment is configured in substantially the same manner as the gloss / color reproduction system of the second embodiment described above, but instead of the white plate 32. The difference is that the color chart 61 is used.
[0145]
The color chart 61 is composed of, for example, nine color regions including a white region, and the colors other than the achromatic color have spectral reflectances independent of each other.
[0146]
Further, the color chart 61 may be photographed simultaneously with the photographing of the subject 3 or may be performed in the same illumination light environment with the point light source 6 before and after the photographing of the subject 3. Is the same as described above.
[0147]
The image data of the subject 3 photographed in this way is time-series RGB image data, the white area image is white plate image data, and the entire color chart captured image is color chart image data. Is stored respectively.
[0148]
After that, the control PC 4 processes the accumulated time-series RGB image data in the gloss / color reproduction processing unit 70 and outputs the gloss / color reproduction image data.
[0149]
As shown in FIG. 14, the gloss / color reproduction processing unit 70 includes a corresponding point tracking processing unit 71 as a corresponding point acquisition unit, a gloss separation processing unit 72 as a gloss separation unit, and a composite reproduction processing unit 73. Configured.
[0150]
Of these, the corresponding point tracking processing unit 71 is the corresponding point tracking processing unit 41 of the second embodiment described above, and the gloss separation processing unit 72 is the gloss separation processing unit 42 of the second embodiment described above. And so on.
[0151]
Further, as shown in FIG. 15, the synthesis reproduction processing unit 73 includes a diffusion / specular component synthesis processing unit 75 and a color reproduction processing unit 76.
[0152]
Of these, the diffusion / specular component synthesis processing unit 75 is the same as the diffusion / specular component synthesis processing unit 55 of the second embodiment described above.
[0153]
On the other hand, the color reproduction processing unit 76 reads the diffusion / specular reflection component image data synthesized by the diffusion / specular component synthesis processing unit 75 and also reads the color reproduction data and the color chart image data to obtain the diffusion / specular surface. The reflection component image data is converted into a gloss / color reproduction image under a predetermined viewing condition.
[0154]
The color reproduction data includes observation illumination light spectrum, color matching function data, and display profile data.
[0155]
A spectral reflectance image f (λ, φ ′) is estimated from the synthesized diffuse / specular reflection component image data g (i, φ ′). The spectral reflectance image f (λ, φ ′) is estimated from the RGB signal values of each color of the color chart extracted from the color chart image data and the spectral reflectance data of each color of the color chart measured in advance. Is done.
[0156]
Spectral reflectance estimation using color chart image data is "Spectral reflectance estimation from multi-band image using color chart" by Yuri Murakami, Takashi Obi, Masahiro Yamaguchi, Nagaaki Ohyama, Yasuhiro Komiya (Optics Communications 188 (2001) Pp. 47-54) (hereinafter referred to as Document 6), description thereof will be omitted.
[0157]
Input signal value D from the spectral reflectance image f (λ, φ ′) to the display _r (Φ '), D _g (Φ '), D _b The means for converting to (φ ′) is also the same as that in the second embodiment described above, and the description thereof is omitted.
[0158]
Thus, the display monitor 5 displays an image in which the gloss and color of the subject under the desired shooting illumination conditions are accurately reproduced.
[0159]
According to the third embodiment, the same effects as those of the first and second embodiments described above can be obtained, and more accurate color reproduction can be performed by using a color chart. .
[0160]
Each processing unit described as a block diagram in each embodiment described above may be configured as a dedicated processing circuit or may be configured as a processing program in a computer.
[0161]
In addition, the present invention is not limited to the above-described embodiments, and various modifications and applications can be made without departing from the spirit of the invention.
[0162]
【The invention's effect】
As described above, according to the gloss / color reproduction system of the first aspect of the present invention, corresponding points can be easily traced even if there is gloss.
[0163]
According to the gloss / color reproduction system of the present invention according to claim 2, it is possible to easily separate the diffuse reflection component and the specular reflection component.
[0164]
Furthermore, according to the gloss / color reproduction system of the present invention according to claim 3, it is possible to easily track the corresponding points even when there is gloss, and it is possible to improve accuracy by estimating the spectrum.
[0165]
According to the gloss / color reproduction system of the present invention according to claim 4, the diffuse reflection component and the specular reflection component can be easily separated, and the accuracy can be improved by estimating the spectrum.
[0166]
According to the gloss / color reproduction system of the present invention according to claim 5, the same effects as those of the invention according to claims 1 to 4 can be achieved by changing the positional relationship between the subject and the photographing means. .
[0167]
According to the gloss / color reproduction system of the present invention according to claim 6, the same effects as those of the invention according to claims 1 to 4 can be obtained, and a spectrum for each wavelength can be obtained by using a multiband camera as photographing means. Since the difference in components can be detected with high accuracy, the accuracy can be further improved.
[0168]
According to the gloss / color reproduction program of the present invention according to claim 7, it is possible to easily track corresponding points even when there is gloss.
[0169]
According to the gloss / color reproduction program of the present invention according to claim 8, it is possible to easily separate the diffuse reflection component and the specular reflection component.
[0170]
According to the gloss / color reproduction program of the present invention according to claim 9, it is possible to easily trace corresponding points even when there is gloss, and it is possible to improve accuracy by estimating the spectrum.
[0171]
According to the gloss / color reproduction program of the present invention according to claim 10, it is possible to easily separate the diffuse reflection component and the specular reflection component and to improve the accuracy by estimating the spectrum. .
[Brief description of the drawings]
FIG. 1 is a diagram for explaining the principle according to each embodiment of the present invention; (A) a diagram showing a relationship between a coordinate system describing a subject and a coordinate system of an observation surface; The figure which shows the mode of a spatiotemporal cross-sectional image.
FIG. 2 is a diagram showing a schematic configuration of a gloss / color reproduction system according to the first embodiment of the present invention.
FIG. 3 is a block diagram showing a configuration of a gloss / color reproduction processing unit according to the first embodiment.
FIG. 4 is a block diagram showing a configuration of a spectrum estimation processing unit according to the first embodiment.
FIG. 5 is a block diagram showing a configuration of a corresponding point tracking processing unit according to the first embodiment.
FIG. 6 is a block diagram showing a configuration of a gloss separation processing unit according to the first embodiment.
FIG. 7 is a block diagram showing a configuration of a synthesis reproduction processing unit according to the first embodiment.
FIG. 8 is a diagram showing a schematic configuration of a gloss / color reproduction system according to a second embodiment of the present invention.
FIG. 9 is a block diagram showing a configuration of a gloss / color reproduction processing unit according to the second embodiment.
FIG. 10 is a block diagram showing a configuration of a corresponding point tracking processing unit according to the second embodiment.
FIG. 11 is a block diagram showing a configuration of a gloss separation processing unit according to the second embodiment.
FIG. 12 is a block diagram showing a configuration of a synthesis reproduction processing unit according to the second embodiment.
FIG. 13 is a diagram showing a schematic configuration of a gloss / color reproduction system according to a third embodiment of the present invention.
FIG. 14 is a block diagram showing a configuration of a gloss / color reproduction processing unit according to the third embodiment.
FIG. 15 is a block diagram showing a configuration of a synthesis reproduction processing unit according to the third embodiment.
[Explanation of symbols]
1. Multispectral camera (photographing means, multiband camera)
2 ... turntable
3 ... Subject
4. Control personal computer
5. Display monitor
6 ... Point light source
10, 40, 70 ... Gloss / color reproduction processing section
11: Spectrum estimation processing unit (spectrum estimation means)
12, 41, 71 ... corresponding point tracking processing unit (corresponding point acquisition means)
13, 42, 72 ... gloss separation processing unit (gloss separation means)
14, 43, 73 ... synthesis reproduction processing unit
16: Spectrum estimation matrix calculation unit
17 ... spectrum estimation unit
21, 45 ... Specular reflection coefficient calculation unit
22, 46 ... Diffuse reflection component calculation unit
23, 47 ... Corresponding point calculation unit
25, 51 ... Coefficient calculation unit
26, 52 ... Diffusion / specular component calculation unit
28, 55, 75 ... Diffusion / specular component synthesis processing unit
29, 56, 76 ... color reproduction processing section
31 ... RGB camera (photographing means)
32 ... White plate
61 ... Color chart

Claims (9)

An imaging means for recording a plurality of subject captured images of a subject illuminated with illumination light having a known illumination light component under a plurality of imaging conditions with different positional relationships with the subject;
Corresponding point acquisition means for obtaining corresponding points that are the same points on the subject in the subject images for the plurality of subject captured images;
Gloss separation means for separating the specular reflection component and the diffuse reflection component of the corresponding point color,
A gloss / color reproduction system equipped with
The corresponding point obtaining unit may by determining the smallest position component space direction change amount in the plurality of shooting conditions of the components perpendicular to the illumination light component of the subject photographed image, and acquires the corresponding point A gloss / color reproduction system characterized by Upper Symbol gloss separating means, gloss and color according to claim 1, characterized in that to separate the diffuse reflection component and the specular reflection component with a component perpendicular to the illumination light component of the subject photographed image Reproduction system. An imaging means for recording a plurality of subject captured images of a subject illuminated with illumination light having a known illumination light spectrum under a plurality of imaging conditions with different positional relationships with the subject;
Spectrum estimation means for estimating a subject spectrum from the subject photographed image;
Corresponding point acquisition means for obtaining corresponding points that are the same points on the subject in the subject images for the plurality of subject captured images;
Gloss separation means for separating the specular reflection component and the diffuse reflection component of the corresponding point color,
A gloss / color reproduction system equipped with
The corresponding point acquisition means, the subject spectrum, in which the spectral space direction change amount in the plurality of shooting conditions of the components perpendicular to the illumination light spectrum by obtaining the minimum position, and obtains the corresponding point Gloss / color reproduction system characterized by this. Above Symbol gloss separating means, the subject spectrum, the gloss of claim 3 with a component perpendicular to the illumination light spectrum, and characterized in that to separate the specular and diffuse reflection components -Color reproduction system.   The gloss / color reproduction system according to any one of claims 1 to 4, wherein the photographing unit is a multiband camera. By using a computer, a glossy image that is processed under a plurality of shooting conditions with different positional relationships with a subject, and that processes a plurality of subject shot images of a subject illuminated with illumination light whose illumination light component is known. A color reproduction program, computer
With respect to the plurality of shooting an object image, the subject In obtaining the corresponding points having the same point on the object in the image, the component space in the plurality of shooting conditions of the components perpendicular to the illumination light component of the subject photographed image Corresponding point acquisition means for acquiring a corresponding point by obtaining a position with the smallest amount of direction change ,
Gloss separation means for separating the specular reflection component and the diffuse reflection component of the corresponding point color,
Gloss / color reproduction program characterized by functioning as The gloss separating means, in order to separate the color specular reflection component and the diffuse reflection component of the corresponding point, separate the diffuse reflection component and the specular reflection component with a component perpendicular to the illumination light component of the subject photographed image gloss and color reproduction program according to claim 6, characterized in that the means for. By using a computer, a glossy image that is processed under a plurality of shooting conditions with different positional relations to the subject and that is processed with a plurality of subject shot images of the subject illuminated with illumination light with a known illumination light spectrum. A color reproduction program, computer
Spectrum estimation means for estimating a subject spectrum from the subject photographed image,
With respect to the plurality of shooting an object image, when obtaining the corresponding points having the same point on the object in the object image, the spectral space in the plurality of shooting conditions orthogonal components of the subject spectrum, and the illumination light spectrum Corresponding point acquisition means for acquiring a corresponding point by obtaining a position having the smallest amount of inward change ,
Gloss separation means for separating the specular reflection component and the diffuse reflection component of the corresponding point color,
Gloss / color reproduction program characterized by functioning as The gloss separating means, in order to separate the color specular reflection component and the diffuse reflection component of the corresponding points, the subject spectrum, using the components perpendicular to the illumination light spectrum, and the diffuse reflection component and specular reflection component 9. The gloss / color reproduction program according to claim 8, wherein the gloss / color reproduction program is a means for separating the color.

Images