JP6432882B2

JP6432882B2 - 画像シミュレーション方法

Info

Publication number: JP6432882B2
Application number: JP2014148369A
Authority: JP
Inventors: 久美子西山; 岡田　明大; 明大岡田; 典子長田; 謙介飛谷
Original assignee: Kwansei Gakuin Educational Foundation; Naris Cosmetics Co Ltd
Current assignee: Kwansei Gakuin Educational Foundation; Naris Cosmetics Co Ltd
Priority date: 2013-07-19
Filing date: 2014-07-19
Publication date: 2018-12-05
Anticipated expiration: 2034-07-19
Also published as: JP2015038726A

Description

本発明は画像シミュレーション方法、具体的には３次元形状を有する描写対象物に真珠様模様を描写する方法に関する。

真珠は独特の淡い色と光沢を呈し、多くの人々を魅了する。化粧後の顔にも真珠様の光沢を求めて、古くから真珠粉末を含むメイクアップ化粧料が用いられてきた。しかし、真珠粉末を含むメイクアップ化粧料の使用は、真珠様の光沢や色調を十分に与えることができなかった。そこで、実物の真珠により近づいた真珠様の光沢や色調を付与するためのメイクアップ化粧料が望まれるところ、当該化粧品の開発のためにはその評価基準となる真珠様模様の再現が不可欠である。

真珠様模様をシミュレートする方法が非特許文献１や非特許文献２に示されている。ここでは、真珠の表層を多層薄膜構造として捉えた多層薄膜干渉モデルを基にして、さらに表面下の構造に由来する質感をにじみ現象としてシミュレートするとともに光源方向に依存する正反射光の干渉（コヒーレントな光の干渉）と、光源方向に依存しない多重反射光の干渉（インコヒーレントな光の干渉）を考慮して、真珠模様をシミュレートしている。ここにおいて、真珠らしさを表す要素として、輝き感、深み感、きめ感の３つの因子が重要な因子であるとされている。輝き感は真珠表面における反射性として捉えられ、にじみ成分及び相互反射成分（映り込み成分）として把握される。深み感は真珠層の均一性として捉えられ、干渉光成分及び拡散光成分として把握される。きめ感は２次元的な滑らかさ、言い換えると表面の均一性として捉えられ、ハイトマップ成分（２次元凹凸形状成分）として捉えられる（図６参照）。これら３要素のバランスがよいと美しい真珠模様として認識されると考えられている。

ところで、顧客の顔画像を撮影して化粧を施した後の画像を生成する化粧シミュレーション方法が、例えば特許文献１に開示されている。この方法は、化粧後に撮影した顔画像から化粧前の顔の部分の情報を除去した画像を抽出した化粧データを、異なる特徴を有する顔タイプ別に分類して蓄積しておき、当該蓄積された化粧データから顧客の顔に適合するような化粧データを選択して、顧客の化粧前の顔画像に合わせて変形させて化粧後の画像を生成させる方法である。

特許文献２には、化粧後の顔の表面光反射成分と内部反射光成分とをそれぞれ偏光を用いて分離して抽出した内部反射光による化粧データと表面反射光による化粧データを合成して、化粧後の画像を生成させる方法が提案されている。そして、特許文献３には、さらに自然な光沢をも再現する方法として、撮影された顔画像から、被験者の顔の表面で反射された反射光成分からなる表面顔画像データと内部で反射された反射光成分からなる内部顔画像データとを分離して抽出した各データを合成して顔画像を表示する際に、前記表面顔画像データに対して色又は強度の変化を与えて合成する方法が開示されている。

また、特許文献４には、化粧膜の表面で反射される表面反射光成分と化粧膜を透過する透過成分とからなる化粧膜の光学データと、撮影された顔画像から、顔の表面で反射された反射光成分からなる外部顔画像データと内部で反射された反射光成分からなる内部顔画像データとを分離して抽出した各データとを合成して化粧後の顔画像を生成される方法が提案されている。

しかしながら、これらの方法でシミュレートされる化粧後の顔画像は、従来の化粧品を用いて化粧された後の顔画像であって、真珠模様を顔画像にシミュレートできなかった。また、既に提案されている真珠模様をシミュレートする方法は、球体の真珠模様を再現する方法であり、複雑な３次元形状を有する人の顔画像にそのまま適用することが困難であった。

特開２０００−１９４８３５公報特開２００１−２３８７２７号公報特開２００３−２５６８１２号公報特開２００６−２３９２１号公報

土橋ら、T.IEE Japan、Vol117-c、No.10、1997、p1370 長田ら、電子情報通信学会誌論文誌 D-II、Vol.J80-D II No.1 1997、p.206-214

本発明は、人の顔画像に真珠様模様をシミュレートする方法を提供することを課題とする。

本発明の画像シミュレーション方法は、描写対象物に真珠様模様を描写する画像シミュレーション方法であって、描写前における描写対象物から把握される鏡面反射成分と表面下散乱成分と拡散光成分を把握する工程と、にじみ成分と干渉光成分と拡散光成分からなる真珠模様シミュレーションデータのにじみ成分を前記描写対象物から把握された鏡面反射成分に合成し、前記真珠模様シミュレーションデータの干渉光成分を前記描写対象物から把握された表面下散乱成分に合成し、前記真珠模様シミュレーションデータの拡散光成分を前記描写対象物から把握された拡散光成分に合成する工程を有する方法である。

本発明の画像シミュレーション方法によると、人の顔画像をはじめとする種々の立体画像に真珠様模様をシミュレートできる。

図１は本発明に係る画像シミュレーション装置の一概略構成図である。図２はモンテカルロ法によりシミュレートして得られたＢＲＤＦデータの一例を示す図である。図３はコンピュータシステム上に実装されるＢＲＤＦデータの説明図であって、同図Ａは方位角依存での減衰を示すモデル図、同図Ｂは方位角依存での減衰を考慮したＢＲＤＦデータの一例を示す図である。図４は真珠模様シミュレーションデータの干渉光成分の一例を示す図である。図５は本発明に係る他の画像シミュレーション装置の概略構成図である。図６は本発明に係る画像シミュレーション方法における画像成分の対応関係をまとめた図である。図７は本発明に係る画像シミュレーション装置を用いた真珠様模様を付与するシミュレーション方法を示すフローチャートである。図８は図７におけるステップ３の詳細な手順を示すフローチャートである。図９は図７におけるステップ６の詳細な手順を示すフローチャートである。図１０は真珠様模様をシミュレートしたバイオスキンドールの画像である。図１１は自由曲面を有する三次元形状の仮想物品に真珠様模様をシミュレートした当該物品の画像である。

図１は本発明に係る画像シミュレーション方法を実施するための画像シミュレーション装置の一概略構成図である。図１に示す画像シミュレーション装置は、真珠データ保持部４と、描写対象物の画像に真珠様模様を描写する画像生成部（描写手段）５と、描写対象物を撮影する撮影カメラ（撮影手段）１と、撮影された描写対象物の画像から鏡面反射成分と表面下散乱成分と拡散光成分とハイトマップ成分とを取得する画像成分抽出部（画像成分取得手段）２と、撮影された描写対象物の画像から描写対象物の三次元形状を把握する三次元形状把握部（三次元形状把握手段）３を有する。

本発明において真珠様模様を表示させる主たる描写対象物は人の顔や人の顔を再現するためのバイオスキンドール（人の頭部を模した模型）である。描写対象物は、人の顔やバイオスキンドールに限られず、３次元形状を有する有体物であればよい。描写対象物は、人の顔やバイオスキンドールの他には、例えば、椅子や机などの家具類であり、冷蔵庫や掃除機などの家庭用電気製品であり、花瓶や彫刻物などの装飾品であり、被服であり得る。また、現実の物品ではなく、コンピュータグラフィックとして描かれた仮想物品でもあり得る。

描写対象物は、不透明物品、透明物品、半透明物品のいずれかであり得るが、本発明では、好ましくは不透明物品又は半透明物品のいずれかである。本発明において、不透明物品とは物品表面に入射した光が大気と物品表面との境界において反射した光を、表面下散乱成分（後述）を測定することなく鏡面反射光成分（後述）と拡散光成分（後述）のみで取り扱うことが可能な物品を意味する。また、半透明物品とは物品表面に入射した光が大気と物品表面との境界において反射した光のうち、鏡面反射光成分と拡散光成分のみで取り扱うことができず、さらに表面下散乱成分を考慮する必要がある物品を意味する。透明物品とは、それら以外の物品を意味する。もっとも、描写対象物が不透明物品である場合でも、測定した表面下散乱成分をゼロとして取り扱うこと、あるいは測定した表面下散乱成分をそのまま考慮して取り扱うことも可能である。

真珠データ保持部４は、描写対象物に真珠様模様を描写するための基礎となるデータを保持する。当該データは、真珠様模様をシミュレートするための基礎データ（以下、「真珠模様シミュレーションデータ」と言う。）であって、にじみ成分（ＢＲＤＦデータ）と干渉光成分と拡散光成分とからなる。このシミュレーションデータは非特許文献１や非特許文献２に記載された方法によって予め求められる。

にじみ成分は界面下光が反射・透過過程を繰り返すうちに正反射方向からのずれが生じた結果生み出される光の広がりである。このにじみ成分は例えば、次のようにして求められる（非特許文献１参照）。つまり、ある角度で入射した光の、内部での反射・透過過程を確率的にたどり、最終的に表面から出射される光の強度をそれぞれの方向につき積分することによって、入射角に対するすべての反射方向の反射光強度分布を求める。そしてこれをすべての入射方向（入射角）に対して求めて、ＢＲＤＦ（Bidirectional Reflectance Distribution Function）、すなわち、入射方向と反射方向を変数とする反射率分布関数を計算して、にじみ成分とする（モンテカルロ法によるシミュレーション）。図２は、モンテカルロ法によるシミュレーションによって得られたＢＲＤＦデータの一例を示す。図２のデータは方位角がゼロである場合を示す。また、反射分布を用いた近似シミュレーションによってＢＲＤＦを求めることもできる。つまり、多くの反射・透過を繰り返しレイがより長く真珠層内を進むにつれて、レイの方向が正反射・正透過方向からずれる割合が多くなる性質を利用する方法である。この方法は、真珠層内のレイは、界面に近い層では比較的狭い指向性を保っており、より深い層での反射分布はより広い指向性を持っていると考え、それぞれの層での反射分布を計算し、それらを重みづけながら足し合わせることによって界面下反射全体としてのにじみ分布を計算する方法である。本発明においては、上記方法で算出されたいずれのＢＲＤＦデータでも差し支えない。

ＢＲＤＦデータについて、自由曲面へ適用するために、描写対象物の表面から出射される光について方位角（Azimuth angle：φ）が考慮される必要がある。その考慮方法として、例えば、ＢＲＤＦは入射角（ingoing angle：（θ_in,０））と出射角（outgoing angle：（θ_out,φ_out）の方位角差（φ＝φ_out−０：但し０°≦φ≦９０°）が大きくなるにつれて減衰するというモデルが採用され得る。すなわち、図３Ａに示すように、方位角が０度の場合（φ_out＝０）におけるＢＲＤＦ（Ｒ）に対して、方位角を考慮した後のＢＲＤＦ（Ｒ´）は、Ｒ´＝Ｒｃｏｓ（φ）の関係で減衰するというモデルである。この結果、図３Ｂに示すように、ある角度で入射する光（図３Ｂでは入射角＝３０°）について、方位角が考慮されたＢＲＤＦデータが算出される。そして、全範囲の入射角（θ_in：但し０°≦θ_in≦１８０°）に対して方位角が考慮されたＢＲＤＦデータは、コンピュータシステム上ではルックアップテーブルとして実装される。なお、３次元ＢＲＤＦデータ（方位角を考慮した後のＢＲＤＦ）の算出に際して、減衰モデルの代替として他の減衰モデルを適用することも可能である。また、上記の例では方位角が０度、すなわち方位角を考慮することなくＢＲＤＦをシミュレートした後に方位角を考慮する方法が採用されたが、このような２つのステップを踏むことなく、方位角を考慮しながらＢＲＤＦデータをシミュレートすることも可能である。

干渉光成分は、真珠がアラレ石の結晶層と結晶層間気質（蛋白質層）が交互に積層されて層構造を有することに起因する成分である。真珠の干渉色（干渉光成分）は、光源の反対側の光が当たらない面にも現れ、かつ、常に球の中心から同心円状に変化する。真珠に見られる干渉現象は、光源方向に依存する正反射光の干渉（空間的コヒーレンスを保った光の干渉：コヒーレントな成分）と光源方向に依存しない多重反射光の干渉（インコヒーレントな光の干渉：インコヒーレントな成分）とが混在していると考えられている（非特許文献１、非特許文献２参照）。干渉光成分は、このことから提案された多層薄膜干渉の物理的モデル（パーシャルコヒーレントモデル）に基づき求められる。本発明における真珠模様シミュレーションデータにおける干渉光成分は、この物理的モデルに基づいて求められるコヒーレントな成分とインコヒーレントな成分とに分けて考える。インコヒーレントな成分は、例えば次のようにして求められる（非特許文献２参照）。まず、結晶層膜厚列の生成を行った後、視点からレイを放ち、真珠との交差計算をする。交差するものについて、入射角・反射率・透過率の計算をしたのち、干渉計算を真珠層の表層から深層へ向かってすべての可視波長域に対してスペクトル強度（分光反射率）を計算する。干渉光成分は、視線方向と法線方向のなす角毎のスペクトル分布を計算した後（図４）、RGB等色関数を用いて変換し、RGB値として保持される。コヒーレントな干渉光成分も、前記インコヒーレントな成分を求める方法と同様の方法で求められる。ただし、コヒーレントな光の干渉は光源方向に依存するので、反射光の反射分布を考慮する必要がある。この反射分布は、前記にじみ成分を求める際の計算結果が利用され、入射角に対するすべての反射方向の反射光強度分布が求められる。

拡散光成分は、物体表面において表面層へ入射した光が表面層で乱反射した後、再び大気中で現れた光であり、視点方向に依存せず一定の強度で観測され、照射対象物と照射光の色情報、及び照射光の強度により決定される。計算に用いられるシェーディングモデルは公知であり、分光測色計を用いて測定された真珠の物体色からランバードモデルを用いて計算され、反射光成分の強度が保持される。また、撮影された画像から把握された拡散光成分や、真珠様模様として所望する色情報、例えば、L*a*b*表色系のa*値とb*値から設定される色情報からランバードモデルを用いて計算された反射光成分の強度が保持された拡散光成分、つまり、強度が保持された拡散光成分を用いることもできる。なお、撮影された画像から拡散光成分を把握する方法も公知である。

ハイトマップ成分（ハイトマップデータ）は、真珠表面の法線に対する揺らぎであり、描写対象物又は真珠の微小面の撮影画像をグレースケール化することで得られる。白いほど高く黒いほど低いというように、濃淡で高低を表す成分である。ハイトマップ成分も公知の方法で求められる。真珠模様シミュレーションデータであるハイトマップ成分は、真珠微小面の撮影画像だけでなく、その他の画像、例えばノイズ画像、チェック画像、グリッド画像と幾何学的に生成した画像やフラクタル画像のような数学的に生成した画像からも得ることができる。なお、本明細書では、ハイトマップ成分を真珠模様シミュレーションデータとして取り扱っているが、真珠模様シミュレーションデータと切り離して、ハイトマップ成分を独立した成分として取り扱うことができる。

撮影カメラ１は描写対象物を撮影する装置であり、静止画像を取得する。撮影カメラ１が取得した画像は画像成分抽出部２及び三次元形状把握部３に送られる。三次元形状把握部３は撮影カメラ１が取得した画像から描写対象物の三次元形状を把握する。三次元形状は多数のワイヤーが形成する四角形（又は三角形）の面の集合として把握される。

画像成分抽出部２は、撮影手段から送られた画像から、鏡面反射成分と、表面下散乱成分と、拡散光成分と、ハイトマップ成分を抽出（取得）する。鏡面反射成分、表面下散乱成分、拡散光成分、ハイトマップ成分はそれぞれ公知の方法により求められる。

鏡面反射成分は描写対象物の表面へ入射した光が大気と描写対象物の表面層との境界において反射した光成分であって、正反射方向付近で最も強く観察される。また、撮影された画像からではなく、鏡面反射成分は、ゴニオフォトメーターと偏光板などを用いて描写対象物から測定することもできる。ゴニオフォトメーターは、ある方向から対象物に光が照射された時の各方向への光の強度の分布、すなわち配光を測定する装置である。このとき計測される光は、鏡面反射成分と拡散光を含むが、光源やカメラに偏光板を取り付けて測定することで、鏡面反射成分のみを抽出できる（例えば、特開２００１−２３８７２７号公報参照）。画像成分抽出部２は計測された光の強度分布（スペクトル強度）を保持する。

表面下散乱成分は描写対象物に入射した光が描写対象物の内部で散乱し、入射点と異なる場所から出射される光である。表面下散乱成分は入射点からの光の広がりとして現れ、描写対象物に光を入射したときの「観測点の入射点からの距離」と「観測点の輝度値」を測定することで、強さを定義できる。表面下散乱成分は、例えば、向川らの「一般照明下での表面下散乱の計測」（電気学会研究会資料.GID、一般産業研究会、2008(13)、45-50、2008）に従って計測され得る。画像成分抽出部２は、入射点と各観測点間の距離とその各観測点における反射率とを保持する。人の皮膚（人の顔）、バイオスキンドール、大理石のような半透明物体においては、観察される反射光を考える上で、表面下散乱成分は必須の考慮成分である。従って、人の顔やバイオスキンドールに真珠様模様をシミュレートする際には必須である。一方、描写対象物が不透明物品である場合、反射光を取り扱う上では表面下散乱成分が考慮される必要はほとんどない。従って、不透明物品に真珠様模様をシミュレートする際には、表面下散乱成分をゼロとして合成される。もっとも、描写対象物が不透明物品である場合でも、表面下散乱成分を測定した上で取り扱うのが好ましい。

拡散光成分は、物体表面において表面層へ入射した光が表面層で乱反射した後、再び大気中で現れた光であり、視点方向に依存せず一定の強度で観測される。拡散光成分は色情報を含む。拡散光成分は撮影された画像からではなく、分光測色計を用いて描写対象物から測定することもできる。この場合には、分光測色計を用いて測定された描写対象物の物体色からランバードモデルを用いて計算される。描写対象物の物体色からランバードモデルを用いて計算された拡散光成分の強度が保持される。計算に用いられるシェーディングモデルは公知であり、上記真珠模様シミュレーションデータの拡散光成分の算出に用いられたモデルと同じであることが好ましいが、異なるモデルを用いることもできる。

画像生成部５は撮影された描写対象物の表面に真珠様模様を描写し、生成した画像を表示部６に表示させる。表示部６は生成された画像を表示する装置であり、例えばディスプレイであり、プリンタであり得る。

真珠様模様を描写する際に、画像生成部５は、真珠データ保持部４に保持された真珠模様シミュレーションデータを描写対象物の画像から把握された三次元形状に投影する。投影に際し、画像生成部５は、描写対象物の画像から取得された鏡面反射成分に、真珠模様シミュレーションデータのにじみ成分を合成する。画像生成部５は、描写対象物の画像から抽出された表面下散乱成分に、真珠模様シミュレーションデータの干渉光成分、つまり、コヒーレントな干渉光成分と、インコヒーレントな干渉光成分をそれぞれ合成する。そして、画像生成部５は、描写対象物の画像から抽出された拡散光成分に、真珠模様シミュレーションデータの拡散光成分を合成する。さらに、画像生成部５は、描写対象物の画像から抽出されたハイトマップ成分に、真珠模様シミュレーションデータのハイトマップ成分を合成する。

画像生成部５は、三次元形状把握部３が把握した描写対象物の三次元形状に合わせて描写後の画像を生成する。画像生成の際、多数のワイヤーによって構成された四角形（若しくは三角形）の面における法線とそれに対する光の入射角と出射角が考慮される。ここにおいて、出射角度は視線方向を意味する。画像生成部５はワイヤーで形成された各四角形（又は三角形）の面に含まれるピクセル毎に、当該面の法線とそれに対する光の入射角と出射角から上記の各画像成分をシミュレートする。すなわち、画像生成部５は、予め入射角と出射角の全角度（０〜１８０度の相対角度）にわたって算出された上記にじみ成分（ルックアップテーブルとして実装）と干渉光成分をピクセル毎に演算して、描写対象物上に真珠様模様を描写する。この結果、ワイヤーで形成された四角形（又は三角形）の面に含まれるピクセルはすべて同じ角度で計算される。また、ワイヤー上に位置するピクセルにおいては、当該ピクセルが属する２つ以上の面における計算結果の平均値や、当該ピクセルが属する２つ以上の面から任意の面を選択して得られた計算結果、あるいは当該ピクセルが属する２つ以上の面のうち、当該ピクセルが属する面積が最小又は最大となる面における計算結果などが用いられる。

画像シミュレーション装置は、真珠模様シミュレーションデータを描写対象物の画像に合成する際、合成時の強度（合成する割合）を変化させる調整部（調整手段）を有する（図示せず）。調整部は任意的手段であって、必要に応じて備えられる。調整部は、少なくともにじみ成分、干渉光成分、表面下散乱成分、ハイトマップ成分のうち少なくとも何れか一つの成分について前記強度を変化させる。調整部を介して強度を変化させて、観察者が所望する真珠様模様を描写対象物にシミュレートさせることができる。この強度変化は操作部７から指示され得る。また、好ましくは、全ての成分をそれぞれ単独に調整できる調整部が備えられる。

上記の構成では真珠のきめ感を表すハイトマップ成分が考慮されているが、本発明では、ハイトマップ成分は任意的成分として扱われる。ハイトマップ成分を考慮すれば、画質にきめ感が付与され、より真珠に近づいた真珠様模様をシミュレートできる。ハイトマップ成分を考慮する場合、描写対象物から把握されるハイトマップ成分に真珠模様シミュレーションデータのハイトマップ成分を合成するほか、描写対象物から把握されるハイトマップ成分をゼロとして取り扱うこと、描写対象物のハイトマップ成分を把握することなく描写対象物の画像にハイトマップ成分として合成してもよい。

図５に示す画像シミュレーション装置は、図１に示す画像シミュレーション装置にさらに相互反射データ（相互反射成分）を保持した相互反射データ保持部（相互反射データ保持手段）８を備え、画像生成部５は相互反射データ保持部８に保持された相互反射データを反映した上で真珠様模様を描写対象物に描写する。

相互反射は、物体から反射した光が周りにある他の物体にぶつかって、それを照らす（その物体に映り込む）という現象である。対象物の表面で起こっている現象は鏡面反射と同じ（物体表面へ入射した光が大気と表面との境界において反射する現象）であり、鏡面反射との違いは入射光である。鏡面反射成分が光源から直接対象物に入射する光の成分であるのに対し、相互反射成分は他の物体で反射してから対象物に入射する光の成分である。相互反射を反映させるためには、対象物以外の物体（たとえば、床や壁、花瓶などであり、多種多様である。）の存在が必要である。相互反射成分は描画対象物の画像に上乗せされる成分である。相互反射成分も公知の手法によって予め求めた後に、相互反射データ保持部８に保持される。相互反射成分も任意的成分であって、相互反射成分をさらに合成することで、より真珠様模様に近い画像がシミュレートされる。また、前記調整部は相互反射データを合成する際の強度を調整し得る。

図６は本発明に係る画像シミュレート方法（真珠様模様シミュレーション方法）における画像成分の対応関係をまとめた図である。すなわち、真珠らしさを表す要素は上記のとおり輝き感、深み感、きめ感である。このうち輝き感は、主として真珠表面における表面反射成分に影響され、にじみ成分としてシミュレートされる。また、輝き感は真珠らしさを付加する任意的要素である相互反射成分にも影響される。そして、深み感は真珠表面下における内部反射成分である干渉光成分（コヒーレントな成分とインコヒーレントな成分）と拡散光成分としてシミュレートされる。きめ感は輝き感と深み感の両者では十分に真珠らしさを出せない場合に付加される要素であり、ハイトマップ成分としてシミュレートされる。そして、これらの成分が、描画対象物の画像から把握される画像成分に合成される。つまり、輝き感を導くにじみ成分は、描画対象物の画像から把握される表面反射成分のうち鏡面反射成分に合成される。深み感を導く干渉光成分（コヒーレントな成分とインコヒーレントな成分の両者）は描画対象物の画像から把握される内部反射成分のうち表面下散乱成分に、深み感を導く拡散光成分は描画対象物の画像から把握される内部反射成分のうち拡散光成分にそれぞれ合成される。また、任意的要素であるきめ感を付与するハイトマップ成分は描画対象物の画像から把握されるハイトマップ成分に合成される。さらに必要に応じて周囲の環境を反映する相互反射成分が合成される。このように真珠様模様をシミュレートする要素を描画対象物の画像から把握される成分に合成することで、種々の描画対象物に真珠様模様をシミュレートすることができる。なお、描画対象物の画像には、相互反射成分、鏡面反射成分、表面下散乱成分、拡散光成分、ハイトマップ成分が一体となって表示されており、見かけ上、描画対象物の画像に、真珠模様シミュレーションデータを構成するにじみ成分、干渉光成分、拡散光成分をそれぞれ合成すれば、描画対象物に真珠様模様がシミュレートされる。そして、必要に応じて、ハイトマップ成分や相互反射成分を合成すれば、より真珠らしさが表現される。

本発明に係る画像シミュレーション装置は、仮想物品にも真珠様模様をシミュレートできる。仮想物品へのシミュレート時には、鏡面反射成分、表面下散乱成分、拡散光成分、ハイトマップ成分、三次元形状に関するデータは任意に設定したデータがそれぞれ用いられ得る。

次に当該画像シミュレーション装置を用いた真珠様模様を付与するシミュレーション方法を、図７〜９に示すフローチャートに基づいて説明する。このシミュレーション方法は、任意的成分であるハイトマップ成分と任意的成分である相互反射成分の双方を考慮した場合を示している。なお、フローチャートにおいては、予め真珠模様シミュレーションデータと描写対象物から把握された各成分と、三次元形状は既に取得されているものとする。

真珠様模様をシミュレートするに際し、まず、検証事項を選択する（Ｓ１）。すなわち、真珠らしさを表す要素である輝き感、深み感、きめ感のどの要素について検証するか、言い換えると、所望する画像が得られているかどうかについて、どの要素から判断するのかを選択する。例えば、輝き感から検証する場合（Ｓ２：ＹＥＳ）、輝き感に影響する表面反射成分を調整する（Ｓ３）。表面反射成分を調整するステップＳ３では図８に示すように、まず、にじみの見え具合がよいかどうかを検証する（Ｓ３１）。その結果、にじみ成分がよくないのであれば（Ｓ３１：ＹＥＳ）、にじみ成分の強度を調整する（Ｓ３２）。そして、所望する画像が得られれば（Ｓ４：ＹＥＳ）、他の要素を検討することなく、シミュレーションを終了する。

また、ステップＳ３１においてにじみがよいと判断した場合には（Ｓ３１：ＮＯ）、相互反射成分の強度を調整する（Ｓ３３）。そして、所望する画像が得られれば（Ｓ４：ＹＥＳ）、他の要素を検討することなく、シミュレーションを終了する。また、所望する画像が得られないのであれば（Ｓ４：ＮＯ）、ステップＳ２に戻り、再び輝き感を検証するどうかを選択する（Ｓ２）。

次に図７のステップＳ２に戻って、輝き感を選択しないのであれば（Ｓ２：ＮＯ）、深み感を検証するかどうかを選択する（Ｓ５）。深み感を検証する場合（Ｓ５：ＹＥＳ）、深み感に影響する内部反射成分を調整する（Ｓ６）。内部反射成分を調整するステップＳ６では図９に示すように、まず、干渉光のうち、コヒーレントな成分の見え具合がよいかどうかを検証する（Ｓ６１）。その結果、コヒーレントな成分の見え具合がよくないのであれば（Ｓ６１：ＹＥＳ）、コヒーレントな成分の強度を調整する（Ｓ６２）。そして、所望する画像が得られれば（Ｓ７：ＹＥＳ）、他の要素を検討することなく、シミュレーションを終了する。

また、ステップＳ６１においてコヒーレントな成分の見え具合がよいと判断した場合には（Ｓ６１：ＮＯ）、次に干渉光のうちインコヒーレントな成分の見え具合がよいかどうかを検証する（Ｓ６３）。その結果、インコヒーレントな成分の見え具合がよくないのであれば（Ｓ６３：ＹＥＳ）、インコヒーレントな成分の強度を調整する（Ｓ６４）。そして、所望する画像が得られれば（Ｓ７：ＹＥＳ）、他の要素を検討することなく、シミュレーションを終了する。

また、ステップＳ６３においてインコヒーレントな成分の見え具合がよいと判断した場合には（Ｓ６３：ＮＯ）、拡散光成分の強度を調整する（Ｓ６５）。そして、所望する画像が得られていれば（Ｓ７：ＹＥＳ）、他の要素を検討することなく、シミュレーションを終了する。また、所望する画像が得られないのであれば（Ｓ７：ＮＯ）、ステップＳ２に戻り、再び輝き感を検証するどうかを選択する（Ｓ２）。

上記のステップを経たのち、輝き感も深み感も検証せず、きめ感について検証する場合には（Ｓ２：ＮＯ、Ｓ５：ＮＯ、Ｓ８：ＹＥＳ）、きめ感に影響するハイトマップ成分を調整する（Ｓ９）。そして。所望する画像が得られていれば（Ｓ１０：ＹＥＳ）、シミュレーションを終了する。また、得られていないと、再びステップＳ２に戻り、輝き感を検証するかどうかを選択する。

以上の流れにより、所望する真珠様模様を描画対象物にシミュレートさせることができる。以上のフローチャートでは、説明の便宜上、３つの要素を輝き感、深み感、きめ感の順序で説明した。しかし、輝き感、深み感、きめ感は等価であり、輝き感に影響を与えるにじみ成分や相互反射成分、深み感に影響を与える干渉光成分や拡散光成分、そして、ハイトマップ成分の各強度を順不動で調整して、所望する画像を得ることができる。また、相互反射成分やハイトマップ成分はそれぞれ任意的な成分であるので、必要に応じてそれぞれの成分をさらに合成する、さらには合成時の強度をそれぞれ調整すればよい。

また、上記画像シミュレーション装置は、撮影手段としての撮影カメラ及び画像成分取得手段としての画像成分抽出部を備えているが、上記装置は本発明の一実施形態を示したに過ぎず、撮影手段、画像成分取得部、三次元形状把握部は必須のものではない。つまり、上記構成の画像シミュレーション装置から撮影手段と画像成分取得手段と三次元形状把握手段を分離させることもできる。撮影手段や画像成分取得手段、三次元形状把握手段を備えない画像シミュレーション装置では、撮影した描写対象物から必要な画像成分と三次元形状を事前に解析しておき、シミュレート時にこれらのデータが画像生成部に入力される。また、描写対象物が仮想の場合には人工的に計算された画像成分や三次元形状に係るデータが画像生成部に入力され、真珠模様シミュレーションデータとして計算されたハイトマップ成分や拡散光成分が用いられる際にはこれらのデータが画像生成部に入力される。

上記方法によりバイオスキンドールに真珠様模様をシミュレートした。図１０に真珠様模様をシミュレートしたバイオスキンドールの画像を示す。

自由曲面を有する三次元形状の仮想物品に真珠様模様をシミュレートした。図１１に真珠様模様をシミュレートした当該物品の画像を示す。（ａ）は仮想物品の画像に拡散光成分（diffuse component）を合成した画像を、（ｂ）は仮想物品の画像ににじみ成分（blurring component）と相互反射成分（mirroring component）を合成した画像を、（ｃ）は仮想物品の画像にインコヒーレントな干渉光成分（incoherent light interference component）を合成した画像を、（ｄ）は仮想物品の画像にコヒーレントな干渉光成分（coherent light interference component）を合成した画像を、（ｅ）は（ａ）〜（ｄ）を合成して得られた最終画像を示す。

本発明によると、新たな化粧品の開発に利用しうる画像シミュレーション装置が提供される。

２画像成分抽出部
３三次元形状把握部
４真珠データ保持部
５画像生成部
８相互反射データ保持部

Claims

描写対象物に真珠様模様を描写する画像シミュレーション方法であって、
描写前における描写対象物から鏡面反射成分と表面下散乱成分と拡散光成分を把握する工程と、
にじみ成分と干渉光成分と拡散光成分からなる真珠模様シミュレーションデータのにじみ成分を前記描写対象物から把握された鏡面反射成分に合成し、前記真珠模様シミュレーションデータの干渉光成分を前記描写対象物から把握された表面下散乱成分に合成し、前記真珠模様シミュレーションデータの拡散光成分を前記描写対象物から把握された拡散光成分に合成する工程を有する画像シミュレーション方法。
前記真珠模様シミュレーションデータは、にじみ成分と干渉光成分についてそれぞれ、入射角に対する反射強度分布データを有し、
にじみ成分の鏡面反射成分への合成及び干渉光成分の表面下散乱成分への合成に際して、前記反射強度分布データを適用する請求項１に記載の画像シミュレーション方法。
さらに、前記真珠模様シミュレーションデータはハイトマップ成分を有し、
当該真珠模様シミュレーションデータのハイトマップ成分を前記描写対象物のハイトマップ成分として合成する工程を有する請求項１又は２に記載の画像シミュレーション方法。
さらに、相互反射成分を真珠様模様に合成する工程を有する請求項１〜３のいずれか１項に記載の画像シミュレーション方法。
前記描写対象物が不透明物体である場合に前記表面下散乱成分をゼロとして合成する請求項１〜４のいずれか１項に記載の画像シミュレーション方法。
真珠模様シミュレーションデータを保持するデータ保持手段と、
描写対象物の画像に真珠様模様を描写する描写手段と、を備えた画像シミュレーション装置であって、
前記真珠模様シミュレーションデータは、にじみ成分と干渉光成分と拡散光成分とからなり、
前記描写手段は、前記にじみ成分を前記描写対象物から把握された鏡面反射成分に合成し、前記真珠模様シミュレーションデータの干渉光成分を前記描写対象物から把握された表面下散乱成分に合成し、前記真珠模様シミュレーションデータの拡散光成分を前記描写対象物から把握された拡散光成分に合成する、
画像シミュレーション装置。
前記データ保持手段は、前記にじみ成分と干渉光成分についてそれぞれ、入射角に対する反射強度分布データを有し、
前記描写手段は、前記にじみ成分を鏡面反射成分に合成する際に、入射角に応じたにじみ成分の反射強度分布データを適用するとともに、前記干渉光成分を表面下散乱成分に合成する際に、入射角に応じた干渉光成分の反射強度分布データを適用する、請求項６に記載の画像シミュレーション装置。
さらに、描写対象物を撮影する撮影手段と、
撮影された画像から、鏡面反射成分と表面下散乱成分と干渉光成分を取得する画像成分取得手段を備えた請求項６又は７に記載の画像シミュレーション装置。
前記画像成分取得手段は、さらに撮影された画像からハイトマップ成分を取得する請求項８に記載の画像シミュレーション装置。
さらに、前記真珠模様シミュレーションデータはハイトマップ成分を有し、
前記描写手段は、当該真珠模様シミュレーションデータのハイトマップ成分を前記描写対象物のハイトマップ成分として合成する請求項６〜９の何れか１項に記載の画像シミュレーション装置。
さらに、相互反射成分を保持する相互反射成分保持手段を備え、
前記描写手段は、相互反射成分を真珠様模様に合成する請求項６〜１０の何れか１項に記載の画像シミュレーション装置。
描写対象物が不透明物体である場合に前記表面下散乱成分をゼロとして合成する請求項６〜１１のいずれか１項に記載の画像シミュレーション装置。