JP2024034889A - 化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラム、及び、化粧シミュレーション装置 - Google Patents

化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラム、及び、化粧シミュレーション装置 Download PDF

Info

Publication number
JP2024034889A
JP2024034889A JP2022139444A JP2022139444A JP2024034889A JP 2024034889 A JP2024034889 A JP 2024034889A JP 2022139444 A JP2022139444 A JP 2022139444A JP 2022139444 A JP2022139444 A JP 2022139444A JP 2024034889 A JP2024034889 A JP 2024034889A
Authority
JP
Japan
Prior art keywords
image
color signal
makeup
cosmetic
reflection characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022139444A
Other languages
English (en)
Inventor
航 丸木
千晶 泉
法博 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kose Corp
Original Assignee
Kose Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kose Corp filed Critical Kose Corp
Priority to JP2022139444A priority Critical patent/JP2024034889A/ja
Publication of JP2024034889A publication Critical patent/JP2024034889A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Abstract

【課題】化粧シミュレーションの再現精度を高める化粧シミュレーションシステム、装置、方法及びプログラムを提供する。【解決手段】システムにおいて、サーバのＧＰＵは、塗布対象物の化粧前の画像である第１画像又は照明環境推定用画像を用いて照明環境を推定する照明環境推定部、第１画像の第１ＲＧＢ値から化粧前の塗布対象物における第１分光反射率を算出する第１分光反射率算出部、第１三次元反射特性モデルを用いて化粧前の塗布対象物における第１色信号を算出する第１色信号算出部、第２三次元反射特性モデルを用いて化粧料の第２色信号を算出する第２色信号算出部、化粧状態の塗布対象物における第３色信号を算出する第３色信号算出部、化粧状態の塗布対象物における第２ＲＧＢ値を算出する第２ＲＧＢ値算出部、第２ＲＧＢ値に基づいて第２画像を生成する第２画像生成部及び第１画像と第２画像とを重畳した重畳画像を生成する重畳画像生成部を備える。【選択図】図４

Description

本発明は、塗布対象物に化粧料を塗布した状態を再現するための化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラム、及び、化粧シミュレーション装置に関する。
ユーザの顔画像を用いて化粧料を塗布した後の顔のシミュレーション画像を表示する化粧シミュレーションシステムが知られている。例えば、特許文献１には、未化粧状態におけるユーザの顔画像に化粧料ごとのパターンを重畳することで、化粧料を塗布した状態の顔のシミュレーション画像を生成する化粧シミュレーション方法が記載されている。
特開２００７－２５７１９４号公報
顔に化粧料を塗布した場合、化粧料が塗布された領域は、肌の色と化粧料の色とが組み合わされた色を有する。すなわち、使用者の肌の色が異なる場合には、同じ化粧料を塗布した場合であっても、化粧料が塗布された領域は、異なる色を有する。しかし、上記のようなユーザの顔画像に対して単純に化粧料のパターンを重畳する方法では、肌の色がシミュレーション画像に反映されず、シミュレーション画像とユーザが実際に化粧をした際の外観との乖離が大きくなってしまう。したがって、上記方法では、再現精度の高い化粧シミュレーションを行うことが困難である。
そこで、本発明は、化粧シミュレーションの再現精度を高めることが可能な技術を提供することを主目的とする。
本発明は、
化粧料が塗布される塗布対象物の化粧前の画像である第１画像又は照明環境推定用画像を用いて、前記第１画像又は前記照明環境推定用画像における照明環境を推定する照明環境推定部と、
前記第１画像の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する第１分光反射率算出部と、
前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて、前記化粧前の前記塗布対象物における第１色信号を算出する第１色信号算出部と、
前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて、前記化粧料の第２色信号を算出する第２色信号算出部と、
前記第１色信号及び前記第２色信号から、前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する第３色信号算出部と、
前記第３色信号から、前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する第２ＲＧＢ値算出部と、
前記第２ＲＧＢ値に基づいて第２画像を生成する第２画像生成部と、
前記第１画像と前記第２画像とを重畳した重畳画像を生成する重畳画像生成部と、
を備える、化粧シミュレーションシステム
を提供する。
前記第１画像又は前記照明環境推定用画像は、ＲＧＢカラー画像、マルチバンド画像、又はマルチスペクトル画像であってよい。
前記第１画像と前記照明環境推定用画像とは、同一の画像であってよい。
前記化粧シミュレーションシステムは、前記塗布対象物に照射されうる照明光の分光分布である照明分光分布と前記照明光を発生させる照明光源の空間分布との組合せである光源情報を照明環境ごとに記憶する照明環境データベースをさらに備えていてよい。
前記照明環境の推定において用いられる前記第１画像又は前記照明環境推定用画像がＲＧＢ画像又はマルチバンド画像である場合において、前記化粧シミュレーションシステムは、ＲＧＢ値から照明光の分光分布を求めるためのシステム変換マトリックスを記憶する変換マトリックス記憶部をさらに備えていてよく、前記照明環境推定部は、前記第１画像又は前記照明環境推定用画像から推定された照明方向ベクトルと、前記照明光の分光分布を求めるためのシステム変換マトリックスを用いて前記第１画像又は前記照明環境推定用画像のＲＧＢ値から求められた前記照明光の分光分布と、に基づいて照明光源の空間分布を推定することにより、前記第１画像又は前記照明環境推定用画像における前記照明環境を推定してよい。
前記照明環境の推定において用いられる前記第１画像又は前記照明環境推定用画像がマルチスペクトル画像である場合において、前記照明環境推定部は、前記第１画像又は前記照明環境推定用画像から取得された照明光の分光分布に基づいて、前記第１画像又は前記照明環境推定用画像における前記照明環境を推定してよい。
前記化粧シミュレーションシステムは、前記第２反射特性パラメータと化粧料の物理的特性に関する情報とを対応付けて記憶する化粧料データベースをさらに備えていてよく、前記第２色信号算出部は、前記化粧料データベースから前記化粧料の物理的特性に関する情報に対応する前記第２反射特性パラメータを読み出し、読み出された前記第２反射特性パラメータと、前記照明光の前記分光分布及び前記幾何条件と、で表現される第２三次元反射特性モデルを用いて前記化粧料の前記第２色信号を算出してよい。
前記第２ＲＧＢ値算出部は、人間の視覚特性と前記重畳画像が出力されるカラー画像出力装置の特性とに基づいて前記第３色信号を補正し、補正された前記第３色信号から前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出してよい。
また、本発明は、
化粧料が塗布される塗布対象物の化粧前の画像である第１画像から前記塗布対象物の三次元形状を推定する形状推定部と、
前記第１画像又は照明環境推定用画像を用いて、前記第１画像又は前記照明環境推定用画像における照明環境を推定する照明環境推定部と、
前記第１画像の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する第１分光反射率算出部と、
前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて、前記化粧前の前記塗布対象物における第１色信号を算出する第１色信号算出部と、
前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて、前記化粧料の第２色信号を算出する第２色信号算出部と、
前記第１色信号及び前記第２色信号から、前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する第３色信号算出部と、
前記第３色信号から、前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する第２ＲＧＢ値算出部と、
前記第２ＲＧＢ値に基づいて第２画像を生成する第２画像生成部と、
前記第１画像と前記第２画像とを重畳した重畳画像を生成する重畳画像生成部と、
を備える、化粧シミュレーションシステム
も提供する。
また、本発明は、
化粧料が塗布される塗布対象物の化粧前の画像である第１画像又は照明環境推定用画像を用いて、前記第１画像又は前記照明環境推定用画像における照明環境を推定する照明環境推定部と、
前記第１画像の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する第１分光反射率算出部と、
前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて、前記化粧前の前記塗布対象物における第１色信号を算出する第１色信号算出部と、
前記第１画像から前記塗布対象物の特徴部分を特定する特徴部分特定部と、
前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて、前記化粧料の第２色信号を算出する第２色信号算出部と、
前記第１色信号及び前記第２色信号から、前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する第３色信号算出部と、
前記第３色信号から、前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する第２ＲＧＢ値算出部と、
前記第２ＲＧＢ値に基づいて第２画像を生成する第２画像生成部と、
前記第１画像と前記第２画像とを重畳した重畳画像を生成する重畳画像生成部と、
を備える、化粧シミュレーションシステム
も提供する。
また、本発明は、
化粧料が塗布される塗布対象物の化粧前の画像である第１画像から前記塗布対象物の表面の凹凸を数学モデルとして特定する肌質特定部と、
前記第１画像又は照明環境推定用画像を用いて、前記第１画像又は前記照明環境推定用画像における照明環境を推定する照明環境推定部と、
前記第１画像の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する第１分光反射率算出部と、
前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて、前記化粧前の前記塗布対象物における第１色信号を算出する第１色信号算出部と、
前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて、前記化粧料の第２色信号を算出する第２色信号算出部と、
前記第１色信号及び前記第２色信号から、前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する第３色信号算出部と、
前記第３色信号から、前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する第２ＲＧＢ値算出部と、
前記第２ＲＧＢ値に基づいて第２画像を生成する第２画像生成部と、
前記第１画像と前記第２画像とを重畳した重畳画像を生成する重畳画像生成部と、
を備える、化粧シミュレーションシステム。
前記第１色信号算出部又は前記第２色信号算出部は、前記塗布対象物の表面の凹凸による陰影又は光沢の変化を計算し、前記計算により得られた前記塗布対象物の表面の凹凸による陰影又は光沢に関する情報を含む質感情報をさらに用いて、前記第１色信号又は前記第２色信号を算出してよい。
また、本発明は、
化粧料が塗布される塗布対象物の化粧前の画像である第１画像又は照明環境推定用画像を用いて、前記第１画像又は前記照明環境推定用画像における照明環境を推定する工程と、
前記第１画像の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する工程と、
前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて、前記化粧前の前記塗布対象物における第１色信号を算出する工程と、
前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて、前記化粧料の第２色信号を算出する工程と、
前記第１色信号及び前記第２色信号から、前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する工程と、
前記第３色信号から、前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する工程と、
前記第２ＲＧＢ値に基づいて第２画像を生成する工程と、
前記第１画像と前記第２画像とを重畳した重畳画像を生成する工程と、
を含む、化粧シミュレーション方法
も提供する。
また、本発明は、
コンピュータに、
化粧料が塗布される塗布対象物の化粧前の画像である第１画像又は照明環境推定用画像を用いて、前記第１画像又は前記照明環境推定用画像における照明環境を推定する処理と、
前記第１画像の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する処理と、
前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて、前記化粧前の前記塗布対象物における第１色信号を算出する処理と、
前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて、前記化粧料の第２色信号を算出する処理と、
前記第１色信号及び前記第２色信号から、前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する処理と、
前記第３色信号から、前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する処理と、
前記第２ＲＧＢ値に基づいて第２画像を生成する処理と、
前記第１画像と前記第２画像とを重畳した重畳画像を生成する処理と、
を実行させる、化粧シミュレーションプログラム
も提供する。
また、本発明は、
化粧料が塗布される塗布対象物の化粧前の画像である第１画像又は照明環境推定用画像を用いて、前記第１画像又は照明環境推定用画像における照明環境を推定する照明環境推定部と、
前記第１画像の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する第１分光反射率算出部と、
前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて前記化粧前の前記塗布対象物における第１色信号を算出する第１色信号算出部と、
前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて、前記化粧料の第２色信号を算出する第２色信号算出部と、
前記第１色信号及び前記第２色信号から、前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する第３色信号算出部と、
前記第３色信号から、前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する第２ＲＧＢ値算出部と、
前記第２ＲＧＢ値に基づいて第２画像を生成する第２画像生成部と、
前記第１画像と前記第２画像とを重畳した重畳画像を生成する重畳画像生成部と、
を備える、化粧シミュレーション装置
も提供する。
本発明により、化粧シミュレーションの再現精度を高めることが可能な技術が提供される。特には、本発明により、３ＤＣＧ技術に基づいて化粧膜を３Ｄレンダリングした三次元画像と塗布対象物の画像とを合成することが可能な技術が提供される。なお、本発明の効果は、ここに記載された効果に限定されず、本明細書内に記載されたいずれかの効果であってもよい。
化粧シミュレーションシステムの全体構成を示す模式図。 ユーザ端末の構成を示すブロック図。 サーバの構成を示すブロック図。 サーバが備えるＧＰＵの機能ブロック図。 第１画像が表示されたアプリ画像を表す模式図。 化粧料選択領域が表示されたアプリ画像を表す模式図。 化粧シミュレーションシステムにおける処理手順を示すフローチャート。 化粧シミュレーションシステムにおける反射の幾何学モデルを示す模式図。 図８に示す反射の幾何学モデルにおける反射光分布を示す模式図。 化粧料に含まれる光輝剤の多層膜で生じる干渉光を表す模式図。 重畳画像が表示されたアプリ画像を表す模式図。
１．第１実施形態
以下、化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラム、及び、化粧シミュレーション装置の第１実施形態について図１～図１１を参照して説明する。本実施形態では、化粧シミュレーションが行われる対象が顔であり、化粧料が塗布される塗布対象物が顔の肌又は唇である場合を例に挙げる。なお、以下の説明において「画像」は、静止画及び動画を包含する概念である。また、「動画」はリアルタイムに撮影されている動画映像や撮影済みの動画映像も包含する概念である。
〔全体構成〕
図１に示すように、化粧シミュレーションシステム１は、ユーザ端末１０と、サーバ２０とを備える。ユーザ端末１０は、ユーザ２が所有する情報処理装置であって、一例として、スマートフォンである。なお、ユーザ端末１０は、タブレット、ラップトップパソコン、デスクトップパソコンなどの情報処理装置であってもよい。
サーバ２０は、化粧シミュレーションシステム１における各種処理を実行するサーバコンピュータであって、化粧シミュレーションを行うための化粧シミュレーション装置の一例である。具体的に、サーバ２０は、化粧料を塗布した状態である化粧状態における顔の肌及び唇の画像である第２画像を生成する。また、サーバ２０は、化粧料を塗布する前の状態である未化粧状態における顔の肌及び唇の画像である第１画像に、第２画像を重畳させる。なお、本実施形態において、第１画像は、塗布対象物を含む画像であればよく、塗布対象物以外の物を含んでいてよい。例えば塗布対象物が唇である場合、第１画像は、唇と唇以外の部位とを含む画像であってよく、具体的には顔画像であってよい。
ユーザ端末１０及びサーバ２０は、通信回線であるネットワーク３を介して接続されている。ネットワーク３は、一例として、携帯電話の４Ｇ、５Ｇなどの移動通信システム、Ｗｉ‐Ｆｉ（登録商標）などの無線ＬＡＮ通信システムである。
ユーザ端末１０には、アプリケーションプログラムとしての画像表示プログラムがインストールされている。画像表示プログラムは、ユーザ端末１０に第１画像、及び第１画像と第２画像とを重畳した重畳画像などの各種画像を表示する処理を実行させるプログラムである。画像表示プログラムは、ネットワークを介してアプリケーション配信装置からダウンロードされ、ユーザ端末１０にインストールされる。
ユーザ端末１０は、タッチパネル１３を備える。タッチパネル１３には、未化粧状態の画像である第１画像３０ａや、シミュレーション結果としての重畳画像３０ｂなどの各種画像が表示される。
〔ユーザ端末〕
図２に示すように、ユーザ端末１０は、制御部１１と、メモリ１２と、タッチパネル１３と、撮像部１４と、通信部１５とを備える。制御部１１は、一例として、ＣＰＵであり、ユーザ端末１０における全体の動作を制御する。
メモリ１２は、メインメモリとデータ記憶部とを備える。メモリ１２が備えるメインメモリは、一例として、ＲＡＭであり、ユーザ端末１０のデータやプログラムなどを一時的に記憶する。メモリ１２が備えるデータ記憶部は、不揮発性メモリであって、一例として、フラッシュメモリである。メモリ１２が備えるデータ記憶部には、例えば、画像表示プログラムなど、ユーザ端末１０における各種処理を実行するためのプログラムが記憶されている。
タッチパネル１３は、液晶パネルや有機ＥＬパネルなどの表示デバイスと、位置入力デバイスとを組み合わせたタッチ操作入力が可能なディスプレイである。すなわち、タッチパネル１３は、ユーザ端末１０において、画像３０が表示される表示部であり、また、サーバ２０に対して操作入力を行う操作部である。
撮像部１４は、一例として、ＣＣＤやＣＭＯＳ等の撮像素子を備えるＲＧＢカメラである。撮像部１４は、可視光等の光を検出し、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＲＧＢ値で構成された画像データを出力する。以下では、撮像部１４で取得された画像のＲＧＢ値を第１ＲＧＢ値とする。
撮像部１４は、第１ＲＧＢ値で構成される、未化粧状態でのユーザ２の顔画像（未化粧状態の顔の肌及び唇を含む第１画像）を取得する。また、撮影部１４は、後述する照明環境推定部において用いられる照明環境推定用画像を取得してもよい。
通信部１５は、ネットワーク３を介して、サーバ２０と通信する。具体的に、通信部１５は、ユーザ端末１０からの信号をサーバ２０に送信し、また、サーバ２０が生成した画像などのデータを受信する。また、通信部１５は、ネットワーク３を介してサーバ２０以外の情報処理装置（図示せず）と通信可能であってよい。この場合、通信部１５は、例えばサーバ２０以外の情報処理装置から第１画像又は上記照明環境推定用画像を受信してもよい。
〔サーバ〕
図３に示すように、サーバ２０は、制御部２１と、メモリ２４と、通信部２５とを備える。制御部２１は、一例として、ＣＰＵ２２とＧＰＵ２３とを備える。ＣＰＵ２２は、サーバ２０における画像の生成処理以外の全体の動作を制御する。ＧＰＵ２３は、サーバ２０における画像の生成処理を実行する。
メモリ２４は、メインメモリとデータ記憶部とを備える。メモリ２４が備えるメインメモリは、一例として、ＲＡＭであり、サーバ２０のデータやプログラムなどを一時的に記憶する。メモリ２４が備えるデータ記憶部は、不揮発性メモリであって、一例として、ＨＤＤやＳＳＤなどのフラッシュメモリである。
メモリ２４が備えるデータ記憶部には、例えば、化粧シミュレーションプログラムなど、サーバ２０における各種処理を実行するためのプログラムが記憶されている。化粧シミュレーションプログラムは、第２画像を生成し、第１画像と第２画像とを重畳した重畳画像を生成する処理をサーバ２０に実行させるプログラムである。化粧シミュレーションプログラムにおける処理は、制御部２１が備えるＧＰＵ２３によって制御される。
メモリ２４は、データ記憶部としての分光変換データベース２４ａと、照明環境データベース２４ｂと、化粧料データベース２４ｃとを備える。また、メモリ２４は、ＲＧＢ値から照明光の分光分布を求めるためのシステム変換マトリックスを記憶する変換マトリックス記憶部２４ｄをさらに備えていてもよい。
分光変換データベース２４ａは、第１画像において、化粧料が塗布される対象である塗布対象物を構成する第１ＲＧＢ値を未化粧状態における塗布対象物の分光反射率である第１分光反射率Ｓ１（λ）に変換するための第１変換関数Ｍを記憶する。本実施形態では、分光変換データベース２４ａは、塗布対象物の一例である顔における素肌及び唇のそれぞれについて、第１ＲＧＢ値を第１分光反射率Ｓ１（λ）に変換するための第１変換関数Ｍを記憶する。
第１変換関数Ｍは、多数の人々を対象として塗布対象物のＲＧＢ値及び分光反射率を実測し、塗布対象物のＲＧＢ値及び分光反射率の対応関係を実測対象者の塗布対象物の色ごとに統計的に分析することで得られる変換マトリックスである。第１変換関数Ｍは、一例として、４００ｎｍ～７００ｎｍの可視波長域を５ｎｍ間隔に区分した６１×３の変換行列である。
具体例として、分光変換データベース２４ａは、塗布対象物の一例である肌に含まれるメラニン色素量に応じて、第１タイプの肌と、第２タイプの肌と、第３タイプの肌との３つのタイプに分けて、肌の色に応じた第１変換関数Ｍを記憶する。第１タイプの肌は、メラニン色素量が第２タイプ及び第３タイプよりも少ない第１範囲内にある肌であって、肌に光を当てた時の各波長の相対反射率が高い肌である。第２タイプの肌は、メラニン色素量が第１範囲より多い第２範囲内にある肌であって、肌に光を当てた時の各波長の相対反射率が中程度の肌である。第３タイプの肌は、メラニン色素量が第２範囲より多い第３範囲内にある肌であって、肌に光を当てた時の各波長の相対反射率が低い肌である。なお、分光変換データベース２４ａは、例えば、肌のＲＧＢ値を所定の範囲ごとに区分し、肌のＲＧＢ値における区分ごとの第１変換関数Ｍを記憶してもよい。
照明環境データベース２４ｂは、塗布対象物に照射されうる照明光の分光分布である照明分光分布Ｅ（λ）と、照明光を発生させる照明光源の空間分布との組合せである光源情報を照明環境ごとに記憶する。ここでの照明光源には、例えば、塗布対象物に対して照明光を直接照射する直接光源と、照明環境中に存在する物体が直接光源からの照明光を塗布対象物に向けて反射する反射光源とがあるものの、本実施形態ではこれらは特に区別されない。したがって、照明環境データベース２４ｂは、塗布対象物を中心とした全方位について、直接光源と反射光源とを含めた照明光源の空間分布と、照明光源から照射される照明光の照明分光分布Ｅ（λ）を記憶する。なお、照明光源の空間分布は、塗布対象物に対する照明光の入射角度などの幾何条件を規定するための情報として用いられる。
また、ここでの照明環境とは、塗布対象物に対して特定のシーンにおける照明効果を再現するための照明分光分布Ｅ（λ）及び照明光源の空間分布の組合せである。照明環境の具体例としては、人工の直接光源が適用される屋内環境、また、自然の直接光源が適用される屋外環境などがあり、屋外環境としては、朝、昼、夕、夜などの時間帯ごとに区分される。人工の直接光源としては、例えば、白熱電球、蛍光灯、ＬＥＤライトなどであり、自然の直接光源としては、例えば、太陽、月などである。
照明分光分布Ｅ（λ）、及び、照明光源の空間分布は、例えば、実際の照明環境において、全方位の分光画像を取得して、可視波長域（例えば、４００～７００ｎｍ）において、５ｎｍごとの分光分布を全方位に対してサンプリングすることで求めることができる。この場合、照明環境データベース２４ｂは、分光画像の各画素における照明分光分布Ｅ（λ）を記憶する。詳述すると、分光画像における各画素の位置は、塗布対象物を中心とした全方位の空間に分布する照明光源の空間分布を特定する情報となる。そして、各画素に割り当てられた照明分光分布Ｅ（λ）は、塗布対象物に照射される照明光の照明分光分布Ｅ（λ）となる。換言すると、分光画像における各画素を照明光源とみなし、各画素に照明分光分布Ｅ（λ）を割り当てることで、全方位における照明光源の空間分布と、各照明光源から照射される照明光の照明分光分布Ｅ（λ）とを得ることができる。このような手法によれば、実際の照明環境において、各直接光源及び各反射光源を区別せずにシーン全体の照明光源をまとめて処理できる。したがって、照明光の境界が区別できない複数の照明光源が存在する場合であっても、照明環境の再現が可能となる。
化粧料データベース２４ｃは、第２変換関数Ｔ（λ）を化粧料の製品ごとに記憶する。第２変換関数Ｔ（λ）は、第１分光反射率Ｓ１（λ）に基づいて、化粧料の分光反射率である第２分光反射率Ｓ２（λ）を算出するための変換マトリックスである。ここでの化粧料とは、塗布対象物に塗布される化粧料であって、例えば、ファンデーション、チーク、アイカラー、リップなどである。すなわち、化粧料データベース２４ｃは、ファンデーション、チークなどの化粧料の種類ごと、かつ、各化粧料の色、用途等のバリエーションごとの第２変換関数Ｔ（λ）を記憶する。
より具体的に、化粧料データベース２４ｃは、化粧料の製品ごとに、塗布対象物の色に応じた第２変換関数Ｔ（λ）を記憶する。例えば、化粧料データベース２４ｃは、肌に塗布される化粧料であれば、化粧料の製品ごとに、第１タイプの肌、第２タイプの肌、第３タイプの肌のそれぞれについての第２変換関数Ｔ（λ）を記憶する。
第２変換関数Ｔ（λ）は、例えば、多数の人々を対象として、被験者の塗布対象物における分光反射率Ｓａと、被験者の塗布対象物に化粧料を塗布した状態の分光反射率Ｓｂとを実測し、分光反射率Ｓａ及び分光反射率Ｓｂの変化量から測定対象者の塗布対象物の色ごとに統計的に算出される。
また、化粧料データベース２４ｃは、化粧料の反射特性パラメータを化粧料の製品ごとに記憶する。詳細は後述するが、反射特性パラメータとは、物体表面の粗さなど物体の表面性状に依存するパラメータであって、物体表面における照明光の入射角に対する反射光の強度や光沢の広がりなどの反射特性を規定するパラメータである。化粧料の反射特性パラメータは、例えば、実際の化粧料に対して光沢計などの測定機器で計測された実測値から求めることができる。
他にも、化粧料データベース２４ｃは、アイカラーなどの化粧料に含まれるパールやラメなどの光輝剤の分光反射率及び反射特性パラメータを記憶してもよい。なお、光輝剤の分光反射率は、化粧料が肌に塗布された状態でも塗布対象物の色の影響を受けにくいことから、肌自体の分光反射率と独立した反射成分で計算される。したがって、第２変換関数Ｔ（λ）による算出処理は行われない。そのため、光輝剤の分光反射率は、測定機器で計測された実測値が記憶される。
変換マトリックス記憶部２４ｄは、ＲＧＢ値から照明光の分光分布を求めるためのシステム変換マトリックスを記憶する。当該システム変換マトリックスは、事前に既知光源の分光分布に対して、多くの肌の分光反射率をかけた色信号を記憶したデータベースから作成されうる。
通信部２５は、ネットワーク３を介して、ユーザ端末１０と通信する。具体的に、通信部２５は、ユーザ端末１０からの信号を受信し、また、サーバ２０が生成した画像などのデータをユーザ端末１０に送信する。
〔ＧＰＵ〕
図４に示すように、制御部２１が備えるＧＰＵ２３は、形状推定部２３ａ、肌質特定部２３ｂ、照明環境推定部２３ｃ、第１分光反射率算出部２３ｄ、第１色信号算出部２３ｅ、特徴部分特定部２４ｆ、第２分光反射率算出部２３ｇ、第２色信号算出部２３ｈ、第３色信号算出部２３ｉ、第２ＲＧＢ値算出部２３ｊ、第２画像生成部２３ｋ、及び重畳画像生成部２３ｌとして機能する。
形状推定部２３ａは、未化粧状態での塗布対象物の画像である第１画像から塗布対象物の三次元形状を推定する。化粧材や肌の質感を再現する対象の形状情報から各画素に対応する法線ベクトルを算出することができる。法線ベクトルは、三次元反射特性モデルにおいて、陰影や光沢などの化粧塗膜の質感の表現を計算するために用いられる。特にＡＲ（拡張現実）技術等において、顔の向きや表情のように刻々と変化する対象物体や化粧塗膜の質感を再現するためには、形状推定部２３ａが画像からリアルタイムかつ連続的に法線ベクトルを算出することにより対象物体の質感変化に即時対応できることが好ましい。塗布対象物の形状推定は第１画像を取得した後、第１分光反射率を算出する前に実施することが好ましい。形状推定部２３ａによる三次元形状の推定は、例えば既知の推定処理によって実現されうる。
肌質特定部２３ｂは、肌表面の微細な凹凸含む肌質を特定するために第１画像から塗布対象物の表面の凹凸を数学モデルとして特定する。塗布対象物の表面の凹凸は、塗布対象物が顔の一部である場合、例えば皮膚表面の微細な凹凸であってよい。皮膚表面の微細な凹凸とは、皮膚表面に存在する不均一な形状のことであり、具体例としては、シワ、キメ、吹き出物、及び傷跡などである。
肌の質感に影響を与える微細な肌のシワやキメ等に関する質感の特徴情報は、直接形状情報を与えるのではなく、数学モデルを用いて陰影や色の変化として表現できるようにする。この場合、数学モデルに与えるパラメータの値を変更することでシワの質感の違いが表現できるので、画像からこの数学モデルのパラメータを推定することで質感が推定可能となる。
照明環境推定部２３ｃは、第１画像又は照明環境推定用画像を用いて、第１画像又は照明環境推定用画像における照明環境を推定する。詳細は後述するが、照明環境推定部２３ｃは、第１画像又は照明環境推定用画像から推定された照明方向ベクトルと、照明光の分光分布を求めるためのシステム変換マトリックスを用いて第１画像又は照明環境推定用画像のＲＧＢ値から求められた照明光の分光分布と、に基づいて照明光の空間分布を推定することにより、第１画像又は照明環境推定用画像における照明環境を推定する。具体的に推定される光源情報はシーン内の照明光の空間分布と分光分布として推定する。
第１分光反射率算出部２３ｄは、第１ＲＧＢ値及び第１変換関数Ｍに基づいて、第１分光反射率Ｓ１（λ）を算出する。第１色信号算出部２３ｅは、化粧前の塗布対象物における三次元反射特性モデルである第１三次元反射特性モデルに基づいて、化粧前の塗布対象物に対して照明光が反射した際の色信号である第１色信号Ｃ１（λ）を算出する。
ここでの三次元反射特性モデルとは、物体の光反射のプロセスを記述した数学モデルであり、三次元反射特性モデルを構成する物体の分光反射率及び反射特性パラメータによって、物体の色や質感が規定される。そして、三次元反射特性モデルに対して、照明光の分光分布と照明光の入射角度などの幾何条件とを与えることで、照明光が物体に反射した際の色信号が算出される。すなわち、第１三次元反射特性モデルとは、未化粧状態の塗布対象物における光反射のプロセスを記述した数学モデルである。
また、ここでの色信号とは、照明光が物体に反射して人の目やカメラなどの視覚系に入射する電磁波の分光分布（エネルギースペクトル分布）である。色信号は、ＲＧＢ等色関数などを用いて実際に人間が知覚するＲＧＢ値などの色情報に変換される。なお、第１色信号Ｃ１（λ）は、未化粧状態の塗布対象物に対して照明光が反射した際の色信号に相当する。
特徴部分特定部２３ｆは、未化粧状態の塗布対象物の画像である第１画像から塗布対象物の特徴部分を特定する。塗布対象物の特徴部分を特定することは、一例として、塗布対象物の位置及び領域を特定することであってよい。例えば、第１画像が顔画像である場合、特徴部分特定部２３ｆは、目、鼻、及び口といった顔を構成する要素を特定し、これにより顔を構成する要素の位置と領域（輪郭や輪郭で囲まれた部分）を特定する。特徴部分特定部２３ｆによる特徴部分の特定は、例えば既知の画像認識技術により実現されうる。
第２分光反射率算出部２３ｇは、第１分光反射率Ｓ１（λ）及び第２変換関数Ｔ（λ）に基づいて、第２分光反射率Ｓ２（λ）を算出する。第２色信号算出部２３ｈは、化粧料の三次元反射特性モデルである第２三次元反射特性モデルに基づいて、化粧料に対して照明光が反射した際の色信号である第２色信号Ｃ２（λ）を算出する。第２三次元反射特性モデルとは、化粧料における光反射のプロセスを記述した数学モデルである。なお、以下では、未化粧状態の塗布対象物についての反射特性パラメータを第１反射特性パラメータとし、化粧料についての反射特性パラメータを第２反射特性パラメータとする。
第３色信号算出部２３ｉは、第１色信号Ｃ１（λ）及び第２色信号Ｃ２（λ）に基づいて、化粧状態の塗布対象物の色信号である第３色信号Ｃ３（λ）を算出する。第３色信号Ｃ３（λ）は、化粧状態の塗布対象物、すなわち、塗布対象物と当該塗布対象物に塗布された化粧料とに対して照明光が反射した際の色信号に相当する。第２ＲＧＢ値算出部２３ｊは、第３色信号算出部２３ｉが算出した第３色信号Ｃ３（λ）に基づいて、化粧状態の塗布対象物におけるＲＧＢ値である第２ＲＧＢ値を算出する。
第２画像生成部２３ｋは、第２ＲＧＢ値算出部２３ｊが算出した第２ＲＧＢ値に基づいて、化粧状態の塗布対象物の画像である第２画像を生成する。重畳画像生成部２３ｌは、未化粧状態の塗布対象物の画像である第１画像と、第２画像生成部２３ｋが生成した第２画像とを重畳した重畳画像を生成する。重畳画像は、シミュレーション結果を示す画像である。
〔アプリ画像〕
図５に示すように、ユーザ端末１０のタッチパネル１３には、画像表示プログラムによって表示されるアプリケーション画像であるアプリ画像４０が表示される。アプリ画像４０は、画像表示領域４１と、操作領域４２とを備える。画像表示領域４１は、第１画像、及び第１画像と第２画像とを重畳した重畳画像などの画像３０が表示される領域である。
操作領域４２は、例えば、切換オブジェクト４２ａ、化粧領域選択オブジェクト４２ｂ、化粧料選択オブジェクト４２ｃ、照明選択オブジェクト４２ｄ、及び、操作オブジェクト４２ｅを備える。切換オブジェクト４２ａは、化粧料ごとにシミュレーション結果のＯＮ、ＯＦＦを切り換えるオブジェクトである。
化粧領域選択オブジェクト４２ｂは、塗布対象物における化粧料が適用される領域である化粧領域３１を手動で指定するためのオブジェクトである。化粧領域３１を指定する方法の一例としては、画像表示領域４１に表示された第１画像３０ａにおいて、化粧料を塗布したい領域をタップ操作入力で指定する。化粧領域３１としては、例えば、ファンデーションであれば顔の肌全体が指定され、チークであれば頬骨付近の肌が指定され、アイカラーであれば目元付近の肌が指定され、リップであれば唇が指定される。なお、化粧領域３１は、画像認識機能等を用いて自動で設定される構成でもよい。
化粧料選択オブジェクト４２ｃは、シミュレーションしたい化粧料の製品を選択するためのオブジェクトである。図６に示すように、化粧料選択オブジェクト４２ｃをタップ操作することで、画像表示領域４１に化粧料選択領域４３が表示される。化粧料選択領域４３には、化粧料データベース２４ｃに登録された化粧料が、製品オブジェクト４３ａとして製品ごとに表示される。製品オブジェクト４３ａをタップ操作することで、化粧シミュレーションにおいて適用される化粧料の製品が選択される。
具体例として、ファンデーションの場合では、リキッドファンデーション、パウダーファンデーションなどファンデーションの種類ごと、及び、色ごとに表示された製品オブジェクト４３ａの中から、シミュレーションしたい製品の製品オブジェクト４３ａを選択する。
他の一例として、化粧領域及び化粧料の選択は、化粧領域選択オブジェクト４２ｂ及び化粧料選択オブジェクト４２ｃを介さずに行われてもよい。例えば、画像表示領域４１に表示された第１画像において、化粧料を塗布したい領域をタップすることにより、タップされた領域に応じた化粧料が自動で選択されてよい。具体例として、第１画像において頬骨付近がタップされた場合、化粧料としてチークが自動で選択され、化粧の専門家が指定したそのチークに適した塗布方法で塗布される。これにより、様々な化粧ノウハウを有する化粧の専門家が化粧料を塗布した時のイメージを再現できる。上記塗布方法は複数から選択されてよく、例えば年齢、雰囲気、又はＴＰＯに合わせて塗布方法が選択されてよい。
照明選択オブジェクト４２ｄは、化粧シミュレーションにおける照明環境を選択するためのオブジェクトである。化粧料選択オブジェクト４２ｃをタップ操作することで、画像表示領域４１に照明選択領域（非図示）が表示される。照明選択領域には、照明環境データベース２４ｂに登録された各種照明環境が、照明オブジェクトとして照明環境ごとに表示される。照明オブジェクトをタップ操作することで、化粧シミュレーションにおいて適用される照明環境が選択される。例えば、第１画像が撮影された場所の照明環境とは異なる照明環境で化粧シミュレーションを行いたい場合に、照明選択オブジェクトをタップ操作して、任意の照明環境が選択されてよい。
操作オブジェクト４２ｅは、画像表示領域４１に表示された画像を移動、回転、拡大、縮小させるためのオブジェクトである。
〔第１実施形態の作用〕
次に、化粧シミュレーションシステム１の作用について説明する。
図７に示すように、ステップＳ１において、ユーザ端末１０の制御部１１は、撮像部１４に未化粧状態でのユーザ２の顔画像（未化粧状態の顔の肌及び唇を含む第１画像）を取得する処理を実行させる。そして、制御部１１は、第１ＲＧＢ値で構成される第１画像をサーバ２０に送信する処理を実行する。
ここで取得される第１画像は、例えば、１枚の静止画でもよいし、角度を変えて撮影された複数枚の静止画であってもよく、又は動画であってもよい。
また、ステップＳ１において第１画像を撮影する際には、撮影環境における照明等の様々な要因の影響を受ける。より化粧シミュレーションに適した第１画像を取得する観点から、例えば、撮影環境における影響を低減するための補正として、撮影された第１画像に対してメモリ１２に記憶させた画像処理プログラムなどによって周囲の照明環境に応じて明度や彩度を適切な色になるように自動的を調整することも可能である。また、照明環境データベース２４ｂを用いることで、撮影時とは異なるシーンでの化粧品の見え方（色の変化）を想定した映像再現をしてもよい。
ステップＳ２において、サーバ２０の形状推定部２３ａは、第１画像から塗布対象物の三次元形状を推定する。
ステップＳ３において、肌質特定部２３ｂは、第１画像から塗布対象物の表面の凹凸を数学モデルとして特定する。肌質特定部２３ｂは、例えば、Torrance-SparrowモデルのV字溝モデルやOren-Nayerモデルを改良し、塗布対象物の表面の凹凸を数学モデルで特定する。
ステップＳ４において、照明環境推定部２３ｃは、ユーザ端末１０から送信された第１画像を用いて、第１画像における照明環境を推定する。または、照明環境推定部２３ｃは、照明環境推定用画像を用いて、照明環境推定用像における照明環境を推定する。一実施態様において、照明環境推定用画像は、第１画像と異なる画像であり、例えば、塗布対象物を被写体として含まない画像であってよく、又は、塗布対象物を被写体として含むが第１画像とは異なる画像であってもよい。これにより、例えば、塗布対象物が被写体に含まれていない画像における環境光やキャスマッチの画像から照明環境を推定するなど、第１画像に限定されない照明環境の推定が可能となる。また、一実施態様において、第１画像と照明環境推定用画像とは、同一の画像であってよい。
照明環境推定部２３ｃは、具体的には、第１画像又は照明環境推定用画像から照明方向ベクトルを推定する。また、照明環境推定部２３ｃは、変換マトリックス記憶部１４ｄに記憶された照明光の分光分布を求めるためのシステム変換マトリックスを用いて、第１画像又は照明環境推定用画像のＲＧＢ値から照明光の分光分布を求める。照明環境推定部２３ｃは、得られた照明方向ベクトルと照明光の分光分布とに基づいて照明光源の空間分布を推定することにより、第１画像又は照明環境推定用画像における照明環境を推定する。具体的に推定される光源情報はシーン内の照明光の空間分布と分光分布として推定する。この推定した照明環境情報（シーン情報）は独立した照明環境の情報としても記録されるので、他のシーンで撮影した画像にも適用できる。たとえば、あるオフィスで推定した照明環境情報があった場合に、それを別の場所で撮影した顔の映像再現に使用できる。
照明環境推定部２３ｃにおいて照明方向ベクトルを推定する処理の一例として、顔画像を用いて推定する場合について説明する。まず、形状推定部２３ａによって推定された顔の三次元形状の情報に基づいて、顔画像の各画素に対応する法線ベクトルを算出する。頬や額であれば顔を凸包物体と仮定できるため、対象が光沢のない物体（マットな反射）であれば周囲と比較して一番明るい画素を探すことにより、その画素の法線ベクトルが照明方向と一致するので照明方向を推定できる。また、光沢がある物体であれば、周囲と比較して一番明るい画素を探せば、その画素の法線ベクトルについて視線方向ベクトルの正反射方向ベクトルが照明方向と一致するので照明方向を推定できる。
次いで、ユーザ２は、タッチパネル１３に表示された操作領域４２のオブジェクトに対してタップ操作入力を行い、化粧料が適用される化粧領域３１を設定し、さらに、シミュレーションする化粧料の製品を選択する。ユーザ端末１０の制御部１１は、ユーザ２が設定した化粧領域３１と、ユーザ２が選択した化粧料の製品とを特定する信号をサーバ２０に送信する。なお、例えば、チークとファンデーションのように、異なる種類の化粧料を複数選択してもよい。
ステップＳ５において、第１分光反射率算出部２３ｄは、第１画像を構成する第１ＲＧＢ値に基づいて、化粧領域３１における第１分光反射率Ｓ１（λ）を算出する処理を実行する。具体的に、第１分光反射率算出部２３ｄは、分光変換データベース２４ａから化粧領域３１における塗布対象物の色に応じた第１変換関数Ｍを読み出し、化粧領域３１における第１分光反射率Ｓ１（λ）を算出する処理を実行する。
ここで読み出される第１変換関数Ｍは、例えば、第１画像の化粧領域３１を構成する第１ＲＧＢ値に応じて自動で決定されてもよいし、ユーザ２がカラーコードのような色見本から塗布対象物に近い色を選択することで決定されてもよい。
第１分光反射率Ｓ１（λ）は、第１変換関数Ｍと、第１ＲＧＢ値における各要素の値であるＲ１，Ｇ１，Ｂ１とを用いて、４００ｎｍ～７００ｎｍの可視波長域を５ｎｍ間隔で区分した離散的な６１次元の分光反射ベクトルｓとして近似できる。第１分光反射率Ｓ１（λ）は、以下の式（１），（２）で表すことができる。
塗布対象物の色に応じた第１変換関数Ｍに基づいて第１分光反射率Ｓ１（λ）を算出することで、塗布対象物が有する実際の分光反射率により近い第１分光反射率Ｓ１（λ）を算出できる。また、例えば、塗布対象物が顔における肌の場合、一般的に、分光光度計などの測定機器における測定範囲が小さいことから、顔における肌全体の分光反射率を直接測定することは困難である。これに対して、本実施形態のように、未化粧状態の顔画像が有する第１ＲＧＢ値から第１分光反射率Ｓ１（λ）を算出することで、好適に未化粧状態における塗布対象物の分光反射率を得ることができる。
なお、本実施形態では、例えば、髪の毛やピアスなどのアクセサリなど、化粧料が適用されない領域、すなわち、化粧領域３１以外の領域では、第１ＲＧＢ値から第１分光反射率Ｓ１（λ）を算出する処理は実行されない。これにより、第１ＲＧＢ値から第１分光反射率Ｓ１（λ）を算出する際の計算処理を簡略化できる。
ステップＳ６において、第１色信号算出部２３ｅは、第１分光反射率Ｓ１（λ）、第１反射特性パラメータ、照明光の照明分光分布Ｅ（λ）、及び、照明光の幾何条件で表現される第１三次元反射特性モデルに基づいて第１色信号Ｃ１（λ）を算出する処理を実行する。
具体的に、第１色信号算出部２３ｅは、照明環境推定部２３ｃによって推定された照明環境における照明分光分布Ｅ（λ）及び照明光源の空間分布と、第１三次元反射特性モデルとを用いて、第１色信号Ｃ１（λ）を算出する処理を実行する。
第１三次元反射特性モデルは、第１分光反射率Ｓ１（λ）、照明分光分布Ｅ（λ）、第１拡散反射関数Ｄａ、及び、第１鏡面反射関数Ｇａを用いて、以下の式（３）で表すことができる。なお、第１拡散反射関数Ｄａは、未化粧状態の塗布対象物における拡散反射を規定する関数である。第１鏡面反射関数Ｇａは、未化粧状態の塗布対象物における鏡面反射を規定する関数である。また、第１三次元反射特性モデルでは、右辺第１項が拡散反射成分を表し、右辺第２項が鏡面反射成分を表す。
ここで、図８及び図９を参照して、本実施形態における反射の幾何学モデルについて説明する。図８に示すように、仮想空間５０は、仮想点５１と、仮想光源５２と、仮想視点５３とを備える。仮想点５１は、仮想光源５２からの光を受ける未化粧状態の塗布対象物の表面Ｓ上の点である。仮想光源５２は、仮想点５１に対して照明光を照射する。仮想視点５３は、仮想点５１を観測する視点である。
また、照明方向ベクトルＬは、仮想点５１から仮想光源５２に向かうベクトルである。法線ベクトルＮは、表面Ｓ上の仮想点５１における法線方向のベクトルである。視線方向ベクトルＶは、仮想点５１から仮想視点５３に向かうベクトルである。照明方向ベクトルＬ、法線ベクトルＮ、及び、視線方向ベクトルＶは、三次元反射特性モデルにおける照明光の幾何条件を規定するためのパラメータである。そして、照明方向ベクトルＬと法線ベクトルＮとのなす角を入射角θｉとし、法線ベクトルＮと視線方向ベクトルＶとのなす角を受光角θｒとする。
一般的に、物体が照明光を受けた場合、物体表面において生じる色信号Ｃ０（λ）は、物体の分光反射率Ｓ０（λ）と、照明光の分光分布Ｅ０（λ）とを用いて、Ｃ０（λ）＝Ｅ０（λ）Ｓ０（λ）として表現される。
本実施形態では、単に物体の分光反射率及び照明光の分光分布から物体の色信号を算出するだけでなく、物体表面における拡散反射及び鏡面反射を考慮した三次元反射特性モデルを用いることで、物体表面の光沢や質感をより正確に再現している。
具体的に、仮想点５１が仮想光源５２からの光を受けた場合、仮想点５１において全方位に生じる拡散反射光と、入射角θｉと受光角θｒとが近似する場合に生じる鏡面反射光とで構成される反射光が生じる。
図９に示すように、仮想点５１において生じる反射光の強度分布は、拡散反射光強度αと、鏡面反射光強度Ｉとを足し合わせた強度分布である反射光分布ＲＤで表現される。仮想点５１において生じる反射光の強度は、受光角θｒに応じて異なる値を示す。具体的に、図９における仮想点５１から反射光分布ＲＤまでの距離が受光角θｒにおける反射光の強度を表す。
拡散反射光強度αは、拡散反射光の強度を規定するための反射特性パラメータである。拡散反射光強度αは、入射角θｉに対して受光角θｒが何れの値であってもほぼ一定の値である。鏡面反射光強度Ｉは、拡散反射光強度αに対する鏡面反射光の相対的な強度を規定するための反射特性パラメータである。鏡面反射光強度Ｉは、入射角θｉに対して受光角θｒの値が近づくにつれて増大し、入射角θｉと受光角θｒとが一致したときに最大値となる。
例えば、受光角θｒが入射角θｉと大きく異なる受光角θｒ１である場合、仮想視点５３ａにおいて観測される反射光の強度は、拡散反射光強度αの値となる。これに対して、受光角θｒが入射角θｉと近似する受光角θｒ２である場合、仮想視点５３ｂにおいて観測される反射光の強度は、拡散反射光強度αと鏡面反射光強度Ｉとを足し合わせた値となる。
第１拡散反射関数Ｄａは、第１拡散反射光強度α１と、照明光の幾何条件としての照明方向ベクトルＬ及び法線ベクトルＮとを用いて、以下の式（４）で表すことができる。第１拡散反射光強度α１は、未化粧状態の塗布対象物における拡散反射光の強度を規定するための第１反射特性パラメータである。ここでは、第１拡散反射光強度α１＝１として扱う。なお、以下の計算で用いられる照明光の幾何条件は、照明光源の空間分布、塗布対象物の形状、及び、塗布対象物を観測する視点位置等から算出される。
また、反射光分布ＲＤにおいて、鏡面反射光が生じる範囲は、鏡面反射パラメータｍで表現される。鏡面反射パラメータｍは、物体表面の粗さなど物体の表面性状に依存するパラメータであって、光沢の広がりを規定する反射特性パラメータである。鏡面反射パラメータｍが大きいほど、鏡面反射光が生じる範囲が大きくなる。
第１鏡面反射関数Ｇａは、第１鏡面反射光強度Ｉ１、及び、第１鏡面反射パラメータｍ１と、照明光の幾何条件としての照明方向ベクトルＬ、法線ベクトルＮ、及び、視線方向ベクトルＶとを用いて、以下の式（５）～（７）で表すことができる。なお、式（６）は、Ｂｅｃｋｍａｎｎ関数である。また、第１鏡面反射光強度Ｉ１は、未化粧状態の塗布対象物における鏡面反射光の強度を規定するための第１反射特性パラメータである。そして、第１鏡面反射パラメータｍ１は、未化粧状態の塗布対象物における光沢の広がりを規定するための第１反射特性パラメータである。第１鏡面反射光強度Ｉ１及び第１鏡面反射パラメータｍ１は、あらかじめ任意の値が設定される。
なお、第１鏡面反射光強度Ｉ１及び第１鏡面反射パラメータｍ１は、例えば、未化粧状態でのユーザ２の顔に対して、照明光の入射角度を変えた複数の画像から求めることもできる。例えば、ステップＳ１において、未化粧状態でのユーザ２の顔画像を取得する際に、ユーザ２の顔に対して照明光の入射角度を変えた複数の画像を取得することで、第１鏡面反射光強度Ｉ１及び第１鏡面反射パラメータｍ１を求めることもできる。
このように、第１三次元反射特性モデルを用いて第１色信号Ｃ１（λ）を算出することで、未化粧状態における塗布対象物の色、及び、照明光によって生じる陰影や光沢を第１色信号Ｃ１（λ）として再現できる。
なお、ステップＳ６において、第１色信号算出部２３ｅは、塗布対象物の表面の凹凸による陰影又は光沢の変化を計算し、計算により得られた塗布対象物の表面による陰影又は光沢に関する情報を含む質感情報をさらに用いて、第１色信号Ｃ１（λ）を算出してもよい。これにより、塗布対象物の凹凸に対応する陰影や光沢（質感）を計算して、塗布対象物の色に対して陰影や光沢の情報を付与できる。
ステップＳ７において、特徴部分特定部２３ｆは、第１画像から塗布対象物の特徴部分を特定する。具体的に、特徴部分特定部２３ｆは、第１画像から、目、鼻、及び口といった顔を構成する要素の位置と領域を特定する。
ステップＳ８において、第２分光反射率算出部２３ｇは、化粧領域３１において、第１分光反射率Ｓ１（λ）及び第２変換関数Ｔ（λ）に基づいて、第２分光反射率Ｓ２（λ）を算出する処理を実行する。具体的に、第２分光反射率算出部２３ｇは、化粧料データベース２４ｃから化粧領域３１における塗布対象物の色に応じた第２変換関数Ｔ（λ）を読み出し、化粧領域３１における第２分光反射率Ｓ２（λ）を算出する処理を実行する。
なお、ここで読み出される第２変換関数Ｔ（λ）は、例えば、ステップＳ５において、第１変換関数Ｍと合わせて決定されてもよく、ユーザ２がカラーコードのような色見本から塗布対象物に近い色を選択することで決定されてもよい。第２分光反射率Ｓ２（λ）は、第１分光反射率Ｓ１（λ）と、第２変換関数Ｔ（λ）とを用いて、以下の式（８）で表すことができる。
第１分光反射率Ｓ１（λ）と、塗布対象物の色に応じた第２変換関数Ｔ（λ）とに基づいて第２分光反射率Ｓ２（λ）を算出することで、実際に化粧料が塗布対象物に塗布されてなじんだ状態での化粧料の分光反射率により近い第２分光反射率Ｓ２（λ）を算出できる。
ステップＳ９において、第２色信号算出部２３ｈは、第２分光反射率Ｓ２（λ）、第２反射特性パラメータ、照明光の照明分光分布Ｅ（λ）、及び、照明光の幾何条件で表現される第２三次元反射特性モデルに基づいて、第２色信号Ｃ２（λ）を算出する処理を実行する。
具体的に、第２色信号算出部２３ｈは、化粧料データベース２４ｃからユーザ２によって選択された化粧料の第２反射特性パラメータを読み出す。さらに、第２色信号算出部２３ｈは、照明環境推定部２３ｃによって推定された照明環境における照明分光分布Ｅ（λ）及び照明光源の空間分布と、第２三次元反射特性モデルとを用いて、第２色信号Ｃ２（λ）を算出する処理を実行する。
第２三次元反射特性モデルは、第２分光反射率Ｓ２（λ）、照明分光分布Ｅ（λ）、第２拡散反射関数Ｄｂ、及び、第２鏡面反射関数Ｇｂを用いて、以下の式（９）～（１１）で表すことができる。なお、第２拡散反射関数Ｄｂは、化粧料における拡散反射を規定する関数である。第２鏡面反射関数Ｇｂは、化粧料における鏡面反射を規定する関数である。また、式（１１）に含まれるＢ（Ｎ，Ｖ，Ｌ，ｍ２）は、Ｂｅｃｋｍａｎｎ関数である。式（９）では、右辺第１項が拡散反射成分を表し、右辺第２項が鏡面反射成分を表す。
第２三次元反射特性モデルにおいて、第２拡散反射光強度α２は、化粧料の製品ごとに設定されるパラメータであって、化粧料の拡散反射光の強度を規定するための第２反射特性パラメータである。ここでは、第２拡散反射光強度α２＝１として扱う。第２鏡面反射光強度Ｉ２は、化粧料の製品ごとに設定されるパラメータであって、化粧料の鏡面反射光の強度を規定するための第２反射特性パラメータである。第２鏡面反射パラメータｍ２は、化粧料の製品ごとに設定されるパラメータであって、化粧料の光沢の広がりを規定するための第２反射特性パラメータである。
また、シミュレーションする化粧料として、例えば、ファンデーション及びチークのように複数の化粧料が選択された場合、ステップＳ９において、第２色信号算出部２３ｈは、各化粧料の第２色信号Ｃ２（λ）を算出する処理を実行する。
このように、第２三次元反射特性モデルを用いて第２色信号Ｃ２（λ）を算出することで、化粧料の色、及び、照明光によって生じる陰影や光沢を第２色信号Ｃ２（λ）として再現できる。
なお、ステップＳ９において、第２色信号算出部２３ｈは、アイカラーなどの化粧料に含まれるパール、ラメなどの光輝剤について、光輝剤の三次元反射特性モデルである第３三次元反射特性モデルを用いて、光輝剤の色信号ＣＧ（λ）を算出することもできる。この場合、光輝剤を含む化粧料のベース部分、すなわち、化粧料における光輝剤以外の部分についての第２色信号Ｃ２（λ）が第２三次元反射特性モデルによって算出され、光輝剤の色信号ＣＧ（λ）が第３三次元反射特性モデルによって算出される。
図１０に示すように、化粧料に含まれる光輝剤６０は、複数の薄膜６１が積層された多層膜構造を有する。仮想光源５２からの光が光輝剤６０に照射された際には、仮想視点５３において、各薄膜６１の厚さｄに依存する干渉光が観測される。したがって、このような多層膜による干渉光について、光輝剤の色信号ＣＧ（λ）を算出することで、虹色のような光輝剤の干渉色を再現できる。なお、光輝剤６０における薄膜６１の数および厚さｄなどの多層膜構造についての情報は、化粧料データベース２４ｃに記憶される。
第３三次元反射特性モデルは、光輝剤の分光反射率ＳＧ、光輝剤の反射特性パラメータ、照明分光分布Ｅ（λ）、及び、照明光の幾何条件を用いて、以下の式（１２），（１３）で表すことができる。なお、第３三次元反射特性モデルでは、光輝剤の鏡面反射成分のみについての色信号ＣＧ（λ）を算出しており、拡散反射成分は無視している。また、光輝剤は、照明光の幾何条件に依存する分光反射率ＳＧを有する。式（１３）に含まれるＢ（Ｎ，Ｖ，Ｌ，ｍＧ）は、Ｂｅｃｋｍａｎｎ関数である。
光輝剤鏡面反射関数ＧＧは、光輝剤における鏡面反射を規定する関数である。鏡面反射光強度ＩＧは、光輝剤の反射特性パラメータであって、光輝剤ごとの鏡面反射光の強度を規定するパラメータである。鏡面反射パラメータｍＧは、光輝剤の反射特性パラメータであって、光輝剤ごとの光沢の広がりを規定するパラメータである。
また、光輝剤の色信号ＣＧ（λ）を算出する処理は、化粧領域３１内で光輝剤が点在する領域において実行される。具体的に、化粧領域３１内で光輝剤が点在する領域は、光輝剤の粒形状の大きさなどを規定する形状情報、及び、実際に化粧料が塗布された領域中での光輝剤の分散状態を規定する分散情報に基づいて推定できる。化粧領域３１内で光輝剤が点在する領域を推定し、当該領域において光輝剤の色信号ＣＧ（λ）を算出することで、実際の化粧料に含まれる光輝剤の粒形状、及び、光輝剤の分散状態を再現できる。なお、光輝剤の形状情報及び分散情報は、予め化粧料データベース２４ｃに記憶される。
なお、光輝剤の色信号ＣＧ（λ）を算出する際に、光輝剤の色信号ＣＧ（λ）における特定の波長におけるスペクトル強度を高める補正を行ってもよい。また、第３三次元反射特性モデルは、光輝剤の配向性を規定する配向パラメータ、各薄膜６１の厚さｄなどのパラメータを含む構成であってもよい。
また、ステップＳ９において、第２色信号算出部２３ｈは、塗布対象物の表面の凹凸による陰影又は光沢の変化を計算し、計算により得られた塗布対象物の表面による陰影又は光沢に関する情報を含む質感情報をさらに用いて第２色信号Ｃ２（λ）を算出してもよい。これにより、塗布対象物の凹凸に対応する陰影や光沢（質感）を計算して、化粧膜に対して陰影や光沢の情報を付与できる。
ステップＳ１０において、第３色信号算出部２３ｉは、第１色信号Ｃ１（λ）及び第２色信号Ｃ２（λ）に基づいて、化粧状態の塗布対象物を含む第２画像の色信号である第３色信号Ｃ３（λ）を算出する処理を実行する。なお、化粧領域３１のうち複数の化粧料が重畳される領域においては、それぞれの化粧料の第２色信号Ｃ２（λ）を足し合わせることで、第３色信号Ｃ３（λ）が算出される。
具体例として、第３色信号算出部２３ｉは、化粧領域３１のうちファンデーションとチークとが重畳される領域において、第１色信号Ｃ１（λ）、第２色信号Ｃ２ｆ（λ）、Ｃ２ｃ（λ）、及び、重み係数ｗ１～ｗ３を用いた以下の式（１４）に基づいて第３色信号Ｃ３（λ）を算出する処理を実行する。第２色信号Ｃ２ｆ（λ）は、化粧料の一例であるファンデーションの色信号である。第２色信号Ｃ２ｃ（λ）は、化粧料の一例であるチークの色信号である。また、重み係数ｗ１～ｗ３は、各色信号に対して重み付けをするための係数であり、シミュレーションにおける化粧料の厚みや、化粧料を重ねて塗布する順序などによって適宜決定される。
このように、第１色信号Ｃ１（λ）及び第２色信号Ｃ２（λ）に基づいて第３色信号Ｃ３（λ）を算出することで、化粧状態における塗布対象物の色信号として、化粧料に塗布対象物の色が反映された状態の第３色信号Ｃ３（λ）を算出できる。
複数の化粧料が重畳された状態のシミュレーションを行う場合でも、第１色信号Ｃ１（λ）及び各化粧料の第２色信号Ｃ２（λ）に基づいて第３色信号Ｃ３（λ）を算出することで、最表面の化粧料に塗布対象物の色と下地となる化粧料の色とが反映された色信号を算出できる。
なお、ステップＳ１０において、第３色信号算出部２３ｉは、第１色信号Ｃ１（λ）、第２色信号Ｃ２（λ）、及び、光輝剤の色信号ＣＧ（λ）に基づいて、第３色信号Ｃ３（λ）を算出する処理を実行することもできる。
具体例として、第３色信号算出部２３ｉは、化粧領域３１のうちファンデーションと光輝剤としてパール及びラメを含むアイカラーとが重畳される領域において、以下の式（１５）に基づいて、第３色信号Ｃ３（λ）を算出する処理を実行する。第２色信号Ｃ２ｅ（λ）は、アイカラーのうち光輝剤を除いた部分の色信号である。色信号ＣＧｐ（λ）は、アイカラーに含まれる光輝剤の一例であるパールの色信号である。色信号ＣＧｌ（λ）は、アイカラーに含まれる光輝剤の一例であるラメの色信号である。
このように、第１色信号Ｃ１（λ）、第２色信号Ｃ２（λ）、及び、光輝剤の色信号ＣＧ（λ）に基づいて化粧状態の色信号を算出することで、化粧料に含まれる光輝剤の色や光沢が反映された第３色信号Ｃ３（λ）を算出できる。
ステップＳ１１において、第２ＲＧＢ値算出部２３ｊは、第３色信号算出部２３ｉが算出した第３色信号Ｃ３（λ）に基づいて、第２画像のＲＧＢ値である第２ＲＧＢ値を算出する処理を実行する。具体的に、第２ＲＧＢ値算出部２３ｊは、第３色信号Ｃ３（λ）及びＲＧＢ等色関数を用いた以下の式（１６）に基づいて第２ＲＧＢ値を算出する処理を実行する。なお、式（１６）における左辺のＲ２，Ｇ２，Ｂ２は、第２ＲＧＢ値における各要素の値である。
ステップＳ１２において、第２画像生成部２３ｋは、第２ＲＧＢ値算出部２３ｊが算出した第２ＲＧＢ値に基づいて、第２画像を生成する処理を実行する。
ステップＳ１３において、重畳画像生成部２３ｌは、第１画像と第２画像とを重畳した重畳画像を生成する。さらに、重畳画像生成部２３ｌは、生成した重畳画像のデータをユーザ端末１０に送信して、シミュレーション結果である重畳画像をタッチパネル１３に表示させる処理を実行する。
図１１に示すように、タッチパネル１３には、アプリ画像４０の画像表示領域４１において、重畳画像３０ｂが表示される。重畳画像３０ｂの化粧領域３１には、塗布対象物の一例である肌の色や下地となる化粧料の色、及び、照明光による陰影が反映された化粧状態の肌が表示される。また、化粧領域３１のうち受光角θｒが入射角θｉと近似する領域である光沢領域３２では、鏡面反射による光沢が再現された状態が表示される。以上の処理により、化粧シミュレーションが完了する。
なお、重畳画像３０ｂが表示された状態で、別の化粧料を選択することで、再度ステップＳ５～Ｓ１１の処理を実行し、別の化粧料が適用された重畳画像３０ｂを生成、表示させることもできる。この際、例えば、一度算出した第１色信号Ｃ１（λ）をメモリ２４のメインメモリに記憶させることで、ステップＳ５，Ｓ６の処理を省略してもよい。このように、様々な化粧料を繰り返しシミュレーションすることで、自身の希望に合う化粧料を探すこともできる。
第１色信号Ｃ１（λ）及び第２色信号Ｃ２（λ）を、照明環境推定部２３ｃによって推定された照明環境の照明分光分布Ｅ（λ）及び照明光源の空間分布に基づいて算出することで、シミュレーション結果としての重畳画像３０ｂに第１画像が撮影された場所の照明環境が反映される。したがって、第１画像における照明環境の照明効果を反映した化粧シミュレーションを行うことができる。また、実際の照明環境における分光分布の実測値から算出される照明分光分布Ｅ（λ）を用いることで、様々な照明環境を容易に再現できる。これにより、例えば、任意の照明環境を指定した化粧シミュレーションを容易に行うことができる。また、照明環境が異なる化粧シミュレーションの結果を比較することも容易に行うことができる。
ステップＳ２～Ｓ１３の処理をサーバ２０が備えるＧＰＵ２３が実行することで、ステップＳ２～Ｓ１３の処理を高速で行うことができ、リアルタイムでの化粧シミュレーションが可能となる。そのため、例えば、拡張現実（ＡＲ）又は複合現実（ＭＲ）での化粧シミュレーションが可能となる。
また、例えば、化粧シミュレーションシステム１を用いて、ユーザ２に対して各種化粧料のシミュレーションを行うことで、ユーザ２の要望に合わせた最適な化粧料を提案するためのカウンセリングを行うこともできる。
なお、図７に示される各ステップの処理順序は、処理に支障が無い範囲において適宜変更されてよい。例えば、Ｓ４及びＳ５は、この順で実行されてもよく、順序を入れ替えて実行されてもよい。すなわち、上記のとおりステップＳ４の後にステップＳ５が実行されてもよく、又は、ステップＳ５の後にステップＳ４が実行されてもよい。また、例えば、ステップＳ３は、第１色信号算出部２３ｅにおいて塗布対象物の表面の凹凸が考慮されない場合、ステップＳ６よりも後に実行されてもよい。
〔第１実施形態の効果〕
上記第１実施形態によれば、以下に列挙する効果を得ることができる。
（１－１）第１三次元反射特性モデルを用いて第１色信号Ｃ１（λ）を算出し、第２三次元反射特性モデルを用いて第２色信号Ｃ２（λ）を算出することで、化粧状態における塗布対象物の色信号として、化粧料に塗布対象物の色が反映された第３色信号Ｃ３（λ）を算出できる。そして、第３色信号Ｃ３（λ）から第２ＲＧＢ値を算出することで、化粧状態の塗布対象物を含む第２画像を生成できる。これにより、化粧料に塗布対象物の色が反映された化粧状態の第２画像を得ることができる。したがって、単に塗布対象物の領域に化粧料の色を重畳する場合よりも、再現精度の高い化粧シミュレーションを行うことができる。なお、本明細書において「再現精度」とは、実際の化粧料において塗布対象物の位置、向き、又は照明環境に対応して刻一刻と変化する化粧料の光沢、色、及び陰影等の三次元的な質感をリアルタイムに再現できることを意味する。また、照明光による光沢を再現できるため、第２画像において、塗布対象物に化粧料を塗布した状態の質感を再現できる。
（１－２）塗布対象物としての肌や唇の色に応じた第１変換関数Ｍに基づいて第１分光反射率Ｓ１（λ）を算出することで、より実際の肌や唇における分光反射率に近い第１分光反射率Ｓ１（λ）を算出できる。
（１－３）第１分光反射率Ｓ１（λ）と、塗布対象物の色に応じた第２変換関数Ｔ（λ）とに基づいて第２分光反射率Ｓ２（λ）を算出することで、実際に化粧料が塗布対象物に塗布されて塗布対象物になじんだ状態での化粧料の分光反射率により近い第２分光反射率Ｓ２（λ）を算出できる。
（１－４）化粧料の製品ごとの第２分光反射率Ｓ２（λ）及び第２反射特性パラメータを用いて第２色信号Ｃ２（λ）を算出することで、化粧料の製品ごとの色及び反射特性が反映された第２画像を生成できる。
（１－５）第３三次元反射特性モデルを用いることで、化粧料に含まれる光輝剤の色信号ＣＧ（λ）を算出できる。そして、第１色信号Ｃ１（λ）、第２色信号Ｃ２（λ）、及び、光輝剤の色信号ＣＧ（λ）に基づいて算出される第３色信号Ｃ３（λ）から第２ＲＧＢ値を算出することで、化粧状態における光輝剤の光沢が再現された第２画像を生成できる。また、形状情報及び分散情報から推定される光輝剤が点在する領域において、光輝剤の色信号ＣＧ（λ）を算出することで、実際の化粧料に含まれる光輝剤の粒形状及び光輝剤の分散状態を再現できる。
（１－６）第１色信号Ｃ１（λ）及び第２色信号Ｃ２（λ）を、第１画像の照明環境として推定された照明環境の照明分光分布Ｅ（λ）及び照明光源の空間分布に基づいて算出することで、第２画像にも照明環境が反映される。したがって、第１画像における照明環境を反映した再現精度の高い化粧シミュレーションを行うことができる。
（１－７）ＧＰＵ２３を用いて化粧シミュレーションシステム１におけるステップＳ２～Ｓ１３の処理を実行することで、リアルタイムでの画像処理が可能となり、より好適に化粧シミュレーションを行うことができる。例えば、拡張現実（ＡＲ）又は複合現実（ＭＲ）で化粧シミュレーションを行うことができる。
（１－８）化粧料の特性を示すパラメータとして、分光光度計、光沢計、及び色彩計測器などの各種測定機器によって計測された結果そのものを、化粧料データベース２４ｃに記憶させることができる。これにより、測定機器による計測結果を直接的に化粧シミュレーションに利用することができる。
（１－９）数学モデル（例えば三次元反射特性モデル）を用いて化粧シミュレーションを行うことにより、化粧料の反射特性を物理シミュレーションに基づいて再現することができる。このことにより、化粧料を構成する材質ごとに個々の数学モデルとして分解して、それぞれを独立したブロック構造として記述することが可能となる。
上記構造を採用することによる利点は次のとおりである。
（利点１）
光沢や陰影、照明や視点の角度に応じた色の変化など、三次元的な変化に対応する映像再現が可能なので、実在の化粧料の質感や観測条件の変化に対応する質感の変化を実物と同様に再現することが可能となる。
（利点２）
化粧料開発において、個々の組成を数学モデルのブロック構造で記述することで、特定の成分を除去したり、追加したりすることがシミュレーション上で可能となる。つまり、実物の化粧料を用意しなくても、化粧料の成分組成の変化に対応するコンピュータシミュレーション（視覚シミュレーション）が可能となる。
（利点３）
数学モデルの精度を引き上げることで化粧シミュレーションシステム１の高機能化を図ることができる。一方、システムの高機能化は処理速度の低下をもたらしうるため、この点を考慮して、数学モデルの精度を引き下げることで化粧シミュレーションシステム１の高速化を図ることできる。
（利点４）
複雑な組成を持つ化粧料等、全体のモデル化が難しい化粧料の場合、部分的に簡略化したモデルや仮定を含んだモデルなどの精度の低いモデルをブロックとして独立して記述することができる。この場合、計測精度の向上などに伴い、精度の低いモデル（ブロック）を高精度なモデルに置き換えていくことでモデル全体の精度を徐々に向上させることができる。
化粧シミュレーションシステム１は、以上の４つの利点に説明したようなスケーラビリティの高いシステムであるといえる。
（１－１０）化粧シミュレーションシステム１を用いて、ユーザ２に対して各種化粧料のシミュレーションを行うことで、ユーザ２の要望に合わせた最適な化粧料を提案するためのカウンセリングを行うこともできる。
（１－１１）化粧シミュレーションシステム１は、ユーザの要望に合わせたパラメータ調整が可能であり、この機能を用いて各種化粧料のシミュレーションを行うことで、ユーザ２の要望に合わせた最適な化粧料を提案するためのカウンセリングを行うこともできる。
２．第１実施形態の変形例
上記で説明した第１実施形態に関し、その変形例を以下にて説明する。変形例については、第１実施形態と異なる点を中心に説明する。以下で特段の説明がない構成又は要素は、第１実施形態と同一である。
２－１．第１変形例
第１実施形態の第１変形例は、化粧料データベース２４ｃが化粧料の物理的特性に関する情報を記憶している点、及び、第２色信号算出部２３ｈが化粧料の物理的特性に関する情報に対応する第２反射特性パラメータを用いて第２色信号Ｃ２（λ）を算出する点において、第１実施形態と相違する。
具体的に、化粧料データベース２４ｃは、第２反射特性パラメータと化粧料の物理的特性に関する情報とを対応付けて記憶する。化粧料データベース２４ｃは、化粧料の物理的特性を化粧料の製品ごとに記憶する。化粧料の物理的特性としては、例えば、化粧料の処方及び化粧料に含まれる原材料の特性などが挙げられる。より具体的には、原材料の分光反射率、種類、配合割合、並びに、光輝剤の形状及び大きさなどが挙げられる。また、複数の材質から構成されている複雑な材質や未知の材質の場合は、対象の材質の物理的な性質を近似した数学モデルとモデルパラメータ（光沢度、粗さ、反射光の波長変化等）を化粧料データベース２４ｃに記録することもできる。
第２色信号算出部２３ｈは、化粧料データベース２４ｃから化粧料の物理的特性に関する情報に対応する第２反射特性パラメータを読み出し、読み出された第２反射特性パラメータと、第２三次元反射特性モデルとを用いて化粧料の第２色信号Ｃ２（λ）を算出する。第２色信号算出部２３ｈが化粧料データベース２４ｃから第２反射特性パラメータを読み出すために用いられる化粧料の物理的特性に関する情報は、例えば、ユーザ２によって設定された情報であってよい。具体例として、当該化粧料の物理的特性に関する情報は、ユーザ２によってユーザ端末１０を介して入力され、ユーザ端末１０からサーバ２０に送信された情報であってよい。
第１変形例に係る化粧シミュレーションシステム１において、第２三次元反射特性モデルを構成する第２反射特性パラメータは、化粧料の物理的特性に応じて設定されうる。すなわち、数学モデルである第２三次元反射特性モデルのモデルパラメータに、化粧料の物理的特性を反映させることができる。これにより、化粧料の物理的特性に基づいて第２色信号Ｃ２（λ）を算出することができる。
第１変形例に係る化粧シミュレーションシステム１を用いることにより、ユーザ２は、化粧料の物理的特性を設定して化粧シミュレーションを行うことができる。例えば、ユーザ２が、光輝剤を含有する化粧料の化粧シミュレーションを行う場合を想定する。一例として、ユーザ２は、化粧料の物理的特性に関する情報として光輝剤のサイズの数値を設定することができる。これにより、例えば、光輝剤のサイズを大きくした場合に光沢がどの程度増加して見えるのかをシミュレーションすることができる。他の一例として、ユーザ２は、化粧料の物理的特性に関する情報として油性成分の含有量の数値を設定することができる。これにより、例えば、化粧料に含まれる油性成分を増量した場合に光輝剤の光沢がどの程度低減して見えるのかをシミュレーションすることができる。
また、第１変形例に係る化粧シミュレーションシステム１は、ユーザの要望に合わせたパラメータ調整が可能であり、この機能を用いて各種化粧料のシミュレーションを行うことで、ユーザ２の要望に合わせた最適な化粧料を提案するためのカウンセリングを行うこともできる。
また、第１変形例に係る化粧シミュレーションシステム１は、例えば、化粧料の開発者が化粧料の設計を行う際に利用することができる。すなわち、当該化粧シミュレーションシステム１は、例えば、化粧料の設計のために用いられるシステムであってよい。化粧料の開発者は、化粧料の物理的特性を変化させた際に塗布対象物の化粧状態がどのように変化するのかをシミュレーションすることができる。当該開発者は、シミュレーションの結果を参考にして、化粧料に含まれる原材料の種類や配合組成を検討することができる。当該化粧シミュレーションシステム１は、化粧料の設計において、物理的特性の異なる複数の化粧料を実際に試作する労力及び時間を削減することに寄与しうる。
２－２．第２変形例
第１実施形態の第２変形例は、第２ＲＧＢ値算出部２３ｊが、人間の視覚特性と重畳画像が出力されるカラー画像出力装置の特性とに基づいて、第３色信号Ｃ３（λ）を補正する点において、第１実施形態と相違する。詳細には、第２ＲＧＢ値算出部２３ｊは、人間の視覚特性とカラー画像出力装置の特性とに基づいて第３色信号Ｃ３（λ）を補正し、補正された第３色信号Ｃ３（λ）から化粧状態の塗布対象物における第２ＲＧＢ値を算出する。これにより、第２ＲＧＢ値を実物との色差の少ない値に補正することができる。
具体的に、第２ＲＧＢ値算出部２３ｊは、第３色信号Ｃ３（λ）からCIE L*a*b*空間上で表示する色に変換する。その後、CIE L*a*b*から、カラー画像出力装置（モニター、プロジェクタ、プリンタ等）の色特性に基づいてデバイスRGBあるいはデバイスCMYKに色を変換する。表示するカラー画像出力装置は事前に、ガンマ特性、白色点を含むRGB値あるいはCMYK値各色の色座標を計測し、その情報に基づいて色変換を行う。この場合、各装置は、RGB３色型のディスプレイに限定されず、多原色ディスプレイ（たとえば、シャープ社製のクアトロンRGBYの４色モニターなどのRGB３原色よりも多い原色を持ったディスプレイ）や多色プリンタ（４原色を超える多色インクを持つプリンタ（たとえば、６色プリンタCMYK＋ライトシアン＋ライトマゼンタなどの４原色を超える多色インクを持つプリンタ）であってもよい。
２－３．第３変形例
第１実施形態の第３変形例は、化粧料データベース２４ｃが、印象又は場面に応じた化粧料の塗布方法をさらに記憶している点において第１実施形態と相違する。上記で述べたとおり、化粧料データベース２４ｃは、化粧料の種類ごと、かつ、各化粧料の色ごとの第２変換関数Ｔ（λ）を記憶している。今回の相違点は、この関数２変換関数Ｔ（λ）に加えて、各化粧料の塗布のための空間分布（空間的な濃淡や輪郭等）を記録し印象又は場面に応じた化粧料の塗布方法をデータベース内に組み込むことが可能となる。
上記印象とは、例えば、明るい、活発、大人しい、優しいなどである。上記場面とは、例えば、仕事をする、面接を受ける、友人と遊びに行く、結婚式に出席するなどである。上記化粧料の塗布方法とは、例えば、化粧料の塗布位置、塗布範囲、及び塗布量などである。
第３変形例において、図５に示されるユーザ端末１０の操作領域４２には、例えば、印象選択オブジェクト及び場面選択オブジェクト（いずれも図示せず）が表示されてよい。印象選択オブジェクトをタップ操作することにより、ユーザ２が希望する印象を選択可能であってよい。また、場面選択オブジェクトをタップ操作することにより、ユーザ２が想定したい場面を選択可能であってよい。
第３変形例に係る化粧シミュレーションシステム１を用いることにより、ユーザ２は、所望する印象又は場面に適した化粧状態をシミュレーションすることができる。
同じ化粧料であっても塗布方法を変えることで見た目の心証を変えられる場合がある。しかしながら、化粧料の塗布方法に精通していない人が、希望する印象や場面に適した塗布方法を見出すことは難しい。そこで、例えば、化粧料の塗布方法に精通した化粧料開発者の知見などに基づいて、印象又は場面に応じた化粧料の塗布方法に関する情報を予め化粧料データベース２４ｃに記憶させておく。これにより、印象又は場面に応じた化粧シミュレーションを誰でも簡便に行うことができる。
３．第２実施形態
上記第１実施形態では、第１画像がＲＧＢ画像である例について説明した。第１画像がマルチバンド画像である場合は、第１実施形態と同様な処理により化粧シミュレーションが実行される。次に、第２実施形態として、第１画像がマルチスペクトル画像である例について以下に説明する。以下で特段の説明がない構成又は要素は、第１実施形態と同一である。
第２実施形態において、ユーザ端末１０の撮影部１４は、一例として、マルチスペクトルカメラである。ここで、第１実施形態において説明した撮影部１４は、Ｒ、Ｇ、Ｂの３波長帯を持つＲＧＢカメラであるが、第１実施形態のＲＧＢカメラは、可視波長帯を４～２０バンド程度に分割したマルチバンドカメラであってもよい。一方、第２実施形態においては、主に可視波長域を細かく分割して詳細な分光波形が得られるマルチスペクトルカメラ（ハイパースペクトルカメラとも呼ばれる）を撮影部１４として用いる。マルチバンドカメラはマルチバンド画像を出力する。一方、マルチスペクトルカメラはスペクトルを記録したマルチスペクトル画像データを出力する。マルチスペクトルカメラは、例えば、ユーザ端末１０に内蔵されたカメラであってよく、又は、ユーザ端末１０に取り付けられた若しくは接続されたカメラであってもよい。撮影部１４は、マルチスペクトル画像である、未化粧状態でのユーザ２の顔画像（未化粧状態の顔の肌及び唇を含む第１画像）を取得する。
第２実施形態では、図７に示されるステップＳ４において、照明環境推定部２３ｃは、第１画像又は照明環境推定用画像から取得された照明光の分光分布に基づいて、第１画像又は照明環境推定用画像における照明環境を推定する。
照明光源の推定処理には、照明光源の分光分布Ｅ（λ）を獲得する部分を含む。Ｅ（λ）は第１画像から求めたカメラ出力から分光分布に変換する処理が必要となる。例えば、ＲＧＢ画像からでは、ＬＥＤや蛍光灯照明が持つ複雑な分光分布を数学的に直接求めることができないので、カメラ出力（ＲＧＢ画像）から分光分布を求める処理が必要となる。そこで、事前に多数の光源の分光分布の特性を計測し、その計測データを統計的に分析した情報を拘束条件として、第１画像や照明環境推定用画像から光源の分光分布を推定する。この場合、以下の式（Ａ）のように、ＲＧＢ値から照明光源用のシステム変換マトリックスＭＥを使用することで光源の分光分布Ｅ（λ）を求める。照明光源用のシステム変換マトリックスＭＥを求める手法としては、例えば既知の技術（田中、望月 「RGBカメラによる全方位分光画像計測とIBLへの応用」、画像電子学会誌、2013年）を用いることができる。なお、システム変換マトリックスＭＥは、第１実施形態において説明した、変換マトリックス記憶部１４ｄに記憶された照明光の分光分布を求めるためにシステム変換マトリックスの具体例である。
しかし、第２実施形態において用いられるマルチスペクトルカメラでは対象の分光分布を直接撮影できるので、上記で説明したカメラ出力から分光分布を推定する処理を省略することができる。すなわち、照明環境の推定において用いられる第１画像又は照明環境推定用画像がマルチスペクトル画像である場合、照明環境推定部２３ｃは、照明環境データベース２４ｂ及び変換マトリックス記憶部２４ｄに記憶された照明光の分光分布を求めるためのシステム変換マトリックスを用いずに、照明環境を推定できる。
図７に示されるステップＳ５において、第１分光反射率算出部２３ｄは、第１画像のスペクトル情報からＲＧＢ値を計算し、得られたＲＧＢ値を第１画像の第１ＲＧＢ値とする。第１分光反射率算出部２３ｄは、この第１ＲＧＢ値に基づいて、上記式（１），（２）を用いて化粧領域３１における第１分光反射率Ｓ１（λ）を算出する処理を実行する。
なお、マルチバンドカメラでは対象の分光分布を直接撮影できないため、第１画像又は照明環境推定用画像がマルチバンド画像の場合、基本的に第１実施形態において説明したＲＧＢ画像と同じ処理を実行する。つまり、Ｒ，Ｇ，Ｂの３つのバンドに対してではなく、マルチバンド画像のバンド数に合わせて処理を行う。
上記第２実施形態によれば、以下の効果を得ることができる。
（２－１）第１画像がマルチスペクトル画像であることで、照明環境の分光情報を第１画像から直接取得することができる。したがって、ＲＧＢ画像である第１画像から照明環境の分光情報を間接的に取得する場合に比べて、照明環境を精度良く推定することができる。
４．第３実施形態
上記第１実施形態では、分光反射率ベースの計算処理で算出された第１色信号Ｃ１（λ）及び第２色信号Ｃ２（λ）に基づいて第３色信号Ｃ３（λ）を算出し、さらに、第３色信号Ｃ３（λ）に基づいて第２ＲＧＢ値を算出する処理を実行する例について説明した。上述の処理に代えて、ＲＧＢ値ベースの計算処理を実行することで第２ＲＧＢ値を求めることもできる。第３実施形態として、ＲＧＢ値ベースの計算処理を実行する場合の作用について以下に説明する。
なお、第２ＲＧＢ値を求めるためのＲＧＢ値ベースの計算処理は、化粧領域３１のうち高い再現精度が必要とされない領域において実行される。すなわち、高い再現精度が必要とされる領域では、上記第１実施形態に記載される分光反射率ベースの計算処理によって第２ＲＧＢ値が算出される。また、第３実施形態において、第２ＲＧＢ値を求めるためのＲＧＢ値ベースの計算処理は、図７に示すステップＳ４以降の処理として第２ＲＧＢ値算出部２３ｊによって実行される。
まず、第２ＲＧＢ値算出部２３ｊは、第１ＲＧＢ値、第１拡散反射関数Ｄａ、第１鏡面反射関数Ｇａ、及び、照明光のＲＧＢ値に基づいて、第３ＲＧＢ値を算出する処理を実行する。第３ＲＧＢ値は、塗布対象物に対して照明光が照射されることで陰影、光沢などの照明効果が反映された状態における塗布対象物のＲＧＢ値である。第３ＲＧＢ値Ｒ３，Ｇ３，Ｂ３は、以下の式（１７）で表すことができる。また、照明光のＲＧＢ値ＲＬ，ＧＬ，ＢＬは、照明分光分布Ｅ（λ）及びＲＧＢ等色関数を用いて、以下の式（１８）で表すことができる。なお、照明光のＲＧＢ値は、照明環境ごとに照明環境データベース２４ｂに記憶される。
次いで、第２ＲＧＢ値算出部２３ｊは、第１ＲＧＢ値及び化粧料変換係数に基づいて、第４ＲＧＢ値を算出する処理を実行する。第４ＲＧＢ値は、化粧料が塗布対象物に塗布されて塗布対象物になじんだ状態での化粧料のＲＧＢ値である。すなわち、第４ＲＧＢ値には、ステップＳ４において推定された照明環境における照明光による陰影、光沢などの照明効果は反映されていない。また、化粧料変換係数は、第２変換関数Ｔ（λ）に基づいて算出される係数であって、第１ＲＧＢ値を第４ＲＧＢ値に変換するための係数である。化粧料変換係数は、化粧料ごとに予め化粧料データベース２４ｃに記憶される。第４ＲＧＢ値Ｒ４，Ｇ４，Ｂ４は、以下の式（１９）で表すことができる。また、化粧料変換係数ＲＴ，ＧＴ，ＢＴは、第２変換関数Ｔ（λ）及びＲＧＢ等色関数を用いて、以下の式（２０）で表すことができる。
次いで、第２ＲＧＢ値算出部２３ｊは、第４ＲＧＢ値、第２拡散反射関数Ｄｂ、第２鏡面反射関数Ｇｂ、及び、照明光のＲＧＢ値に基づいて、第５ＲＧＢ値を算出する処理を実行する。第５ＲＧＢ値は、化粧料に対して照明光が照射されることで陰影、光沢などの照明効果が反映された化粧料のＲＧＢ値である。第５ＲＧＢ値Ｒ５，Ｇ５，Ｂ５は、以下の式（２１）で表すことができる。
そして、第２ＲＧＢ値算出部２３ｊは、第３ＲＧＢ値、第５ＲＧＢ値、及び、重み係数ｗに基づいて、第２ＲＧＢ値を算出する処理を実行する。具体例として、化粧領域３１のうち、ファンデーションとチークとが重畳される領域において、第２ＲＧＢ値算出部２３ｊは、以下の式（２２）に基づいて第２ＲＧＢ値を算出する処理を実行する。Ｒ５ｆ，Ｇ５ｆ，Ｂ５ｆは、ファンデーションの第５ＲＧＢ値である。Ｒ５ｃ，Ｇ５ｃ，Ｂ５ｃは、チークの第５ＲＧＢ値である。
なお、化粧料に含まれる光輝剤は、ＲＧＢ値ベースでの計算処理が困難である。そのため、光輝剤における干渉色が再現された第６ＲＧＢ値は、上記の式（１２）を用いて分光反射率ベースで光輝剤の色信号ＣＧ（λ）を算出した後、光輝剤の色信号ＣＧ（λ）及びＲＧＢ等色関数から算出される。また、第６ＲＧＢ値を算出する処理は、第２ＲＧＢ値算出部２３ｊによって実行される。第６ＲＧＢ値Ｒ６，Ｇ６，Ｂ６は、以下の式（２３）で表すことができる。
そして、第２ＲＧＢ値算出部２３ｊは、第３ＲＧＢ値、第５ＲＧＢ値、第６ＲＧＢ値、及び、重み係数ｗに基づいて、光輝剤を含む化粧料が塗布された状態の第２ＲＧＢ値を算出する処理を実行することもできる。具体例として、第２ＲＧＢ値算出部２３ｊは、化粧領域３１のうち、ファンデーションと光輝剤としてパール及びラメを含むアイカラーとが重畳される領域において、以下の式（２４）に基づいて第２ＲＧＢ値Ｒ２，Ｇ２，Ｂ２を算出する処理を実行する。Ｒ５ｅ，Ｇ５ｅ，Ｂ５ｅは、アイカラーのうち光輝剤を除いた部分の第５ＲＧＢ値である。Ｒ６ｐ，Ｇ６ｐ，Ｂ６ｐは、アイカラーに含まれる光輝剤の一例であるパールの第６ＲＧＢ値である。Ｒ６ｌ，Ｇ６ｌ，Ｂ６ｌは、アイカラーに含まれる光輝剤の一例であるラメの第６ＲＧＢ値である。
以上のようにしてＲＧＢ値ベースの計算処理によって算出された第２ＲＧＢ値は、図７に示すステップＳ１２において、第２画像生成部２３ｋが第２画像を生成する処理を実行するために用いられる。
ＲＧＢ値ベースの計算処理によって第２ＲＧＢ値を算出する場合、赤、緑、青の三色についての３次元の計算処理が行われる。これに対して、第１実施形態のように分光反射率から算出した色信号に基づいて第２ＲＧＢ値を算出する場合、４００ｎｍ～７００ｎｍの可視光領域を５ｎｍごとに区分した６１次元の計算処理が行われる。
すなわち、ＲＧＢ値ベースの計算処理によって第２ＲＧＢ値を算出することで、分光反射率から算出した色信号に基づいて第２ＲＧＢ値を算出する処理よりも化粧シミュレーションにおける計算処理を簡略化できる。したがって、化粧領域３１のうち高い再現精度が必要とされない領域においてＲＧＢ値ベースの計算処理を行うことで、化粧シミュレーションの再現精度を大きく低下させずに計算処理を簡略化できる。
〔第３実施形態の効果〕
上記第３実施形態によれば、以下の効果を得ることができる。
（３－１）ＲＧＢ値ベースの計算処理によって第２ＲＧＢ値を算出することで、分光反射率から算出した色信号に基づいて第２ＲＧＢ値を算出する処理よりも化粧シミュレーションにおける計算処理を簡略化できる。したがって、化粧領域３１のうち高い再現精度が必要とされない領域においてＲＧＢ値ベースの計算処理を行うことで、化粧シミュレーションの再現精度を大きく低下させずに計算処理を簡略化できる。
なお、上記第３実施形態は、さらに、以下のように適宜変更して実施することもできる。
・ＲＧＢ値ベースの計算処理を用いて算出された第３ＲＧＢ値及び第５ＲＧＢ値に基づいて第２ＲＧＢ値を算出する構成を例示した。しかし、これに限定されず、第３ＲＧＢ値及び第５ＲＧＢ値の何れかを分光ベースの計算によって求めてもよい。具体的に、第３ＲＧＢ値に代えて、第１色信号Ｃ１（λ）をＲＧＢ等色関数によってＲＧＢ値に変換した値を用いてもよい。また、第５ＲＧＢ値に代えて、第２色信号Ｃ２（λ）をＲＧＢ等色関数によってＲＧＢ値に変換した値を用いてもよい。このような構成によれば、精度を必要としない任意の計算処理のみをＲＧＢ値ベースで計算することができるため、より好適に化粧シミュレーションの計算処理を簡略化できる。
なお、上記第１～第３実施形態は、さらに、以下のように適宜変更して実施することもできる。
・上記第１～第３実施形態では、化粧シミュレーションが行われる対象が顔であり、化粧料が塗布される塗布対象物が顔における肌または唇である構成を例示した。しかし、これに限定されず、本化粧シミュレーションシステム１は、顔以外であっても、化粧料が塗布される領域であれば適用可能である。化粧料が塗布される塗布対象物は、例えば、髪の毛であってもよい。その場合、塗布される化粧料は、例えば、ヘアマニキュアである。また、化粧料が塗布される塗布対象物は、例えば、爪であってもよい。その場合、塗布される化粧料は、例えば、マニキュアである。
・ＧＰＵ２３を用いて化粧シミュレーションシステム１におけるステップＳ２～Ｓ１３の処理を実行する構成を例示したが、これに限定されず、例えば、サーバ２０にＧＰＵ２３を設けずに、ＣＰＵ２２によってステップＳ２～Ｓ１３の処理を実行してもよい。この場合、サーバ２０におけるステップＳ２～Ｓ１３の処理速度が低下するものの、ＧＰＵ２３を設けないことも可能となる。また、例えば、ＣＰＵ２２の性能に応じて、ステップＳ２～Ｓ１３の処理のうち、何れかの処理をＣＰＵ２２が実行してもよい。
・第１色信号Ｃ１（λ）及び第２色信号Ｃ２（λ）を、照明環境推定部２３ｃによって推定された照明環境の照明分光分布Ｅ（λ）及び照明光源の空間分布に基づいて算出する構成を例示した。しかし、これに限定されず、例えば、推定された照明環境をユーザ２が変更できる構成であってもよい。この場合、例えば、照明環境の違いよって化粧料を塗布した塗布対象物の外観がどのように変化するのかをシミュレーションすることができる。
・ステップＳ８において、第１分光反射率Ｓ１（λ）と、塗布対象物の色に応じた第２変換関数Ｔ（λ）とに基づいて第２分光反射率Ｓ２（λ）を算出する構成を例示した。しかし、これに限定されず、分光光度計などの計測機を用いて化粧料の分光反射率を実測し、化粧料における分光反射率の実測値を第２分光反射率Ｓ２（λ）として用いてもよい。この場合、第１分光反射率Ｓ１（λ）と第２変換関数Ｔ（λ）とに基づいて第２分光反射率Ｓ２（λ）を算出する場合よりも第２色信号Ｃ２の再現精度が若干低下するものの、様々な化粧料についての化粧シミュレーションを容易に行うことができる。例えば、新たな化粧料が開発された際には、新たな化粧料の第２分光反射率及び第２反射特性パラメータを実測することで、本化粧シミュレーションシステム１における化粧シミュレーションを行うことができる。なお、この場合、ステップＳ８の処理は省略される。
・塗布対象物の色に応じた第１変換関数Ｍに基づいて第１分光反射率Ｓ１（λ）を算出する構成を例示した。しかし、これに限定されず、例えば、塗布対象物の色によらず、肌や唇など塗布対象物ごとに設定される汎用的な第１変換関数Ｍに基づいて第１分光反射率Ｓ１（λ）を算出してもよい。この場合、シミュレーション結果としての重畳画像３０ｂと、実際の化粧後の外観との差異が若干大きくなるものの、第１画像３０ａを構成する第１ＲＧＢ値に応じて第１変換関数Ｍを決定する処理、または、ユーザ２が色見本から塗布対象物に近い色を選択する手順が不要となる。したがって、第１ＲＧＢ値から第１分光反射率Ｓ１（λ）を算出する処理を簡略化できる。
・ユーザ端末１０が備える撮像部１４を用いてユーザ２の顔画像を取得する構成を例示したが、これに限定されず、例えば、デジタルカメラなどの外部装置で取得した顔画像を第１画像としてもよい。また、照明環境推定用画像も、例えば、ユーザ端末１０の撮影部１４を用いて取得された画像であってよく、又は、ユーザ端末以外の外部装置で取得された画像であってもよい。
・本実施形態では、サーバ２０が備えるＧＰＵ２３を用いて化粧シミュレーションシステム１におけるステップＳ２～Ｓ１３の処理を実行する構成を例示した。しかし、これに限定されず、例えば、ユーザ端末１０の制御部１１にＧＰＵを設け、ユーザ端末１０に化粧シミュレーションプログラムをインストールして、ユーザ端末１０が備えるＧＰＵによってステップＳ２～Ｓ１３の処理を実行してもよい。
・化粧シミュレーションシステム１は、例えば、画像表示プログラムを用いて、シミュレーション結果としての重畳画像に適用された化粧料を購入する処理を実行可能な構成であってもよい。この場合、サーバ２０には、決済処理を実行する決済部が設けられる。これにより、例えば、化粧シミュレーションシステム１において自身の希望に合う化粧料を探した後、当該化粧料を購入できる。
なお、本発明は、上記実施形態及び変形例に限定されるものではなく、種々の変形が可能である。例えば、上記実施形態及び変形例は、適宜組み合わせられてよい。
１…化粧シミュレーションシステム
１０…ユーザ端末
１１…制御部
１２…メモリ
１３…タッチパネル
１４…撮像部
２０…サーバ
２１…制御部
２３…ＧＰＵ
２３ａ…形状推定部
２３ｂ…肌質特定部
２３ｃ…照明環境推定部
２３ｄ…第１分光反射率算出部
２３ｅ…第１色信号算出部
２３ｆ…特徴部分特定部
２３ｇ…第２分光反射率算出部
２３ｈ…第２色信号算出部
２３ｉ…第３色信号算出部
２３ｊ…第２ＲＧＢ値算出部
２３ｋ…第２画像生成部
２３ｌ…重畳画像生成部
２４…メモリ
２４ａ…分光変換データベース
２４ｂ…照明環境データベース
２４ｃ…化粧料データベース
２４ｄ…変換マトリックス記憶部
３０…画像
３０ａ…第１画像
３０ｂ…重畳画像
３１…化粧領域
３２…光沢領域
４０…アプリ画像

Claims (15)

  1. 化粧料が塗布される塗布対象物の化粧前の画像である第１画像又は照明環境推定用画像を用いて、前記第１画像又は前記照明環境推定用画像における照明環境を推定する照明環境推定部と、
    前記第１画像の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する第１分光反射率算出部と、
    前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて、前記化粧前の前記塗布対象物における第１色信号を算出する第１色信号算出部と、
    前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて、前記化粧料の第２色信号を算出する第２色信号算出部と、
    前記第１色信号及び前記第２色信号から、前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する第３色信号算出部と、
    前記第３色信号から、前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する第２ＲＧＢ値算出部と、
    前記第２ＲＧＢ値に基づいて第２画像を生成する第２画像生成部と、
    前記第１画像と前記第２画像とを重畳した重畳画像を生成する重畳画像生成部と、
    を備える、化粧シミュレーションシステム。
  2. 前記第１画像又は前記照明環境推定用画像は、ＲＧＢカラー画像、マルチバンド画像、又はマルチスペクトル画像である、
    請求項１に記載の化粧シミュレーションシステム。
  3. 前記第１画像と前記照明環境推定用画像とは、同一の画像である、
    請求項１又は２に記載の化粧シミュレーションシステム。
  4. 前記塗布対象物に照射されうる照明光の分光分布である照明分光分布と前記照明光を発生させる照明光源の空間分布との組合せである光源情報を照明環境ごとに記憶する照明環境データベースをさらに備える、
    請求項１又は２に記載の化粧シミュレーションシステム。
  5. 前記照明環境の推定において用いられる前記第１画像又は前記照明環境推定用画像がＲＧＢ画像又はマルチバンド画像である場合において、
    ＲＧＢ値から照明光の分光分布を求めるためのシステム変換マトリックスを記憶する変換マトリックス記憶部をさらに備え、
    前記照明環境推定部は、前記第１画像又は前記照明環境推定用画像から推定された照明方向ベクトルと、前記照明光の分光分布を求めるためのシステム変換マトリックスを用いて前記第１画像又は前記照明環境推定用画像のＲＧＢ値から求められた前記照明光の分光分布と、に基づいて照明光源の空間分布を推定することにより、前記第１画像又は前記照明環境推定用画像における前記照明環境を推定する、
    請求項４に記載の化粧シミュレーションシステム。
  6. 前記照明環境の推定において用いられる前記第１画像又は前記照明環境推定用画像がマルチスペクトル画像である場合において、
    前記照明環境推定部は、前記第１画像又は前記照明環境推定用画像から取得された照明光の分光分布に基づいて、前記第１画像又は前記照明環境推定用画像における前記照明環境を推定する、
    請求項１又は２に記載の化粧シミュレーションシステム。
  7. 前記第２反射特性パラメータと化粧料の物理的特性に関する情報とを対応付けて記憶する化粧料データベースをさらに備え、
    前記第２色信号算出部は、前記化粧料データベースから前記化粧料の物理的特性に関する情報に対応する前記第２反射特性パラメータを読み出し、読み出された前記第２反射特性パラメータと、前記照明光の前記分光分布及び前記幾何条件と、で表現される第２三次元反射特性モデルを用いて前記化粧料の前記第２色信号を算出する、
    請求項１又は２に記載の化粧シミュレーションシステム。
  8. 前記第２ＲＧＢ値算出部は、人間の視覚特性と前記重畳画像が出力されるカラー画像出力装置の特性とに基づいて前記第３色信号を補正し、補正された前記第３色信号から前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する、
    請求項１又は２に記載の化粧シミュレーションシステム。
  9. 化粧料が塗布される塗布対象物の化粧前の画像である第１画像から前記塗布対象物の三次元形状を推定する形状推定部と、
    前記第１画像又は照明環境推定用画像を用いて、前記第１画像又は前記照明環境推定用画像における照明環境を推定する照明環境推定部と、
    前記第１画像の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する第１分光反射率算出部と、
    前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて、前記化粧前の前記塗布対象物における第１色信号を算出する第１色信号算出部と、
    前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて、前記化粧料の第２色信号を算出する第２色信号算出部と、
    前記第１色信号及び前記第２色信号から、前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する第３色信号算出部と、
    前記第３色信号から、前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する第２ＲＧＢ値算出部と、
    前記第２ＲＧＢ値に基づいて第２画像を生成する第２画像生成部と、
    前記第１画像と前記第２画像とを重畳した重畳画像を生成する重畳画像生成部と、
    を備える、化粧シミュレーションシステム。
  10. 化粧料が塗布される塗布対象物の化粧前の画像である第１画像又は照明環境推定用画像を用いて、前記第１画像又は前記照明環境推定用画像における照明環境を推定する照明環境推定部と、
    前記第１画像の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する第１分光反射率算出部と、
    前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて、前記化粧前の前記塗布対象物における第１色信号を算出する第１色信号算出部と、
    前記第１画像から前記塗布対象物の特徴部分を特定する特徴部分特定部と、
    前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて、前記化粧料の第２色信号を算出する第２色信号算出部と、
    前記第１色信号及び前記第２色信号から、前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する第３色信号算出部と、
    前記第３色信号から、前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する第２ＲＧＢ値算出部と、
    前記第２ＲＧＢ値に基づいて第２画像を生成する第２画像生成部と、
    前記第１画像と前記第２画像とを重畳した重畳画像を生成する重畳画像生成部と、
    を備える、化粧シミュレーションシステム。
  11. 化粧料が塗布される塗布対象物の化粧前の画像である第１画像から前記塗布対象物の表面の凹凸を数学モデルとして特定する肌質特定部と、
    前記第１画像又は照明環境推定用画像を用いて、前記第１画像又は前記照明環境推定用画像における照明環境を推定する照明環境推定部と、
    前記第１画像の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する第１分光反射率算出部と、
    前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて、前記化粧前の前記塗布対象物における第１色信号を算出する第１色信号算出部と、
    前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて、前記化粧料の第２色信号を算出する第２色信号算出部と、
    前記第１色信号及び前記第２色信号から、前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する第３色信号算出部と、
    前記第３色信号から、前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する第２ＲＧＢ値算出部と、
    前記第２ＲＧＢ値に基づいて第２画像を生成する第２画像生成部と、
    前記第１画像と前記第２画像とを重畳した重畳画像を生成する重畳画像生成部と、
    を備える、化粧シミュレーションシステム。
  12. 前記第１色信号算出部又は前記第２色信号算出部は、
    前記塗布対象物の表面の凹凸による陰影又は光沢の変化を計算し、前記計算により得られた前記塗布対象物の表面の凹凸による陰影又は光沢に関する情報を含む質感情報をさらに用いて、前記第１色信号又は前記第２色信号を算出する、
    請求項１１に記載の化粧シミュレーションシステム。
  13. 化粧料が塗布される塗布対象物の化粧前の画像である第１画像又は照明環境推定用画像を用いて、前記第１画像又は前記照明環境推定用画像における照明環境を推定する工程と、
    前記第１画像の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する工程と、
    前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて、前記化粧前の前記塗布対象物における第１色信号を算出する工程と、
    前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて、前記化粧料の第２色信号を算出する工程と、
    前記第１色信号及び前記第２色信号から、前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する工程と、
    前記第３色信号から、前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する工程と、
    前記第２ＲＧＢ値に基づいて第２画像を生成する工程と、
    前記第１画像と前記第２画像とを重畳した重畳画像を生成する工程と、
    を含む、化粧シミュレーション方法。
  14. コンピュータに、
    化粧料が塗布される塗布対象物の化粧前の画像である第１画像又は照明環境推定用画像を用いて、前記第１画像又は前記照明環境推定用画像における照明環境を推定する処理と、
    前記第１画像の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する処理と、
    前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて、前記化粧前の前記塗布対象物における第１色信号を算出する処理と、
    前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて、前記化粧料の第２色信号を算出する処理と、
    前記第１色信号及び前記第２色信号から、前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する処理と、
    前記第３色信号から、前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する処理と、
    前記第２ＲＧＢ値に基づいて第２画像を生成する処理と、
    前記第１画像と前記第２画像とを重畳した重畳画像を生成する処理と、
    を実行させる、化粧シミュレーションプログラム。
  15. 化粧料が塗布される塗布対象物の化粧前の画像である第１画像又は照明環境推定用画像を用いて、前記第１画像又は照明環境推定用画像における照明環境を推定する照明環境推定部と、
    前記第１画像の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する第１分光反射率算出部と、
    前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて前記化粧前の前記塗布対象物における第１色信号を算出する第１色信号算出部と、
    前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて、前記化粧料の第２色信号を算出する第２色信号算出部と、
    前記第１色信号及び前記第２色信号から、前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する第３色信号算出部と、
    前記第３色信号から、前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する第２ＲＧＢ値算出部と、
    前記第２ＲＧＢ値に基づいて第２画像を生成する第２画像生成部と、
    前記第１画像と前記第２画像とを重畳した重畳画像を生成する重畳画像生成部と、
    を備える、化粧シミュレーション装置。
JP2022139444A 2022-09-01 2022-09-01 化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラム、及び、化粧シミュレーション装置 Pending JP2024034889A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022139444A JP2024034889A (ja) 2022-09-01 2022-09-01 化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラム、及び、化粧シミュレーション装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022139444A JP2024034889A (ja) 2022-09-01 2022-09-01 化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラム、及び、化粧シミュレーション装置

Publications (1)

Publication Number Publication Date
JP2024034889A true JP2024034889A (ja) 2024-03-13

Family

ID=90194359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022139444A Pending JP2024034889A (ja) 2022-09-01 2022-09-01 化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラム、及び、化粧シミュレーション装置

Country Status (1)

Country Link
JP (1) JP2024034889A (ja)

Similar Documents

Publication Publication Date Title
US9449412B1 (en) Adaptive, calibrated simulation of cosmetic products on consumer devices
JP6039109B2 (ja) 着色検査装置および着色検査方法
KR101800102B1 (ko) 피부 진단 및 화상 처리 방법
KR101799174B1 (ko) 피부 진단 및 화상 처리 시스템, 장치 및 물품
JP6224822B2 (ja) 毛髪コンサルテーションツール装置及び方法
JP2003533831A (ja) デジタル像化処理のための物体色の測定、符号化及び表示のための方法及び装置
JP2006215756A (ja) 画像処理装置および画像処理方法ならびにそのプログラム
JP2003346137A (ja) 色再現装置
US20220026276A1 (en) System and Method for Creation of Topical Agents with Improved Image Capture
JP2003348501A (ja) 画像表示装置
KR20210032489A (ko) 신체 영역 상의 메이크업 제품의 렌더링의 시뮬레이션 방법
JP6323097B2 (ja) 色測定装置、色測定システム、色測定方法、および、プログラム
Ikeda et al. Reflection measurement and visual evaluation of the luminosity of skin coated with powder foundation
Darling et al. Real-time multispectral rendering with complex illumination
JP4477951B2 (ja) 化粧シミュレーション装置
JP2024034889A (ja) 化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラム、及び、化粧シミュレーション装置
TANAKA et al. A digital archive method based on multispectral imaging with goniometric multiband camera
JP2022133792A (ja) 化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラム、及び、化粧シミュレーション装置
JPH0540833A (ja) カラ−画像制御方法
JP2000193527A (ja) 三次元シミュレ―ション画像の形成方法
Fernandez-Maloigne et al. Digital color: acquisition, perception, coding and rendering
Nishizawa et al. Precise Surface Color Estimation Using a Non-Diagonal Reflectance Matrix on an Adaptive Projector-Camera System
JP2002010283A (ja) 顔画像の表示方法および顔画像の処理装置
Navvab et al. Evaluation of historical museum interior lighting system using fully immersive virtual luminous environment
US20230260193A1 (en) Generating a destination texture from a plurality of source textures

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20220915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220915