JP7305517B2 - プログラム、情報処理装置、シミュレート方法及び情報処理システム - Google Patents

Description

特許法第３０条第２項適用 株式会社資生堂ウェブサイトアドレス ｈｔｔｐｓ：／／ｗｗｗ．ｓｈｉｓｅｉｄｏ．ｃｏ．ｊｐ／ｆｄｓｉｍ／ｄｐ／ 平成３０年１２月１９日に掲載

本発明は、プログラム、情報処理装置、定量化方法及び情報処理システムに関する。

被験者の顔を撮影するカメラ装置と、このカメラ装置により撮影された被験者の顔の画像を写す表示装置と、この表示装置に写し出された被験者の顔の画像に仮想的に化粧を施す手段とを備えた化粧アドバイスシステムは、従来から知られている（例えば特許文献１参照）。

特開２０００－１９４８３５号公報

例えば特許文献１の化粧アドバイスシステムでは、メモリに複数蓄積された化粧による顔の変化を表す化粧データの画像を選択し、被験者の顔の画像に適合するように変形させて被験者の顔の画像と合成することで、表示装置に映し出された被験者の顔の画像に仮想的に化粧を施している。

しかしながら、カメラ装置により撮影された被験者の顔の肌色は、照明環境やカメラ装置の機種などにより差異（肌色のばらつき）が生じる。したがって、メモリに複数蓄積された化粧による顔の変化を表す化粧データの画像を選択し、被験者の顔の画像に適合するように変形させて被験者の顔の画像と合成したとしても、照明環境やカメラ装置の機種などによる肌色の差異により、似合わない（不自然）と感じさせてしまう恐れがあった。

なお、カラーチャート等を一緒に撮影してキャリブレーションすることで照明環境やカメラ装置の機種などによる差異を吸収することも考えられるが、手間やコストが掛かるという問題があった。

本発明の一実施形態は、撮影されたユーザの顔画像に馴染むようにファンデーションを施したシミュレーション画像を生成できるプログラムを提供することを目的とする。

本発明の一実施形態は、ファンデーションを施したユーザの顔画像をシミュレートするようにコンピュータを機能させるためのプログラムであって、前記コンピュータを、撮影されたユーザの顔画像の色彩値を測定する測定手段、号数により肌色を表すファンデーション製品の間の色彩値の差分データを記憶する記憶手段、撮影されたユーザの顔画像の色彩値を、基準とする一の号数のファンデーション製品の色彩値として動的に設定する基準設定手段、基準とする一の号数のファンデーション製品の色彩値と、前記記憶手段に記憶された前記差分データとを用いて、ファンデーション製品の仕上がりの色彩値を号数ごとに決定する決定手段、前記仕上がりの色彩値を用いて、撮影されたユーザの顔画像にファンデーションを施したシミュレーション画像を生成するシミュレーション手段、前記シミュレーション画像を出力する出力手段、として機能させるためのプログラムであることを特徴とする。

撮影されたユーザの顔画像に馴染むようにファンデーションを施したシミュレーション画像を生成できる。

本実施形態に係る情報処理システムの一例の構成図である。 本実施形態に係るコンピュータの一例のハードウェア構成図である。 ファンデーション製品の色の分類の一例を示した説明図である。 ファンデーション製品の色の差分データの一例を示した説明図である。 本実施形態に係る情報処理システムの一例の機能ブロック図である。 本実施例に係る情報処理システムの一例のフローチャートである。 本実施形態に係る情報処理システムの処理の一例のイメージ図である。

次に、本発明の実施形態について詳細に説明する。

［第１の実施形態］
＜システム構成＞
図１は、本実施形態に係る情報処理システムの一例の構成図である。図１（ａ）の情報処理システムは単体の情報処理装置１を備えている。情報処理装置１は、ユーザが操作するＰＣ、スマートフォン、タブレット、家庭用や業務用のファンデーションシミュレータ装置などである。

また、図１（ｂ）の情報処理システムは１台以上のクライアント端末２とサーバ装置３とがインターネット等のネットワーク４を介して接続されている。クライアント端末２はユーザが操作するＰＣ、スマートフォン、タブレットなどの端末装置、家庭用や業務用のファンデーションシミュレータ装置などである。サーバ装置３は、クライアント端末２で行われるユーザの顔画像にファンデーションを施すシミュレーション（ファンデーションのシミュレーション）に関する処理等を行う。

このように、本発明は図１（ｂ）に示すようなクライアント・サーバ型の情報処理システムの他、図１（ａ）に示す単体の情報処理装置１においても適用可能である。なお、図１の情報処理システムは一例であって、用途や目的に応じて様々なシステム構成例があることは言うまでもない。例えば図１（ｂ）のサーバ装置３は複数のコンピュータに分散して構成してもよいし、コンピュータ資源をサービスの形で提供するコンピューティング環境の一例であるクラウド環境を利用する構成であってもよい。

図１（ｂ）のサーバ装置３はクライアント端末２で実行されるプログラムをクライアント端末２にダウンロードさせる機能を有していてもよい。プログラムをダウンロードしたクライアント端末２は、ファンデーションのシミュレーションをサーバ装置３と協働して実現してもよいし、サーバ装置３と協働せずに実現してもよい。

＜ハードウェア構成＞
図１の情報処理装置１、クライアント端末２及びサーバ装置３は、例えば図２に示すようなハードウェア構成のコンピュータにより実現される。図２は、本実施形態に係るコンピュータの一例のハードウェア構成図である。

図２のコンピュータは、入力装置５０１、出力装置５０２、外部Ｉ／Ｆ５０３、ＲＡＭ５０４、ＲＯＭ５０５、ＣＰＵ５０６、通信Ｉ／Ｆ５０７、ＨＤＤ５０８、及びカメラ５０９などを備えており、それぞれがバスＢで相互に接続されている。

入力装置５０１は、入力に用いるキーボード、マウス、タッチパネルなどである。出力装置５０２は、画面を表示する液晶や有機ＥＬなどのディスプレイ、音声や音楽などの音データを出力するスピーカなどで構成されている。通信Ｉ／Ｆ５０７は、コンピュータをネットワーク４に接続するインターフェースである。ＨＤＤ５０８はプログラムやデータを格納している不揮発性の記憶装置の一例である。カメラ５０９はユーザの顔画像を撮影する撮影装置の一例である。なお、図２ではコンピュータに内蔵されるカメラ５０９の例を示したが、外部Ｉ／Ｆ５０３などを介して接続される外付けのカメラ５０９であってもよい。

外部Ｉ／Ｆ５０３は外部装置とのインターフェースである。コンピュータは外部Ｉ／Ｆ５０３を介して記録媒体５０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体５０３ａにはＤＶＤ、ＳＤメモリカード、ＵＳＢメモリなどがある。

ＣＰＵ５０６はＲＯＭ５０５やＨＤＤ５０８などの記憶装置からプログラムやデータをＲＡＭ５０４上に読み出し、処理を実行することで、コンピュータ全体の制御や機能を実現する演算装置である。情報処理装置１、クライアント端末２及びサーバ装置３は、上記したハードウェア構成のコンピュータにおいてプログラムを実行することにより各種機能を実現できる。なお、図２のハードウェア構成は一例であって、用途や目的に応じて様々な構成例があることは言うまでもない。

＜ファンデーション製品の色の分類について＞
図３はファンデーション製品の色の分類の一例を示した説明図である。図３に示したようにファンデーション製品の色は色味を表す「色相」と明るさを表す「明度」との２つの軸（組み合わせ）で表記し、簡易的に「彩度」が省略されて体系的に分類されるのが一般的である。

図３では色相の一例として「赤みより・黄みより」を表している。また、明度の一例として「明るい・濃い」を表している。図３ではファンデーション製品を色相によりピンク系、ピンクオークル系、オークル系、及びベージュオークル系に分類している。また、図３ではファンデーション製品の明度を色番号「００」「１０」「２０」「３０」「４０」により分類している。図３では色番号が小さいものほど色が明るく、色番号が大きいものほど色が濃い（色が暗い）例を表している。

なお、以下の説明ではピンク系、ピンクオークル系、オークル系、及びベージュオークル系の色相を、それぞれ「Ｐ」「ＰＯ」「ＯＣ」及び「ＢＯ」と表す場合がある。色が図３のように分類されるファンデーション製品は、例えば「ＯＣ１０」や「ＢＯ１０」のように「色相＋色番号」で、そのファンデーション製品の色を表す場合がある。なお、以下ではファンデーション製品の色（肌色）を表す「色相＋色番号」を「号数」と呼ぶ。ファンデーション製品の色は「号数」により特定される。

《ファンデーションのシミュレーションの検討》
ファンデーションのシミュレーションは、ファンデーションの仕上がり（色／つや／カバー力など）が確認できるように、コンピュータでファンデーションを施したユーザの顔画像をシミュレートするものである。なお、ファンデーション製品の号数による色の差は微少である場合が多い。

通常、ファンデーション製品のシミュレーションではファンデーション製品の色に応じた色彩値を予め設定しておく。本実施形態では色彩値がＲＧＢ値である例を説明するがＣＭＹＫ値、Ｌ^*ａ^*ｂ^*値、ＸＹＺ値などであってもよい。

ファンデーション製品のシミュレーションでは、ユーザの顔画像の肌色を下地とし、その上にシミュレートされたカバー力によって透過率の異なるファンデーション製品の色をのせて、ファンデーションを施したユーザの顔画像を生成する画像処理を行う。以下ではユーザの顔画像の肌色を素肌の色と呼び、シミュレートされたファンデーション製品の色をシミュレーションの色と呼び、ファンデーションを施したユーザの顔画像の肌色を仕上がりの色と呼ぶ。

ところで、ファンデーション製品のシミュレーションで使用するユーザの顔画像はカメラ５０９などにより撮影される。カメラ５０９などにより撮影されたユーザの素肌の色は照明環境やカメラ５０９の機種などにより差異（肌色のばらつき）が生じる。ポイントメイクのような色がはっきりした製品のシミュレーションと異なり、ファンデーション製品のシミュレーションでは、色の差が微少であるため、照明環境やカメラ５０９の機種の違いにより生じる肌色のばらつきの影響が大きい。

例えば同一のファンデーション製品のシミュレーションを同一のユーザが行った場合であっても、照明環境やカメラ５０９の機種の違いにより、似合うと判断されたり、似合わない（不自然）と判断されたり、する。このような判断のばらつきは、ファンデーション製品の販売機会の損失や、返品の増加の原因となることが考えられる。

そこで、本実施形態のファンデーション製品のシミュレーションではファンデーション製品の色に応じたＲＧＢ値を、照明環境やカメラ５０９の機種などにより生じる肌色のばらつきに応じて、以下のように動的に設定できるようにした。

本実施形態では例えば図３に示したファンデーション製品の色の差分データを例えば図４のように事前に決定しておく。図４は、ファンデーション製品の色の差分データの一例を示した説明図である。なお、図４ではファンデーション製品の色の差分データをΔＲＧＢ（ｎ）で表している。

例えば図４において「ＯＣ１０」と「ＯＣ００」との差分データは、ΔＲＧＢ（１）で表している。また「ＯＣ１０」と「ＯＣ２０」との差分データは、ΔＲＧＢ（２）で表している。なお「ＯＣ１０」と「ＯＣ００」との差分データであるΔＲＧＢ（１）は例えば以下のように表すことができる。

「ＯＣ１０」のＲＧＢ値＝{Ｒ１、Ｇ１、Ｂ１}
「ＯＣ００」のＲＧＢ値＝{Ｒ２、Ｇ２、Ｂ２}
ΔＲＧＢ（１）＝{Ｒ２－Ｒ１、Ｇ２－Ｇ１、Ｂ２－Ｂ１}
なお、図４に示したファンデーション製品の色の差分データをΔＲＧＢ（ｎ）は一例であって、ＣＭＹＫ値、Ｌ^*ａ^*ｂ^*値、ＸＹＺ値の差分データで表してもよい。

そして、本実施形態では例えば図４に示したファンデーション製品の色の差分データを用いることで、基準とする号数のファンデーション製品のＲＧＢ値を設定して、図４に示したファンデーション製品の色のＲＧＢ値を計算により全て決定する。なお、基準とするファンデーション製品の号数は、ユーザ情報により決定する。ユーザ情報には、ユーザへの問診により決定したユーザの好みのファンデーション製品の色、ファンデーション製品の購入履歴、ファンデーション製品の使用履歴、ユーザの行動履歴（外出頻度や外出場所の情報）など、ファンデーション商品のお勧めの色を推定できる情報が含まれている。

本実施形態では、カメラ５０９などにより撮影されたユーザの素肌のＲＧＢ値を、基準とするファンデーション製品のＲＧＢ値に設定する。例えば本実施形態では、基準とするファンデーション製品の号数が「ＯＣ１０」であれば、その号数「ＯＣ１０」のファンデーション製品のＲＧＢ値がカメラ５０９などにより撮影されたユーザの素肌のＲＧＢ値となる。

このように本実施形態では、基準とする号数のファンデーション製品のＲＧＢ値と、カメラ５０９などにより撮影されたユーザの素肌のＲＧＢ値とを一致させることで、ファンデーション製品のシミュレーションのＲＧＢ値とカメラ５０９などにより撮影されたユーザの素肌のＲＧＢ値とが、大きく乖離することを避け、自然で肌に馴染んだシミュレーション画像を生成できる。

＜ソフトウェア構成＞
《機能ブロック》
本実施形態に係る情報処理システムのソフトウェア構成について説明する。なお、ここでは図１（ａ）に示した情報処理装置１を一例として説明する。図５は本実施形態に係る情報処理システムの一例の機能ブロック図である。情報処理装置１はプログラムを実行することにより、撮影部１０、測定部１２、決定部１４、基準設定部１６、差分データ記憶部１８、シミュレーション部２０、出力部２２を実現している。

撮影部１０は、カメラ５０９を制御してユーザの顔画像を撮影する。測定部１２は撮影部１０により撮影されたユーザの顔画像のＲＧＢ値を測定する。基準設定部１６は撮影部１０により撮影されたユーザの顔画像のＲＧＢ値を、基準とする号数のファンデーション製品の色（色調）のＲＧＢ値として動的に設定する。

差分データ記憶部１８は例えば図４を用いて説明したファンデーション製品の色の差分データΔＲＧＢ（ｎ）を記憶している。決定部１４は、基準設定部１６が設定した基準とする号数のファンデーション製品のＲＧＢ値と、差分データ記憶部１８に記憶されているファンデーション製品の色の差分データΔＲＧＢ（ｎ）と、を用いてファンデーション製品の仕上がりのＲＧＢ値を、ファンデーション製品の号数（色）ごとに決定する。

シミュレーション部２０は決定部１４が決定したファンデーション製品の色ごとの仕上がりのＲＧＢ値と、撮影部１０により撮影されたユーザの顔画像のＲＧＢ値と、を用いることにより、撮影部１０により撮影されたユーザの顔画像にファンデーションを施したシミュレーション画像をファンデーション製品の色ごとに生成できる。また、出力部２２はシミュレーション部２０が生成したシミュレーション画像を、出力装置５０２を制御して出力する。出力部２２は、ユーザにより選択された号数のファンデーション製品の色の仕上がりのＲＧＢ値を用いて生成されたシミュレーション画像を出力できる。

＜処理＞
図６は本実施例に係る情報処理システムの一例のフローチャートである。ステップＳ１０において、情報処理装置１の基準設定部１６はユーザ情報に含まれるユーザへの問診により決定したユーザの好みのファンデーション製品の色、ファンデーション製品の購入履歴、ファンデーション製品の使用履歴、ユーザの行動履歴など、により基準とする号数のファンデーション製品の色（色調）を設定する。

例えば基準設定部１６は問診により判明したユーザの好みのファンデーション製品の色を、基準とする号数のファンデーション製品の色に設定する。ここではファンデーション製品の号数の一例である「ＯＣ１０」が設定された例を説明する。

ステップＳ１２において、測定部１２は撮影部１０により撮影されたユーザの顔画像のＲＧＢ値を測定する。なお、撮影されたユーザの顔画像のＲＧＢ値の測定は既存の技術を用いて行う。

ステップＳ１４において、基準とする号数のファンデーション製品の色のＲＧＢ値に、撮影部１０により撮影されたユーザの肌のＲＧＢ値を、例えば図７のように設定する。図７は本実施形態に係る情報処理システムの処理の一例のイメージ図である。例えば図７では基準とするファンデーション製品の号数が「ＯＣ１０」であり、その号数「ＯＣ１０」のファンデーション製品のＲＧＢ値に、撮影されたユーザの肌のＲＧＢ値を設定している。

ステップＳ１６において、決定部１４は基準とする号数のファンデーション製品以外の色のＲＧＢ値を、基準とする号数のファンデーション製品の色のＲＧＢ値に、差分データ記憶部１８のファンデーション製品の色の差分データΔＲＧＢ（ｎ）を加え、決定する。例えば図７では基準とする号数「ＯＣ１０」のファンデーション製品の色のＲＧＢ値に、差分データΔＲＧＢ（１）を加えることにより号数「ＯＣ００」のファンデーション製品の色のＲＧＢ値を決定する。

また、基準とする号数「ＯＣ１０」のファンデーション製品の色のＲＧＢ値に、差分データΔＲＧＢ（２）を加えることにより号数「ＯＣ２０」のファンデーション製品の色のＲＧＢ値を決定する。決定した号数「ＯＣ２０」のファンデーション製品の色のＲＧＢ値に、差分データΔＲＧＢ（３）を加えることにより号数「ＯＣ３０」のファンデーション製品の色のＲＧＢ値を決定する。

また、基準とする号数「ＯＣ１０」のファンデーション製品の色のＲＧＢ値に、差分データΔＲＧＢ（５）を加えることにより号数「ＢＯ１０」のファンデーション製品の色のＲＧＢ値を決定する。さらに、基準とする号数「ＯＣ１０」のファンデーション製品の色のＲＧＢ値に、差分データΔＲＧＢ（８）を加えることにより号数「ＰＯ１０」のファンデーション製品の色のＲＧＢ値を決定する。

（まとめ）
本実施形態によれば、カラーチャート等を一緒に撮影してキャリブレーションすることで照明環境やカメラ装置の機種などによる差異を吸収することなく、撮影されたユーザの顔画像に馴染むようにファンデーションを施したシミュレーション画像を生成できる。

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１ 情報処理装置
２ クライアント端末
３ サーバ装置
４ ネットワーク
１０ 撮影部
１２ 測定部
１４ 決定部
１６ 基準設定部
１８ 差分データ記憶部
２０ シミュレーション部
２２ 出力部
５０１ 入力装置
５０２ 出力装置
５０３ 外部Ｉ／Ｆ
５０４ ＲＡＭ
５０５ ＲＯＭ
５０６ ＣＰＵ
５０７ 通信Ｉ／Ｆ
５０８ ＨＤＤ
５０９ カメラ

Claims (6)

1. ファンデーションを施したユーザの顔画像をシミュレートするようにコンピュータを機能させるためのプログラムであって、
   前記コンピュータを、
   撮影されたユーザの顔画像の色彩値を測定する測定手段、
   号数により肌色を表すファンデーション製品の間の色彩値の差分データを記憶する記憶手段、
   撮影されたユーザの顔画像の色彩値を、基準とする一の号数のファンデーション製品の色彩値として動的に設定する基準設定手段、
   基準とする一の号数のファンデーション製品の色彩値と、前記記憶手段に記憶された前記差分データとを用いて、ファンデーション製品の仕上がりの色彩値を号数ごとに決定する決定手段、
   前記仕上がりの色彩値を用いて、撮影されたユーザの顔画像にファンデーションを施したシミュレーション画像を生成するシミュレーション手段、
   前記シミュレーション画像を出力する出力手段、
   として機能させるためのプログラム。
2. 前記基準設定手段は、ユーザ情報により決定したファンデーション製品の号数により、基準とする一の号数を決定すること
   を特徴とする請求項１記載のプログラム。
3. 前記出力手段は、ユーザにより選択された号数のファンデーション製品の仕上がりの色彩値を用いて生成された前記シミュレーション画像を出力すること
   を特徴とする請求項１又は２記載のプログラム。
4. ファンデーションを施したユーザの顔画像をシミュレートする情報処理装置であって、
   撮影されたユーザの顔画像の色彩値を測定する測定手段と、
   号数により肌色を表すファンデーション製品の間の色彩値の差分データを記憶する記憶手段と、
   撮影されたユーザの顔画像の色彩値を、基準とする一の号数のファンデーション製品の色彩値として動的に設定する基準設定手段と、
   基準とする一の号数のファンデーション製品の色彩値と、前記記憶手段に記憶された前記差分データとを用いて、ファンデーション製品の仕上がりの色彩値を号数ごとに決定する決定手段と、
   前記仕上がりの色彩値を用いて、撮影されたユーザの顔画像にファンデーションを施したシミュレーション画像を生成するシミュレーション手段と、
   前記シミュレーション画像を出力する出力手段と、
   を有する情報処理装置。
5. ファンデーションを施したユーザの顔画像をシミュレートする情報処理装置において実行されるシミュレート方法であって、
   撮影されたユーザの顔画像の色彩値を測定する測定ステップと、
   撮影されたユーザの顔画像の色彩値を、基準とする一の号数のファンデーション製品の色彩値として動的に設定する基準設定ステップと、
   基準とする一の号数のファンデーション製品の色彩値と、号数により肌色を表すファンデーション製品の間の色彩値の差分データを記憶する記憶手段に記憶された前記差分データとを用いて、ファンデーション製品の仕上がりの色彩値を号数ごとに決定する決定ステップと、
   前記仕上がりの色彩値を用いて、撮影されたユーザの顔画像にファンデーションを施したシミュレーション画像を生成するシミュレーションステップと、
   前記シミュレーション画像を出力する出力ステップと、
   を有するシミュレート方法。
6. ユーザの顔画像を撮影するクライアント端末と、ファンデーションを施した前記ユーザの顔画像をシミュレートして前記クライアント端末に提供するサーバ装置と、を有する情報処理システムであって、
   撮影されたユーザの顔画像の色彩値を測定する測定手段と、
   号数により肌色を表すファンデーション製品の間の色彩値の差分データを記憶する記憶手段と、
   撮影されたユーザの顔画像の色彩値を、基準とする一の号数のファンデーション製品の色彩値として動的に設定する基準設定手段と、
   基準とする一の号数のファンデーション製品の色彩値と、前記記憶手段に記憶された前記差分データとを用いて、ファンデーション製品の仕上がりの色彩値を号数ごとに決定する決定手段と、
   前記仕上がりの色彩値を用いて、撮影されたユーザの顔画像にファンデーションを施したシミュレーション画像を生成するシミュレーション手段と、
   前記シミュレーション画像を出力する出力手段と、
   を有する情報処理システム。

Images