JP7476505B2 - 画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラムに関する。

ユーザが化粧品によりメイクアップ（以下、「メイク」と呼ぶ。）した後の状態をシミュレーションするメイクシミュレーションの技術が知られている。例えば、特許文献１は、人物の顔画像にメイクパーツを重畳して表示装置に表示させるメイクシミュレーション装置を開示している。

国際公開第２０１８／１５９２３１号

実際のメイクにおいて化粧ブラシ等のメイク道具を用いて顔に化粧品を塗布する場合、メイク道具に付着した化粧品の量や、顔に対するメイク道具の接触のさせ方等に応じて、顔に対する化粧品の塗布のされ方は変化する。そのため、メイクシミュレーションによってメイク後の顔の状態をシミュレーションしても、実際のメイクとは異なる仕上がりになることがある。このような状況のもと、メイク道具を用いて顔に化粧品を塗布する場合におけるメイク後の顔の状態をよりリアルにシミュレーションすることが求められている。

本発明は、以上のような課題を解決するためのものであり、メイク後の顔の状態をよりリアルにシミュレーションすることが可能な画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明に係る画像処理装置は、
ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部と、
前記第２の表示領域に前記化粧品画像が表示されている時に、指示体が前記第２の表示領域の表面に接触することによる操作を受け付ける操作受付部と、
前記操作受付部が前記操作を受け付けた後において、前記指示体が前記ユーザの顔に接触した場合、前記ユーザの顔における前記指示体が接触した接触位置を特定する接触位置特定部と、
前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記指示体による前記第２の表示領域の表面への接触の強さと、当該接触の時間長と、当該接触の位置の移動距離と、のうちの少なくとも１つを示す第１の値と、前記指示体による前記ユーザの顔への接触の強さと、当該接触の時間長と、当該接触の位置の移動距離のうちの少なくとも１つを示す第２の値と、に基づいて加工されたメイク画像を前記第１の表示領域に表示する表示制御部と、
を備えることを特徴とする。

本発明によれば、メイク後の顔の状態をよりリアルにシミュレーションすることができる。

本発明の実施形態１に係るメイクシミュレーション装置の外観模式図である。 実施形態１に係る画像処理装置のハードウェア構成を示すブロック図である。 実施形態１に係る指示装置のハードウェア構成を示すブロック図である。 実施形態１に係るメイクシミュレーション装置の機能的な構成を示すブロック図である。 実施形態１に係る画像処理装置をユーザが使用している状態を示す図である。 実施形態１に係る画像処理装置に撮像画像と化粧品画像とが表示された例を示す図である。 実施形態１においてユーザが指示装置をタッチパネルに接触させた例を示す図である。 実施形態１においてユーザが指示装置を顔に接触させた例を示す図である。 実施形態１においてユーザが指示装置を振る動作を行った例を示す図である。 実施形態１における保持データの例を示す図である。 実施形態１においてユーザが指示装置を顔に接触させた場合における撮像画像の表示例を示す図である。 実施形態１においてメイク画像が表示された第１の例を示す図である。 実施形態１においてメイク画像が表示された第２の例を示す図である。 実施形態１に係る指示装置によって実行される処理の流れを示すフローチャートである。 実施形態１に係る画像処理装置によって実行される処理の流れを示すフローチャートである。 本発明の実施形態２に係る画像処理装置の機能的な構成を示すブロック図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。

（実施形態１）
図１に、本発明の実施形態１に係るメイクシミュレーション装置１の外観を模式的に示す。メイクシミュレーション装置１は、ユーザが化粧品によりメイクした後の状態をコンピュータ上でシミュレーションする装置である。メイクシミュレーション装置１を用いることで、ユーザは、本物の化粧品を用いることなく気軽にメイクの練習をすることや、メイク後の状態を事前に確認することができる。

図１に示すように、メイクシミュレーション装置１は、画像処理装置１０と、指示装置３０と、を備える。画像処理装置１０は、ユーザの顔が撮像された撮像画像に対して、メイク後の状態を表す画像をシミュレーションにより生成して表示する装置である。画像処理装置１０は、メイク用のパレットを模擬した形状をしている。

図２に、画像処理装置１０のハードウェア構成を示す。画像処理装置１０は、制御部１１と、記憶部１２と、操作部１３と、撮像部１４と、表示部１５と、タッチパネル１６と、通信部１７と、を備える。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備える。ＣＰＵは、例えばマイクロプロセッサ等を備え、様々な処理及び演算を実行する中央演算処理部として機能する。制御部１１において、ＣＰＵは、システムバスを介して画像処理装置１０の各部に接続されており、ＲＯＭに記憶されている制御プログラムを読み出して、ＲＡＭをワークメモリとして用いながら、画像処理装置１０全体の動作を制御する。

また、制御部１１は、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等のような画像処理用のプロセッサと、処理される画像を一時的に保存するバッファメモリと、を備える。制御部１１は、画像処理用のプロセッサにより、周知の画像処理の手法を用いて、撮像部１４により得られた撮像画像を処理する。

記憶部１２は、フラッシュメモリ、ハードディスク等の不揮発性メモリを備える。記憶部１２は、制御部１１が各種処理を行うために使用するプログラム及びデータを記憶する。また、記憶部１２は、制御部１１が各種処理を行うことにより生成又は取得するデータを記憶する。

操作部１３は、入力キー、ボタン、スイッチ等を備え、ユーザから操作指示を受け付ける。

撮像部１４は、いわゆるカメラであって、被写体から射出された光を集光するレンズと、集光した光を受けて被写体の画像を取得するＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、撮像素子から電気信号として送られた撮像データをデジタルデータに変換するＡ／Ｄ（Analog/Digital）変換器と、を備える。撮像部１４は、図１に示すように、表示部１５の近傍に配置されており、表示部１５を見ながら画像処理装置１０を使用しているユーザの顔を撮像する。

図２に戻って、表示部１５は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の表示デバイスである。表示部１５は、図１に示すように、画像処理装置１０の上側の面に配置されており、撮像部１４の撮像により得られた撮像画像を表示する。表示部１５は、本発明における「第１の表示領域」として機能する。

タッチパネル１６は、タッチスクリーン等とも呼ばれ、画像を表示する表示装置と位置の入力を受け付ける位置入力装置とが互いに重畳して配置されたデバイスである。タッチパネル１６は、図１に示すように、画像処理装置１０の下側の面に配置されており、メイクシミュレーションにおいてユーザの顔に仮想的に塗布される化粧品を表現する化粧品画像を表示する。タッチパネル１６は、本発明における「第２の表示領域」として機能する。また、タッチパネル１６は、表示装置に画像が表示されている時に、タッチパネル１６の表面に対する接触による操作を位置入力装置により受け付ける。なお、表示部１５とタッチパネル１６とが本発明における「表示部」として機能する。

通信部１７は、画像処理装置１０が指示装置３０を含む外部の機器と通信するためのインタフェースを備える。通信部１７は、例えば、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、又はＵＳＢ（Universal Serial Bus）ケーブル等の有線通信を介して外部の機器と通信する。

図１に戻って、指示装置３０は、メイクシミュレーションにおいて化粧品を選択し、選択した化粧品を仮想的に塗布する顔の位置を指示するための装置である。指示装置３０は、スティック状をしており、いわゆる化粧筆（化粧ブラシ、メイクブラシ）のような、顔に化粧品を塗布するために用いられる塗布ツールを模擬する部材である。ユーザは、指示装置３０を手で把持し、画像処理装置１０に表示された化粧品画像及びユーザの顔を、指示装置３０の端部で指し示すようにして使用する。指示装置３０は、本発明における「指示体」として機能する。

指示装置３０は、図示を省略するが、タッチパネル１６の表面やユーザの顔等に接触する側の先端部に、取り外し可能なアタッチメント（取り付け部材）を備える。アタッチメントは、仮想的に化粧品を付着させて塗布するための部品である。アタッチメントとして、ペン状、ブラシ状等の様々な形状のものを指示装置３０に取り付けることができる。指示装置３０に取り付けられるアタッチメントに応じて、メイクシミュレーションにおける化粧品の塗布の態様が変化する。ユーザは、指示装置３０に所望の形状のアタッチメントを付け替えてメイクをシミュレーションすることができる。

図３に、指示装置３０のハードウェア構成を示す。指示装置３０は、制御部３１と、記憶部３２と、種別識別部３３と、接触検知部３４と、加速度検知部３５と、通信部３７と、を備える。

制御部３１は、ＣＰＵ、ＲＯＭ及びＲＡＭを備える。ＣＰＵは、例えばマイクロプロセッサ等を備え、様々な処理及び演算を実行する中央演算処理部として機能する。制御部１１において、ＣＰＵは、システムバスを介して指示装置３０の各部に接続されており、ＲＯＭに記憶されている制御プログラムを読み出して、ＲＡＭをワークメモリとして用いながら、指示装置３０全体の動作を制御する。

記憶部３２は、フラッシュメモリ、ハードディスク等の不揮発性メモリを備える。記憶部３２は、制御部３１が各種処理を行うために使用するプログラム及びデータを記憶する。また、記憶部３２は、制御部３１が各種処理を行うことにより生成又は取得するデータを記憶する。

種別識別部３３は、指示装置３０に取り付けられたアタッチメントの種別を識別する。例えば、指示装置３０は、アタッチメントが取り付けられた場合に押圧されるスイッチであって、種別が異なるアタッチメントが取り付けられると押圧のされ方が異なるスイッチを備える。種別識別部３３は、アタッチメントが取り付けられた場合におけるスイッチの押圧のされ方によって、取り付けられたアタッチメントの種別を識別する。

接触検知部３４は、指示装置３０の端部に対する接触を検知する。接触検知部３４は、静電容量式、歪みゲージ式等の周知の方式で圧力を検知する圧力センサを備える。接触検知部３４は、指示装置３０に取り付けられたアタッチメントに、タッチパネル１６の表面やユーザの顔等の物体が接触した場合、その接触によってアタッチメントに加えられる圧力を圧力センサにより検知する。これにより、接触検知部３４は、指示装置３０の端部に対する接触を検知する。

加速度検知部３５は、機械式、振動式、半導体式等の周知の方式で加速度を検知する加速度センサを備えており、指示装置３０の全体に加えられる加速度を検知する。加速度検知部３５は、例えば指示装置３０がユーザに把持された状態で振り払われた場合のように、指示装置３０に加速度が加えられた場合に、その加速度を検知する。

通信部３７は、指示装置３０が画像処理装置１０と通信するためのインタフェースを備える。通信部３７は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、又はＵＳＢケーブル等の有線通信を介して画像処理装置１０と通信する。

次に、図４を参照して、メイクシミュレーション装置１の機能的な構成について説明する。図４に示すように、画像処理装置１０の制御部１１は、機能的に、画像取得部１１０と、表示制御部１２０と、顔検出部１３０と、操作受付部１４０、情報取得部１５０と、保持量設定部１６０と、接触位置特定部１７０と、を備える。制御部１１において、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに読み出して実行することにより、これら各部として機能する。

また、指示装置３０は、機能的に、情報送信部３１０を備える。制御部３１において、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに読み出して実行することにより、情報送信部３１０として機能する。

画像処理装置１０において、画像取得部１１０は、撮像部１４による撮像により得られた撮像画像を取得する。図５に、ユーザＵがメイクシミュレーション装置１を用いてメイクのシミュレーションを行うために、画像処理装置１０の表示部１５に向かい合っている状態を示す。撮像部１４は、図５において破線で示す視野の内側、具体的には表示部１５に向かい合っているユーザＵの顔を含む範囲を撮像する。

このように、撮像部１４の設置位置及び光軸の向きは、ユーザＵが表示部１５に向かい合っている場合にユーザＵの顔が撮像部１４の視野に含まれるように、調整されている。そのため、ユーザＵが表示部１５に向かい合っている場合、画像取得部１１０は、ユーザＵの顔が撮像された撮像画像を取得する。画像取得部１１０は、画像処理装置１０がユーザＵにより使用されている間、このような撮像部１４によりユーザＵの顔が撮像された撮像画像を継続的に取得する。画像取得部１１０は、制御部１１が撮像部１４等と協働することにより実現される。

表示制御部１２０は、画像取得部１１０により取得された撮像画像を、第１の表示領域である表示部１５に表示する。例えば図５に示したように撮像部１４の視野内にユーザＵの顔が含まれている場合、表示制御部１２０は、ユーザの顔が撮像された撮像画像を表示部１５に表示する。これにより、表示制御部１２０は、表示部１５に向かい合っているユーザＵの顔の様子をリアルタイムで表示する。このように撮像されたユーザの顔画像が表示部１５に表示されることで、ユーザは、表示部１５に表示された自分の顔画像を鏡に映った顔のように見ながら、メイクをシミュレーションすることができる。

更に、表示制御部１２０は、化粧品を表現する化粧品画像を、第２の表示領域であるタッチパネル１６に表示する。化粧品画像は、メイクシミュレーションにおいてユーザＵの顔に仮想的に塗布される化粧品を視覚的に表現する画像である。表示制御部１２０は、化粧品画像として、複数の化粧品を表現する画像を表示する。

具体的に説明すると、表示制御部１２０は、例えば図６に示すように、タッチパネル１６上の表示領域を縦方向及び横方向に複数に区切ることで、複数の部分領域に分割する。そして、表示制御部１２０は、化粧品画像として、複数の部分領域のそれぞれに異なる化粧品を表現する画像を表示する。

ここで、複数の部分領域のそれぞれに表示される化粧品は、色、光沢、質感等の少なくとも１つの特徴が異なる化粧品であって、ユーザＵの顔に仮想的に塗布してメイク後の状態をシミュレーションすることが可能な化粧品である。色、光沢、質感等が異なる複数の化粧品を表現する化粧品画像がタッチパネル１６に表示されることにより、ユーザＵは、複数の化粧品のうちからメイクシミュレーションを望む化粧品を選択して使用することができる。

このような複数の化粧品を表現する化粧品画像は、記憶部１２に予め記憶されている。表示制御部１２０は、画像処理装置１０の使用時に化粧品画像を記憶部１２から読み出してタッチパネル１６に表示する。

このようにユーザＵの顔が撮像された撮像画像がリアルタイムで表示部１５に表示され、且つ、化粧品画像がタッチパネル１６に表示されることにより、ユーザは、画像処理装置１０を、化粧用のパレットのように取り扱うことができる。表示制御部１２０は、制御部１１が表示部１５、タッチパネル１６等と協働することにより実現される。

図４に戻って、顔検出部１３０は、画像取得部１１０により取得された撮像画像のうちから顔画像を検出する。具体的に説明すると、顔検出部１３０は、画像取得部１１０により撮像画像が取得されると、周知の顔認識の手法を用いて、撮像画像に目、鼻、眉等の顔部位が含まれているか否かを判定する。判定の結果、撮像画像に顔部位が含まれている場合、顔検出部１３０は、撮像画像における顔部位の座標及びサイズを検出する。

また、顔検出部１３０は、検出した顔部位に基づいて顔の輪郭部分を識別し、顔全体の領域を検出する。そして、顔検出部１３０は、撮像画像における顔全体の領域を、仮想的に化粧品が塗布される対象となるバーチャルメイク領域として決定する。顔検出部１３０は、制御部１１が記憶部１２等と協働することにより実現される。

操作受付部１４０は、タッチパネル１６に化粧品画像が表示されている時に、指示装置３０がタッチパネル１６の表面に接触することによる操作を受け付ける。図７に、指示装置３０の先端部がタッチパネル１６の表面に接触した例を示す。ユーザＵは、メイクシミュレーション装置１を用いてメイク後の状態をシミュレーションする場合、図７に示すように、指示装置３０を手で把持し、その先端部を化粧品画像が表示されているタッチパネル１６の表面に接触させる。

このような指示装置３０をタッチパネル１６の表面に接触させる動作は、化粧用のパレットに収納されている化粧品を化粧筆の先端部に保持（付着）させる動作を模擬したものである。操作受付部１４０は、指示装置３０によるタッチパネル１６の表面に対する接触を検知することにより、ユーザからの操作を受け付ける。

より詳細には、操作受付部１４０は、指示装置３０がタッチパネル１６の表面に接触すると、タッチパネル１６の位置入力装置の機能により、その接触の位置座標を検知する。そして、操作受付部１４０は、タッチパネル１６に化粧品画像として表示されている複数の化粧品のうちの、検知された位置座標に表示されている化粧品を、ユーザＵの顔に仮想的に塗布される化粧品として選択する。

このように、ユーザＵは、指示装置３０を化粧筆のように用いてタッチパネル１６の表面に接触させることにより、複数の化粧品のうちから、ユーザＵの顔に仮想的に塗布する化粧品を選択する。操作受付部１４０は、制御部１１がタッチパネル１６等と協働することにより実現される。

図４に戻って、指示装置３０において、情報送信部３１０は、通信部３７を介して画像処理装置１０と通信することにより、種別情報、接触情報及び加速度情報を画像処理装置１０に送信する。情報送信部３１０は、制御部３１が通信部３７等と協働することにより実現される。

第１に、情報送信部３１０は、指示装置３０に取り付けられたアタッチメントの種別を示す種別情報を画像処理装置１０に送信する。例えば、指示装置３０に取り付けられているアタッチメントをブラシ状のものからペン状のものに交換する場合のように、新たなアタッチメントが指示装置３０に取り付けられた場合、種別識別部３３は、そのアタッチメントの種別を識別する。このように指示装置３０に新たなアタッチメントが取り付けられた場合、情報送信部３１０は、種別識別部３３により識別された新たなアタッチメントの種別を示す種別情報を画像処理装置１０に送信する。

第２に、情報送信部３１０は、接触検知部３４により検知された接触の強さを示す接触情報を画像処理装置１０に送信する。ここで、接触の強さは、その接触の際に指示装置３０の先端部に加えられた圧力の大きさに相当し、指示装置３０の先端部に設けられている圧力センサにより検知される。情報送信部３１０は、接触検知部３４により検知された指示装置３０の先端部に対する接触の強さを示す接触情報を、予め定められた一定の時間間隔で画像処理装置１０に送信する。

より詳細には、接触検知部３４により接触が検知される場合として、主に２つの場合が挙げられる。第１の場合は、例えば図７に示したように、ユーザＵが、タッチパネル１６に表示された化粧品画像から化粧品を選択するために、指示装置３０の先端部をタッチパネル１６の表面に接触させる場合である。第２の場合は、図８に示すように、ユーザＵが、選択した化粧品を顔に仮想的に塗布するために、指示装置３０の先端部をユーザＵの顔に接触させる場合である。ユーザＵは、指示装置３０の先端部をタッチパネル１６の表面に接触させた後、図８に示すように、化粧筆を顔に当てて化粧品を塗布する動作を模擬するために、指示装置３０の先端部を顔に接触させる。

以下では、第１の場合における接触を「第１の接触」と呼び、第２の場合における接触を「第２の接触」と呼ぶ。第１の接触において接触検知部３４により検知された接触の強さは、本発明における「第１の値」の一例であり、第２の接触において接触検知部３４により検知された接触の強さは、本発明における「第２の値」の一例である。

第３に、情報送信部３１０は、加速度検知部３５により検知された加速度を示す加速度情報を画像処理装置１０に送信する。具体的に説明すると、加速度検知部３５は、指示装置３０の全体に対して加えられた加速度を検知する。

ここで、指示装置３０の全体に対して加速度が加えられる場合とは、具体的には図９に示すように、ユーザＵが指示装置３０に仮想的に保持されている化粧品の保持量を減らすために、手で把持している指示装置３０を空中で振る動作を行った場合である。このような動作は、化粧筆の先端部に付着した化粧品を空中に飛散させる動作を模擬したものである。情報送信部３１０は、このように指示装置３０の全体に加えられた加速度を示す加速度情報を、予め定められた一定の時間間隔で画像処理装置１０に送信する。

画像処理装置１０において、情報取得部１５０は、通信部１７を介して指示装置３０と通信し、情報送信部３１０により送信された種別情報、接触情報及び加速度情報を取得する。情報取得部１５０は、制御部１１が通信部１７等と協働することにより実現される。

保持量設定部１６０は、指示装置３０に仮想的に保持される化粧品の保持量を、第１の接触及び第２の接触における接触の強さに基づいて設定する。指示装置３０に仮想的に保持される化粧品の保持量は、記憶部１２に保持データ２１として記憶されている。保持量設定部１６０は、制御部１１が記憶部１２等と協働することにより実現される。

図１０に、記憶部１２に記憶されている保持データ２１の例を示す。図１０に示すように、保持データ２１は、指示装置３０の先端部に保持されている化粧品の種類と、その化粧品の保持量（付着量）と、指示装置３０に取り付けられているアタッチメントの種別と、を示すデータである。

保持量設定部１６０は、操作受付部１４０により操作が受け付けられた場合、保持データ２１に記憶されている化粧品の種類を更新する。例えば、操作受付部１４０により受け付けられた操作により、タッチパネル１６に表示された複数の化粧品のうちから「化粧品Ａ」の種類の化粧品が選択された場合、保持量設定部１６０は、保持データ２１に記憶されている化粧品の種類を「化粧品Ａ」に更新する。

更に、保持量設定部１６０は、情報取得部１５０により指示装置３０から取得された種別情報、接触情報又は加速度情報に基づいて、保持データ２１を更新する。

第１に、保持量設定部１６０は、情報取得部１５０が指示装置３０から種別情報を取得すると、保持データ２１に記憶されているアタッチメントの種別を、取得された種別情報に示される種別に更新する。例えば指示装置３０に「ブラシＢ」の種別のアタッチメントが取り付けられた場合、保持量設定部１６０は、保持データ２１に記憶されているアタッチメントの種別を「ブラシＢ」に更新する。これにより、指示装置３０に新たなアタッチメントが取り付けられた場合、保持データ２１に記憶されているアタッチメントの種別が最新の情報に更新される。

第２に、保持量設定部１６０は、第１の接触又は第２の接触の際に情報取得部１５０が指示装置３０から接触情報を取得すると、取得された接触情報に基づいて、保持データ２１に記憶されている化粧品の保持量を設定する。具体的に説明すると、保持量設定部１６０は、指示装置３０がタッチパネル１６の表面に接触した時に情報取得部１５０により取得された接触情報により示される接触の強さに応じて、保持データ２１に記憶されている保持量を設定する。また、保持量設定部１６０は、指示装置３０がユーザＵの顔に接触した時に情報取得部１５０により取得された接触情報により示される接触の強さに応じて、保持データ２１に記憶されている保持量を設定する。

一般的に、ユーザＵがパレットから化粧品を付着させるために化粧筆をパレットに接触させた場合、その接触が強いほど、化粧筆により多くの量の化粧品が付着される。このような特徴を模擬するため、保持量設定部１６０は、指示装置３０がタッチパネル１６の表面に接触した場合、情報取得部１５０により取得された接触情報により示される接触の強さがより大きいほど、保持量をより大きく増加させる。

同様に、ユーザＵが顔に化粧品を塗布するために化粧筆を顔に接触させた場合、その接触が強いほど、ユーザＵの顔により多くの量の化粧品が塗布される。このような特徴を模擬するため、保持量設定部１６０は、指示装置３０がユーザＵの顔に接触した場合、情報取得部１５０により取得された接触情報に示される接触の強さがより大きいほど、保持量をより大きく減少させる。

第３に、保持量設定部１６０は、情報取得部１５０が指示装置３０から加速度情報を取得すると、取得された加速度情報に基づいて、保持データ２１に記憶されている化粧品の保持量を更新する。具体的に説明すると、保持量設定部１６０は、情報取得部１５０により取得された加速度情報に示される加速度が予め定められた閾値よりも大きいか否かを判定する。判定の結果、取得された加速度情報に示される加速度が閾値よりも大きい場合、保持量設定部１６０は、保持データ２１に記憶されている化粧品の保持量を減少させる。その際、保持量設定部１６０は、取得された加速度情報に示される加速度がより大きいほど、保持データ２１に記憶されている化粧品の保持量をより大きく減少させる。このように加速度に応じて化粧品の保持量を減少させることにより、ユーザＵは、図９に示したように指示装置３０を振るという自然な動作で化粧品の保持量を調整することができる。

図４に戻って、接触位置特定部１７０は、図７に示したように指示装置３０がタッチパネル１６の表面に接触することによる操作が受け付けられた後において、図８に示したように指示装置３０がユーザＵの顔に接触した場合、画像取得部１１０により取得された撮像画像に基づいて、ユーザＵの顔における指示装置３０が接触した接触位置を特定する。接触位置特定部１７０は、制御部１１が記憶部１２等と協働することにより実現される。

具体的に説明すると、接触位置特定部１７０は、第１に、ユーザＵが指示装置３０を顔に近付けたか否かを、画像取得部１１０により取得された撮像画像に基づいて判定する。ユーザＵが指示装置３０を顔に近付けた場合、撮像部１４の視野内に指示装置３０が入るため、図１１に示すように、撮像画像に指示装置３０の画像が含まれる。接触位置特定部１７０は、撮像画像における、顔検出部１３０により検出されたユーザＵの顔領域（すなわちバーチャルメイク領域）の内側に、指示装置３０の画像が含まれているか否かを判定する。

ユーザＵの顔領域の内側に指示装置３０の画像が含まれている場合、第２に、接触位置特定部１７０は、情報取得部１５０が指示装置３０から取得した接触情報に基づいて、ユーザＵの顔領域の内側に指示装置３０の画像が含まれている時に接触検知部３４により接触が検知されたか否かを判定する。そして、接触位置特定部１７０は、ユーザＵの顔領域の内側に指示装置３０の画像が含まれている時に接触検知部３４により接触が検知された場合、指示装置３０の先端部がユーザＵの顔に接触したと判定する。このように、接触位置特定部１７０は、画像取得部１１０により取得された撮像画像と、情報取得部１５０により取得された接触情報と、に基づいて、指示装置３０がユーザＵの顔に接触したか否かを判定する。

指示装置３０がユーザＵの顔に接触したと判定した場合、接触位置特定部１７０は、撮像画像におけるその接触位置を特定する。具体的に説明すると、接触位置特定部１７０は、撮像画像に撮像された指示装置３０の先端部の座標を接触位置として特定する。例えばユーザＵが目の周囲に指示装置３０の先端部を接触させた場合、接触位置特定部１７０は、目の周囲の位置を接触位置として特定する。これにより、接触位置特定部１７０は、指示装置３０の先端部がユーザＵの顔のどの位置に接触したかを特定し、化粧品が仮想的に塗布される位置を決定する。

表示制御部１２０は、表示部１５に表示された撮像画像における、接触位置特定部１７０により特定された接触位置に対応する部分が加工されたメイク画像を表示する。ここで、メイク画像とは、ユーザＵの顔のメイク後の状態をシミュレーションするための画像であって、化粧品がユーザＵの顔に実際に塗布された場合にどのように塗布されるかを表現する画像である。

具体的には、メイク画像は、ユーザＵの顔が撮像された撮像画像における、接触位置特定部１７０により特定された接触位置に、化粧品がユーザＵの顔に塗布された状態を表現するメイクパーツが重ねられることにより加工された画像である。例えばユーザＵが目の周囲に指示装置３０の先端部を接触させた場合、表示制御部１２０は、図１２に示すように、メイク画像として、ユーザＵの目の周囲にメイクパーツ４１が重ねられることにより加工された画像を表示する。なお、メイク画像におけるメイクパーツ４１以外の部分は、撮像画像と同じであって、撮像画像から加工が加えられていない。このようなメイク画像により、表示制御部１２０は、メイク後のユーザＵの顔の状態を表現する。

表示制御部１２０は、操作受付部１４０により受け付けられた操作により複数の化粧品のうちから選択された化粧品に対応するメイクパーツ４１を撮像画像に重ねる。言い換えると、表示制御部１２０は、ユーザＵにより選択された化粧品の色、光沢、質感等の特徴と同様の特徴を有するメイクパーツ４１を、ユーザＵの顔画像に重ねて表示する。これにより、表示制御部１２０は、ユーザＵにより選択された化粧品が実際に塗布された状態を忠実に表現する。

更に、表示制御部１２０は、メイク画像として、画像取得部１１０により取得された撮像画像における、接触位置特定部１７０により特定された接触位置に対応する部分が、第１の接触における接触の強さと第２の接触における接触の強さとに基づいて加工された画像を表示部１５に表示する。ここで、撮像画像における接触位置に対応する部分は、撮像画像に含まれるユーザＵの顔画像内における、指示装置３０の先端部が接触した位置に相当する部分である。例えば、撮像画像における接触位置に対応する部分は、指示装置３０の先端部がユーザＵの右目の上側に接触した場合には、撮像画像内におけるユーザＵの右目の上側の部分に相当し、指示装置３０の先端部がユーザＵの右側の頬に接触した場合には、撮像画像内におけるユーザＵの右側の頬の部分に相当する。

表示制御部１２０は、このような撮像画像に含まれるユーザＵの顔画像における接触位置に対応する部分を、指示装置３０によるタッチパネル１６の表面及びユーザＵの顔への接触の強さに基づいて加工することにより、メイク画像を生成する。具体的に説明すると、表示制御部１２０は、指示装置３０によるタッチパネル１６の表面及びユーザＵの顔への接触の強さに基づいて、メイクパーツの濃度を変化させる。ここで、メイクパーツの濃度は、メイクパーツが表示部１５に表示された際における色の濃さを意味する。

具体的に図１３に、図１２よりも高い濃度のメイクパーツ４２が、ユーザＵの顔が撮像された撮像画像に重ねて表示された例を示す。一般的に、ユーザＵが顔に化粧品を塗布するために化粧筆を顔に接触させた場合、その接触が強いほど、ユーザＵの顔により多くの量の化粧品が塗布される。このような特徴を模擬するため、表示制御部１２０は、指示装置３０がユーザＵの顔に接触した時に情報取得部１５０が指示装置３０から取得した接触情報を参照し、接触情報により示される接触の強さがより大きいほど、メイクパーツの濃度をより高くする。

更には、接触の強さ等が同じであっても、化粧筆に保持されている化粧品の量が大きいほど、ユーザＵの顔により多くの量の化粧品が塗布される。そのため、表示制御部１２０は、保持データ２１に記憶されている保持量を参照して、保持量がより大きいほど、メイクパーツの濃度をより高くする。

このように、表示制御部１２０は、指示装置３０に仮想的に保持されている化粧品の保持量と、指示装置３０によるユーザＵの顔への接触の強さと、のそれぞれがより大きくなると、図１３に示すように、図１２に示したメイクパーツ４１よりも濃度が高いメイクパーツ４２が撮像画像に重ねられたメイク画像を表示する。これにより、タッチパネル１６の表面又はユーザＵの顔に対する接触の強さによって実際のメイクとは異なる仕上がりになることを抑制することができる。そのため、メイク後の状態をよりリアルにシミュレーションすることができる。

以上のように構成されるメイクシミュレーション装置１において実行される処理の流れについて、図１４及び図１５を参照して説明する。

まず、図１４に示すフローチャートを参照して、指示装置３０において実行される処理の流れについて説明する。図１４に示す処理は、指示装置３０の電源が投入されており、指示装置３０が正常な処理が実行可能な状態において、随時実行される。

図１４に示す処理を開始すると、指示装置３０において、制御部３１は、第１に、指示装置３０にアタッチメントが新たに取り付けられたか否かを判定する（ステップＳ１１）。具体的に説明すると、制御部３１は、例えば指示装置３０に取り付けられているアタッチメントが交換された場合のように、アタッチメントの種別が新たに種別識別部３３により識別されたか否かを判定する。

アタッチメントが新たに取り付けられた場合（ステップＳ１１；ＹＥＳ）、制御部３１は、情報送信部３１０として機能し、種別識別部３３により識別されたアタッチメントの種別を示す種別情報を画像処理装置１０に送信する（ステップＳ１２）。一方で、アタッチメントが新たに取り付けられていない場合（ステップＳ１１；ＮＯ）、制御部３１は、ステップＳ１２の処理をスキップする。

第２に、制御部３１は、接触検知部３４により検知された接触に関する接触情報の送信タイミングが到来したか否か判定する（ステップＳ１３）。接触情報の送信タイミングは、予め定められた一定の時間間隔で繰り返し到来する。

接触情報の送信タイミングが到来した場合（ステップＳ１３；ＹＥＳ）、制御部３１は、情報送信部３１０として機能し、接触検知部３４により検知された指示装置３０の先端部に対する接触の強さを示す接触情報を画像処理装置１０に送信する（ステップＳ１４）。例えば、ユーザＵが化粧品を選択するために、指示装置３０の先端部をタッチパネル１６の表面に接触させた場合、制御部３１は、その接触の強さを示す接触情報を画像処理装置１０に送信する。或いは、ユーザＵが化粧品を顔に仮想的に塗布するために、指示装置３０の先端部をユーザＵの顔に接触させた場合、制御部３１は、その接触の強さを示す接触情報を画像処理装置１０に送信する。なお、制御部３１は、接触検知部３４により検知された接触の強さの値がゼロであっても、すなわち指示装置３０の先端部に何も接触していない場合であっても、送信タイミングが到来した時点における接触の強さの値を示す接触情報を画像処理装置１０に送信する。一方で、接触情報の送信タイミングが到来していない場合（ステップＳ１３；ＮＯ）、制御部３１は、ステップＳ１４の処理をスキップする。

第３に、制御部３１は、加速度検知部３５により検知された加速度を示す加速度情報の送信タイミングが到来したか否かを判定する（ステップＳ１５）。加速度情報の送信タイミングは、予め定められた一定の時間間隔で繰り返し到来する。ここで、加速度情報の送信タイミングは、接触情報の送信タイミングと同じであっても良いし、異なっていても良い。

加速度情報の送信タイミングが到来した場合（ステップＳ１５；ＹＥＳ）、制御部３１は、情報送信部３１０として機能し、加速度検知部３５により検知された加速度を示す加速度情報を画像処理装置１０に送信する（ステップＳ１６）。ここで、制御部３１は、加速度検知部３５により検知された加速度の値がゼロであっても、すなわち指示装置３０に加速度が加えられていない場合であっても、送信タイミングが到来した時点における加速度の値を示す加速度情報を画像処理装置１０に送信する。一方で、加速度情報の送信タイミングが到来していない場合（ステップＳ１５；ＮＯ）、制御部３１は、ステップＳ１６の処理をスキップする。

その後、制御部３１は、処理をステップＳ１１に戻し、ステップＳ１１からステップＳ１６の処理を繰り返す。すなわち、制御部３１は、アタッチメントが新たに取り付けられた場合に種別情報を送信し、接触を検知した場合に接触情報を送信し、加速度を検知した場合に加速度情報を送信する処理を繰り返す。

次に、図１５に示すフローチャートを参照して、画像処理装置１０において実行される処理について説明する。図１５に示す処理は、画像処理装置１０の電源が投入されて正常な処理が可能な状態になると、開始する。

なお、画像処理装置１０において、制御部１１は、図１５に示す処理を実行している間、情報取得部１５０として機能し、指示装置３０から種別情報、接触情報又は加速度情報が送信される毎に、送信された種別情報、接触情報又は加速度情報を取得する。

図１５に示す処理を開始すると、画像処理装置１０において、制御部１１は、表示制御部１２０として機能し、タッチパネル１６に化粧品画像を表示する（ステップＳ１０１）。具体的に説明すると、制御部１１は、例えば図６に示したように、タッチパネル１６上に区分けされた複数の領域にそれぞれ異なる種類の化粧品を表現する化粧品画像をタッチパネル１６に表示する。

タッチパネル１６に化粧品画像を表示すると、制御部１１は、画像取得部１１０として機能し、撮像を開始する（ステップＳ１０２）。具体的に説明すると、制御部１１は、撮像部１４による撮像を開始し、表示部１５の正面の空間の様子を表す撮像画像を取得する。例えば図５に示したようにユーザＵが表示部１５の方を向いている場合、制御部１１は、ユーザＵの顔が撮像された撮像画像を取得する。

撮像を開始すると、制御部１１は、表示制御部１２０として機能し、撮像により得られた撮像画像を表示部１５に表示する（ステップＳ１０３）。具体的に説明すると、制御部１１は、例えば図６に示したように、表示部１５に向かい合っているユーザＵの顔画像を含む撮像画像を表示部１５に表示する。

撮像画像を表示すると、制御部１１は、タッチパネル１６の表面に対する接触を検知したか否かを判定する（ステップＳ１０４）。例えば図７に示したように、ユーザＵは、タッチパネル１６に表示された化粧品画像のうちから化粧品を選択するために、指示装置３０の先端部をタッチパネル１６の表面に接触させる。制御部１１は、このような指示装置３０によるタッチパネル１６の表面に対する接触の有無を判定する。

タッチパネル１６の表面に対する接触を検知した場合（ステップＳ１０４；ＹＥＳ）、制御部１１は、操作受付部１４０として機能し、化粧品を選択する（ステップＳ１０５）。具体的に説明すると、制御部１１は、タッチパネル１６に表示されている複数の化粧品のうちから、ステップＳ１０４で検知された接触の位置に表示されている化粧品を、メイクシミュレーションに用いられる化粧品として選択する。

化粧品を選択すると、制御部１１は、保持量設定部１６０として機能し、指示装置３０に仮想的に保持される化粧品の保持量を算出する（ステップＳ１０６）。具体的に説明すると、ステップＳ１０４で指示装置３０によるタッチパネル１６の表面に対する接触が検知された際、指示装置３０でも、接触検知部３４によりその接触が検知される。制御部１１は、ステップＳ１０４で指示装置３０によるタッチパネル１６の表面に対する接触が検知された時に指示装置３０から送信された接触情報により示される接触の強さに応じて、指示装置３０に仮想的に保持される化粧品の保持量を算出する。

保持量を算出すると、制御部１１は、保持データ２１を更新する（ステップＳ１０７）。具体的に説明すると、制御部１１は、保持データ２１に記憶されている化粧品の種類を、ステップＳ１０５で選択された化粧品の種類に更新する。また、制御部１１は、保持データ２１に記憶されている化粧品の保持量を、ステップＳ１０６で算出した保持量に更新する。

これに対して、ステップＳ１０４でタッチパネル１６の表面に対する接触を検知していない場合（ステップＳ１０４；ＮＯ）、制御部１１は、ステップＳ１０５～Ｓ１０７の処理をスキップする。

次に、制御部１１は、顔検出部１３０として機能し、撮像画像から顔画像を検出する（ステップＳ１０８）。具体的に説明すると、制御部１１は、周知の顔認識の手法を用いて、撮像部１４により得られた撮像画像のうちから、ユーザＵの目、鼻、眉等の顔部位、及び顔全体の領域を検出する。そして、制御部１１は、撮像画像における顔全体の領域をバーチャルメイク領域として決定する。

顔画像を検出すると、制御部１１は、指示装置３０がユーザＵの顔に接触したか否かを判定する（ステップＳ１０９）。具体的に説明すると、制御部１１は、ステップＳ１０８で検出された顔領域の内側に指示装置３０の画像が含まれ、且つ、その際に指示装置３０から送信された接触情報に基づいて接触検知部３４が接触を検知したと判定された場合に、指示装置３０がユーザの顔に接触したと判定する。

指示装置３０がユーザＵの顔に接触していない場合（ステップＳ１０９；ＮＯ）、制御部１１は、処理をステップＳ１０３に戻す。すなわち、制御部１１は、指示装置３０によるユーザＵの顔に対する接触を検知するまで、ステップＳ１０３～Ｓ１０８の処理を繰り返す。

これに対して、指示装置３０がユーザＵの顔に接触した場合（ステップＳ１０９；ＹＥＳ）、制御部１１は、接触位置特定部１７０として機能し、撮像画像における接触位置を特定する（ステップＳ１１０）。具体的に説明すると、制御部１１は、指示装置３０においてユーザＵの顔への接触が検知されたタイミングでの、撮像画像における指示装置３０の先端部の座標を、接触位置として特定する。

接触位置を特定すると、制御部１１は、メイクパーツの濃度を設定する（ステップＳ１１１）。具体的に説明すると、制御部１１は、保持データ２１に記憶されている保持量と、ステップＳ１０９において指示装置３０から取得した接触情報により示される接触の強さと、のそれぞれがより大きいほど、メイクパーツの濃度をより高く設定する。

メイクパーツの濃度を設定すると、制御部１１は、表示制御部１２０として機能し、メイク画像を表示する（ステップＳ１１２）。具体的に説明すると、制御部１１は、ユーザＵの顔がリアルタイムで撮像された撮像画像におけるステップＳ１１０で特定した接触位置に、ステップＳ１１１で設定した濃度のメイクパーツを重ねることにより、メイク後のユーザＵの顔の状態を表現するメイク画像を生成する。そして、制御部は、生成されたメイク画像を表示部１５に表示する。

メイク画像を表示すると、制御部１１は、保持量設定部１６０として機能し、保持データ２１を更新する（ステップＳ１１３）。具体的に説明すると、制御部１１は、ステップＳ１０９において指示装置３０から取得した接触情報により示される接触の強さに基づいて、保持データ２１に記憶されている化粧品の保持量を減少させる。

保持データ２１を更新すると、制御部１１は、処理をステップＳ１０３に戻し、ステップＳ１０３からステップＳ１１３の処理を再び実行する。このように、制御部１１は、ユーザＵがメイクシミュレーション装置１を用いてメイクシミュレーションを継続している限り、ステップＳ１０３からステップＳ１１３の処理を繰り返し、ユーザＵのメイク後の状態をシミュレーションする画像を生成して表示する処理を実行する。

なお、図１５では省略したが、制御部１１は、ステップＳ１０３からステップＳ１１３の処理を実行している間、指示装置３０から加速度情報を取得したか否かを判定する。指示装置３０から加速度情報を取得すると、制御部１１は、取得した加速度情報により示される加速度が閾値よりも大きいか否かを判定する。そして、制御部１１は、取得した加速度情報により示される加速度が閾値よりも大きい場合、加速度がより大きいほど、保持データ２１に記憶されている保持量をより大きく減少させる。

以上説明したように、実施形態１に係る画像処理装置１０は、ユーザＵの顔が撮像された撮像画像を表示部１５に表示し、指示装置３０がタッチパネル１６の表面に接触することによる操作が受け付けられた後において、指示装置３０がユーザＵの顔に接触した場合、表示部１５に表示された撮像画像における接触位置に対応する部分が加工されたメイク画像を表示する。その際に、画像処理装置１０は、メイク画像として、指示装置３０によるタッチパネル１６の表面への接触の強さと、指示装置３０によるユーザＵの顔への接触の強さと、に応じて濃度が調整されたメイクパーツが重ねられた画像を表示する。これにより、指示装置３０によるタッチパネル１６の表面又はユーザＵの顔への接触の仕方によって、ユーザＵの顔に化粧品がどのように塗布されるかを適切に表現することができる。その結果、化粧筆等を用いて顔に化粧品を塗布するメイクにおいて、メイク後の顔の状態をよりリアルにシミュレーションすることができる。

（実施形態２）
次に、本発明の実施形態２について説明する。実施形態１と同様の構成及び機能は適宜省略する。

実施形態１では、指示装置３０が接触検知部３４を備えており、画像処理装置１０は、指示装置３０がタッチパネル１６の表面又はユーザＵの顔に接触した場合に、指示装置３０で検知された接触の強さを示す接触情報を取得した。これに対して、実施形態２では、指示装置３０は接触検知部３４を備えておらず、画像処理装置１０ａが、指示装置３０がタッチパネル１６の表面に接触した場合に、その接触の強さを示す接触情報を取得する。

図１６に、実施形態２に係る画像処理装置１０ａの機能的な構成を示す。実施形態２において、画像処理装置１０ａの制御部１１は、機能的に、画像取得部１１０と、表示制御部１２０と、顔検出部１３０と、操作受付部１４０、情報取得部１５０と、保持量設定部１６０と、接触位置特定部１７０と、を備える。

実施形態２では、指示装置３０は、実施形態１とは異なり、種別識別部３３と接触検知部３４と加速度検知部３５とを備えていない。そのため、実施形態２では、指示装置３０は、画像処理装置１０ａとの通信機能を備えるものでなくても良い。このように指示装置３０に検知機能が備えられていない場合には、ユーザＵの顔における仮想的に化粧品を塗布する位置を指示することができるものであれば、実際の化粧筆、ユーザＵの指等を含む任意の物体を、本発明における「指示体」として扱うことができる。

実施形態２では、指示装置３０が接触検知部３４を備えていない代わりに、画像処理装置１０ａのタッチパネル１６が圧力センサを備えており、接触の有無及びその位置だけでなく、接触の強さを検知する。実施形態１において指示装置３０に備えられていた接触検知部３４を第１の接触検知部と呼ぶことができるのに対して、実施形態２におけるタッチパネル１６は、本発明における「第２の接触検知部」として機能する。

情報取得部１５０は、指示装置３０がタッチパネル１６の表面に接触することによる操作が操作受付部１４０により受け付けられた時に、その接触の強さを示す接触情報を、タッチパネル１６から取得する。言い換えると、情報取得部１５０は、指示装置３０がタッチパネル１６の表面に接触した場合に、実施形態１のように指示装置３０からではなく、タッチパネル１６から接触情報を取得する。

保持量設定部１６０は、情報取得部１５０により取得された接触情報により示される接触の強さに応じて、指示装置３０に仮想的に保持される化粧品の保持量を設定し、保持データ２１を更新する。具体的に説明すると、保持量設定部１６０は、情報取得部１５０がタッチパネル１６の表面への接触の強さを示す接触情報を取得した場合、取得された接触情報により示される接触の強さがより大きいほど、保持量をより大きく増加させる。

接触位置特定部１７０は、指示装置３０がユーザＵの顔に接触した場合、接触位置を特定する。ここで、実施形態２では、指示装置３０が接触検知部３４を備えていないため、接触位置特定部１７０は、接触情報を用いずに、ユーザＵの顔における指示装置３０の先端部が接触した接触位置を特定する。具体的に説明すると、接触位置特定部１７０は、図１１に示したように指示装置３０が撮像された撮像画像に基づいて、指示装置３０の先端部がユーザＵの顔に接触したか否かを判定する。そして、指示装置３０の先端部がユーザＵの顔に接触した場合における指示装置３０の先端部の座標を、接触位置として特定する。

表示制御部１２０は、表示部１５に表示された撮像画像における、接触位置特定部１７０により特定された接触位置に対応する部分が、保持データ２１に記憶されている保持量に基づいて加工されたメイク画像を表示する。具体的に説明すると、表示制御部１２０は、実施形態１における図１２及び図１３と同様に、メイク画像として、保持量がより大きいほどより高い濃度のメイクパーツが重ねられた画像を表示する。

以上説明したように、実施形態２では、タッチパネル１６が接触の強さ等を検知する機能を備えており、画像処理装置１０ａは、指示装置３０がタッチパネル１６の表面に接触した場合における接触の強さ等の情報を、指示装置３０からではなく、タッチパネル１６から取得する。これにより、指示装置３０が検知機能を備える必要がないため、実施形態１に比べてより簡略化された構成で、メイク後の顔の状態をシミュレーションすることができる。

（実施形態３）
次に、本発明の実施形態３について説明する。実施形態１又は実施形態２と同様の構成及び機能は適宜省略する。

上記実施形態１，２では、表示制御部１２０は、ユーザＵの顔が撮像された撮像画像が、指示装置３０によるタッチパネル１６の表面又はユーザＵの顔への接触の強さに基づいて加工されたメイク画像を表示した。これに対して、実施形態３では、表示制御部１２０は、接触の強さに加えて、接触の時間長と接触の位置の移動距離とに基づいて撮像画像が加工されたメイク画像を表示する。

ここで、接触の時間長は、指示装置３０の先端部が物体に接触を開始してから、その接触が解除されるまでの時間の長さに相当する。

具体的に説明すると、第１の接触において、指示装置３０の先端部がタッチパネル１６の表面に接触した際、保持量設定部１６０は、指示装置３０の先端部がタッチパネル１６の表面に接触を開始したタイミングと終了したタイミングとを特定する。そして、保持量設定部１６０は、接触を開始したタイミングから終了したタイミングまでの時間長を、第１の接触の時間長として導出する。このとき、保持量設定部１６０は、接触を開始したタイミングと終了したタイミングとを特定するために、指示装置３０の接触検知部３４による接触の検知結果とタッチパネル１６による接触の検知結果とのどちらを用いても良いし、両方を用いても良い。

また、第２の接触において、指示装置３０の先端部がユーザＵの顔に接触した際、保持量設定部１６０は、指示装置３０の先端部がユーザＵの顔に接触を開始したタイミングと終了したタイミングとを特定する。そして、保持量設定部１６０は、接触を開始したタイミングから終了したタイミングまでの時間長を、第２の接触の時間長として導出する。このとき、保持量設定部１６０は、接触を開始したタイミングと終了したタイミングとを特定するために、指示装置３０の接触検知部３４による接触の検知結果と指示装置３０が撮像された撮像画像とのどちらを用いても良いし、両方を用いても良い。

接触の位置の移動距離は、指示装置３０の先端部を物体に接触したまま滑らせるように移動させた場合における、その接触が開始された位置から接触が解除された位置までの距離に相当する。

具体的に説明すると、第１の接触において、指示装置３０の先端部がタッチパネル１６の表面に接触した際、保持量設定部１６０は、指示装置３０の先端部がタッチパネル１６の表面に接触を開始したタイミングにおけるタッチパネル１６上の接触位置と接触を終了したタイミングにおけるタッチパネル１６上の接触位置とを特定する。そして、保持量設定部１６０は、接触を開始したタイミングにおける接触位置から接触を終了したタイミングにおける接触位置までの距離を、第１の接触の位置の移動距離として導出する。このとき、保持量設定部１６０は、接触位置を特定するために、タッチパネル１６により検知された接触の位置情報を用いる。

また、第２の接触において、指示装置３０の先端部がユーザＵの顔に接触した際、保持量設定部１６０は、指示装置３０の先端部がユーザＵの顔に接触を開始したタイミングにおける顔内での接触位置と接触を終了したタイミングにおける顔内での接触位置とを特定する。そして、保持量設定部１６０は、接触を開始したタイミングにおける接触位置から接触を終了したタイミングにおける接触位置までの距離を、第２の接触の位置の移動距離として導出する。このとき、保持量設定部１６０は、接触位置を特定するために、指示装置３０が撮像された撮像画像における指示装置３０の位置情報を用いる。

保持量設定部１６０は、第１の接触及び第２の接触の際、このように導出された接触の時間長及び接触の位置の移動距離と、接触の強さと、に基づいて、保持データ２１に記憶されている化粧品の保持量を設定する。ここで、第１の接触における接触の強さ、接触の時間長及び接触の位置の移動距離を含めて、「第１の接触に関する第１の値」と呼び、第２の接触における接触の強さ、接触の時間長及び接触の位置の移動距離を含めて、「第２の接触に関する第２の値」と呼ぶ。言い換えると、保持量設定部１６０は、第１の接触の際には、第１の値に基づいて、保持データ２１に記憶されている化粧品の保持量を設定し、第２の接触の際には、第２の値に基づいて、保持データ２１に記憶されている化粧品の保持量を設定する。

一般的に、ユーザＵがパレットから化粧品を付着させるために化粧筆をパレットに接触させた場合、接触の時間が長いほど、そして接触状態での移動距離が長いほど、化粧筆により多くの量の化粧品が付着される。このような特徴を模擬するため、保持量設定部１６０は、指示装置３０がタッチパネル１６の表面に接触した場合、接触の時間長が長いほど保持量をより大きく増加させ、接触の位置の移動距離が大きいほど保持量をより大きく増加させる。また、実施形態１と同様に、保持量設定部１６０は、接触の強さがより大きいほど保持量をより大きく増加させる。

同様に、ユーザＵが顔に化粧品を塗布するために化粧筆を顔に接触させた場合、その接触が強いほど、ユーザＵの顔により多くの量の化粧品が塗布される。このような特徴を模擬するため、保持量設定部１６０は、指示装置３０がユーザＵの顔に接触した場合、接触の時間長が長いほど保持量をより大きく減少させ、接触の位置の移動距離が大きいほど保持量をより大きく減少させる。また、実施形態１と同様に、保持量設定部１６０は、接触の強さがより大きいほど保持量をより大きく減少させる。

表示制御部１２０は、メイク画像として、画像取得部１１０により取得された撮像画像における、接触位置特定部１７０により特定された接触位置に対応する部分が、第１の接触に関する第１の値（接触の強さ、接触の時間長、及び接触の位置の移動距離）と第２の接触に関する第２の値（接触の強さ、接触の時間長、及び接触の位置の移動距離）とに基づいて加工された画像を表示部１５に表示する。具体的に説明すると、表示制御部１２０は、第１の接触に関する第１の値と第２の接触に関する第２の値とに応じて、撮像画像に重ねられるメイクパーツの濃度を変化させる。

一般的に、ユーザＵが顔に化粧品を塗布するために化粧筆を顔に接触させた場合、その接触の時間が長いほど、そして接触状態での移動距離が長いほど、ユーザＵの顔により多くの量の化粧品が塗布される。このような特徴を模擬するため、表示制御部１２０は、指示装置３０がユーザＵの顔に接触した時における接触の時間長がより長いほどメイクパーツの濃度をより高くし、接触の位置の移動距離がより大きいほどメイクパーツの濃度をより高くする。また、実施形態１と同様に、表示制御部１２０は、接触の強さがより大きいほどメイクパーツの濃度をより高くする。

更には、接触の強さ等が同じであっても、化粧筆に保持されている化粧品の量が大きいほど、ユーザＵの顔により多くの量の化粧品が塗布される。そのため、表示制御部１２０は、保持データ２１に記憶されている保持量を参照して、保持量がより大きいほど、メイクパーツの濃度をより高くする。

以上説明したように、実施形態３では、表示制御部１２０は、接触の強さに加えて、接触の時間長と接触の位置の移動距離とに基づいて撮像画像が加工されたメイク画像を表示する。これにより、指示装置３０によるタッチパネル１６の表面又はユーザＵの顔への接触の仕方によって、ユーザＵの顔に化粧品がどのように塗布されるかを更に適切に表現することができる。その結果、化粧筆等を用いて顔に化粧品を塗布するメイクにおいて、メイク後の顔の状態をよりリアルにシミュレーションすることができる。

（変形例）
以上に本発明の実施形態について説明したが、上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

例えば、上記実施形態では、画像処理装置１０，１０ａは、表示部１５とタッチパネル１６とを備えており、表示部１５に撮像画像を表示し、タッチパネル１６に化粧品画像を表示した。しかしながら、本発明において、画像処理装置１０，１０ａは、タッチパネル１６とは独立した表示部１５を備えていなくても良い。言い換えると、本発明に係る画像処理装置１０，１０ａは、表示部として１つのタッチパネル１６のみを備える一般的なスマートフォンやタブレット端末等にも適用することができる。タッチパネル１６とは独立した表示部１５を備えていない場合、画像処理装置１０，１０ａは、１つのタッチパネル１６の表示領域を２つに分割し、そのうちの一方の表示領域に撮像画像を表示し、他方の表示領域に化粧品画像を表示する。この場合、撮像画像が表示される一方の表示領域が本発明における「第１の表示領域」として機能し、化粧品画像が表示される他方の表示領域が本発明における「第２の表示領域」として機能する。また、タッチパネル１６が本発明における「表示部」として機能する。

上記実施形態では、表示制御部１２０は、複数の化粧品を表現する化粧品画像をタッチパネル１６に表示した。しかしながら、本発明において、表示制御部１２０は、化粧品画像として１種類のみの化粧品を表現する画像を表示しても良い。また、構成をより簡略化するために、例えば指示装置３０から種別識別部３３、加速度検知部３５等を省略することも可能である。

第１の接触に関する第１の値及び第２の接触に関する第２の値として、上記実施形態１，２では接触の強さが用いられ、上記実施形態３では接触の強さと時間長と移動距離との３つのパラメータが用いられた。しかしながら、本発明において、第１の値及び第２の値として、これら３つのパラメータのうちの一部のみが用いられても良いし、これら３つのパラメータ以外のパラメータが用いられても良い。

なお、第１の値及び第２の値として接触の強さが用いられない場合、指示装置３０の接触検知部３４又は画像処理装置１０ａのタッチパネル１６は、接触の有無さえ検知できれば良いため、接触の強さを検知する圧力センサを備えていなくても良い。この場合、情報取得部１５０は、接触情報として、接触の強さを示す情報に代えて、接触の有無を示す情報を指示装置３０又はタッチパネル１６から取得する。

上記実施形態では、制御部１１において、ＣＰＵがＲＯＭに記憶されたプログラムを実行することによって、図４に示した各部として機能した。しかしながら、本発明において、制御部１１は、ＣＰＵの代わりに、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、各種制御回路等の専用のハードウェアを備え、専用のハードウェアが、図４に示した各部として機能しても良い。この場合、各部の機能それぞれを個別のハードウェアで実現しても良いし、各部の機能をまとめて単一のハードウェアで実現しても良い。また、各部の機能のうち、一部を専用のハードウェアによって実現し、他の一部をソフトウェア又はファームウェアによって実現しても良い。

なお、本発明に係る機能を実現するための構成を予め備えた画像処理装置として提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係る画像処理装置として機能させることもできる。すなわち、上記実施形態で例示した画像処理装置１０，１０ａによる各機能構成を実現させるためのプログラムを、既存の情報処理装置等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る塗布装置として機能させることができる。

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
（付記１）
ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部と、
前記第２の表示領域に前記化粧品画像が表示されている時に、指示体が前記第２の表示領域の表面に接触することによる操作を受け付ける操作受付部と、
前記操作受付部が前記操作を受け付けた後において、前記指示体が前記ユーザの顔に接触した場合、前記ユーザの顔における前記指示体が接触した接触位置を特定する接触位置特定部と、
前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記指示体による前記第２の表示領域の表面への接触に関する第１の値と、前記指示体による前記ユーザの顔への接触に関する第２の値と、のうちの少なくとも一方に基づいて加工されたメイク画像を前記第１の表示領域に表示する表示制御部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記第１の値は、前記指示体による前記第２の表示領域の表面への接触の強さと、当該接触の時間長と、当該接触の位置の移動距離と、のうちの少なくとも１つを示す値であり、
前記第２の値は、前記指示体による前記ユーザの顔への接触の強さと、当該接触の時間長と、当該接触の位置の移動距離と、のうちの少なくとも１つを示す値である、
ことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記指示体は、前記指示体の先端部に対する接触を検知する接触検知部、を備え、
前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記指示体が前記第２の表示領域の表面に接触した時に前記接触検知部により検知された前記接触に関する前記第１の値と、前記指示体が前記ユーザの顔に接触した時に前記接触検知部により検知された前記接触に関する前記第２の値と、のうちの少なくとも一方に基づいて加工された画像である、
ことを特徴とする付記１又は２に記載の画像処理装置。
（付記４）
前記画像処理装置は、前記操作受付部が前記操作を受け付けた時に、前記指示体による前記第２の表示領域の表面への接触を検知する第２の接触検知部、を更に備え、
前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記第２の接触検知部により検知された前記接触に関する前記第１の値に基づいて加工された画像である、
ことを特徴とする付記１から３のいずれか１つに記載の画像処理装置。
（付記５）
前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に、前記化粧品が前記ユーザの顔に塗布された状態を表現するメイクパーツが重ねられた画像である、
ことを特徴とする付記１から４のいずれか１つに記載の画像処理装置。
（付記６）
前記表示制御部は、前記第１の値又は前記第２の値がより大きいほど、前記メイクパーツの濃度をより高くする、
ことを特徴とする付記５に記載の画像処理装置。
（付記７）
前記指示体に仮想的に保持される前記化粧品の保持量を、前記第１の値に応じて設定する保持量設定部、を更に備え、
前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記保持量設定部により設定された前記保持量に基づいて加工された画像である、
ことを特徴とする付記５又は６に記載の画像処理装置。
（付記８）
前記保持量設定部は、前記第１の値がより大きいほど、前記保持量をより大きく増加させ、
前記表示制御部は、前記保持量設定部により設定された前記保持量がより大きいほど、前記メイクパーツの濃度をより高くする、
ことを特徴とする付記７に記載の画像処理装置。
（付記９）
前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記保持量設定部により設定された前記保持量と、前記第２の値と、に基づいて加工された画像である、
ことを特徴とする付記７又は８に記載の画像処理装置。
（付記１０）
前記表示制御部は、前記第２の値がより大きいほど、前記メイクパーツの濃度をより高くする、
ことを特徴とする付記９に記載の画像処理装置。
（付記１１）
前記保持量設定部は、前記第２の値がより大きいほど、前記保持量をより大きく減少させる、
ことを特徴とする付記７から１０のいずれか１つに記載の画像処理装置。
（付記１２）
前記指示体は、前記指示体に加えられる加速度を検知する加速度検知部、を備え、
前記保持量設定部は、前記加速度検知部により検知された前記加速度に応じて、前記保持量を減少させる、
ことを特徴とする付記７から１１のいずれか１つに記載の画像処理装置。
（付記１３）
前記撮像画像を取得する画像取得部、を更に備え、
前記第１の表示領域は、前記画像取得部により取得された前記撮像画像を表示する、
ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
（付記１４）
請求項１から１３のいずれか１項に記載の画像処理装置と、前記指示体と、を備えることを特徴とするメイクシミュレーション装置。
（付記１５）
ユーザの顔が撮像された撮像画像を第１の表示領域に表示し、
化粧品を表現する化粧品画像を第２の表示領域に表示し、
前記第２の表示領域に前記化粧品画像が表示されている時に、指示体が前記第２の表示領域の表面に接触することによる操作を受け付け、
前記操作を受け付けた後において、前記指示体が前記ユーザの顔に接触した場合、前記ユーザの顔における前記指示体が接触した接触位置を特定し、
前記撮像画像における、特定された前記接触位置に対応する部分が、前記指示体による前記第２の表示領域の表面への接触に関する第１の値と、前記指示体による前記ユーザの顔への接触に関する第２の値と、のうちの少なくとも一方に基づいて加工されたメイク画像を前記第１の表示領域に表示する、
ことを特徴とする画像処理方法。
（付記１６）
コンピュータを、
ユーザの顔が撮像された撮像画像を第１の表示領域に表示し、化粧品を表現する化粧品画像を第２の表示領域に表示する表示部、
前記第２の表示領域に前記化粧品画像が表示されている時に、指示体が前記第２の表示領域の表面に接触することによる操作を受け付ける操作受付部、
前記操作受付部が前記操作を受け付けた後において、前記指示体が前記ユーザの顔に接触した場合、前記ユーザの顔における前記指示体が接触した接触位置を特定する接触位置特定部、
前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記指示体による前記第２の表示領域の表面への接触に関する第１の値と、前記指示体による前記ユーザの顔への接触に関する第２の値と、のうちの少なくとも一方に基づいて加工されたメイク画像を前記第１の表示領域に表示する表示制御部、
として機能させるためのプログラム。

１…メイクシミュレーション装置、１０，１０ａ…画像処理装置、１１…制御部、１２…記憶部、１３…操作部、１４…撮像部、１５…表示部、１６…タッチパネル、１７…通信部、２１…保持データ、３０…指示装置、３１…制御部、３２…記憶部、３３…種別識別部、３４…接触検知部、３５…加速度検知部、３７…通信部、４１，４２…メイクパーツ、１１０…画像取得部、１２０…表示制御部、１３０…顔検出部、１４０…操作受付部、１５０…情報取得部、１６０…保持量設定部、１７０…接触位置特定部、３１０…情報送信部、Ｕ…ユーザ

Claims (15)

1. ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部と、
   前記第２の表示領域に前記化粧品画像が表示されている時に、指示体が前記第２の表示領域の表面に接触することによる操作を受け付ける操作受付部と、
   前記操作受付部が前記操作を受け付けた後において、前記指示体が前記ユーザの顔に接触した場合、前記ユーザの顔における前記指示体が接触した接触位置を特定する接触位置特定部と、
   前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記指示体による前記第２の表示領域の表面への接触の強さと、当該接触の時間長と、当該接触の位置の移動距離と、のうちの少なくとも１つを示す第１の値と、前記指示体による前記ユーザの顔への接触の強さと、当該接触の時間長と、当該接触の位置の移動距離と、のうちの少なくとも１つを示す第２の値と、に基づいて加工されたメイク画像を前記第１の表示領域に表示する表示制御部と、
   を備えることを特徴とする画像処理装置。
2. 前記指示体は、前記指示体の先端部に対する接触を検知する接触検知部、を備え、
   前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記指示体が前記第２の表示領域の表面に接触した時に前記接触検知部により検知された前記接触に関する前記第１の値と、前記指示体が前記ユーザの顔に接触した時に前記接触検知部により検知された前記接触に関する前記第２の値と、に基づいて加工された画像である、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理装置は、前記操作受付部が前記操作を受け付けた時に、前記指示体による前記第２の表示領域の表面への接触を検知する第２の接触検知部、を更に備え、
   前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記第２の接触検知部により検知された前記接触に関する前記第１の値に基づいて加工された画像である、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に、前記化粧品が前記ユーザの顔に塗布された状態を表現するメイクパーツが重ねられた画像である、
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記表示制御部は、前記第１の値又は前記第２の値がより大きいほど、前記メイクパーツの濃度をより高くする、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記指示体に仮想的に保持される前記化粧品の保持量を、前記第１の値に応じて設定する保持量設定部、を更に備え、
   前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記保持量設定部により設定された前記保持量に基づいて加工された画像である、
   ことを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記保持量設定部は、前記第１の値がより大きいほど、前記保持量をより大きく増加させ、
   前記表示制御部は、前記保持量設定部により設定された前記保持量がより大きいほど、前記メイクパーツの濃度をより高くする、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記保持量設定部により設定された前記保持量と、前記第２の値と、に基づいて加工された画像である、
   ことを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記表示制御部は、前記第２の値がより大きいほど、前記メイクパーツの濃度をより高くする、
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記保持量設定部は、前記第２の値がより大きいほど、前記保持量をより大きく減少させる、
    ことを特徴とする請求項６から９のいずれか１項に記載の画像処理装置。
11. 前記指示体は、前記指示体に加えられる加速度を検知する加速度検知部、を備え、
    前記保持量設定部は、前記加速度検知部により検知された前記加速度に応じて、前記保持量を減少させる、
    ことを特徴とする請求項６から１０のいずれか１項に記載の画像処理装置。
12. 前記撮像画像を取得する画像取得部、を更に備え、
    前記第１の表示領域は、前記画像取得部により取得された前記撮像画像を表示する、
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 請求項１から１２のいずれか１項に記載の画像処理装置と、前記指示体と、を備えることを特徴とするメイクシミュレーション装置。
14. ユーザの顔が撮像された撮像画像を第１の表示領域に表示し、
    化粧品を表現する化粧品画像を第２の表示領域に表示し、
    前記第２の表示領域に前記化粧品画像が表示されている時に、指示体が前記第２の表示領域の表面に接触することによる操作を受け付け、
    前記操作を受け付けた後において、前記指示体が前記ユーザの顔に接触した場合、前記ユーザの顔における前記指示体が接触した接触位置を特定し、
    前記撮像画像における、特定された前記接触位置に対応する部分が、前記指示体による前記第２の表示領域の表面への接触の強さと、当該接触の時間長と、当該接触の位置の移動距離と、のうちの少なくとも１つを示す第１の値と、前記指示体による前記ユーザの顔への接触の強さと、当該接触の時間長と、当該接触の位置の移動距離と、のうちの少なくとも１つを示す第２の値と、に基づいて加工されたメイク画像を前記第１の表示領域に表示する、
    ことを特徴とする画像処理方法。
15. コンピュータを、
    ユーザの顔が撮像された撮像画像を第１の表示領域に表示し、化粧品を表現する化粧品画像を第２の表示領域に表示する表示部、
    前記第２の表示領域に前記化粧品画像が表示されている時に、指示体が前記第２の表示領域の表面に接触することによる操作を受け付ける操作受付部、
    前記操作受付部が前記操作を受け付けた後において、前記指示体が前記ユーザの顔に接触した場合、前記ユーザの顔における前記指示体が接触した接触位置を特定する接触位置特定部、
    前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記指示体による前記第２の表示領域の表面への接触の強さと、当該接触の時間長と、当該接触の位置の移動距離と、のうちの少なくとも１つを示す第１の値と、前記指示体による前記ユーザの顔への接触の強さと、当該接触の時間長と、当該接触の位置の移動距離と、のうちの少なくとも１つを示す第２の値と、に基づいて加工されたメイク画像を前記第１の表示領域に表示する表示制御部、
    として機能させるためのプログラム。

Images