JPWO2018159231A1 - メイクシミュレーション装置、方法、及び、非一時的な記憶媒体 - Google Patents

Abstract

人物の顔画像にメイクパーツ（９０Ａ，９０Ｂ，９０Ｃ）を重畳して表示装置に表示させるメイクシミュレーション装置（１０）であって、顔の外見が特定の顔パーツの動きに起因して相違している、第１の顔画像（６０）及び第２の顔画像（６２）を取得する顔画像取得部（１５）と、第１の顔画像内の特定の顔パーツにメイクパーツ（９０Ａ，９０Ｂ，９０Ｃ）を描画するメイクパーツ描画部（２０）と、第１の顔画像（６０）の特定の顔パーツに描画されたメイクパーツ（９０Ａ，９０Ｂ，９０Ｃ）を、特定の顔パーツの動きに応じて変形させるメイクパーツ変形部（３０）と、第２の顔画像（６２）に、その変形されたメイクパーツを重畳するメイクパーツ重畳部（４０）と、を備える。

Description

本発明は、メイクシミュレーション装置、方法及び非一時的な記憶媒体に関する。

ファッション雑誌に掲載されたモデルの顔写真をお手本にしてメイクアップを行う等、他者が行ったメイクアップの仕方（以下、単に「メイク」という）を参考にすることは、広く行われている。ところが、顔部品の配置、形、および大きさには個人差があるため、他者の顔に施されたメイクを的確に模倣することは難しい。

そこで、ユーザの顔を用いてメイクアップ後の顔のシミュレーション画像を表示する技術が、存在する（例えば特許文献１参照）。特許文献１に記載の技術（以下「従来技術」という）は、顔に化粧料を塗布したときの化粧料の画像を、ユーザの顔の静止画像に重畳することにより、メイクアップ後の顔のシミュレーション画像を生成する。かかる従来技術によれば、ユーザは、シミュレーション画像に近付ける形で、メイクアップを行うことができる。

特開２０１５−１７６１８１号公報

しかしながら、実際のメイクでは顔パーツの動きによってメイクの見え方が変わる。例えば、目を閉じているときのアイメイクの見え方と、目を開けているときのアイメイクの見え方とでは大きく変わる。従来のメイクアップシミュレーションでは、このような問題に対応できていなかった。

本発明の一態様は、顔パーツの動きによって見え方の変わる部分のメイクを、その動きに関わらず自然なメイクとして見えるようシミュレーションすることができる、メイクアップシミュレーション装置、方法及びプログラムを提供する。

本発明の一態様に係る、人物の顔が撮影されている顔画像にメイクパーツを重畳して表示装置に表示させるメイクシミュレーション装置が、前記顔の外見が特定の顔パーツの動きに起因して相違している、第１の顔画像及び第２の顔画像を取得する顔画像取得部と、前記第１の顔画像内の前記特定の顔パーツにメイクパーツを描画するメイクパーツ描画部と、前記第１の顔画像の前記特定の顔パーツに描画されたメイクパーツを、前記特定の顔パーツの動きに応じて変形させるメイクパーツ変形部と、前記第２の顔画像に、前記変形されたメイクパーツを重畳するメイクパーツ重畳部と、を備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。また、かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

本実施の形態に係るメイクシミュレーション装置の機能構成を示すブロック図 アイメイクパーツに関する模式図 二重まぶたの目の開閉に関する模式図 一重まぶたの目の開閉に関する模式図 上まぶたメイクパーツの変形方法に関する模式図 上まぶたメイクパーツの変形方法に関する模式図 上まぶたメイクパーツの変形方法に関する変形例を示す模式図 目開き画像と目閉じ画像との切り替えに関する模式図 顔画像管理テーブルの構成を示すテーブル 変形メイクパーツ生成処理を示すフローチャート 目開き画像の描画メイクパーツから目閉じ画像の変形メイクパーツを生成する処理を示すフローチャート 目閉じ画像の描画メイクパーツから目開き画像の変形メイクパーツを生成する処理を示すフローチャート 目開き画像から目閉じ画像への表示切替処理を示すフローチャート 目閉じ画像から目開き画像への表示切替処理を示すフローチャート メイクパーツ描画画面を示す模式図 マスカラのＣカーブを示す模式図 マスカラのＪカーブを示す模式図 目の開閉によるマスカラパーツの変形を示す模式図 コンピュータのハードウェア構成を示す図 目開き画像の模式図 目閉じ画像の模式図 二重幅メイクパーツの目閉じ画像から目開き画像に移行する際の模式図 目閉じ画像における三重ライン検出方法を示す図

以下、図面を参照しながら、実施の形態を説明する。

また、以下の実施の形態において、その構成要素（要素ステップなどを含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合などを除き、必ずしも必須のものではない。

＜メイクシミュレーション装置の構成＞
図１は、メイクシミュレーション装置１０の機能構成を示すブロック図である。

メイクシミュレーション装置１０は、メイク対象のユーザ（以下「被メイクユーザ」という）の顔を撮影した画像（以下「顔画像」という）に対して、コンピュータ上でメイクを行うための装置である。メイクシミュレーション装置１０は、人物の顔が撮影されている顔画像にメイクパーツを重畳して表示装置に表示させる。

メイクシミュレーション装置１０は、機能として、顔画像取得部１５と、メイクパーツ描画部２０と、メイクパーツ変形部３０と、メイクパーツ重畳部４０とを有する。これらの機能は、後述の図１７に示すように、メイクシミュレーション装置１０が備えるＣＰＵ等のハードウェアが動作することによって実現される。

顔画像取得部１５は、被メイクユーザの顔の外見が特定の顔パーツの動きに起因して相違している、第１の顔画像６０及び第２の顔画像６２を取得する。

メイクパーツ描画部２０は、被メイクユーザの第１の顔画像６０にメイクパーツを描画する。以下、描画されたメイクパーツを「描画メイクパーツ」という。描画メイクパーツ７０は、顔画像に描画されたメイクをデータ化したものであり、例えば、ラスタデータ又はベクタデータ等である。以下、被メイクユーザの顔画像にメイクパーツを描画するユーザを、「メイク実施ユーザ」と呼ぶ。メイク実施ユーザと被メイクユーザとは同一人物であっても良いし、異なってもよい。

メイクパーツ変形部３０は、第１の顔画像６０の特定の顔パーツに描画されたメイクパーツを、当該特定の顔パーツの動きに応じて変形させる。以下、変形されたメイクパーツを「変形メイクパーツ」と呼ぶ。

メイクパーツ重畳部４０は、第２の顔画像６２に、変形メイクパーツ７２を重畳する。第２の顔画像６２及びそれに重畳された変形メイクパーツ７２は、表示装置に表示される。

これにより、メイク実施ユーザは、被メイクユーザの第１の顔画像６０に描いたメイクが、同じ被メイクユーザの第２の顔画像６２ではどのように見えるかを、容易に確認することができる。

なお、第１の顔画像６０、第２の顔画像６２、描画メイクパーツ７０、及び、変形メイクパーツ７２は、顔画像管理テーブル５０において、被メイクユーザ毎に対応付けられて管理される。顔画像管理テーブル５０の詳細については後述する（図８参照）。

本実施の形態では、動きのある顔パーツを目として説明する。しかし、顔パーツは、動きのある他の顔パーツ、例えば、眉又は唇等であってもよい。

また、本実施の形態では、メイクパーツを、目をメイクするためのアイメイクパーツとして説明する。しかし、メイクパーツはアイメイクパーツに限らず、眉、唇又は頬等をメイクするパーツであってもよい。

また、本実施の形態において、第１の顔画像６０が目を閉じている顔画像である場合は、第２の顔画像６２は目を開いている顔画像となり、第１の顔画像６０が目を開いている顔画像である場合は、第２の顔画像６２は目を閉じている顔画像となる。以下、目を閉じている顔画像を「目閉じ画像」、目を開いている顔画像を「目開き画像」と呼ぶ。

これにより、メイク実施ユーザは、目閉じ画像に描いたアイメイクが、目開き画像ではどのように見えるか、また、目開き画像に描いたアイメイクが、目閉じ画像ではどのように見えるかを、容易に確認することができる。

以下、本実施の形態について詳細に説明する。

図２は、アイメイクパーツに関する模式図である。

メイクパーツ重畳部４０は、顔画像における目の特徴点を基準として、アイメイクパーツを重畳する。

目の特徴点として、図２（ａ）に示すように、目頭点８０Ａ、目尻点８０Ｂ、黒目上点８０Ｃ、黒目下点８０Ｄ、及び、眉山上点８０Ｅが設定される。なお、目の特徴点同士の間にさらに中間点が設定されてもよい。

アイメイクパーツは、例えば図２（ａ）に示すように、上まぶたメイクパーツ９０Ａと、目のきわ上メイクパーツ９０Ｂと、下まぶたメイクパーツ９０Ｃとを含む。

上まぶたメイクパーツ９０Ａは、例えば図２（ｂ）に示すように、目頭点８０Ａ、目尻点８０Ｂ及び眉山上点８０Ｅを基準として、顔画像に合成される。

目際上メイクパーツは、例えば図２（ｃ）に示すように、目頭点８０Ａ、目尻点８０Ｂ及び黒目上点８０Ｃを基準として、顔画像に合成される。

下まぶたメイクパーツ９０Ｃは、例えば図２（ｄ）に示すように、目頭点８０Ａ、目尻点８０Ｂ及び黒目下点８０Ｄを基準として、顔画像に合成される。

図３及び図４は、目の開閉に関する模式図である。

図３は二重まぶたの場合の模式図であり、図４は一重まぶたの場合の模式図である。

メイク実施ユーザは、図３（ａ）に示すように、目開き画像にアイメイクパーツを描く場合もあれば、図３（ｂ）に示すように、目閉じ画像にアイメイクパーツを描く場合もある。

メイクパーツ変形部３０は、目開き画像に対して図３（ａ）に示すようなアイメイクパーツが描かれた場合、そのアイメイクパーツを変形して、図３（ｂ）に示すような目閉じ画像用のアイメイクパーツを生成する。

メイクパーツ変形部３０は、目閉じ画像に対して図３（ｂ）に示すようなアイメイクパーツが描かれた場合、そのアイメイクパーツを変形して、図３（ａ）に示すような目開き画像用のアイメイクパーツを生成する。

顔画像が目開き画像又は目閉じ画像のどちらであるかは、黒目上点８０Ｃと黒目下点８０Ｄとの間の距離Ｌ１に基づいて判断される。この距離Ｌ１が所定値未満の場合、目閉じ画像と判断され、そうでない場合、目開き画像と判断される。

メイクパーツ変形部３０は、アイメイクパーツのうち、上まぶたメイクパーツ９０Ａ及び目のきわ上メイクパーツ９０Ｂを変形対象とし、下まぶたメイクパーツ９０Ｃを変形対象としない。実際の顔に施された下まぶたメイクも、目の開閉によってほとんど変形しないからである。

また、一重まぶた（及び奥二重まぶた。以下同じ）の場合、典型的には、実際の目を閉じた顔に施された目のきわ上メイクは、目を開けた場合に見えなくなる。

したがって、図４（ｂ）に示すように、メイクパーツ重畳部４０は、一重まぶたの目開き画像に変形メイクパーツ７２を重畳する場合、上まぶたメイクパーツ９０Ｂを目閉じ画像に対して変形しない。これにより、一重まぶたの被メイクユーザに対するメイクシミュレーションがよりリアルになる。

二重まぶた又は一重まぶたのどちらであるかは、顔画像において、目のきわの上に二重線が存在するか否かによって判断される。二重線が検出された場合は二重まぶたと判断され、二重線が検出されなかった場合は一重まぶたと判断される。なお、二重線の検出は、既存の画像解析手段によって行われてよい。

なお、メイクパーツ重畳部４０は、変形メイクパーツ７２の一部が目の領域内と重複する場合、変形メイクパーツ７２のその一部については非表示とする。目の領域内は、目頭点８０Ａ、目尻点８０Ｂ、黒目上点８０Ｃ、及び、黒目下点８０Ｄで囲まれた範囲内として定義される。これにより、目の領域内に不自然に変形メイクパーツ７２が重畳表示されることを防止することができる。

図５Ａ、図５Ｂは、上まぶたメイクパーツ９０Ａの変形方法に関する一例を示す模式図である。

メイクパーツ変形部３０は、図５Ａに示すように、目開き画像に描画された上まぶたメイクパーツ９２Ａの下弦部分を下方向に引き延ばす（ワーピングする）ことにより、目閉じ画像用の上まぶたメイクパーツ９２Ｂを生成する。

メイクパーツ変形部３０は、図５Ｂに示すように、目閉じ画像に描画された上まぶたメイクパーツ９４Ａの下弦部分を上方向に引き延ばす（ワーピングする）ことにより、目開き画像用の上まぶたメイクパーツ９４Ｂを生成する。

または、メイクパーツ変形部３０は、目閉じ画像に描画された上まぶたメイクパーツ９４Ａの縦成分を全体的に上方向に拡大することにより、目開き画像用の上まぶたメイクパーツ９４Ｂを生成する。

または、メイクパーツ変形部３０は、目閉じ画像に描画された上まぶたメイクパーツ９４Ａをそのまま目開き画像に重畳し、その描画された上まぶたメイクパーツからその開いている目の領域内と重複する部分を除去することにより、目開き画像用の上まぶたメイクパーツ９０Ａを生成する。

なお、メイクパーツ変形部３０は、上記の上まぶたメイクパーツと同様の方法で、描画された目のきわ上メイクパーツから、変形された目のきわ上メイクパーツを生成する。

図６は、上まぶたメイクパーツ９０Ａの変形方法に関する変形例を示す模式図である。

メイクパーツ変形部３０は、次のように、目開き画像に描画された上まぶたメイクパーツ９６Ａを変形して、目閉じ画像用の上まぶたメイクパーツ９６Ｂを生成してもよい。

（Ａ１）メイクパーツ変形部３０は、目開き画像における目の特徴点の分析結果９８から、目頭点８０Ａ及び黒目上点８０Ｃを特定し、目開き状態から目閉じ状態への切替に伴う目領域内の変形領域を算出する。

（Ａ２）次に、メイクパーツ変形部３０は、目開き画像に描画された上まぶたメイクパーツ９６Ａを、画素の列単位で、パーツ下部の塗りをＡ１で算出した変形領域の各画素列の高さ分だけ下に移動させ、目閉じ画像用の上まぶたメイクパーツ９６Ｂを生成する。このとき、パーツ上部の塗りはそのままとする。すなわち、目開き画像と目閉じ画像との間の変形領域の各画素列の高さに応じて、塗りの範囲を下方へ拡大する。

なお、目閉じ画像に描画された上まぶたメイクパーツ９８Ｂから、目開き画像用の上まぶたメイクパーツ９８Ａを生成する場合、メイクパーツ変形部３０は、上記Ａ２に代えて、下記Ａ３を行う。

（Ａ３）メイクパーツ変形部３０は、目閉じ画像に描画された上まぶたメイクパーツ９６Ｂを、画素の列単位で、パーツ下部の塗りをＡ１で算出した各画素列の高さ分だけ上に移動させ、目開き画像用の上まぶたメイクパーツ９６Ａを生成する。このとき、パーツ上部の塗りはそのままとする。すなわち、目閉じ画像と目開き画像との間の変形領域の各画素列の高さに応じて、塗りの範囲を上方へ縮小する。

図７は、目開き画像と目閉じ画像との切り替えに関する一例を示す模式図である。

メイク実施ユーザが、画像１０２Ａに示すように、目開き画像に描画メイクパーツ１０４Ａを描き、目閉じ画像への切り替え操作を行うと、メイクパーツ重畳部４０は、画像１０２Ｂに示すように、その描画メイクパーツ１０４Ａに対する変形メイクパーツ１０４Ｂを目閉じ画像に重畳する。

また、メイク実施ユーザが、画像１０２Ｂに示すように、目閉じ画像に描画メイクパーツ１０４Ｂを描き、目開き画像への切り替え操作を行うと、メイクパーツ重畳部４０は、画像１０２Ａに示すように、その描画メイクパーツ１０４Ｂに対する変形メイクパーツ１０４Ａを目開き画像に重畳する。

このように、メイク実施ユーザは、メイクシミュレーション装置１０を利用することによって、顔に描いたメイクの見え方が目の開閉によってどのように変わるかを容易に知ることができる。

＜顔画像管理テーブルの構成＞
図８は、顔画像管理テーブル５０の構成を示すテーブル図である。

顔画像管理テーブル５０は、被メイクユーザの顔画像と、その顔画像に描かれた描画メイクパーツ７０と、その描画メイクパーツ７０を変形させた変形メイクパーツ７２と、を対応付けて管理するためのテーブルである。

例えば、顔画像管理テーブル５０は、データ項目として、メイクユーザＩＤ２０２、目開き画像２０４、目閉じ画像２０６、左目開きメイクパーツ２０８、右目開きメイクパーツ２１０、左目閉じメイクパーツ２１２、右目閉じメイクパーツ２１４、及び、一重まぶたフラグ２１６を有する。

メイクユーザＩＤ２０２には、被メイクユーザの識別情報が格納される。

目開き画像２０４には、メイクユーザＩＤ２０２の被メイクユーザが目を開いている顔画像のデータが格納される。目閉じ画像２０６には、メイクユーザＩＤ２０２の被メイクユーザが目を閉じている顔画像のデータが格納される。

左目開きメイクパーツ２０８には、目開き画像２０４の左目に対するアイメイクパーツのデータが格納される。右目開きメイクパーツ２１０には、目開き画像２０４の右目に対するアイメイクパーツのデータが格納される。

左目閉じメイクパーツ２１２には、目閉じ画像２０６の左目に対するアイメイクパーツのデータが格納される。右目閉じメイクパーツ２１４には、目閉じ画像２０６の右目に対するアイメイクパーツのデータが格納される。

一重まぶたフラグ２１６には、メイクユーザＩＤ２０２の被メイクユーザが一重まぶたか否かの識別情報が格納される。例えば、一重又は奥二重まぶたの場合には「ＯＮ」、二重又は三重まぶたの場合には「ＯＦＦ」が格納される。

メイクパーツを左目と右目とで分けている理由は、人は左目と右目とで形状が異なり、それに伴い、描かれるメイクパーツも異なるためである。

また、図８のテーブルにおいて、メイクパーツ２１２に３つのデータが格納されている理由は、上述のとおり、アイメイクパーツには、上まぶたメイクパーツ９０Ａと、目のきわ上メイクパーツ９０Ｂと、下まぶたメイクパーツ９０Ｃとが含まれているからである。なお、各メイクパーツ２０８、２１０、２１２、２１４に格納されるデータ数は、３つに限らず、幾つであってもよい。

また、目開きメイクパーツ２０８、２１０に格納されているデータが「目開き描画メイクパーツ」である場合、同じ行（レコード）の目閉じメイクパーツ２１２、２１４に格納されているデータは「目閉じ変形メイクパーツ」となる。

反対に、目閉じメイクパーツ２１２、２１４に格納されているデータが「目閉じ描画メイクパーツ」である場合、同じ行（レコード）の目開きメイクパーツ２０８、２１０に格納されているデータは「目開き変形メイクパーツ」となる。

なお、図８には示されていないが、顔画像管理テーブル５０は、メイクユーザＩＤ２０２に対して、当該ユーザの左目及び右目の各特徴点の位置情報を対応付けて管理してもよい。

＜変形メイクパーツの生成方法＞
次に、変形メイクパーツの生成方法について説明する。

図９は、変形メイクパーツ生成処理を示すフローチャートである。

顔画像取得部１５は、顔画像管理テーブル５０から顔画像を取得する（ＳＴ１００）。

次に、メイクパーツ変形部３０は、その取得した顔画像が、目開き画像又は目閉じ画像の何れであるかを判定する（ＳＴ１０２）。

メイクパーツ変形部３０は、その取得した顔画像が目開き画像と判定した場合（ＳＴ１０２：目開き画像）、目開き画像の描画メイクパーツから目閉じ画像の変形メイクパーツを生成する処理を実行し（ＳＴ１１０）、本処理を終了する。当該処理の詳細については後述する（図１０参照）。

メイクパーツ変形部３０は、その取得した顔画像が目閉じ画像と判定した場合（ＳＴ１０２：目閉じ画像）、目閉じ画像の描画メイクパーツから目開き画像の変形メイクパーツを生成する処理を実行し（ＳＴ１１２）、本処理を終了する。当該処理の詳細については後述する（図１１参照）。

図１０は、目開き画像の描画メイクパーツから目閉じ画像の変形メイクパーツを生成する処理を示すフローチャートである。当該処理は、図９のＳＴ１１０に相当する。

顔画像取得部１５は、顔画像管理テーブル５０の目閉じ画像２０６から、ＳＴ１００で取得した目開き画像に対応する目閉じ画像を取得する（ＳＴ２００）。

次に、メイクパーツ変形部３０は、目閉じ画像から目の特徴点を検出する（ＳＴ２０２）。

次に、メイクパーツ変形部３０は、目閉じ画像を、目開き画像に適合するようにスケールを調整する（ＳＴ２０４）。例えば、目閉じ画像の目の横幅（目頭点８０Ａと目尻点８０Ｂとの距離）が、目閉じ画像の目の横幅と同じになるように、目閉じ画像を拡大又は縮小する。図５Ａ、図５Ｂで説明したように、メイクパーツは、縦成分は変形されるが、横成分は変形されないためである。

次に、メイクパーツ変形部３０は、顔画像管理テーブル５０の目開きメイクパーツ２０８、２１０から、上まぶたメイクパーツ９０Ａ及び目のきわ上メイクパーツ９０Ｂを取得し、それらのメイクパーツの下弦を下方向にワーピングして変形メイクパーツ７２を生成する（ＳＴ２０６）。

次に、メイクパーツ変形部３０は、その生成した目閉じ画像用の変形メイクパーツ７２、つまり、変形させた上まぶたメイクパーツ及び目のきわ上メイクパーツを、顔画像管理テーブル５０の目閉じメイクパーツ２１２、２１４に格納し（ＳＴ２０８）、図８のＳＴ１１０に戻る。

図１１は、目閉じ画像の描画メイクパーツから目開き画像の変形メイクパーツを生成する処理を示すフローチャートである。当該処理は、図９のＳＴ１１２に相当する。

顔画像取得部１５は、顔画像管理テーブル５０の目閉じ画像２０６から、ＳＴ１００で取得した目閉じ画像に対応する目開き画像を取得する（ＳＴ３００）。

次に、メイクパーツ変形部３０は、目開き画像から目の特徴点を検出する（ＳＴ３０２）。

次に、メイクパーツ変形部３０は、目開き画像を、目閉じ画像に適合するようにスケールを調整する（ＳＴ３０４）。例えば、目開き画像の目の横幅（目頭点８０Ａと目尻点８０Ｂとの距離）が、目閉じ画像の目の横幅と同じになるように、目開き画像を拡大又は縮小する。

次に、メイクパーツ変形部３０は、顔画像管理テーブル５０の一重まぶたフラグ２１６を参照し、顔画像の目が一重まぶたか否かを判定する（ＳＴ３０６）。

顔画像の目が一重まぶたである場合（ＳＴ３０６：ＹＥＳ）、メイクパーツ変形部３０は、顔画像管理テーブル５０の目閉じメイクパーツ２１２、２１４から、上まぶたメイクパーツを取得し、その取得した上まぶたメイクパーツを変形させずに（そのまま）、顔画像管理テーブル５０の目開きメイクパーツ２０８、２１０に格納し（ＳＴ３１０）、図８のＳＴ１１２に戻る。

顔画像の目が二重まぶたである場合（ＳＴ３０６：ＮＯ）、メイクパーツ変形部３０は、顔画像管理テーブル５０の目閉じメイクパーツ２１２、２１４から、上まぶたメイクパーツを取得し、それらのメイクパーツの下弦部分を上方向にワーピングして変形メイクパーツを生成する（ＳＴ３２０）。

そして、メイクパーツ変形部３０は、その生成した目開き画像用の変形メイクパーツ、つまり、変形させた上まぶたメイクパーツを、顔画像管理テーブル５０の目開きメイクパーツ２０８、２１０に格納し（ＳＴ３２２）、図８のＳＴ１１２に戻る。

＜変形メイクパーツの表示方法＞
次に、変形メイクパーツの表示方法について説明する。

図１２は、目開き画像から目閉じ画像への表示切替処理を示すフローチャートである。

メイクパーツ重畳部４０は、顔画像管理テーブル５０から、表示中の目開き画像に対応付けられている目閉じ画像を取得する（ＳＴ４００）。

次に、メイクパーツ重畳部４０は、図１０で述べたように、目閉じ画像のスケールを調整する（ＳＴ４０２）。

次に、メイクパーツ重畳部４０は、顔画像管理テーブル５０の目閉じメイクパーツ２１２，２１４から、上まぶたの変形メイクパーツ、目のきわ上の描画メイクパーツ、及び、下まぶたの描画メイクパーツを取得して目閉じ画像に重畳することより表示画像を生成し（ＳＴ４０４）、本処理を終了する。この表示画像は、所定の表示装置によって表示される。

図１３は、目閉じ画像から目開き画像への表示切替処理を示すフローチャートである。

メイクパーツ重畳部４０は、顔画像管理テーブル５０から、表示中の目閉じ画像に対応付けられている目開き画像を取得する（ＳＴ４５０）。

次に、メイクパーツ重畳部４０は、図１０で述べたように、目開き画像のスケールを調整する（ＳＴ４５２）。

次に、メイクパーツ重畳部４０は、顔画像管理テーブル５０の一重まぶたフラグ２１６を参照し、顔画像が一重まぶたであるか否かを判定する（ＳＴ４５４）。

顔画像が一重まぶたである場合（ＳＴ４５４：ＹＥＳ）、メイクパーツ重畳部４０は、顔画像管理テーブル５０の目開きメイクパーツ２０８、２１０から、上まぶたの描画メイクパーツ（つまり未変形のメイクパーツ）、目のきわ上の描画メイクパーツ、及び、下まぶたの描画メイクパーツを取得して目開き画像に重畳することにより表示画像を生成し（ＳＴ４５６）、本処理を終了する。この表示画像は、所定の表示装置によって表示される。

顔画像が二重まぶたである場合（ＳＴ４５４：ＮＯ）、メイクパーツ重畳部４０は、顔画像管理テーブル５０の目開きメイクパーツ２０８、２１０から、上まぶたの変形メイクパーツ、目のきわ上の変形メイクパーツ、及び、下まぶたの描画メイクパーツを取得して目開き画像に重畳することにより、表示画像を生成し（ＳＴ４６０）、本処理を終了する。この表示画像は、所定の表示装置によって表示される。

上述では、目開閉時における、上まぶたメイクパーツ９０Ａの変形方法について、図３ないし図６を用いた変形例を説明したが、以下に説明するような変形をさらに追加してもよい。

図１８Ａは、目開き画像の模式図である。図１８Ｂは、目閉じ画像の模式図である。図１８Ａでは、図２Ａないし図２Ｄにおける８０Ａ、８０Ｂ、８０Ｃの３点の特徴点を利用して、図３Ａ、図４Ａに示される、目の上の弧のラインを検出する。図１８Ａの目開き画像から目閉じ画像へ移行する際、メイクパーツを次のように変形する。目開き画像に描画された上まぶたメイクパーツ９０Ａの下弦ライン９１Ａから、目閉じ画像における、目の上の弧ライン９２Ａの位置まで上まぶたメイクパーツ９０Ａの塗りの範囲を拡張する。

反対に、図１８Ｂの目閉じ画像から目開き画像へ移行する際、メイクパーツを次のように変形する。目閉じ画像に描画された上まぶたメイクパーツ９０Ａの下弦ライン９１Ａから、目開き画像の目の上の弧ライン９２Ａの位置まで上まぶたメイクパーツ９０Ａの塗りの範囲を縮小する。なお、二重幅メイクパーツの目閉じ画像から目開き画像に移行する際の模式図を図１９に示す。図１９に示すように、幅Ｄ（上メイクパーツの下弦ライン９３Ａと目開き画像における目の上の弧ライン９２Ａの上下方向の距離）だけ上方向にメイクパーツ９０Ａの塗り範囲を拡大する。

さらに、二重まぶたの場合と三重まぶたの場合で、アイメイクパーツの変形量を異ならせてもよい。まず、三重まぶたであるか否か判定は、例えば、図２０に示す目閉じ画像において、目の上の弧ライン９２Ａと二重ライン９５Ａの間にラインが検出される場合、三重まぶたと判定する。このラインが検出されない場合は二重と判定する。三重まぶたの場合、目を開けた時に描画部分がライン（皺）の中に折り畳まれて隠れてしまう。そのため、二重まぶたの場合と比較して、メイクパーツ９０Ａの塗り範囲の上方向の拡大量を多くする（例えば１．１倍）。

＜メイクパーツの描画＞
図１４は、メイクパーツ描画画面を示す模式図である。

メイクパーツ描画画面４００は、例えば、メイクパーツ描画部２０によって生成され、例えば、タッチペン対応の液晶ディスプレイ又はタブレット画面等の表示装置に表示される。

メイクパーツ描画画面４００には、メイクアイテム選択領域４０２、メイクパーツ描画領域４０４、プレビュー画像表示領域４０６が設けられている。また、メイクパーツ描画画面４００には、拡大ボタン４２０、縮小ボタン４２２、実寸大ボタン４２４、全体ボタン４２６、及び、目開閉切り替えボタン４２８が設けられている。

メイクアイテム選択領域４０２には、顔画像にメイクパーツを描画するための各種メイクアイテム４３０が表示される。

メイクアイテム４３０は、例えば、アイブロウ４３２、アイシャドウ４３４、アイライン４３６、及び、マスカラ４３８等を含む。メイクアイテム４３０には、そのメイクアイテム４３０を描画するための１又は複数のブラシ４５０が対応付けられている。

アイブロウ４３２には、複数の毛を一度に描くためのブラシ４５０Ａが対応付けられている。このブラシ４５０Ａは、右目用と左目用とを選択可能である。右目用のブラシ４５０Ａと左目用のブラシ４５０Ａとでは、毛の流れが左右反転している。このブラシ４５０Ａは、筆圧の強弱が色の濃淡に対応する。

また、アイブロウ４３２には、パウダーのように眉毛をぼかすためのブラシ４５０Ｂが対応付けられている。このブラシ４５０Ｂは、筆圧の強弱が色の濃淡に対応する。

また、アイブロウ４３２には、眉毛を１本ずつ描くためのブラシ４５０Ｃが対応付けられている。このブラシ４５０Ｃは、筆圧の強弱が色の濃淡に対応する。

アイシャドウ４３４には、通常のブラシ４５０Ｄと、筆圧の強弱が色の濃淡に対応するブラシと４５０Ｅとが対応付けられている。

アイライン４３６には、筆圧の強弱が色の濃淡に対応するブラシ４５０Ｆと、筆圧の強弱が線の太さに対応するブラシ４５０Ｇとが対応付けられている。

マスカラ４３８には、目の形状に沿って睫毛を描いていくためのブラシ４５０Ｈ、４５０Ｉが対応付けられている。このブラシ４５０Ｈ、４５０Ｉは、右目用と左目用とを選択可能である。また、Ｃカーブを描くためのブラシ４５０Ｈと、Ｊカーブを描くためのブラシ４５０Ｉとを選択可能である。Ｃカーブ、Ｊカーブの詳細については後述する（図１５Ａ、図１５Ｂ参照）。このブラシ４５０Ｈ、４５０Ｉは、筆圧の強弱がマスカラのサイズの大小に対応する。すなわち、強い筆圧で描くとマスカラのサイズが大きく描かれ、弱い筆圧で描くとマスカラのサイズが小さく描かれる。また、ブラシ４５０Ｈ、４５０Ｉは、上睫毛用と下睫毛用に切り替え可能である。上睫毛用と下睫毛用とでは毛の流れが上下反転している。

また、マスカラ４３８には、複数の睫毛を一度に描くためのブラシ４５０Ｊが対応付けられている。

また、マスカラ４３８には、睫毛を１本ずつ描くためのブラシ４５０Ｋが対応付けられている。このブラシは、筆圧の強弱が色の濃淡に対応する。

メイク実施ユーザは、選択ボタン４４０からこれらのブラシ４５０を選択して、メイクパーツ描画領域４０４に表示されている顔画像にメイクを描く。ここで描かれたメイクが、描画メイクパーツとなる。

拡大ボタン４２０は、押下されると、メイクパーツ描画領域４０４に表示されている顔画像が拡大する。

縮小ボタン４２２は、押下されると、メイクパーツ描画領域４０４に表示されている顔画像が縮小する。

実寸大ボタン４２４は、押下されると、実寸大の顔画像がメイクパーツ描画領域４０４に表示される。これにより、メイク実施ユーザは、実際の顔のメイクを施すように、メイクパーツを描くことができる。また、近くから見たときのメイク後の顔をよりリアルに知ることができる。

全体ボタン４２６は、押下されると、顔画像の全体がメイクパーツ描画領域４０４に表示される。これにより、遠くから見たときのメイク後の顔をよりリアルに知ることができる。

目開閉切り替えボタン４２８は、押下されると、メイクパーツ描画領域４０４に目開き画像及び描画メイクパーツ７０が表示されている場合、目閉じ画像及び変形メイクパーツ７２の表示に切り替える。反対に、メイクパーツ描画領域４０４に目閉じ画像及び描画メイクパーツ７０が表示されている場合、目開き画像及び変形メイクパーツ７２の表示に切り替える。これにより、目を開いたときと目を閉じたときのメイクの見え方を容易に知ることができる。

また、図１４のメイクパーツ描画画面において、例えば、アイブロウ４３２やマスカラ４３８のように右目用と左目用のブラシがある場合、GUI上の左右選択ボタンによる切り替え以外に、タッチペンのボタンによる切り替え方法でもよい。例えば、デフォルトは右目用のブラシが選択されているが、タッチペンのボタンを押しながら描画する場合は左目用のブラシが選択される。

プレビュー画像表示領域４０６には、顔画像の全体が表示されると共に、顔画像の全体に対するメイクパーツ描画領域に表示されている顔画像の位置が表示される。なお、実寸大ボタン４２４が押下されると、プレビュー画像表示領域４０６の顔画像が実寸大に表示される構成であってもよい。

図１５ＡはマスカラのＣカーブを示す模式図であり、図１５ＢはマスカラのＪカーブを示す模式図である。

マスカラ４３８に対応付けられているＣカーブ用のブラシは、ブラシを目頭から目尻に向かって移動させると、図１５Ａに示すように、半円の弧のようなカーブ形状を連続的に描く。これにより、メイク実施ユーザは、Ｃカーブの睫毛エクステンションを、顔画像に簡単に描くことができる。

マスカラ４３８に対応付けられているＪカーブ用のブラシは、ブラシを目頭から目尻に向かって移動させると、図１５Ｂに示すように、半楕円の弧のようなカーブ形状を連続的に描く。これにより、メイク実施ユーザは、Ｊカーブの睫毛エクステンションを、顔画像に簡単に描くことができる。

図１６は、目の開閉によるマスカラパーツの変形を示す模式図である。

マスカラパーツについても、上述の上まぶたメイクパーツと同様に、変形メイクパーツを生成することができる。

メイクパーツ変形部３０は、目開き画像に対して図１６（ａ）に示すようなマスカラパーツが描かれた場合、そのマスカラパーツを変形して、図１６（ｂ）に示すような目閉じ画像用のマスカラパーツを生成する。

メイクパーツ変形部３０は、目閉じ画像において、マスカラパーツが自然な見た目となるよう寝るように（顔面に沿うよう）、言い換えれば、通常の目閉じ状態に伴うまつ毛の挙動となるよう、目頭点８０Ａと、目尻点８０Ｂと、黒目上点８０Ｃ及び黒目下点８０Ｄの間に位置する点を用いて、マスカラパーツを変形させてよい。

例えば、メイクパーツ変形部３０は、図１６（ａ）に示すように、黒目上点８０Ｃ及び黒目下点８０Ｄを結ぶ線分の中点Ｐ１を特定し、さらに、その中点Ｐ１と黒目上点８０Ｃとを結ぶ線分の中点Ｐ２を特定する。そして、メイクパーツ変形部３０は、目頭点８０Ａと、その特定した中点Ｐ２と、目尻点８０Ｂとを用いて目開き画像に描かれたマスカラパーツを変形させる。

＜ハードウェア構成＞
以上、本発明に係る実施形態について図面を参照して詳述してきたが、上述した装置１０の機能は、コンピュータプログラムにより実現され得る。

図１７は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ１１００は、キーボードやマウス、タッチパッドなどの入力装置１１０１、ディスプレイやスピーカーなどの出力装置１１０２、ＣＰＵ（Central Processing Unit）１１０３、ＲＯＭ（Read Only Memory）１１０４、ＲＡＭ（Random Access Memory）１１０５、ハードディスク装置やＳＳＤ（Solid State Drive）などの記憶装置１１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）やＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１１０７、ネットワークを介して通信を行うネットワークカード１１０８を備え、各部はバス１１０９により接続される。

そして、読取装置１１０７は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１１０６に記憶させる。あるいは、ネットワークカード１１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置１１０６に記憶させる。

そして、ＣＰＵ１１０３が、記憶装置１１０６に記憶されたプログラムをＲＡＭ１１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ１１０５から順次読み出して実行することにより、上記各装置の機能が実現される。

上述した実施形態は、本発明の説明のための例示であり、本発明の範囲を実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。

本発明は、メイクアップのシミュレーションを適切に行うことができる、メイクアップシミュレーション装置およびメイクアップシミュレーション方法として有用である。

１０ メイクシミュレーション装置
１５ 顔画像取得部
２０ メイクパーツ描画部
３０ メイクパーツ変形部
４０ メイクパーツ重畳部
５０ 顔画像管理テーブル

本発明の一態様に係るメイクシュミレーション装置は、被験者の顔が撮影されている顔画像にメイクパーツを重畳して表示装置に表示させる、メイクシミュレーション装置であって、前記顔の外見が特定の顔パーツの動きに起因して相違している、第１の顔画像及び第２の顔画像を取得する顔画像取得部と、前記第１の顔画像内の前記特定の顔パーツにメイク実施者により描画されたメイクパーツを、前記特定の顔パーツの動きに応じて変形させた変形メイクパーツを生成するメイクパーツ変形部と、前記被験者の第２の顔画像を含む顔画像に、前記メイクパーツおよび前記変形メイクパーツをそれぞれ重畳するメイクパーツ重畳部と、を備え、前記メイクパーツ重畳部で作成された前記メイクパーツおよび前記変形メイクパーツの重畳画像は、切り替えられながら前記表示装置に表示される。

Claims (10)

1. 人物の顔が撮影されている顔画像にメイクパーツを重畳して表示装置に表示させる、メイクシミュレーション装置であって、
   前記顔の外見が特定の顔パーツの動きに起因して相違している、第１の顔画像及び第２の顔画像を取得する顔画像取得部と、
   前記第１の顔画像内の前記特定の顔パーツにメイクパーツを描画するメイクパーツ描画部と、
   前記第１の顔画像の前記特定の顔パーツに描画されたメイクパーツを、前記特定の顔パーツの動きに応じて変形させるメイクパーツ変形部と、
   前記第２の顔画像に、前記変形されたメイクパーツを重畳するメイクパーツ重畳部と、
   を備えるメイクシミュレーション装置。
2. 前記メイクパーツは、アイメイクパーツであり、
   前記第１の顔画像が目を閉じている顔画像である場合、前記第２の顔画像は目を開いている顔画像であり、
   前記第１の顔画像が目を開いている顔画像である場合、前記第２の顔画像は目を閉じている顔画像である、
   請求項１に記載のメイクシミュレーション装置。
3. 前記メイクパーツ変形部は、
   前記第１の顔画像が目を閉じている顔画像であり、前記第２の顔画像が目を開いている顔画像である場合、
   前記目を閉じている顔パーツに描画されたアイメイクパーツの下弦部分を上方向に引き延ばして、前記目を開いている顔パーツ用に変形させる、
   請求項２に記載のメイクシミュレーション装置。
4. 前記メイクパーツ変形部は、
   前記第１の顔画像が目を開いている顔画像であり、前記第２の顔画像が目を閉じている顔画像である場合、
   前記目を開いている顔パーツに描画されたアイメイクパーツの下弦部分を下方向に引き延ばして、前記目を閉じている顔パーツ用に変形させる、
   請求項２又は３に記載のメイクシミュレーション装置。
5. 前記メイクパーツ変形部は、
   前記第１の画像が目を閉じている顔画像であり、前記第２の顔画像が目を開いている顔画像である場合、
   前記目を閉じている顔パーツに描画されたアイメイクパーツの縦成分を全体的に上方向に拡大して、前記目を開いている顔パーツ用に変形させる、
   請求項２又は３に記載のメイクシミュレーション装置。
6. 前記メイクパーツ変形部は、
   前記第１の画像が目を閉じている顔画像であり、前記第２の顔画像が目を開いている顔画像である場合、
   前記目を閉じている顔パーツに描画されたアイメイクパーツをそのまま目を開いている顔画像に重畳した場合にその開いている目の領域内と重複する部分を、当該アイメイクパーツから除去して、前記目を開いている顔パーツ用に変形させる、
   請求項２又は３に記載のメイクシミュレーション装置。
7. 前記アイメイクパーツは、上まぶたのメイクパーツと、目のきわ上のメイクパーツと、下まぶたのメイクパーツとを含み、
   前記メイクパーツ変形部は、前記上まぶたのメイクパーツを変形対象とする、
   請求項２乃至６の何れか１項に記載のメイクシミュレーション装置。
8. 前記メイクパーツ重畳部は、
   前記第１の顔画像が目を閉じている顔画像であり、前記第２の顔画像が目を開いている顔画像である場合であって、
   前記第１及び第２の顔画像のまぶたが一重又は奥二重である場合、前記第１の顔画像において表示される前記上まぶたのメイクパーツを変形せずに、前記第２の顔画像に重畳して表示する、
   請求項７に記載のメイクシミュレーション装置。
9. 人物の顔が撮影されている顔画像にメイクパーツを重畳して表示装置に表示させる、メイクシミュレーション方法であって、
   前記顔の外見が特定の顔パーツの動きに起因して相違している、第１の顔画像及び第２の顔画像を取得し、第１の顔画像内の前記特定の顔パーツにメイクパーツを描画するステップと、
   前記第１の顔画像に描画されたメイクパーツを、前記特定の顔パーツの動きに応じて変形させるステップと、
   前記第２の顔画像に、前記変形されたメイクパーツを重畳するステップと、
   を備える、メイクシミュレーション方法。
10. 人物の顔が撮影されている顔画像にメイクパーツを重畳して表示装置に表示させる、メイクシミュレーションプログラムであって、
    前記顔の外見が特定の顔パーツの動きに起因して相違している、第１の顔画像及び第２の顔画像を取得し、前記第１の顔画像内の前記特定の顔パーツにメイクパーツを描画するステップと、
    前記第１の顔画像に描画されたメイクパーツを、前記特定の顔パーツの動きに応じて変形させるステップと、
    前記第２の顔画像に、前記変形されたメイクパーツを重畳するステップと、
    をコンピュータに実行させるメイクシミュレーションプログラムを記録したコンピュータ読み取り可能で非一時的な記録媒体。