JPWO2018079255A1 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
JPWO2018079255A1
JPWO2018079255A1 JP2018547534A JP2018547534A JPWO2018079255A1 JP WO2018079255 A1 JPWO2018079255 A1 JP WO2018079255A1 JP 2018547534 A JP2018547534 A JP 2018547534A JP 2018547534 A JP2018547534 A JP 2018547534A JP WO2018079255 A1 JPWO2018079255 A1 JP WO2018079255A1
Authority
JP
Japan
Prior art keywords
image
face
line
proportion
makeup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018547534A
Other languages
English (en)
Inventor
千枝 西
千枝 西
理惠子 浅井
理惠子 浅井
さち子 竹下
さち子 竹下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2018079255A1 publication Critical patent/JPWO2018079255A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

教師がメイクの方法の説明にかかる手間や時間を低減し、生徒がメイクの方法について理解を深められるようにする。画像処理装置（１００）は、所定装置から顔画像を入力する画像入力部（１０１）と、顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出する画像解析部（１０２）と、顔型、プロポーションライン、または、ブロッキングラインのいずれかに基づいて、顔画像におけるメイクパーツ画像の重畳領域を決定し、重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する画像生成部（１０３）と、を有する。

Description

本開示は、メイクアップのシミュレーション画像を生成する画像処理装置、画像処理方法、および画像処理プログラムに関する。
一般的に、美容学校では、顔のメイクアップ（以下、単に「メイク」という）の授業の際、教師は、紙媒体のテキストに掲載されている写真やイラスト（メイクの具体例が示されたもの）を用いて、メイクの方法を説明する。
最適なメイクの方法は、顔の特徴に応じて様々であるため、より多くのメイクの具体例がテキストに掲載されることが望ましい。しかしながら、テキストの持ち運びやすさ等を考慮すると、テキストに掲載するメイクの具体例を増やすには限界がある。よって、生徒は、様々な顔の特徴に適したメイクの具体例について理解を深めることができない。また、教師にとっても、様々な顔の特徴に適したメイクの具体例を説明しようとすると、手間や時間がかかってしまう。また、生徒は、テキストに掲載されている顔とは異なる顔に対してテキストに示されているメイクを施した場合の顔をイメージしにくい。
そこで、様々な顔の特徴に応じたより多くのメイクの具体例を説明するために、例えば特許文献１に開示されている技術を用いることが考えられる。特許文献１の技術は、顔画像から抽出される特徴量を変化させて顔画像の見た目の印象を変える技術である。
特開２０１６−８１０７５号公報
しかしながら、特許文献１の技術を用いたとしても、教師は、変更後の顔画像に対する適切なメイクの方法を口頭などで具体的に説明しなければならない。よって、教師にとって説明に手間や時間がかかってしまうという問題は解消されない。また、教師が口頭などでメイクの方法を説明することになるため、生徒の理解を深める点でも十分ではない。
本開示の一態様は、教師がメイクの方法の説明にかかる手間や時間を低減でき、生徒がメイクの方法について理解を深めることができる画像処理装置、画像処理方法、および画像処理プログラムを提供する。
本開示の画像処理装置は、所定装置から顔画像を入力する画像入力部と、前記顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出する画像解析部と、前記顔型、前記プロポーションライン、または、前記ブロッキングラインのいずれかに基づいて前記顔画像におけるメイクパーツ画像の重畳領域を決定し、該重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する画像生成部と、を有する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示によれば、教師がメイクの方法の説明にかかる手間や時間を低減でき、生徒がメイクの方法について理解を深めることができる。
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
本開示に係る画像処理装置の構成例を示すブロック図 本開示に係る顔特徴点および顔部品の一例を示す図 本開示に係る動作例１を示すフローチャート 本開示に係るプロポーションラインの一例を示す図 本開示に係るチーク画像の重畳領域の例を示す図 本開示に係るチーク画像の重畳領域の例を示す図 本開示に係るプロポーションラインの他の例を示す図 本開示に係るプロポーションラインの他の例を示す図 本開示に係るプロポーションラインの他の例を示す図 本開示に係るプロポーションラインの他の例を示す図 本開示に係るプロポーションラインの他の例を示す図 本開示に係る均等化前と均等化後のシミュレーション画像の表示例を示す図 本開示に係る動作例２を示すフローチャート 本開示に係る顔型の照合例を示す図 本開示に係る顔型のローライト画像およびハイライト画像の重畳領域の例を示す図 本開示に係る顔型の照合例を示す図 本開示に係る顔型のローライト画像およびハイライト画像の重畳領域の例を示す図 本開示に係る動作例３を示すフローチャート 本開示に係るブロッキングラインの一例を示す図
以下、本開示の一実施の形態について、図面を参照して詳細に説明する。
＜画像処理装置の構成＞
まず、図１を用いて、画像処理装置１００の構成について説明する。
図１は、画像処理装置１００の構成の一例を示すブロック図である。
画像処理装置１００は、据え置き型の装置でもよいし、容易に持ち運ぶことも可能なポータブル型の装置でもよい。また、画像処理装置１００、記憶装置２００、および表示装置３００は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等に備えられてもよい。
また、本実施の形態では、画像処理装置１００のユーザは、例えば、美容学校等でメイク方法を教える教師、または、美容学校等でメイク方法を学ぶ生徒である場合を例に挙げて説明する。
図１に示すように、画像処理装置１００は、画像入力部１０１、画像解析部１０２、および画像生成部１０３を有する。
図示は省略するが、画像処理装置１００は、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、画像入力部１０１、画像解析部１０２、および画像生成部１０３の各機能は、ＣＰＵが制御プログラムを実行することにより実現される。
画像入力部１０１は、所定装置（図示略）から、人の顔の画像（以下、顔画像という）を入力し、その顔画像を画像解析部１０２へ出力する。所定装置は、例えば、カメラでもよいし、記憶装置２００でもよい。また、顔画像は、動画でも、静止画でもよい。また、顔画像における顔は、メイクが施されていない顔が望ましい。
画像解析部１０２は、画像入力部１０１から顔画像を受け取り、その顔画像から顔特徴点を抽出する。また、画像解析部１０２は、顔特徴点に基づいて、顔部品（例えば、目、まぶた、頬、鼻、唇、おでこ、あご等）を抽出する。
ここで、図２を用いて、顔特徴点および顔部品の一例について説明する。
例えば図２に示すように、顔画像からは、複数の顔特徴点（図中の丸印）が抽出される。例えば、顔特徴点７０１〜７０４は、右目を構成する。したがって、画像解析部１０２は、顔特徴点７０１〜７０４により囲まれる領域７０５を、右目（顔部品の一例）として抽出する。また、例えば、顔特徴点７０１〜７０３、７０６〜７０８は、右まぶたを構成する。したがって、画像解析部１０２は、顔特徴点７０１〜７０３、７０６〜７０８により囲まれる領域７０９を、右まぶた（顔部品の一例）として抽出する。
なお、各顔特徴点の座標は、例えば、複数の顔特徴点を基準として設定された顔座標系における座標である。座標は、二次元座標または三次元座標のいずれでもよい。
以上、顔特徴点および顔部品の一例について説明した。図１の説明に戻る。
また、画像解析部１０２は、顔特徴点に基づいて、顔型（正面顔の輪郭の形状）、顔のバランス（顔全体のバランス、または、顔部品のバランス）を分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割（ブロッキング）するブロッキングラインのいずれかを算出する。顔型、プロポーションライン、およびブロッキングラインの具体例については、後述の各動作例で説明する。
そして、画像解析部１０２は、顔画像と、その顔画像の解析結果を示す解析結果情報とを画像生成部１０３へ出力する。解析結果情報は、例えば、抽出された各顔部品の種類を示す情報、抽出された各顔部品を特定可能な顔特徴点の座標を示す情報を含む。また、解析結果情報は、例えば、顔型、プロポーションライン、またはブロッキングラインを特定可能な顔特徴点の座標を示す情報を含む。
画像生成部１０３は、画像解析部１０２から顔画像および解析結果情報を受け取り、解析結果情報に基づいて、顔画像にメイクパーツ画像を重畳したシミュレーション画像を生成する。
メイクパーツ画像は、所定色のメイクアイテム（例えば、アイシャドウ、チーク、コンシーラ、口紅、ハイライト、ローライト等）を顔画像上に載せてメイクシミュレーションを行うための、メイクの領域と濃淡を示す画像である。メイクパーツ画像は、記憶装置２００に記憶されており、画像生成部１０３によって記憶装置２００から読み出される。
なお、記憶装置２００は、メイクアイテム毎に色、形状が異なる複数種類のメイクパーツ画像を記憶しており、画像生成部１０３は、それらの中からユーザにより指定されたメイクパーツ画像を読み出してもよい。
そして、画像生成部１０３は、シミュレーション画像を表示装置３００へ出力する。表示装置３００は、シミュレーション画像を表示する。なお、表示されるシミュレーション画像の顔画像は、通常の鏡に映る顔の画像であってもよいし、リバーサルミラー（左右反転ミラー）に映る顔の画像であってもよい。
シミュレーション画像の生成処理の例については、後述の各動作例で説明する。
以上、画像処理装置１００の構成について説明した。
＜画像処理装置の動作＞
次に、画像処理装置１００の動作について説明する。以下では、動作例１〜３のそれぞれについて説明する。
（動作例１）
まず、図３を用いて、画像処理装置１００の動作例１について説明する。
図３は、画像処理装置１００の動作例１を示すフローチャートである。
まず、画像入力部１０１は、所定装置（例えば、カメラ）から顔画像を入力する（ステップＳ１０１）。そして、画像入力部１０１は、その顔画像を画像解析部１０２へ出力する。
次に、画像解析部１０２は、画像入力部１０１から受け取った顔画像から顔特徴点を抽出する（ステップＳ１０２）。また、画像解析部１０２は、顔特徴点に基づいて、顔部品を抽出する。
次に、画像解析部１０２は、顔特徴点に基づいて、プロポーションラインを算出する（ステップＳ１０３）。
ここで、図４を用いて、プロポーションラインの一例について説明する。
例えば、画像解析部１０２は、図４に示すように、プロポーションラインＬ１〜Ｌ４を算出する。プロポーションラインＬ１〜Ｌ４は、顔の横幅に対して水平な直線であり、顔画像を縦方向に分割する線である。プロポーションラインＬ１〜Ｌ４は、顔全体のバランスの分析に用いられるプロポーションラインである。
プロポーションラインＬ１は、額における髪の生え際の顔特徴点を通る直線である。プロポーションラインＬ２は、眉頭の顔特徴点を通る直線である。プロポーションラインＬ３は、鼻先の顔特徴点を通る直線である。プロポーションラインＬ４は、顎先の顔特徴点を通る直線である。
また、画像解析部１０２は、プロポーションライン間の幅（距離）を算出する。例えば、画像解析部１０２は、図４に示すように、プロポーションラインＬ１とプロポーションラインＬ２との間の幅ｗ１、プロポーションラインＬ２とプロポーションラインＬ３との間の幅ｗ２、および、プロポーションラインＬ３とプロポーションラインＬ４との間の幅ｗ３を算出する。
以上、プロポーションラインの一例について説明した。以下、図３の説明に戻る。
次に、画像解析部１０２は、顔画像および解析結果情報を画像生成部１０３へ出力する。この解析結果情報には、例えば、各顔部品の種類、各顔部品を特定可能な顔特徴点の座標、プロポーションラインＬ１〜Ｌ４を特定可能な顔特徴点の座標、プロポーションライン間の幅ｗ１〜ｗ３などの情報が含まれる。
次に、画像生成部１０３は、解析結果情報に基づいてプロポーションラインを示す画像（以下、プロポーションライン画像という）を生成し、そのプロポーションライン画像を顔画像に重畳したシミュレーション画像を生成する（ステップＳ１０４）。そして、画像生成部１０３は、シミュレーション画像を表示装置３００へ出力する（ステップＳ１０４）。例えば、プロポーションライン画像は、図４に示したプロポーションラインＬ１〜Ｌ４それぞれの画像である。
表示装置３００は、画像生成部１０３から受け取ったシミュレーション画像を表示する。これにより、ユーザは、顔画像においてプロポーションライン画像を視認することができる。
次に、画像生成部１０３は、解析結果情報に基づいて、顔画像におけるメイクパーツ画像（ここでは例として、チーク画像とする）の重畳領域を決定する（ステップＳ１０５）。
ここで、重畳領域決定処理（ステップＳ１０５）の一例について説明する。
まず、画像生成部１０３は、図４に示した幅ｗ１と幅ｗ３のどちらが長いかを判定する。
幅ｗ１の方が長い場合、図５Ａに示すように、チーク画像が上寄り（チーク画像の一端が目尻に近く、かつ、他端が目頭から遠く）に配置されるように、顔画像におけるチーク画像の重畳領域ＣＨ１、ＣＨ２を決定する。
一方、幅ｗ３の方が長い場合、図５Ｂに示すように、チーク画像が下寄り（チーク画像の一端が目頭に近く、かつ、他端が目尻から遠く）に配置されるように、顔画像におけるチーク画像の重畳領域ＣＨ３、ＣＨ４を決定する。
以上、重畳領域決定処理の一例について説明した。以下、図３の説明に戻る。
次に、画像生成部１０３は、記憶装置２００からチーク画像（例えば、ピンク色で楕円形のチークを示す画像）を読み出す。次に、画像生成部１０３は、重畳領域に合わせてチーク画像の大きさ、形状を調整し、そのチーク画像を重畳領域に重畳したシミュレーション画像を生成する（ステップＳ１０６）。そして、画像生成部１０３は、シミュレーション画像を表示装置３００へ出力する（ステップＳ１０６）。
表示装置３００は、画像生成部１０３から受け取ったシミュレーション画像を表示する。これにより、ユーザは、顔画像においてチーク画像を視認することができる。
なお、表示装置３００は、ステップＳ１０４で生成されたシミュレーション画像に代えて、ステップＳ１０６で生成されたシミュレーション画像を表示してもよい。この場合、プロポーションライン画像は顔画像上から消去され、顔画像上にはチーク画像のみが重畳表示される。
または、表示装置３００は、ステップＳ１０４で生成されたシミュレーション画像にチーク画像を重畳して表示してもよい。この場合、プロポーションライン画像およびチーク画像の両方が顔画像上に重畳表示される。
以上、画像処理装置１００の動作例１について説明した。
以下、動作例１の変形例について説明する。
（動作例１の変形例１）
図３のステップＳ１０４の処理は省略されてもよい。すなわち、プロポーションライン画像の重畳表示は行われなくてもよい。
（動作例１の変形例２）
図３のステップＳ１０４の処理は、ステップＳ１０６の処理と同時に行われてもよい。すなわち、プロポーションライン画像とメイクパーツ画像（例えば、チーク画像）の両方を顔画像に重畳したシミュレーション画像を生成し、表示装置３００へ出力してもよい。
（動作例１の変形例３）
上記説明では、メイクパーツ画像がチーク画像である場合を例に挙げて説明したが、メイクパーツ画像は、例えば上述したアイシャドウ等、チーク以外のメイクアイテムの画像であってもよい。
（動作例１の変形例４）
算出されるプロポーションラインは、図４に示したプロポーションラインＬ１〜Ｌ４に限定されない。以下、プロポーションラインのその他の例について説明する。
まず、図６を用いて、プロポーションラインＬ５〜Ｌ８について説明する。
図６に示すプロポーションラインＬ５〜Ｌ８は、顔全体のバランスの分析に用いられるプロポーションラインである。プロポーションラインＬ５〜Ｌ８は、顔の縦幅に対して水平な直線であり、顔画像を横方向に分割する線である。
プロポーションラインＬ５は、右目の目尻の顔特徴点を通る直線である。プロポーションラインＬ６は、右目の目頭の顔特徴点を通る直線である。プロポーションラインＬ７は、左目の目頭の顔特徴点を通る直線である。プロポーションラインＬ８は、左目の目尻の顔特徴点を通る直線である。
また、画像解析部１０２は、プロポーションラインＬ５とプロポーションラインＬ６との間の幅ｗ４、プロポーションラインＬ６とプロポーションラインＬ７との間の幅ｗ５、および、プロポーションラインＬ７とプロポーションラインＬ８との間の幅ｗ６を算出する。
次に、図６を用いて、プロポーションラインＬ９、Ｌ１０について説明する。
図６に示すプロポーションラインＬ９、Ｌ１０は、顔全体のバランスの分析に用いられるプロポーションラインである。プロポーションラインＬ９、Ｌ１０は、顔の横幅に対して水平な直線であり、顔画像を縦方向に分割する線である。
プロポーションラインＬ９は、上唇の顔特徴点を通る直線である。プロポーションラインＬ１０は、下唇の顔特徴点を通る直線である。
また、画像解析部１０２は、例えば、プロポーションラインＬ３とプロポーションラインＬ９との間の幅ｗ７、プロポーションラインＬ９とプロポーションラインＬ４との間の幅ｗ８、プロポーションラインＬ３とプロポーションラインＬ１０との間の幅ｗ９、および、プロポーションラインＬ１０とプロポーションラインＬ４との間の幅ｗ１０を算出する。
次に、図７を用いて、プロポーションラインＬ１１〜Ｌ１４について説明する。なお、図７に示すプロポーションラインＬ１〜Ｌ４は、図４を用いて説明済みであるので、ここでの説明は省略する。
図７に示すプロポーションラインＬ１１〜Ｌ１４は、顔全体のバランスの分析に用いられるプロポーションラインである。
プロポーションラインＬ１１は、鼻筋（例えば、鼻根、鼻背、鼻尖）の顔特徴点を通る直線である。プロポーションラインＬ１２は、眉尻の顔特徴点、目尻の顔特徴点、および小鼻の外側の顔特徴点を通る直線である。プロポーションラインＬ１３は、右の瞳の上端の顔特徴点および左の瞳の上端の顔特徴点を通る直線である。プロポーションラインＬ１４は、プロポーションラインＬ１１とプロポーションラインＬ１３との交点および小鼻の外側の特徴点を通る直線である。
次に、図８Ａ〜図８Ｃを用いて、プロポーションラインＬ１５〜Ｌ２９について説明する。
図８Ａに示すプロポーションラインＬ１５〜Ｌ１７は、眉（顔部品の一例）のバランスの分析に用いられるプロポーションラインである。プロポーションラインＬ１５〜Ｌ１７は、顔の縦幅に対して水平な直線である。
図８Ａにおいて、プロポーションラインＬ１５は、右の眉尻の顔特徴点を通る直線である。プロポーションラインＬ１６は、右の眉山の顔特徴点を通る直線である。プロポーションラインＬ１７は、右の眉頭の顔特徴点を通る直線である。
また、画像解析部１０２は、プロポーションラインＬ１５とプロポーションラインＬ１６との間の幅ｗ１１、および、プロポーションラインＬ１６とプロポーションラインＬ１７との間の幅ｗ１２を算出する。
図８Ｂに示すプロポーションラインＬ１８〜Ｌ２３は、目（顔部品の一例）のバランスの分析に用いられるプロポーションラインである。プロポーションラインＬ１８〜Ｌ２１は、顔の縦幅に対して水平な直線であり、プロポーションラインＬ２２およびＬ２３は、顔の横幅に対して水平な直線である。
図８Ｂにおいて、プロポーションラインＬ１８は、右目の目尻の顔特徴点を通る直線である。すなわち、プロポーションラインＬ１８は、図６に示したプロポーションラインＬ５と同じである。プロポーションラインＬ１９は、右目の瞳の右端の顔特徴点を通る直線である。プロポーションラインＬ２０は、右目の瞳の左端の顔特徴点を通る直線である。プロポーションラインＬ２１は、右目の目頭の顔特徴点を通る直線である。すなわち、プロポーションラインＬ２１は、図６に示したプロポーションラインＬ６と同じである。プロポーションラインＬ２２は、右の瞳の下端の顔特徴点を通る直線である。プロポーションラインＬ２３は、右の瞳の上端の顔特徴点を通る直線である。
また、画像解析部１０２は、プロポーションラインＬ１８とプロポーションラインＬ１９との間の幅ｗ１３、プロポーションラインＬ１９とプロポーションラインＬ２０との間の幅ｗ１４、プロポーションラインＬ２０とプロポーションラインＬ２１との間の幅ｗ１５、および、プロポーションラインＬ２２とプロポーションラインＬ２３との間の幅ｗ１６を算出する。
図８Ｃに示すプロポーションラインＬ２４〜Ｌ２９は、口（顔部品の一例）のバランスの分析に用いられるプロポーションラインである。プロポーションラインＬ２４〜Ｌ２６は、顔の縦幅に対して水平な直線であり、プロポーションラインＬ２７〜Ｌ２９は、顔の横幅に対して水平な直線である。
図８Ｃにおいて、プロポーションラインＬ２４は、鼻尖の顔特徴点と唇の中心の顔特徴点を通る直線である。プロポーションラインＬ２５は、左の鼻孔の中心の顔特徴点を通る直線である。プロポーションラインＬ２６は、唇の左端の顔特徴点を通る直線である。プロポーションラインＬ２７は、下唇の下端を通る直線である。プロポーションラインＬ２８は、上唇と下唇の境界の顔特徴点を通る直線である。プロポーションラインＬ２９は、上唇の上端を通る直線である。
また、画像解析部１０２は、プロポーションラインＬ２４とプロポーションラインＬ２５との間の幅ｗ１７、プロポーションラインＬ２５とプロポーションラインＬ２６との間の幅ｗ１８、プロポーションラインＬ２７とプロポーションラインＬ２８との間の幅ｗ１９、および、プロポーションラインＬ２８とプロポーションラインＬ２９との間の幅ｗ２０を算出する。
（動作例１の変形例５）
上述したプロポーションラインＬ１〜Ｌ２９の位置は、例えばユーザの指示に基づいて変更されてもよい。
具体的には、画像生成部１０３は、所定のプロポーションラインの位置の変更指示を受け付けた場合、変更後のプロポーションラインの位置に基づいて、顔画像における顔部品の形状および位置の少なくとも一方を変化させた顔画像（以下、変化後顔画像という）を生成し、変化後顔画像を表示装置３００へ出力してもよい。または、画像生成部１０３は、変化後顔画像にプロポーションラインの画像を重畳したシミュレーション画像を生成し、表示装置３００へ出力してもよい。
また、画像生成部１０３は、顔画像における顔バランスの均等化（以下、単に「均等化」ともいう）の指示を受け付けた場合、プロポーションライン間の各幅が同じ割合になるように所定のプロポーションラインの位置を変更してもよい。
例えば、図４に示したプロポーションラインＬ１〜Ｌ４および図６に示したプロポーションラインＬ５〜Ｌ８が算出された後で均等化の指示を受け付けた場合、画像生成部１０３は、図４に示した幅ｗ１〜ｗ３の割合が１：１：１になるようにプロポーションラインＬ１〜Ｌ４のうち少なくとも１つの位置を変更し、図６に示した幅ｗ４〜ｗ６の割合が１：１：１になるようにプロポーションラインＬ５〜Ｌ８のうち少なくとも１つの位置を変更する。
ここで、上述した均等化の結果得られるシミュレーション画像の表示例を図９に示す。
図９に示したシミュレーション画像Ａは、均等化前のシミュレーション画像の一例である。一方、図９に示したシミュレーション画像Ｂは、均等化後のシミュレーション画像の一例である。図９に示すように、シミュレーション画像Ａ、Ｂは、顔画像にプロポーションラインＬ１〜Ｌ８の画像が重畳された画像である。
シミュレーション画像Ｂは、シミュレーション画像Ａと比べて、プロポーションラインＬ２、Ｌ３の位置が変更され、眉、目の位置が変更されている。このように、２つのシミュレーション画像を並べて表示することで、ユーザは、顔バランスが均等化されていない顔と、顔バランスが均等化された顔とを容易に比較できる。
なお、上記説明では、各幅が同じ割合（例えば、１：１：１）となるようにプロポーションラインの位置を変更する均等化処理について説明したが、例えば、各幅の割合が予め定められた理想的な割合となるようにプロポーションラインの位置を変更する理想化処理が行われてもよい。以下、顔画像における顔バランスの理想化の指示を受け付けた場合の、プロポーションラインの位置の変更例についてそれぞれ説明する。
例えば、図６において、幅ｗ７と幅ｗ８の割合が１：３となるように、プロポーションラインＬ３、Ｌ９、およびＬ４のうち少なくとも１つの位置が変更されてもよい。また、図６において、幅ｗ９と幅ｗ１０の割合が１：１となるように、プロポーションラインＬ３、Ｌ１０、およびＬ４のうち少なくとも１つの位置が変更されてもよい。
また、例えば、図８Ａにおいて、幅ｗ１１と幅ｗ１２の割合が１：２となるように、プロポーションラインＬ１５〜Ｌ１７のうち少なくとも１つの位置が変更されてもよい。
また、例えば、図８Ｂにおいて、幅ｗ１３〜幅ｗ１６の割合が１：１：１：１となるように、プロポーションラインＬ１８〜Ｌ２３のうち少なくとも１つの位置が変更されてもよい。
また、例えば、図８Ｃにおいて、幅ｗ１７と幅ｗ１８の割合が１：２となるように、プロポーションラインＬ２４〜Ｌ２６のうち少なくとも１つの位置が変更されてもよい。また、例えば、図８Ｃにおいて、幅ｗ１９と幅ｗ２０の割合が１.５：１となるように、プロポーションラインＬ２７〜Ｌ２９のうち少なくとも１つの位置が変更されてもよい。
以上、理想化が指示された場合におけるプロポーションラインの位置変更の各例について説明したが、これらの例においても、上述したとおり、変更後のプロポーションラインに基づいて、顔部品の位置および形状の少なくとも一方を変化させた変化後顔画像が生成される。
（動作例１の変形例６）
上記説明では、チーク画像の重畳領域を、幅ｗ１と幅ｗ３との比較結果に基づいて決定する場合を例に挙げて説明したが、これに限定されない。その他の例について以下に説明する。
例えば、画像解析部１０２は、プロポーションラインの算出処理（図３のステップＳ１０３）の際に、顔特徴点に基づいて輪郭の縦幅（例えば、最大縦幅を示すプロポーションラインでもよい）および輪郭の横幅（例えば、最大横幅を示すプロポーションラインでもよい）を算出する。この算出結果は、解析結果情報に含まれ、画像生成部１０３へ出力される。
そして、画像生成部１０３は、重畳領域の決定処理（図３のステップＳ１０５）の際、算出された縦幅と横幅のどちらが長いかを判定する。
縦幅の方が長い場合（顔型が面長である場合）、例えば、楕円形のチーク画像が真横に配置されるように（楕円の長軸が顔の横幅と並行に配置されるように）、顔画像におけるチーク画像の重畳領域を決定する。
一方、横幅の方が長い場合（顔型が丸型である場合）、例えば、楕円形のチーク画像が頬から口角に向けて斜めに配置されるように、顔画像におけるチーク画像の重畳領域を決定する。
以上、動作例１の変形例について説明した。
（動作例２）
次に、図１０を用いて、画像処理装置１００の動作例２について説明する。
図１０は、画像処理装置１００の動作例２を示すフローチャートである。
ステップＳ１０１、Ｓ１０２については動作例１で説明済みであるので、ここでの説明は省略する。
次に、画像解析部１０２は、顔特徴点に基づいて、顔型を算出する（ステップＳ２０３）。ここで算出される顔型（以下、算出顔型という）は、例えば、逆三角形、菱形、丸型、面長、ベース型、八角形等である。
次に、画像解析部１０２は、顔画像および解析結果情報を画像生成部１０３へ出力する。この解析結果情報には、例えば、各顔部品の種類、各顔部品を特定可能な顔特徴点の座標、算出顔型を特定可能な顔特徴点の座標などの情報が含まれる。
次に、画像生成部１０３は、記憶装置２００から基準顔型の情報を読み出す。基準顔型は、予め定められた顔型であり、例えば、理想的な顔型である卵型である。
次に、画像生成部１０３は、基準顔型の大きさを算出顔型の大きさに合わせ、算出顔型と基準顔型とを照合し、はみ出し領域と不足領域を算出する（ステップＳ２０４）。
次に、画像生成部１０３は、はみ出し領域と不足領域に基づいて、顔画像に重畳すべきメイクパーツ画像（ここでは例として、ローライト画像とハイライト画像とする）の重畳領域を決定する（ステップＳ２０５）。
ここで、図１１Ａ、図１１Ｂおよび図１２Ａ、図１２Ｂを用いて、領域算出処理（ステップＳ２０４）および重畳領域決定処理（ステップＳ２０５）の各例について説明する。
図１１Ａ、図１１Ｂを用いて、算出顔型が逆三角形である場合における領域算出処理および重畳領域決定処理について説明する。
まず、画像生成部１０３は、図１１Ａに示すように、逆三角形の算出顔型ｔ１と、卵型の基準顔型Ｔとを照合する。そして、画像生成部１０３は、算出顔型ｔ１が基準顔型Ｔからはみ出しているはみ出し領域Ｘ１、Ｘ２を算出する。また、画像生成部１０３は、算出顔型ｔ１が基準顔型Ｔに対して不足している不足領域Ｙ１、Ｙ２を算出する。
次に、画像生成部１０３は、図１１Ｂに示すように、顔画像のうちはみ出し領域Ｘ１、Ｘ２に対応する領域Ｌ１、Ｌ２を、ローライト画像の重畳領域に決定する。また、画像生成部１０３は、図１１Ｂに示すように、顔画像のうち不足領域Ｙ１、Ｙ２に対応する領域Ｈ１、Ｈ２をハイライト画像の重畳領域に決定する。
また、画像生成部１０３は、図１１Ｂに示すように、領域Ｈ３（額と鼻筋の領域）、領域Ｈ４（右目の下方の領域）、領域Ｈ５（左目の下方の領域）、領域Ｈ６（顎の領域）を、ハイライト画像の重畳領域に決定する。これら領域Ｈ３〜Ｈ６は、全ての顔型に共通するハイライト画像の重畳領域として予め定められているが、顔画像（算出顔型）の特徴に応じて、大きさ、形状が適宜変更される。
図１２Ａ、図１２Ｂを用いて、算出顔型が菱形である場合における領域算出処理および重畳領域決定処理について説明する。
まず、画像生成部１０３は、図１２Ａに示すように、菱形の算出顔型ｔ２と、卵型の基準顔型Ｔとを照合する。そして、画像生成部１０３は、算出顔型ｔ２が基準顔型Ｔからはみ出しているはみ出し領域Ｘ３、Ｘ４を算出する。また、画像生成部１０３は、算出顔型ｔ２が基準顔型Ｔに対して不足している不足領域Ｙ３、Ｙ４を算出する。
次に、画像生成部１０３は、図１２Ｂに示すように、顔画像のうちはみ出し領域Ｘ３、Ｘ４に対応する領域Ｌ３、Ｌ４を、ローライト画像の重畳領域に決定する。また、画像生成部１０３は、図１２Ｂに示すように、顔画像のうち不足領域Ｙ３、Ｙ４に対応する領域Ｈ７、Ｈ８をハイライト画像の重畳領域に決定する。また、画像生成部１０３は、図１２Ｂに示すように、領域Ｈ３〜Ｈ６をハイライト画像の重畳領域に決定する。
以上、領域算出処理および重畳領域決定処理の各例について説明した。以下、図１０の説明に戻る。
次に、画像生成部１０３は、記憶装置２００からローライト画像およびハイライト画像を読み出す。次に、画像生成部１０３は、各重畳領域に合わせてローライト画像およびハイライト画像の大きさ、形状を調整し、ローライト画像およびハイライト画像を各重畳領域に重畳したシミュレーション画像を生成する（ステップＳ２０６）。そして、画像生成部１０３は、シミュレーション画像を表示装置３００へ出力する（ステップＳ２０６）。
表示装置３００は、画像生成部１０３から受け取ったシミュレーション画像を表示する。これにより、ユーザは、顔画像においてローライト画像およびハイライト画像を視認することができる。
以上、画像処理装置１００の動作例２について説明した。
以下、動作例２の変形例について説明する。
（動作例２の変形例１）
上記説明では、メイクパーツ画像がローライト画像およびハイライト画像である場合を例に挙げて説明したが、メイクパーツ画像は、ローライトおよびハイライト以外のメイクアイテムの画像であってもよい。
（動作例２の変形例２）
上記説明では、算出顔型が逆三角形または菱形である場合を例に挙げて説明したが、算出顔型は、丸型、面長、ベース型、または八角形であってもよい。
（動作例２の変形例３）
上記説明では、はみ出し領域と不足領域の両方が算出される場合を例に挙げて説明したが、照合結果によっては、はみ出し領域または不足領域のいずれかのみが算出される場合もありうる。
また、はみ出し領域および不足領域の両方が算出された場合であっても、算出された全ての領域を重畳領域に決定する必要はない。例えば、顔画像において不足領域に対応する領域にハイライト画像を重畳すると、不自然な見栄えになる場合には、その不足領域は重畳領域に決定されない。
以上、動作例２の変形例について説明した。
（動作例３）
次に、図１３を用いて、画像処理装置１００の動作例３について説明する。
図１３は、画像処理装置１００の動作例３を示すフローチャートである。
ステップＳ１０１、Ｓ１０２については動作例１で説明済みであるので、ここでの説明は省略する。
次に、画像解析部１０２は、顔特徴点に基づいて、二次特徴点を算出する（ステップＳ３０３）。二次特徴点は、例えば、顔特徴点間の線分（以下、単に「線分」という）を分割する点、線分の延長線上の点、２つの線分の交点などである。
次に、画像解析部１０２は、顔特徴点および二次特徴点に基づいて、ブロッキングラインを算出する（ステップＳ３０４）。
次に、画像解析部１０２は、ブロッキングラインにより区切られた各分割領域の輝度を算出する（ステップＳ３０５）。
ここで、図１４を用いて、ブロッキングラインおよび分割領域の一例について説明する。
例えば、画像解析部１０２は、図１４に示すように、ブロッキングラインＢＬを算出する。図１４において、丸印は顔特徴を示し、四角の印は二次特徴点を示している。
また、図１４において、分割領域ＤＡは、ブロッキングラインＢＬによって区切られた複数の分割領域のうちの１つを示している。
以上、ブロッキングラインおよび分割領域の一例について説明した。以下、図１３の説明に戻る。
次に、画像解析部１０２は、顔画像および解析結果情報を画像生成部１０３へ出力する。この解析結果情報には、例えば、各顔部品の種類、各顔部品を特定可能な顔特徴点の座標、ブロッキングラインＢＬを特定可能な顔特徴点および二次特徴点の座標、分割領域を特定可能な顔特徴点および二次特徴点の座標、各分割領域の輝度などの情報が含まれる。
次に、画像生成部１０３は、解析結果情報に基づいて、ブロッキングラインを示す画像（以下、ブロッキングライン画像という）を生成し、そのブロッキングライン画像を顔画像に重畳したシミュレーション画像を生成する（ステップＳ３０６）。そして、画像生成部１０３は、シミュレーション画像を表示装置３００へ出力する（ステップＳ３０６）。例えば、ブロッキングライン画像は、図１４に示したプロポーションラインＢＬを示す画像である。なお、このブロッキングライン画像には、顔特徴点および二次特徴点を示す画像が含まれてもよい。
表示装置３００は、画像生成部１０３から受け取ったシミュレーション画像を表示する。これにより、ユーザは、顔画像においてブロッキングライン画像を視認することができる。
次に、画像生成部１０３は、解析結果情報に基づいて、顔画像におけるメイクパーツ画像（ここでは例として、ローライト画像およびハイライト画像とする）の重畳領域を決定する（ステップＳ３０７）。
ここで、重畳領域決定処理（ステップＳ３０７）の一例について説明する。
まず、画像生成部１０３は、各分割領域の輝度が、予め定められた第１閾値より大きいか否かを判定する。そして、画像生成部１０３は、輝度が第１閾値より大きい分割領域を、ハイライト画像の重畳領域に決定する。
一方、画像生成部１０３は、輝度が第１閾値未満である場合、その輝度が第２閾値未満であるか否かを判定する。第２閾値は、第１閾値より小さい値である。そして、画像生成部１０３は、輝度が第２閾値未満である分割領域を、ローライト画像の重畳領域に決定する。
一方、画像生成部１０３は、輝度が第１閾値未満かつ第２閾値以上である分割領域を、非重畳領域に決定する。非重畳領域は、ハイライト画像およびローライト画像のいずれも重畳されない領域である。
以上、重畳領域決定処理の一例について説明した。以下、図１３の説明に戻る。
次に、画像生成部１０３は、記憶装置２００からローライト画像およびハイライト画像を読み出す。次に、画像生成部１０３は、各重畳領域に合わせてローライト画像およびハイライト画像の大きさ、形状を調整し、ローライト画像およびハイライト画像を各重畳領域に重畳したシミュレーション画像を生成する（ステップＳ３０８）。そして、画像生成部１０３は、シミュレーション画像を表示装置３００へ出力する（ステップＳ３０８）。
表示装置３００は、画像生成部１０３から受け取ったシミュレーション画像を表示する。これにより、ユーザは、顔画像においてローライト画像およびハイライト画像を視認することができる。
以上、画像処理装置１００の動作例３について説明した。
以下、動作例３の変形例について説明する。
（動作例３の変形例１）
上記説明では、メイクパーツ画像がローライト画像およびハイライト画像である場合を例に挙げて説明したが、メイクパーツ画像は、ローライトおよびハイライト以外のメイクアイテムの画像であってもよい。
（動作例３の変形例２）
上記説明では、ブロッキングラインが顔特徴点および二次特徴点に基づいて算出される場合を例に挙げて説明したが、ブロッキングラインは、顔特徴点のみに基づいて算出されてもよい。
以上、動作例３の変形例について説明した。
以上、画像処理装置１００の動作について説明した。
＜本実施の形態の効果＞
以上説明したように、本実施の形態の画像処理装置１００は、メイクのシミュレーション画像を生成する装置である。画像処理装置１００は、所定装置から顔画像を入力する画像入力部１０１と、顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出する画像解析部１０２と、顔型、プロポーションライン、ブロッキングラインのいずれかに基づいて、顔画像にメイクパーツ画像を重畳したシミュレーション画像を生成し、シミュレーション画像を表示装置３００に出力する画像生成部１０３と、を有する。
以上により、本実施の形態によれば、教師がメイクの方法の説明にかかる手間や時間を低減でき、生徒がメイクの方法について理解を深めることができる。
＜本発明の変形例＞
以上、本発明の実施の形態について説明したが、本発明は上記説明に限定されず、種々の変形が可能である。以下、各変形例について説明する。
（変形例１）
画像処理装置１００は、シミュレーション画像の表示中、そのシミュレーション画像に含まれるメイクパーツ画像がユーザに選択された場合、そのメイクアイテムの塗り方などを、顔画像上に重畳するメイクガイド画像、または、テキスト、写真、イラスト、音声等で示すガイド情報を表示装置３００へ出力してもよい。ガイド情報は、メイクパーツ画像毎に関連付けられて、記憶装置２００に記憶されている。なお、ガイド情報は、静止画でもよいし、動画でもよい。また、表示装置３００は、音声出力（スピーカ）機能を備えてもよい（以下の各変形例においても同様）。
例えば、画像生成部１０３は、シミュレーション画像を生成する際、記憶装置２００から、メイクパーツ画像とともに、そのメイクパーツ画像に関連付けられているガイド情報を読み出しておく。その後、シミュレーション画像の表示中に、ユーザによりメイクパーツ画像を選択する操作が行われた場合、画像生成部１０３は、選択されたメイクパーツ画像に対応するガイド情報を表示装置３００へ出力する。そして、表示装置３００は、ガイド情報を表示する。
これにより、ユーザは、メイクアイテムの塗り方等を容易に把握することができる。
（変形例２）
画像処理装置１００は、メイクパーツ画像が重畳されたシミュレーション画像に従って実際にメイクが施された顔を示す顔画像を入力し、その顔画像とシミュレーション画像とを比較することで、実際に行われたメイクの評価を行ってもよい。
例えば、ユーザは、メイクパーツ画像が重畳されたシミュレーション画像（以下、手本画像という）の表示を見ながら、自分の顔に実際にメイクを施し、その顔をカメラで撮影する。
そして、画像入力部１０１は、カメラから顔画像（以下、メイク済画像という）を入力し、そのメイク済画像を画像解析部１０２へ出力する。
次に、画像解析部１０２は、メイク済画像から、実際にメイクが施されている領域（以下、メイク領域という）を抽出する。そして、画像解析部１０２は、メイク済画像と、メイク領域を特定可能な座標などの情報を含む解析結果情報とを、画像生成部１０３へ出力する。
次に、画像生成部１０３は、解析結果情報に示されるメイク領域（例えば、実際にチークが塗布された領域）と、手本画像に含まれるメイクパーツ画像の重畳領域（例えば、チーク画像の重畳領域）とを照合する。そして、画像生成部１０３は、メイク領域と重畳領域とが一致する割合（以下、評価値という）を算出する。評価値は、高い値である程、メイクが正確に行われたことを示す。
次に、画像生成部１０３は、評価値を示す情報（以下、メイク評価情報という）を生成し、表示装置３００へ出力する。表示装置３００は、メイク評価情報を表示する。
これにより、ユーザは、メイクをどの程度正確に行うことができたかを把握することができる。
なお、上記説明では、メイク評価情報が評価値である場合を例に挙げて説明したが、これに限定されない。例えば、メイク評価情報は、評価値を基に決定された、メイクの正確性を示すメッセージやイラスト等であってもよい。
また、上記説明では、メイク領域と重畳領域とを照合することで、メイクの評価が行われる場合を例に挙げて説明したが、これに限定されない。例えば、メイク領域の色とメイクパーツ画像の色とを照合することで、メイクの評価が行われてもよい。照合の結果、色差が所定値以上の部分（例えば、色ムラがある部分）が存在する場合、評価値が低くなるように算出されてもよい。また、メイク評価情報には、色ムラがあるメイク領域をテキスト、矢印、音声などで示す情報が含まれてもよい。
（変形例３）
画像処理装置１００は、顔画像から肌の色を抽出し、その肌の色に応じて、顔画像に重畳されるメイクパーツ画像を選択してもよい。
例えば、画像解析部１０２は、顔画像から肌領域（例えば、頬、額、顎等）の色を抽出する。そして、画像解析部１０２は、肌領域の色の情報を含む解析結果情報を画像生成部１０３へ出力する。
画像生成部１０３は、解析結果情報に示される肌領域の色と同じ色を有するメイクパーツ画像（例えば、コンシーラ画像、ファンデーション画像等）を記憶装置２００から読み出す。そして、画像生成部１０３は、メイクパーツ画像の形状、大きさを変色領域に合わせて調整し、そのメイクパーツ画像を顔画像に重畳したシミュレーション画像を生成し、そのシミュレーション画像を表示装置３００へ出力する。表示装置３００は、そのシミュレーション画像を表示する。
これにより、画像処理装置１００は、ユーザに対して、実際の肌の色に適合した色のメイクパーツ画像を提案することができる。
なお、上記説明では、画像生成部１０３が肌領域の色と同じ色を有するメイクパーツ画像を選択する場合を例に挙げて説明したが、これに限定されない。例えば、画像生成部１０３は、肌領域の色の近似色を有するメイクパーツ画像を選択してもよい。近似色は、例えば、肌領域の色よりも、１〜２段階明るい色または１〜２段階暗い色である。
（変形例４）
画像処理装置１００は、顔画像に重畳される１つのメイクパーツ画像（ユーザにより指定されたメイクパーツ画像でもよい）を選択した場合、そのメイクパーツ画像の色に基づいて、他のメイクパーツ画像を選択してもよい。
例えば、記憶装置２００には、１つのメイクパーツ画像に対して少なくとも１以上のメイクパーツ画像が関連付けて記憶されている。この関連付けは、例えば、マルセル表色系に基づいて、メイクパーツ画像同士の色が調和するように予め定められている。
画像生成部１０３は、例えば、顔画像に重畳するメイクパーツ画像として所定色のファンデーション画像を選択し、記憶装置２００から読み出した場合、そのファンデーション画像に関連付けられている所定色のチーク画像、アイシャドウ画像等を記憶装置２００から読み出す。そして、画像生成部１０３は、それらのメイクパーツ画像の形状、大きさを変色領域に合わせて調整し、各メイクパーツ画像を顔画像に重畳したシミュレーション画像を生成し、そのシミュレーション画像を表示装置３００へ出力する。表示装置３００は、そのシミュレーション画像を表示する。
これにより、画像処理装置１００は、ユーザに対して、色の調和がとれた複数のメイクパーツ画像を提案することができる。
（変形例５）
画像処理装置１００は、顔画像において肌領域に変色領域が存在する場合、その変色領域をカバーするメイクパーツ画像を顔画像に重畳したシミュレーション画像を生成してもよい。変色領域は、例えば、色素斑、肝斑、扁平母斑、色素細胞性母斑、太田母斑、後天性真皮メラノサイトーシス、紅斑、紫斑、白斑、青あざ、ほくろ、毛穴の黒ずみ、日焼け領域、ざ瘡（ニキビ）、ニキビ痕、摩擦や炎症による色素沈着、しわ、雀卵斑（そばかす）、タトゥー、疣贅、瘢痕等である。
例えば、画像解析部１０２は、顔画像において、周辺領域（肌領域のうち、変色領域の周辺の領域）と比べて色差が所定値以上異なる領域を、変色領域として抽出する。そして、画像解析部１０２は、周辺領域の色、変色領域を特定可能な顔特徴点の座標などの情報を含む解析結果情報を画像生成部１０３へ出力する。
画像生成部１０３は、解析結果情報に示される周辺領域の色を有するメイクパーツ画像（例えば、色素斑等のシミ部分に対しては肌の色または実際に塗布しているファンデーションの色に近似したコンシーラ画像またはファンデーション画像等）を記憶装置２００から読み出す。そして、画像生成部１０３は、メイクパーツ画像の形状、大きさを変色領域に合わせて調整し、そのメイクパーツ画像を顔画像に重畳したシミュレーション画像を生成し、そのシミュレーション画像を表示装置３００へ出力する。表示装置３００は、そのシミュレーション画像を表示する。
これにより、ユーザは、変色領域をカバーする適切な色のメイクアイテムを把握することができる。
（変形例６）
画像処理装置１００は、顔画像が静止画であるシミュレーション画像の表示中に、ユーザによる切替指示を受け付けた場合、顔画像を静止画から動画へ切り替えてもよい。
これにより、ユーザは、様々な角度に傾けられた顔のシミュレーション画像を視認できるので、メイクパーツ画像の色、形状、位置などをさらに捉えやすくなる。
また、画像処理装置１００は、顔画像が動画であるシミュレーション画像の表示中に、ユーザによる切替指示を受け付けた場合、顔画像を動画から静止画へ切り替えてもよい。
これにより、ユーザは、所望の角度に傾けられた顔のシミュレーション画像を、時間をかけて視認できるので、メイクパーツ画像の色、形状、位置などをさらに捉えやすくなる。
（変形例７）
画像処理装置１００は、複数のシミュレーション画像を表示装置３００へ出力し、表示装置３００は、複数のシミュレーション画像を並べて表示してもよい。
並べて表示される複数のシミュレーション画像は、同じ種類であってもよいし、異なる種類であってもよい。
例えば、所定の顔画像にプロポーションライン画像が重畳されたシミュレーション画像（動作例１参照）と、上記所定の顔画像と異なる顔画像にプロポーションライン画像が重畳されたシミュレーション画像（動作例１参照）とが並べて表示されてもよい。
または、例えば、所定の顔画像にプロポーションライン画像が重畳されたシミュレーション画像（動作例１参照）と、上記所定の顔画像と同じ顔画像にブロッキングライン画像が重畳されたシミュレーション画像（動作例３参照）とが並べて表示されてもよい。
これにより、ユーザは、複数のシミュレーション画像を比較しやすくなる。
（変形例８）
画像処理装置１００（例えば、画像生成部１０３。本変形において以下同じ）は、顔画像のみを表示装置３００へ出力し、表示装置３００は、顔画像のみを表示してもよい。
さらに、画像処理装置１００は、顔画像のみの表示中に、ユーザによってメイクパーツ画像が選択され、そのメイクパーツ画像の重畳指示を受け付けた場合、表示中の顔画像にメイクパーツ画像を重畳したシミュレーション画像を生成し、表示装置３００へ出力してもよい。
また、画像処理装置１００は、顔画像のみを出力する場合、メイクパーツ画像を重畳できる範囲（以下、重畳可能範囲という）を示した顔画像を表示装置３００へ出力してもよい。重畳可能範囲は、例えば、正面顔の顔画像を縦方向に２等分した範囲のうち、右側の半顔の画像（以下、右顔画像という）または左側の半顔の画像（左顔画像という）のいずれかである。例えば、右顔画像が重畳可能範囲である場合、画像処理装置１００は、左顔画像の輝度を右顔画像の輝度よりも低下させた顔画像を生成し、表示装置３００へ出力する。ユーザは、右顔画像が重畳可能範囲であることを認識できる。
そして、例えば、生徒は、画像処理装置１００を備える端末において、所望のメイクパーツ画像を選択し、そのメイクパーツ画像を右顔画像の所望の位置に重畳するように指示する操作を行う。
一方、教師も、画像処理装置１００を備える端末（生徒が使用する端末と同じ端末でもよいし、別の端末でもよい）において、所望のメイクパーツ画像を選択し、そのメイクパーツ画像を左顔画像の所望の位置に重畳するように指示する操作を行う。なお、生徒および教師は、メイクパーツ画像を選択し、その重畳位置を指定する方法以外に、例えば、電子ペン等を用いて、端末に表示された左顔画像上に直接メイクパーツ画像を描いてもよい。
画像処理装置１００は、生徒と教師による上記操作を受け付けると、生徒により選択されたメイクパーツ画像を右顔画像に重畳したシミュレーション画像（以下、右顔シミュレーション画像という）を生成する。また、画像処理装置１００は、教師により選択されたメイクパーツ画像を左顔画像に重畳したシミュレーション画像（以下、左顔シミュレーション画像という）を生成する。そして、画像処理装置１００は、右顔シミュレーション画像および左顔シミュレーション画像を表示装置３００へ出力する。
表示装置３００は、右顔シミュレーション画像と左顔シミュレーション画像とを合わせて１つの顔のシミュレーション画像として表示する。このとき、右顔シミュレーション画像と左顔シミュレーション画像は同じ輝度で表示される。なお、例えば、右顔シミュレーション画像は左顔シミュレーション画像よりも低い輝度で表示されてもよいし、左顔シミュレーション画像は右顔シミュレーション画像よりも低い輝度で表示されてもよい。
これにより、生徒は、自分の操作によって生成された右顔シミュレーション画像と、教師の操作によって生成された左顔シミュレーション画像とを同時に視認でき、容易に比較することができる。
なお、画像処理装置１００は、右顔シミュレーション画像および左顔シミュレーション画像を、学習履歴として、記憶装置２００に記憶させてもよい。なお、学習履歴として記憶装置２００に記憶されるシミュレーション画像は、右顔シミュレーション画像および左顔シミュレーション画像に限定されず、例えば、顔全体のシミュレーション画像であってもよい。
また、画像処理装置１００は、学習履歴として記憶された、複数の右顔シミュレーション画像に対して画像解析を行い、生徒のメイクの傾向（例えば、メイクパーツ画像の配置のされ方、選択されたメイクパーツ画像の色等）を評価してもよい。また、画像処理装置１００は、評価の結果を示す情報を表示装置３００へ出力し、表示装置３００は、その情報を表示してもよい。これにより、生徒は、自分のメイクの傾向を知ることができる。
また、画像処理装置１００は、右顔シミュレーション画像と左顔シミュレーション画像とを比較し、生徒が選択したメイクパーツ画像の位置、色などが、教師が選択したメイクパーツ画像の位置、色などと合っているか否かを判定してもよい。また、画像処理装置１００は、判定の結果を、テキスト、イラスト、または音声等で示す判定結果情報を、表示装置３００へ出力してもよい。そして、表示装置３００は、判定結果情報を表示する。これにより、生徒は、自分が選択したメイクパーツ画像の位置、色などについて間違い等を把握することができる。
（変形例９）
画像処理装置１００および表示装置３００を備えた端末同士が通信を行ってもよい。
例えば、生徒が使用する端末と、教師が使用する端末との間で、シミュレーション画像（例えば、変形例８で説明した右顔シミュレーション画像、左顔シミュレーション画像）の送受信を行ってもよい。これにより、遠隔地に居住または滞在する生徒が、教師によるメイクの指導を受けることができる。
また、例えば、教師は、遠隔学習（通信学習）用のテキストの進め方（例えば、ページ送りの速度、重要なポイントの強調表示など）を示す進行データを予め作成し、その進行データを端末に記憶させる。遠隔地の生徒が用いる端末は、その進行データを受信し、進行データに基づいてテキストの表示を行う。これにより、生徒は直接授業を受けているような臨場感のある遠隔学習を行うことができる。なお、教師は、リアルタイムで、テキストの進め方を指示する操作を行ったり、生徒が作成したシミュレーション画像に対する指導操作を行ったりしてもよい。生徒が用いる端末は、それらの操作を示す情報を受け取り、その情報に基づいて表示等を行う。
（変形例１０）
顔特徴点の抽出方法および顔部品の抽出方法は、上記実施の形態の説明に限定されず、既知の分類方法、パターン認識方法、クラスタリング方法、および最適化方法を採用することができる。
既知の分類方法としては、例えば、決定木分析、ニューラルネットワーク（深層学習を含む）、およびナイーブベイズが挙げられる。既知のパターン認識方法としては、例えば、ニューラルネットワーク（深層学習を含む）およびサポートベクターマシン（ＳＶＭ）が挙げられる。既知のクラスタリング方法としては、例えば、ｋ−Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ（ｋ−ＮＮ、ｋ近傍法）、ｋ−ｍｅａｎｓ、および階層的クラスタリングが挙げられる。また、既知の最適化方法としては、例えば、遺伝的アルゴリズムが挙げられる。
（変形例１１）
画像処理装置１００の構成の一部は、当該装置の構成の他の部分と物理的に離隔していてもよい。この場合、それらの離隔した複数の部分は、互いに通信を行うための通信部をそれぞれ備える必要がある。例えば、画像処理装置１００の機能の一部は、クラウド化されていてもよい。また、画像処理装置１００は、記憶装置２００および表示装置３００の少なくとも一方を含んでもよい。また、画像処理装置１００は、画像入力部１０１へ顔画像を出力する装置（例えば、カメラ）を含んでもよい。
例えば、画像処理装置１００および表示装置３００を備えた端末がネットワークに接続されている場合、作成したデータおよび操作履歴を端末内だけではなく、ネットワーク上のクラウドに保存してもよい。クラウドに収集される情報には、ベースとなる顔形状、顔特徴点情報、作成したメイクパーツ形状、ブラシのタッチや塗り方の履歴、使用した色情報、メイクアイテムの商品情報等がある。クラウドでは、これらの情報を学習し、数か月単位、または年単位でのトレンド分析を行う。顔形状、特徴点情報およびメイクパーツ形状及びブラシの操作履歴からは、ラインの形状、チークの入れ方等、その時のトレンドとなる顔形状やメイクの入れ方を分析し、色情報やメイクアイテムの商品情報からは、人気の色遣いや商品情報を抽出する。
これらの学習データは、トレンドのメイク方法、色情報として蓄積され、端末に自動でダウンロードされる。端末では、常に最新のメイク情報の参照、利用ができ、例えば図５Ａ、図５Ｂ、図１１Ａ、図１１Ｂ、図１２Ａ、図１２Ｂに示すようなメイクの仕方のガイドラインは自動で最新のメイクに更新される。
＜本開示のまとめ＞
本開示の画像処理装置は、所定装置から顔画像を入力する画像入力部と、前記顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出する画像解析部と、前記顔型、前記プロポーションライン、または、前記ブロッキングラインのいずれかに基づいて前記顔画像におけるメイクパーツ画像の重畳領域を決定し、該重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する画像生成部と、を有する。
なお、上記画像処理装置において、前記画像生成部は、前記顔型が予め定められた基準顔型からはみ出しているはみ出し領域と、前記顔型が前記基準顔型に対して不足している不足領域とを算出し、前記顔画像において前記はみ出し領域に対応する領域を、第１のメイクパーツ画像の重畳領域に決定し、前記顔画像において前記不足領域に対応する領域を、前記第１のメイクアイテムとは異なる第２のメイクパーツ画像の重畳領域に決定してもよい。
また、上記画像処理装置において、前記画像生成部は、前記ブロッキングラインにより分割された前記顔画像における各分割領域の輝度を算出し、前記顔画像において前記輝度が第１閾値より大きい分割領域を、第２のメイクパーツ画像の重畳領域に決定し、前記顔画像において前記輝度が前記第１閾値より小さい第２閾値未満である分割領域を、前記第２のメイクアイテムとは異なる第１のメイクパーツ画像の重畳領域に決定してもよい。
また、上記画像処理装置において、前記第１のメイクパーツ画像は、ローライトの画像であり、前記第２のメイクパーツ画像は、ハイライトの画像であってもよい。
また、上記画像処理装置において、前記画像解析部は、前記顔画像を縦方向に分割する、第１プロポーションライン、該第１のプロポーションラインより下方の第２プロポーションライン、および、該第２プロポーションラインより下方の第３プロポーションラインを算出し、前記画像生成部は、前記第１プロポーションラインと前記第２プロポーションラインとの間の第１距離が、前記第２プロポーションラインと前記第３プロポーションラインとの間の第２距離より長い場合、前記メイクパーツ画像が上寄りに配置されるように該メイクパーツ画像の重畳位置を決定し、前記第２距離が前記第１距離より長い場合、前記メイクパーツ画像が下寄りに配置されるように該メイクパーツ画像の重畳位置を決定してもよい。
また、上記画像処理装置において、前記画像解析部は、顔画像の最大縦幅を示す第４プロポーションライン、および、前記顔画像の最大横幅を示す第５プロポーションラインを算出し、前記画像生成部は、前記第４プロポーションラインが前記第５プロポーションラインより長い場合、前記メイクパーツ画像の長手方向が前記顔画像の横幅に沿って配置されるように該メイクパーツ画像の重畳位置を決定し、前記第５プロポーションラインが前記第４プロポーションラインより長い場合、前記メイクパーツ画像が頬から口角に向けて斜めに配置されるように該メイクパーツ画像の重畳位置を決定してもよい。
また、上記画像処理装置において、前記メイクパーツ画像は、チークの画像であってもよい。
また、上記画像処理装置において、前記画像生成部は、前記プロポーションラインの画像を前記顔画像に重畳した前記シミュレーション画像を生成してもよい。
また、上記画像処理装置において、前記画像生成部は、前記ブロッキングラインの画像を前記顔画像に重畳した前記シミュレーション画像を生成してもよい。
また、上記画像処理装置において、前記画像生成部は、前記プロポーションラインの位置の変更指示を受け付けた場合、変更後の前記プロポーションラインの位置に基づいて、前記顔画像における顔部品の形状および位置の少なくとも一方を変化させた顔画像を生成してもよい。
また、上記画像処理装置において、前記画像解析部は、少なくとも３つ以上の前記プロポーションラインを算出し、前記画像生成部は、前記顔画像における顔バランスの理想化の指示を受け付けた場合、前記プロポーションライン間の各距離が予め定められた割合になるように前記プロポーションラインの位置を変更し、変更後の前記プロポーションラインの位置に基づいて、前記顔画像における顔部品の形状および位置の少なくとも一方を変化させた顔画像を生成してもよい。
また、上記画像処理装置において、前記画像生成部は、前記シミュレーション画像を所定の表示装置へ出力してもよい。
本開示の画像処理方法は、所定装置から顔画像を入力し、前記顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出し、前記顔型、前記プロポーションライン、または、前記ブロッキングラインのいずれかに基づいて前記顔画像におけるメイクパーツ画像の重畳領域を決定し、該重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する。
本開示の画像処理プログラムは、所定装置から顔画像を入力する処理と、前記顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出する処理と、前記顔型、前記プロポーションライン、または、前記ブロッキングラインのいずれかに基づいて前記顔画像におけるメイクパーツ画像の重畳領域を決定する処理と、該重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する処理と、をコンピュータに実行させる。
本開示に係る画像処理装置、画像処理方法、および画像処理プログラムは、メイクアップのシミュレーション画像を生成する画像処理装置、画像処理方法、および画像処理プログラムとして有用である。
１００ 画像処理装置
１０１ 画像入力部
１０２ 画像解析部
１０３ 画像生成部
２００ 記憶装置
３００ 表示装置

Claims (14)

  1. 所定装置から顔画像を入力する画像入力部と、
    前記顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出する画像解析部と、
    前記顔型、前記プロポーションライン、または、前記ブロッキングラインのいずれかに基づいて前記顔画像におけるメイクパーツ画像の重畳領域を決定し、該重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する画像生成部と、を有する、
    画像処理装置。
  2. 前記画像生成部は、
    前記顔型が予め定められた基準顔型からはみ出しているはみ出し領域と、前記顔型が前記基準顔型に対して不足している不足領域とを算出し、
    前記顔画像において前記はみ出し領域に対応する領域を、第１のメイクパーツ画像の重畳領域に決定し、
    前記顔画像において前記不足領域に対応する領域を、前記第１のメイクアイテムとは異なる第２のメイクパーツ画像の重畳領域に決定する、
    請求項１に記載の画像処理装置。
  3. 前記画像生成部は、
    前記ブロッキングラインにより分割された前記顔画像における各分割領域の輝度を算出し、
    前記顔画像において前記輝度が第１閾値より大きい分割領域を、第２のメイクパーツ画像の重畳領域に決定し、
    前記顔画像において前記輝度が前記第１閾値より小さい第２閾値未満である分割領域を、前記第２のメイクアイテムとは異なる第１のメイクパーツ画像の重畳領域に決定する、
    請求項１に記載の画像処理装置。
  4. 前記第１のメイクパーツ画像は、ローライトの画像であり、
    前記第２のメイクパーツ画像は、ハイライトの画像である、
    請求項２または３に記載の画像処理装置。
  5. 前記画像解析部は、
    前記顔画像を縦方向に分割する、第１プロポーションライン、該第１のプロポーションラインより下方の第２プロポーションライン、および、該第２プロポーションラインより下方の第３プロポーションラインを算出し、
    前記画像生成部は、
    前記第１プロポーションラインと前記第２プロポーションラインとの間の第１距離が、前記第２プロポーションラインと前記第３プロポーションラインとの間の第２距離より長い場合、前記メイクパーツ画像が上寄りに配置されるように該メイクパーツ画像の重畳位置を決定し、
    前記第２距離が前記第１距離より長い場合、前記メイクパーツ画像が下寄りに配置されるように該メイクパーツ画像の重畳位置を決定する、
    請求項１に記載の画像処理装置。
  6. 前記画像解析部は、
    顔画像の最大縦幅を示す第４プロポーションライン、および、前記顔画像の最大横幅を示す第５プロポーションラインを算出し、
    前記画像生成部は、
    前記第４プロポーションラインが前記第５プロポーションラインより長い場合、前記メイクパーツ画像の長手方向が前記顔画像の横幅に沿って配置されるように該メイクパーツ画像の重畳位置を決定し、
    前記第５プロポーションラインが前記第４プロポーションラインより長い場合、前記メイクパーツ画像が頬から口角に向けて斜めに配置されるように該メイクパーツ画像の重畳位置を決定する、
    請求項１に記載の画像処理装置。
  7. 前記メイクパーツ画像は、チークの画像である、
    請求項５または６に記載の画像処理装置。
  8. 前記画像生成部は、
    前記プロポーションラインの画像を前記顔画像に重畳した前記シミュレーション画像を生成する、
    請求項１に記載の画像処理装置。
  9. 前記画像生成部は、
    前記ブロッキングラインの画像を前記顔画像に重畳した前記シミュレーション画像を生成する、
    請求項１に記載の画像処理装置。
  10. 前記画像生成部は、
    前記プロポーションラインの位置の変更指示を受け付けた場合、変更後の前記プロポーションラインの位置に基づいて、前記顔画像における顔部品の形状および位置の少なくとも一方を変化させた顔画像を生成する、
    請求項１に記載の画像処理装置。
  11. 前記画像解析部は、
    少なくとも３つ以上の前記プロポーションラインを算出し、
    前記画像生成部は、
    前記顔画像における顔バランスの理想化の指示を受け付けた場合、前記プロポーションライン間の各距離が予め定められた割合になるように前記プロポーションラインの位置を変更し、
    変更後の前記プロポーションラインの位置に基づいて、前記顔画像における顔部品の形状および位置の少なくとも一方を変化させた顔画像を生成する、
    請求項１に記載の画像処理装置。
  12. 前記画像生成部は、
    前記シミュレーション画像を所定の表示装置へ出力する、
    請求項１に記載の画像処理装置。
  13. 所定装置から顔画像を入力し、
    前記顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出し、
    前記顔型、前記プロポーションライン、または、前記ブロッキングラインのいずれかに基づいて前記顔画像におけるメイクパーツ画像の重畳領域を決定し、
    該重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する、
    画像処理方法。
  14. 所定装置から顔画像を入力する処理と、
    前記顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出する処理と、
    前記顔型、前記プロポーションライン、または、前記ブロッキングラインのいずれかに基づいて前記顔画像におけるメイクパーツ画像の重畳領域を決定する処理と、
    該重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する処理と、をコンピュータに実行させる、
    画像処理プログラム。
JP2018547534A 2016-10-24 2017-10-11 画像処理装置、画像処理方法、および画像処理プログラム Pending JPWO2018079255A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016207910 2016-10-24
JP2016207910 2016-10-24
PCT/JP2017/036744 WO2018079255A1 (ja) 2016-10-24 2017-10-11 画像処理装置、画像処理方法、および画像処理プログラム

Publications (1)

Publication Number Publication Date
JPWO2018079255A1 true JPWO2018079255A1 (ja) 2019-09-12

Family

ID=62023464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018547534A Pending JPWO2018079255A1 (ja) 2016-10-24 2017-10-11 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (5)

Country Link
US (1) US10789748B2 (ja)
EP (1) EP3530142A4 (ja)
JP (1) JPWO2018079255A1 (ja)
CN (1) CN109890245A (ja)
WO (1) WO2018079255A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6872742B2 (ja) * 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
JP6753276B2 (ja) * 2016-11-11 2020-09-09 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN109426767A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 眼线描绘指引装置及其方法
JP6616541B1 (ja) * 2019-03-06 2019-12-04 廣美 畑中 化粧ノリの色彩度合いをａｉ判断で画像に表示する計測方法。
JPWO2020230444A1 (ja) * 2019-05-13 2020-11-19
WO2021049824A1 (en) * 2019-09-12 2021-03-18 Samsung Electronics Co., Ltd. Method and electronic device for applying beauty effect setting
CN113496459A (zh) * 2020-04-01 2021-10-12 华为技术有限公司 辅助化妆方法、终端设备、存储介质及程序产品
CN112605000A (zh) * 2020-12-03 2021-04-06 苏州天立达胶粘制品有限公司 一种模切片材自动光学检测方法及其设备
GB2619283A (en) * 2022-05-26 2023-12-06 Holition Ltd Simulating foundation makeup effect in augmented images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998039735A1 (fr) * 1997-03-06 1998-09-11 Drdc Limited Procede de correction de l'image du visage, procede de simulation du maquillage, procede de maquillage, dispositif de support du maquillage et film de transfert du fond de teint
JP2001218103A (ja) * 2000-02-03 2001-08-10 Olympus Optical Co Ltd 電子カメラ
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1202209B1 (en) * 2000-04-21 2012-03-21 Shiseido Company Limited Makeup counseling apparatus
JP3582458B2 (ja) * 2000-06-07 2004-10-27 花王株式会社 化粧アドバイスシステム
CN101083940B (zh) * 2004-10-22 2010-06-16 株式会社资生堂 皮肤状况诊断系统和美容咨询系统
CN1795813A (zh) * 2004-12-28 2006-07-05 中田泰尊 皮肤分析系统和头皮头发分析系统
JP2006293563A (ja) * 2005-04-07 2006-10-26 Pola Chem Ind Inc 美容情報提供システム
CN1961820B (zh) * 2005-11-08 2011-03-16 株式会社资生堂 肌肤状态分析方法以及肌肤状态分析装置
KR101363691B1 (ko) * 2006-01-17 2014-02-14 가부시키가이샤 시세이도 메이크업 시뮬레이션 시스템, 메이크업 시뮬레이션 장치,메이크업 시뮬레이션 방법 및 메이크업 시뮬레이션프로그램
JP2009081527A (ja) * 2007-09-25 2009-04-16 Noritsu Koki Co Ltd 顔撮影装置
JP5290585B2 (ja) * 2008-01-17 2013-09-18 株式会社 資生堂 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体
CN101350102B (zh) * 2008-08-29 2012-10-10 北京中星微电子有限公司 一种化妆辅助方法及系统
JP5283471B2 (ja) * 2008-10-10 2013-09-04 株式会社 資生堂 理想顔生成方法、理想顔生成システム、及び理想顔生成プログラム
TWI452998B (zh) * 2009-06-17 2014-09-21 Univ Southern Taiwan System and method for establishing and analyzing skin parameters using digital image multi-area analysis
JP4862955B1 (ja) * 2010-10-29 2012-01-25 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP6128309B2 (ja) * 2013-02-01 2017-05-17 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5991536B2 (ja) * 2013-02-01 2016-09-14 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372275B1 (ja) * 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2016081075A (ja) 2014-10-09 2016-05-16 花王株式会社 印象改善方法及び印象改善支援装置
KR101774412B1 (ko) * 2014-10-13 2017-09-05 (주)아모레퍼시픽 피부색 맞춤형 메이크업 색상 진단 방법 및 피부색 맞춤형 메이크업 색상 진단 장치
US9760762B2 (en) * 2014-11-03 2017-09-12 Anastasia Soare Facial structural shaping
CN105761239A (zh) * 2015-12-30 2016-07-13 中南大学 一种黄金比例引导的三维人脸模型重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998039735A1 (fr) * 1997-03-06 1998-09-11 Drdc Limited Procede de correction de l'image du visage, procede de simulation du maquillage, procede de maquillage, dispositif de support du maquillage et film de transfert du fond de teint
JP2001218103A (ja) * 2000-02-03 2001-08-10 Olympus Optical Co Ltd 電子カメラ
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法

Also Published As

Publication number Publication date
CN109890245A (zh) 2019-06-14
WO2018079255A1 (ja) 2018-05-03
EP3530142A1 (en) 2019-08-28
US10789748B2 (en) 2020-09-29
US20190244408A1 (en) 2019-08-08
EP3530142A4 (en) 2019-10-30

Similar Documents

Publication Publication Date Title
WO2018079255A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR102241153B1 (ko) 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
US10479109B2 (en) Automatic facial makeup method
CN109690617B (zh) 用于数字化妆镜的系统和方法
CN101779218B (zh) 化妆模拟系统及其化妆模拟方法
CN104205168B (zh) 化妆辅助装置、化妆辅助方法、以及化妆辅助程序
US10799010B2 (en) Makeup application assist device and makeup application assist method
KR101896137B1 (ko) 플레이어의 모습을 반영한 아바타의 생성 기법
JP4789408B2 (ja) 目の形態分類方法及び形態分類マップ並びに目の化粧方法
JP5261586B2 (ja) メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
CN108564531B (zh) 一种图像处理方法及装置
BR102012033722A2 (pt) Sistema e método para simulação de maquiagem em dispositivos portáteis equipados com câmera digital
JP6972043B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN108920490A (zh) 辅助化妆的实现方法、装置、电子设备以及存储介质
JP2019510297A (ja) ユーザの真実の人体モデルへの仮想的な試着
JP2007257165A (ja) メイクアップシミュレーション方法
KR20170002100A (ko) 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치
US20200027244A1 (en) Information processing apparatus, information processing method, and computer program product
CN108932654A (zh) 一种虚拟试妆指导方法及装置
KR102229061B1 (ko) 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법
JP6738780B2 (ja) 頬紅案内装置及びその方法
KR20200019296A (ko) 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN109325929A (zh) 图像处理方法和电子设备
US20230101374A1 (en) Augmented reality cosmetic design filters
KR20020015229A (ko) 캐리커쳐의 표정변형을 위한 방법 및 장치

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220913