JPWO2015029392A1 - メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム - Google Patents

Abstract

メイクアップ支援装置（１００）は、顔を撮影した画像である顔画像を取得する画像取得部（２２０）と、顔画像のうち、眉頭および眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する閾値決定部（２４０）と、閾値を用いて、顔画像から眉の領域を抽出する眉領域抽出部（２５０）と、眉の領域の周辺の領域の色のうち、眉頭側の色を優先的に用いて、顔画像に対して眉の領域を塗り潰す処理である、眉消去処理を行う眉消去部（２６０）と、眉消去処理が行われた後の顔画像を表示する表示部（３００）とを有する。

Description

本開示は、顔のメイクアップを支援するメイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムに関する。

近年、顔のメイクアップの仕方（以下、単に「メイクアップ」という）の多様化が進んでいる。無数の選択肢の中から適切なメイクアップを選択することは、特にメイクアップについての十分な知識を有さない人にとって、困難である。あらゆるメイクを実際に試して判断および比較を行うことは、膨大な時間および手間を要するからである。

そこで、メイクアップが適用されたときの顔のシミュレーション画像を生成して提示する技術が、例えば、特許文献１および特許文献２に記載されている。特許文献１および特許文献２に記載の技術は、メイクアップの対象となる顔（以下、単に「顔」という）を撮影した画像（以下「顔画像」という）を取得する。そして、特許文献１および特許文献２に記載の技術は、顔画像に、メイクアップを顔に適用したときの状態を示す画像を重畳して、シミュレーション画像を生成し、表示する。

かかる技術によれば、実際にメイクアップを行うことなく、メイクアップの良し悪しを判断することが可能となる。すなわち、より少ない時間および手間で適切なメイクアップを選択することが可能となる。

ところで、実際のメイクアップにおいて、眉毛の処理をした上で眉を塗布することは、広く行われている。このようなメイクアップのシミュレーション画像を生成する場合、眉が無い状態の顔画像を用意することが望ましい。

そこで、顔画像から眉を消去する技術が、例えば特許文献３および特許文献４に記載されている。特許文献３に記載の技術は、ユーザから、顔画像における眉の領域の指定を受け付け、顔画像のうち首の領域と同じ色を、眉の領域を含む少し広めの領域に対して塗布する。特許文献４に記載の技術は、顔画像において眉の輪郭を探索し、眉の輪郭に囲まれた領域を含む少し広めの領域を、眉の輪郭の周囲の色で塗り潰す。

これらの技術によれば、実際に眉毛を処理することなく、眉が無い顔画像を得ることができる。

特開２００１−３４６６２７号公報 特開２００７−１７５３８４号公報 特開２００７−２５７１６５号公報 国際公開第２００９／０２２６３１号 特開２００３−４４８３７号公報

大津展之、「判別および最小２乗規準に基づく自動しきい値選定法」、電子情報通信学会論文誌Ｄ、Ｖｏｌ．Ｊ６３−Ｄ、Ｎｏ．４、ｐｐ．３４９−３５６、１９８９年４月

しかしながら、特許文献３および特許文献４に記載の従来技術では、実際に眉毛の処理をした場合の顔画像とは大きく異なる、不自然な顔画像が生成されるおそれがある。

理由は以下の通りである。眉の付近の肌の色は、首の領域の肌の色と異なる場合が多い。したがって、特許文献３に記載の技術では、眉の領域の色だけ浮いた色となるおそれがある。また、眉の付近には、特に眉尻の側に、髪の毛が掛かることが多い。したがって、特許文献４に記載の技術では、眉の領域の色が、髪の毛の色が混じった肌色で塗り潰されるおそれがある。そして、いずれの技術においても、誤った領域が眉の領域として決定あるいは検出されることにより、眉の色が部分的に残ったり、目の領域が塗り潰されたりするおそれがある。

眉を消去する処理が行われた後の顔画像（以下「眉が消去された画像」という）が不自然な場合、シミュレーション画像も不自然なものとなり、ユーザがメイクアップの良し悪しを的確に判断することが困難となる。したがって、実際に眉毛の処理をした状態にできるだけ近い画像を、得られることが望ましい。

本開示の目的は、実際に眉毛の処理をした状態により近い画像を得ることができる、メイクアップアップ支援装置、メイクアップアップ支援方法、およびメイクアップアップ支援プログラムを提供することである。

本開示の一態様に係るメイクアップアップ支援装置は、顔を撮影した画像である、顔画像を取得する画像取得部と、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する閾値決定部と、前記閾値を用いて、前記顔画像から眉の領域を抽出する眉領域抽出部と、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う眉消去部と、前記眉消去処理が行われた後の前記顔画像を表示する表示部と、を有する。

本開示の一態様に係るメイクアップアップ支援方法は、顔を撮影した画像である、顔画像を取得するステップと、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定するステップと、前記閾値を用いて、前記顔画像から眉の領域を抽出するステップと、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行うステップと、前記眉消去処理が行われた後の前記顔画像を表示するステップと、を有する。

本開示の一態様に係るメイクアップアップ支援プログラムは、コンピュータに、顔を撮影した画像である、顔画像を取得する処理と、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する処理と、前記閾値を用いて、前記顔画像から眉の領域を抽出する処理と、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う処理と、前記眉消去処理が行われた後の前記顔画像を表示する処理と、を実行させる。

本開示によれば、実際に眉毛の処理をした場合の顔画像により近い画像を得ることができる。

なお、包括的又は具体的な態様は、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

本開示の実施の形態１に係るメイクアップアップ支援装置の構成の一例を示すブロック図 本開示の実施の形態２に係るメイクアップアップ支援装置の構成の一例を示すブロック図 実施の形態２における部分画像の抽出手法の第１の例を示す図 実施の形態２における部分画像の抽出手法の第２の例を示す図 実施の形態２における２値化画像の一例を示す図 実施の形態２における眉包含領域の一例を示す図 実施の形態２における目包含領域の一例を示す図 実施の形態２における眉の領域を抽出する手法の一例を示す図 実施の形態２における補間枠の一例を示す図 実施の形態２における眉マスクの一例を示す図 実施の形態２における補間枠の移動パターンを示す図 実施の形態２における眉の領域の補間に用いられるα値の一例を示す図 実施の形態２におけるメイクアップテーブルの内容の一例を示す図 実施の形態２におけるメイクアップ情報テーブルの内容の一例を示す図 実施の形態２に係るメイクアップアップ支援装置の動作の一例を示すフローチャート 実施の形態２において取得される撮影画像の一例を示す図 実施の形態２において生成される顔部品情報の一例を示す図 実施の形態２において生成される眉消去顔画像の一例を示す図 実施の形態２において生成されるシミュレーション画像の一例を示す図

以下、本開示の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本開示の実施の形態１は、本開示の基本的態様の一例である。

図１は、本実施の形態に係るメイクアップアップ支援装置の構成の一例を示すブロック図である。

図１において、メイクアップアップ支援装置１００は、画像取得部２２０、閾値決定部２４０、眉領域抽出部２５０、眉消去部２６０、および表示部３００を有する。

画像取得部２２０は、顔を撮影した画像である、顔画像を取得する。撮影される顔は、例えば、メイクアップアップを行う対象となる顔である。

閾値決定部２４０は、画像取得部２２０により取得された顔画像のうち、眉頭および眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、眉の領域を判定するための、画素値の閾値を決定する。

眉領域抽出部２５０は、閾値決定部２４０により決定された閾値を用いて、画像取得部２２０により取得された顔画像から眉の領域を抽出する。

眉消去部２６０は、眉領域抽出部２５０により抽出された眉の領域の周辺の領域の色のうち、眉頭側の色を優先的に用いて、顔画像に対して眉の領域を塗り潰す処理である、眉消去処理を行う。

表示部３００は、眉消去部２６０により眉消去処理が行われた後の顔画像を表示する。

メイクアップアップ支援装置１００は、図示しないが、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、制御プログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶媒体、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このようなメイクアップアップ支援装置１００は、眉により近く、かつ、髪が掛かっていない可能性がより高い領域である、眉頭側の領域の画像情報に基づいて、眉の領域の抽出および塗り潰しを行うことができる。したがって、メイクアップアップ支援装置１００は、より高精度に眉の領域を抽出し、かつ、より適切な色で塗り潰しを行うことができる。これにより、メイクアップアップ支援装置１００は、実際に眉毛の処理をした場合の顔画像により近い眉が消去された画像眉が消去された画像を得ることができる。

（実施の形態２）
本開示の実施の形態２は、本開示の具体的態様の一例である。本実施の形態は、本開示を、デジタルビデオカメラおよびタッチパネル付きのディスプレイを備えた装置に適用した例である。

＜用語の説明＞
まず、本実施の形態において用いられる用語について説明する。

「顔部品」とは、目、眉、鼻、頬（ほお）骨、唇、輪郭等、顔を構成する部分を指すものとする。

「顔部品ＩＤ」とは、顔部品の識別情報である。

「顔部品の領域」とは、画像上あるいは実空間上で、顔部品が占める領域を指すものとし、眉頭、眉尻、目頭、および目尻等、顔部品の特徴点の位置を含むものとする。

「メイクアップ」とは、アイブロウやアイシャドウ等の、顔部品の特徴の印象を補正して審美性の向上を図るメイクアップアップの仕方（種類）を示し、色素の色、塗布濃度、および塗布範囲を少なくとも含む。

「メイクアップ情報」とは、メイクアップの内容を示す情報であり、少なくとも、顔画像から、顔にメイクアップアップを施したときの画像を生成するために必要な情報（顔の色との差分を示す情報）を含む。

「メイクアップ種別」とは、「ファンデーション」、「アイブロウ」、「アイシャドウ」、「口紅」、および「チークメイクアップアップ」等、少なくとも顔部品との位置関係により区別されるメイクアップの種類である。

「メイクアップＩＤ」とは、メイクアップの識別情報である。

「メイクアップ画像」とは、顔にメイクアップを適用したときのメイクアップの状態を示す画像である。

＜メイクアップ支援装置の構成＞
次に、本実施の形態に係るメイクアップアップ支援装置の構成について説明する。

図２は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。

図２において、メイクアップ支援装置１００は、撮影部２１０、画像取得部２２０、顔部品取得部２３０、閾値決定部２４０、眉領域抽出部２５０、眉消去部２６０、メイクアップ情報格納部２７０、メイクアップ選択部２８０、メイクアップ提示部２９０、および表示部３００を有する。

撮影部２１０は、例えばデジタルビデオカメラであり、メイクアップアップシミュレーションの対象となる顔の映像を撮影する。そして、撮影部２１０は、撮影した映像を、画像取得部２２０へ出力する。映像は、時系列の複数の画像（フレーム画像）により構成される。なお、本実施の形態において、メイクアップシミュレーションの対象となる顔は、メイクアップ支援装置１００のユーザの顔であるものとする。

画像取得部２２０は、入力された映像から、映像を構成する画像を順次取得する。そして、画像取得部２２０は、取得した画像（以下「撮影画像」という）を、顔部品取得部２３０へ出力する。なお、画像取得部２２０は、鏡を見ながらメイクアップを行っている感覚をユーザに与えるため、撮影画像に対して左右反転させる画像処理を行うことが望ましい。また、撮影画像は、メイクアップシミュレーションの対象となる顔の画像の部分（以下「顔画像」という）を含む。

顔部品取得部２３０は、入力された画像から、顔の顔部品の領域を取得する。顔部品の領域の取得は、例えば、画像の各部分領域と、予め用意された各顔部品のテンプレートとのマッチングにより行われる（例えば、特許文献５参照）。なお、この顔部品の領域の取得には、眉の特徴点および目の特徴点を含む、各顔部品の特徴点（以下「顔特徴点」という）の抽出が含まれる。そして、顔部品取得部２３０は、顔部品情報を、撮影画像と共に、閾値決定部２４０へ出力する。ここで、顔部品情報とは、取得された顔部品の識別情報および領域（顔特徴点の識別情報および位置を含む）を示す情報である。

閾値決定部２４０は、顔画像から、閾値決定用の画像を、抽出する。閾値決定用の画像は、後述の２値化閾値を決定するために用いられる領域である。本実施の形態において、閾値決定用の画像は、顔画像のうち、眉頭および眉頭の周辺を含み眉尻を含まない領域の画像であって、眉頭の位置を基準とした所定の大きさおよび形状の領域の画像である。

そして、閾値決定部２４０は、抽出した閾値決定用の画像から、当該画像には肌の領域および眉の領域のみが含まれるという前提の下、２値化閾値を決定する。ここで、２値化閾値とは、眉の領域を判定するための、画素値の閾値である。そして、閾値決定部２４０は、決定された２値化閾値を、撮影画像および顔部品情報と共に、眉領域抽出部２５０へ出力する。閾値決定用の画像の抽出手法および２値化閾値の決定手法の詳細については、後述する。

眉領域抽出部２５０は、顔部品情報を用いて、撮影画像における中間領域を推定する。ここで、中間領域とは、眉が占める大まかな領域である。また、眉領域抽出部２５０は、撮影画像を、２値化閾値を用いて２値化する。そして、眉領域抽出部２５０は、推定した中間領域に含まれる２値画像のエッジに基づいて、撮影画像における眉の領域を推定する。以下、推定された眉の領域（つまり、２値化閾値により規定される眉の領域）は、「２値眉領域」という。

更に、眉領域抽出部２５０は、２値眉領域を膨張させた領域を、最終的な眉の領域として抽出する。最終的な眉の領域として抽出される領域は、以下、単に「眉の領域」という。そして、閾値決定部２４０は、眉の領域を示す情報（以下「眉領域情報」という）を、撮影画像および顔部品情報と共に、眉消去部２６０へ出力する。中間領域の推定手法および眉の領域の抽出手法の詳細については、後述する。

眉消去部２６０は、撮影画像、顔部品情報、および眉領域情報に基づいて、顔画像に対して眉の領域を塗り潰す眉消去処理を行う。本実施の形態において、眉消去処理は、眉の領域の周辺の領域の色のうち、眉頭側の色を優先的に用いて、顔画像に対して眉の領域を塗り潰す処理である。より具体的には、眉消去処理は、例えば、顔画像から眉の領域の画像を削除して得られる画像に対して、眉頭側から眉尻側へと向かう方向で、順次、色を補間していく処理である。そして、眉消去部２６０は、眉消去処理が行われた後の撮影画像（以下「眉が消去された画像眉が消去された画像」という）を、顔部品情報と共に、メイクアップ提示部２９０へ出力する。眉消去処理の詳細については、後述する。

メイクアップ情報格納部２７０は、メイクアップテーブルおよびメイクアップ情報テーブルを格納している。メイクアップテーブルは、顔全体のメイクアップのパターンである複数のメイクアップパターンを定義する。メイクアップ情報テーブルは、メイクアップパターンを構成するメイクアップ種別毎に、メイクアップ情報を記述している。メイクアップ情報は、メイクアップの内容を、顔部品の領域（顔特徴点の位置）と関連付けて記述した情報である。メイクアップテーブルおよびメイクアップ情報テーブルの内容の詳細については、後述する。

メイクアップ選択部２８０は、ユーザから、メイクアップ情報テーブルに記述された複数のメイクアップパターンから１つを選択する選択操作を受け付ける。かかる選択操作は、例えば、上述のタッチパネル付きディスプレイを介して行われる。そして、メイクアップ選択部２８０は、選択されたメイクアップパターンに対応するメイクアップ情報を、メイクアップ情報テーブルから取得し、メイクアップ提示部２９０へ出力する。

メイクアップ提示部２９０は、メイクアップ情報に基づき、シミュレーション画像を生成する。このシミュレーション画像は、眉が消去された画像に、メイクアップ画像を重畳して得られる画像である。シミュレーション画像の生成の対象となるメイクアップには、例えば、眉のメイクアップが含まれる。そして、メイクアップ提示部２９０は、生成したシミュレーション画像を、表示部３００へ出力する。シミュレーション画像の生成手法の詳細については、後述する。

表示部３００は、例えば、上述のタッチパネル付きディスプレイのディスプレイ部分を含む。表示部３００は、入力されたシミュレーション画像の画像データに基づき、シミュレーション画像を表示する。より具体的には、表示部３００は、撮影された映像に沿って、シミュレーション画像を順次表示する。

なお、メイクアップアップ支援装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このようなメイクアップアップ支援装置１００は、眉により近く、かつ、髪が掛かっていない可能性がより高い領域である、眉頭側の領域の画像情報に基づいて、眉の領域の抽出および塗り潰しを行うことができる。

次に、部分画像の抽出手法、２値化閾値の決定手法、中間領域の推定手法、眉の領域の抽出手法、眉消去処理、メイクアップテーブルの内容、およびメイクアップ情報テーブルの内容の詳細について、順に説明する。

＜閾値決定用の画像の抽出手法＞
図３は、閾値決定用の画像の抽出手法の第１の例を示す図である。

図３に示すように、顔画像（一部のみ図示する）４１１から、複数の顔特徴点４１２（図中、丸に十字の印で示す）が抽出されたとする。顔特徴点には、左右の眉山に対応する顔特徴点４１２Ｌ１、４１２Ｒ１、および、左右の眉頭に対応する顔特徴点４１２Ｌ２、４１２Ｒ２が含まれる。

閾値決定部２４０は、図３に示すように、例えば、左右の眉山に対応する顔特徴点４１２Ｌ１、４１２Ｒ１を上側の左右頂点とし、左右の眉頭に対応する顔特徴点４１２Ｌ２、４１２Ｒ２を通る矩形領域４１３を、設定する。そして、閾値決定部２４０は、顔画像４１１のうち、設定した矩形領域４１３に対応する領域の画像を、２値化閾値の決定に使用される閾値決定用の画像として抽出する。

図４は、閾値決定用の画像の抽出手法の第２の例を示す図であり、図３に対応するものである。図４と同一部分には同一符号を付し、これについての説明を省略する。

閾値決定部２４０は、図４に示すように、左の眉頭に対応する顔特徴点４１２Ｌ２を下側頂点とし、左の眉山に対応する顔特徴点４１２Ｌ１を通り、かつ、顔特徴点４１２Ｌ２、４１２Ｌ１の左右方向の距離を一辺の長さとする正方形領域４１３ａを設定する。そして、閾値決定部２４０は、顔画像４１１のうち、設定した正方形領域４１３ａに対応する領域の画像を、閾値決定用の画像として抽出する。

このようにして抽出される閾値決定用の画像は、目や前髪を含む可能が低く、このため、肌の領域および眉の領域のみを含んでいる可能性が高いという特徴を有する。また、眉頭の位置を基準とした所定の大きさおよび形状の領域を設定することは、容易である。したがって、閾値決定部２４０は、２値化閾値を決定するための領域として、肌の領域および眉の領域のみを含んでいる可能性が高い領域を、簡単に設定することができる。

なお、図３に示す手法により抽出された閾値決定用の画像では、特に、顔が正面を向いているときに、後述の２値化閾値を精度良く決定することが可能となる。また、図４に示す手法により抽出された閾値決定用の画像では、特に、顔が横を向いているときに、後述の２値化閾値を精度良く決定することが可能となる。また、顔が正面を向いているものの、片方の眉が髪の毛等で隠れている場合、他方の眉について図４に示す手法を適用することにより、後述の２値化閾値を精度良く決定することが可能となる。

＜２値化閾値の決定手法＞
閾値決定部２４０は、例えば大津の２値化と称される手法（「大津の手法」あるいは「判別分析法」ともいう）を用いて、抽出された閾値決定用の画像から、眉の領域を判定するのに適した閾値である、２値化閾値を求める。大津の２値化とは、ある値の集合を２つのクラスに分類する場合の適切な閾値を決定する手法である（例えば、非特許文献１参照）。このように、２値化閾値として、固定値ではなく、画像から選定される適切な値を用いることにより、肌の色や眉の色によらず、高精度に眉を抽出することが可能となる。

このような手法により２値化閾値が決定されると、後段の眉領域抽出部２５０において、眉と肌との境界がエッジとなるような２値化画像が得られる。

＜中間領域の推定手法＞
図５は、２値化画像のうち左眉周辺の部分の一例を示す図である。

図５に示すように、２値化画像４２１は、２値化閾値により眉に分類される領域（図中、黒色で示す。以下「眉判定領域」という）４２２と、２値化閾値により眉に分類されない領域（図中、白色で示す。以下「非眉判定領域」という）４２３とから成る。しかし、２値化画像４２１における眉判定領域４２２には、実際には、目の領域等、眉以外の領域が含まれ得る。

そこで、眉領域抽出部２５０は、眉包含領域および目包含領域に基づいて、中間領域を推定する。ここで、眉包含領域とは、眉の顔特徴点の位置から推定される、眉全体を包含する領域である。また、目包含領域とは、目の顔特徴点の位置から推定される、目全体を包含する領域である。

図６は、眉包含領域の一例を示す図である。また、図７は、目包含領域の一例を示す図である。

図６に示すように、眉包含領域４３１（斜線の網掛けで示す領域）は、眉の顔特徴点（図４参照）の位置を基準とする小領域４３２の集合である。また、図７に示すように、目包含領域４４１（縦線の網掛けで示す領域）は、目の顔特徴点（図４参照）の位置を基準とする小領域４４２の集合である。

眉領域抽出部２５０は、眉領域抽出部２５０は、図５に示す２値化画像４２１のうち、図６に示す眉包含領域４３１から図７に示す目包含領域４４１を除外した領域を、中間領域とする。

なお、眉の小領域４３２の直径は、例えば、眉山に対応する顔特徴点と眉の下側の眉頭側の顔特徴点との距離、あるいは、眉の上側の２つの顔特徴点の間の距離等、隣接する顔特徴点間の距離のうち最大値とすればよい。但し、眉尻の周囲には、髪の毛等が近接して位置する可能性が高い。また、眉のうち、眉頭および眉尻に近い部分の幅は、通常、他の部分の幅よりも狭い。したがって、眉尻（および眉頭）の顔特徴点についての小領域４３２の直径のみ、より小さくする（例えば、２分の１の直径にする）ことが望ましい。これにより、眉の小領域４３２に、髪の毛等の眉以外の部分が含まれないようにすることができる。

また、目の小領域４４２の直径は、例えば、目の上側の中心に対応する顔特徴点と、目の下側の中心に対応する顔特徴点との距離とすればよい。

各小領域４３２、４４２をこのような大きさとすることにより、中間領域に、眉の領域がより確実に含まれ、かつ、目の領域がより確実に含まれないようにすることができる。

なお、各小領域４３２、４４２の中心点の位置は、必ずしも、顔特徴点に一致しなくてもよく、直径との関係で、それぞれ、眉の領域および目の領域を包含するような位置であればよい。例えば、眉の小領域４３２の中心点の位置は、眉特徴点に基いて推定される眉の中心線に沿って、配置されていてもよい。この場合、例えば、眉の小領域４３２の数は、７個とし、眉の小領域４３２の配置は、眉の中心線上に等間隔の配置とする。そして、眉の小領域４３２の直径は、眉の上側の２つの顔特徴点の間の距離の３分の２とする。なお、この場合においても、眉尻（および眉頭）の顔特徴点についての小領域４３２の直径を、より小さくする（例えば、２分の１の直径にする）ことが望ましい。

このような手法により、眉領域抽出部２５０は、より少ない処理負荷で、眉の領域がより確実に含まれ、かつ、目の領域がより確実に含まれないような領域を、中間領域として設定することができる。そして、眉領域抽出部２５０は、２値化画像のうち、このような中間領域において眉のエッジを探索することにより、眉の領域を高精度に抽出することができる。

しかしながら、実際の眉と肌の境界はぼやけていることが多いため、２値化画像の眉のエッジは、実際の眉の外縁よりも内側となることがある。

そこで、眉領域抽出部２５０は、２値化画像から推定された２値眉領域に基づいて、より確実に実際の眉の外縁を含む領域を、眉の領域として抽出する。

＜眉の領域の抽出手法＞
図８は、２値化画像から推定された２値眉領域に基づいて、眉の領域を抽出する手法の一例を示す図である。

２値化画像からは、例えば、図８（Ａ）に示すような、２値眉領域４５１が推定される。図８（Ｂ）は、図８（Ａ）に示す２値眉領域４５１の一部を拡大した図である。

眉領域抽出部２５０は、図８（Ａ）に示す２値眉領域４５１を、より確実に実際の眉の外縁を含むように、膨張させる。図８（Ｃ）および図８（Ｄ）は、図８（Ａ）および図８（Ｂ）に示す２値眉領域４５１に対して、縦横それぞれの方向に２画素ずつ、領域を拡大させることにより、膨張させたときの眉の領域を示す。なお、図８（Ｄ）において、灰色領域は、膨張により拡大した領域を示す。

なお、膨張の量（幅、段数、あるいは画素数）は、固定値であってもよいし、可変値であってもよい。眉領域抽出部２５０は、例えば、左右の眉頭の間の距離に合わせて、膨張の量を変化させてもよい。但し、膨張の量は、目の領域や髪の毛の領域が含まれない範囲であることが望ましい。

このような手法により、眉領域抽出部２５０は、実際の眉の領域がより確実に包含される領域を、眉の領域として抽出することができる。

＜眉消去処理＞
眉消去部２６０は、まず、撮影画像に対して、眉の領域の画素値を初期化することにより、撮影画像から眉の領域を削除する。そして、眉消去部２６０は、撮影画像上で、２ｗ＋１（ｗは１以上の整数、例えば２）画素×２ｗ＋１画素の枠を移動させる。そして、眉消去部２６０は、この枠（以下「補間枠」という）の中心画素が、眉の領域の画素である場合、補間枠内に位置する眉の領域以外の領域（以下「非眉領域」という）の画素値（色）で、当該中心画素の画素値（色）を補間する。

図９は、補間枠の一例を示す図である。

図９では、ｗ＝２の場合の補間枠４６１を示している。以下、撮影画像における画素位置は、ｘｙ座標系の座標値で表す。そして、座標（ｘ、ｙ）に位置する画素の画素値（色）は、図９に示すように、ｆ（ｘ、ｙ）で表す。

眉消去部２６０は、撮影画像から眉の領域を削除するために、眉マスクを生成する。

図１０は、眉マスクの一例を部分的に示す図である。ここでは、参考のため、補間枠４６１を併せて図示している。

図１０に示すように、眉マスク４７１は、例えば、画素毎に設定された眉マスク値ｍ（ｘ，ｙ）の集合から成る。非眉領域の各画素には、ｍ＝１が設定され、眉の領域の各画素には、眉マスク値ｍ＝０が設定されている。

図１０に示す例では、補間枠４６１は、中心画素の眉マスク値ｍ（ｘ，ｙ）が「０」であり、左上側の１４個の画素の眉マスク値ｍが「１」である。この場合、中心画素の画素値ｇ（ｘ，ｙ）は、左上側の１４個の画素の画素値を用いて補間される。

具体的には、眉消去部２６０は、補間枠４６１の中心画素（ｘ，ｙ）の画素値ｇ（ｘ，ｙ）を、以下の式（１）を用いて算出する。

ここで、ｈは、補間係数である。補間枠４６１内における非眉領域の画素値の平均値を補間に用いる場合の補間係数ｈは、補間係数ｈａｖｇ（ｘ，ｙ）となり、以下の式（２）で表される。

そして、眉マスク４７１は、眉の領域の画素が補間される毎に、眉マスク４７１の当該画素のマスク値ｍを「１」に書き換える。この画素の補間結果は、他の眉の領域の画素値の補間に用いられ得る。

眉消去部２６０は、補間枠４６１を眉頭側から眉尻側へと移動させながら、眉の領域の画素を補間して、眉消去処理を行う。

図１１は、補間枠４６１の移動パターンを示す図である。

眉消去部２６０は、眉の領域４５２を含む矩形領域４８１の画像の全体に対して、第１のパターン４８２および第２のパターン４８３で、補間枠４６１を移動させながら、眉の領域の画素を補間する。

第１のパターン４８２は、補間枠４６１を移動させる行を、眉の上側から下側へと移動させる移動パターンであり、主に眉の上側の肌の色に基づいて補間を行うものである。すなわち、第１のパターン４８２を用いて眉の領域の画素を補間する処理は、顔画像から眉の領域４５２の画像を削除して得られる画像に対して、眉の上側から眉の下側へと向かう方向で、順次、色を補間していく処理（第１の処理）である。

第２のパターン４８３は、補間枠４６１を移動させる行を、眉の下側から上側へと移動させる移動パターンであり、主に眉の下側の肌の色に基づいて補間を行うものである。すなわち、第２のパターン４８３を用いて眉の領域の画素を補間する処理は、顔画像から眉の領域４５２の画像を削除して得られる画像に対して、眉の下側から眉の上側へと向かう方向で、順次、色を補間していく処理（第２の処理）である。

なお、以下の説明において、矩形領域４８１の上端から眉の領域４５２の上端迄の距離は、ｄ１とし、矩形領域４８１の上端から眉の領域４５２の下端迄の距離は、ｄ２とする。

眉消去部２６０は、眉の領域の補間を、第１のパターン４８２および第２のパターン４８３の両方で独立して行い、両パターンで得られる２つの結果を合成する。すなわち、眉消去部２６０は、第１のパターン４８２（第１の処理）により得られた第１の画像と、第２のパターン（第２の処理）により得られた第２の画像とを、合成する。

より具体的には、眉消去部２６０は、例えば、以下のアルファ（α）ブレンドの式（３）を用いて、最終的な補間された眉の領域の画素値Ｇ（ｘ，ｙ）を算出する。ここで、ｇ１（ｘ，ｙ）は、第１のパターン４８２での矩形領域４８１の移動により補間された画素値（色）である。そして、ｇ２（ｘ，ｙ）は、第２のパターン４８３での矩形領域４８１の移動により補間された画素値（色）である。

α値は、画素値ｇ１（ｘ，ｙ）と画素値ｇ２（ｘ，ｙ）とを合成する際の比率を決定するものであり、画素値ｇ１（ｘ，ｙ）の重みに相当する。α値は、例えば、画素位置に応じた可変値である。

図１２は、眉の領域の補間に用いられるα値の一例を示す図である。図中、横軸は、矩形領域４８１の上端からの距離を示し、縦軸は、α値を示す。

図１２において線分４９１で示すように、α値は、眉の領域４５２の上端（ｄ１）において「１」であり、矩形領域４８１の下方に向かうに従って直線的に減少し、眉の領域４５２の下端（ｄ２）において「０」となる。

なお、α値は、例えば、以下の式（４）で表される。

眉消去部２６０は、このようなα値を設定することにより、眉の領域の上側と下側で肌の色が異なる場合でも、これらの色の間で連続的に色が変化するように眉の領域の各画素を補間することができる。すなわち、眉消去部２６０は、各画素に対して、実際に眉毛を消去処理したときの眉の領域の肌の色により近い色で、画素値を決定することができる。この結果、眉消去部２６０は、より自然な眉消去を実現することができる。

なお、眉の領域４５２の上端（ｄ１）と眉の領域４５２の下端（ｄ２）は、同じｘ座標値を持つ眉の領域４５２の画素群の上端と下端としてもよい。すなわち、眉消去部２６０は、眉の領域４５２を縦に細かく分割し、分割された領域毎に、その領域における眉の領域４５２の上端および下端を基準として、α値を決定してもよい。これは、眉の領域４５２に対する位置に応じた合成比で、第１のパターン４８２（第１の処理）により得られた第１の画像と、第２のパターン（第２の処理）により得られた第２の画像とを合成することに相当する。このようにした場合、眉消去部２６０は、眉の領域に接する非眉領域部分を、より高精度に、アルファブレンド処理の対象から除外することができる。

眉消去部２６０は、合成の結果として得られた画像のうち、眉の領域４５２の画像部分のみを、元の撮影画像の対応部分に貼り付ける。すなわち、眉消去部は、眉消去処理が行われた後の矩形領域４８１の画像のうち、眉の領域４５２の画像を、撮影画像の対応する領域に貼り付ける。

＜メイクアップテーブルおよびメイクアップ情報テーブルの内容＞
図１３は、メイクアップ情報格納部２７０が格納するメイクアップテーブルの内容の一例を示す図である。

図１３に示すように、メイクアップテーブル５００は、メイクアップパターン５０１と、メイクアップＩＤ５０２とを、対応付けて記述している。メイクアップパターン５０１は、ここでは簡略化して図示しているが、具体的には、例えば、「キュート」、「クール」等の、メイクアップに関するイメージを表すテキスト情報を含む。

なお、メイクアップ選択部２８０は、例えば、メイクアップパターン５０１の「キュート」、「クール」等のテキスト情報を、選択肢として表示することにより、上述のメイクアップの選択操作をユーザから受け付ける。

図１４は、メイクアップ情報格納部２７０が格納するメイクアップ情報テーブルの内容の一例を示す図である。

図１４に示すように、メイクアップ情報テーブル５１０は、例えば、メイクアップＩＤ５１１、メイクアップ種別５１２、色５１３、濃度５１４、および範囲５１５を、対応付けて記述している。

メイクアップＩＤ５１１は、メイクアップテーブル５００のメイクアップＩＤ５０２（図１３参照）に対応している。メイクアップ種別５１２は、ここでは簡略化して図示しているが、具体的には、「アイブロウ」、「ファンデーション」、「アイシャドウ」、「口紅」、および「チークメイクアップアップ」等である。色５１３は、ここでは簡略化して図示しているが、具体的には、ＲＧＢ値および光沢度等である。濃度５１４は、ここでは簡略化して図示しているが、具体的には、顔の画像の上に重畳する際の透過度およびグラデーションの仕方等である。範囲５１５は、ここでは簡略化して図示しているが、具体的には、顔特徴点からの相対座標群、顔特徴点に対する中心点の相対位置と半径との組等である。

色５１３、濃度５１４、および範囲５１５の組は、少なくとも、メイクアップが施された状態を画像化するのに必要な情報を含む。すなわち、本実施の形態において、メイクアップ情報は、少なくとも、顔の画像から、当該顔にメイクアップアップを施したときの画像を生成するために必要な情報（顔の色との差分を示す情報）を、含むものとする。

なお、メイクアップの流行の変化は速く、提示すべきメイクアップの変化も速い。このため、メイクアップテーブル５００およびメイクアップ情報テーブル５１０は、例えば、メイクアップアップ支援装置１００に備えられた通信回路（図示せず）を介して、インターネット上のサーバから定期的に更新されることが望ましい。また、図１３に示すメイクアップテーブル５００および図１４に示すメイクアップ情報テーブル５１０は、１つのテーブルに統合されていてもよい。

＜シミュレーション画像の生成手法＞
メイクアップ提示部２９０は、眉が消去された画像に、選択されたメイクアップのメイクアップ画像を重畳して、シミュレーション画像を生成する。メイクアップ画像は、例えば、顔部品情報とメイクアップ情報とに基づいて生成される。

なお、シミュレーション画像における画像の重畳は、例えば、アルファ（α）ブレンド処理等の公知の画像合成処理により行われる。この場合のα値は、メイクアップの濃度に応じた値に設定される。アルファブレンド処理は、例えば、以下の式（５）〜（７）で表される。ここで、ｒ１、ｇ１、ｂ１は、眉が消去された画像の任意の領域のＲＧＢ値である。また、ｒ２、ｇ２、ｂ２は、メイクアップ画像の任意の領域のＲＧＢ値である。そして、Ｒ、Ｇ、Ｂは、シミュレーション画像の対応する領域のＲＧＢ値である。

Ｒ ＝ ｒ２×α＋ｒ１×（１−α） ・・・（５）
Ｇ ＝ ｇ２×α＋ｇ１×（１−α） ・・・（６）
Ｂ ＝ ｂ２×α＋ｂ１×（１−α） ・・・（７）
また、メイクアップのそれぞれに、顔に重ねて塗布する場合の順序（以下「塗布順序」という）が設定されており、かつ、メイクアップ画像が、濃度に応じた密度の網掛け画像であったとする。塗布順序は、例えば、チークの塗布が、ファンデーションの塗布の後にすべきものであるということを規定する。この場合、メイクアップ提示部２９０は、画像の重畳を、眉が消去された画像に対して、各メイクアップ画像を塗布順序に応じた順序で上塗り処理することにより、行ってもよい。

＜メイクアップアップ支援装置の動作＞
次に、メイクアップアップ支援装置１００の動作について説明する。

図１５は、メイクアップアップ支援装置１００の動作の一例を示すフローチャートである。

まず、ステップＳ１１００において、撮影部２１０は、ユーザの顔の映像の撮影を開始し、画像取得部２２０は、撮影された映像を構成する画像の取得を開始する。この際、ユーザは、前髪を上げておくことが望ましい。また、顔部品取得部２３０は、画像に含まれる顔の顔部品の取得を開始する。

この際、顔部品取得部２３０は、例えば、画像を解析することにより、画像から顔特徴点を抽出する。そして、顔部品取得部２３０は、同一の顔部品を構成する顔特徴点により形成される領域を、顔部品の領域として取得する。そして、顔部品取得部２３０は、取得した顔部品の領域から、顔部品情報を生成する。

図１６は、図１５のステップＳ１１００において取得される、撮影画像の一例を示す図である。

図１６に示すように、撮影画像６１０は、ユーザの顔画像６１１を含む。ユーザは、メイクアップアップをしておらず、かつ、眉６１２を処理していない状態である。画像６１０からは、例えば、図３および図４に示すような顔特徴点が抽出されて、顔部品情報が生成される。

図１７は、図１５のステップＳ１１００において生成される、顔部品情報の一例を示す図である。

図１７に示すように、顔部品情報６２０は、例えば、顔部品ＩＤ６２１毎に、領域６２２および人ＩＤ６２３を記述している。顔部品ＩＤ６２１は、左目、上唇等の、顔部品の識別情報である。領域６２２は、画像における顔部品の領域の範囲を示す情報であり、例えば、複数の顔特徴点の位置の集合である。顔特徴点の位置は、例えば、顔を基準として定まる顔座標系を用いて、定義される。人ＩＤ６２３は、人の識別情報である。人ＩＤ６２３は、例えば、撮影が開始される毎に、タッチパネル付きディスプレイに対する操作等を介してユーザにより指定された値が、設定される。

そして、図１５のステップＳ１２００において、メイクアップ選択部２８０は、メイクアップを選択し、メイクアップ情報を、メイクアップ提示部２９０へ出力する。

そして、ステップＳ１３００において、閾値決定部２４０は、眉の顔特徴点に基づいて、顔画像から、眉頭側の閾値決定用の画像（例えば、図３および図４の矩形領域４１３に囲まれた領域）を抽出する。

そして、ステップＳ１４００において、閾値決定部２４０は、ステップＳ１３００で抽出した閾値決定用の画像から、２値化閾値を決定する。

そして、ステップＳ１５００において、眉領域抽出部２５０は、決定された２値化閾値に基づいて、２値化画像（例えば、図５の２値化画像４２１）を生成する。そして、眉領域抽出部２５０は、眉包含領域（例えば、図６の眉包含領域４３１）から目包含領域（例えば、図７の目包含領域４４１）を除いた領域を、中間領域とする。

そして、ステップＳ１６００において、眉領域抽出部２５０は、２値化画像および中間領域から、眉の領域を抽出する。このとき、眉領域抽出部２５０は、上述の通り、２値眉領域（例えば、図８の２値眉領域４５１）を膨張させて、眉の領域（例えば、図８の眉の領域４５２）を得る。

そして、ステップＳ１７００において、眉消去部２６０は、眉消去処理を行い（図９〜図１１参照）、眉が消去された画像を生成する。

図１８は、ステップＳ１７００において生成される、眉が消去された画像の一例を示す図である。

図１８に示すように、眉が消去された画像６１０ａでは、補間が行われた眉の領域の画像６３１ａが、顔画像６１１ａの対応する領域に、貼り付けられた状態となっている。

そして、図１５のステップＳ１８００において、メイクアップ提示部２９０は、眉が消去された画像に、決定されたメイクアップに対応するメイクアップ情報の画像を重畳して、シミュレーション画像を生成する。そして、表示部３００は、生成されたシミュレーション画像を表示する。

図１９は、図１５のステップＳ１８００において生成される、シミュレーション画像の一例を示す図である。

図１９に示すように、シミュレーション画像６４０は、眉消去処理が行われた顔画像６１１ａに、アイブロウ、アイシャドウ、アイライナー、チークメイクアップアップ、および口紅の画像といった、メイクアップ画像６４１〜６４５を重畳した画像となっている。

アイブロウ６４１の領域は、元の眉６１２（図１６参照）の領域とは大きく異なっている。しかし、眉６１２がきれいに消去されているため、眉が二重に存在しているような状態は回避される。また、実際に眉６１２の処理をした場合の顔画像により近い眉が消去された画像を用いているため、より自然なシミュレーション画像６４０が得られる。

そして、図１５のステップＳ１９００において、画像取得部２２０は、映像の入力が継続しているか否かを判断する。画像取得部２２０は、映像の入力が継続している場合（Ｓ１９００：ＹＥＳ）、処理をステップＳ１３００へ戻し、次の撮影画像へと処理を移す。また、画像取得部２２０は、映像の入力が終了した場合（Ｓ１９００：ＮＯ）、一連の処理を終了する。

なお、メイクアップアップ支援装置１００は、一旦得られた眉の領域および眉の領域の補間結果を、後続の画像に転用してもよい。この場合、眉消去部２６０は、例えば、眉の領域の、顔特徴点に対する相対位置を、記憶する。そして、眉消去部２６０は、別の顔画像に対しては、その顔画像における顔特徴点の位置に応じて、記憶した相対位置に基づき、眉の領域の画像を、移動あるいは変形させる。

この場合、眉の領域および眉の領域の補間結果が得られた後は、図１５のステップＳ１３００〜Ｓ１７００の処理を省略することが可能となる。

＜本実施の形態の効果＞
以上のように、本実施の形態に係るメイクアップアップ支援装置１００は、眉により近く、かつ、髪が掛かっていない可能性がより高い領域である、眉頭側の領域の画像情報に基づいて、眉の領域の抽出および塗り潰しを行う。これにより、メイクアップアップ支援装置１００は、より高精度に眉の領域を抽出し、かつ、より適切な色で塗り潰しを行うことができる。これにより、メイクアップアップ支援装置１００は、実際に眉毛の処理をした場合の顔画像により近い眉が消去された画像を得ることができる。

また、本実施の形態に係るメイクアップアップ支援装置１００は、実際に眉の処理をした場合の顔画像により近い眉が消去された画像を用いてメイクアップのシミュレーション画像を表示する。これにより、メイクアップアップ支援装置１００は、ユーザがメイクアップの良し悪しをより的確に判断することを可能にする。

＜メイクアップの他の選択手法＞
なお、メイクアップの選択手法は、上述の例に限定されない。例えば、メイクアップ選択部２８０は、顔の特徴に適したメイクアップを自動で選択してもよいし、流行のメイクアップを自動で選択してもよい。

＜その他の構成の変形例＞
また、上述の各種テーブルは、必ずしもメイクアップアップ支援装置１００に格納されていなくてもよい。例えば、メイクアップアップ支援装置１００がネットワークに接続可能である場合、メイクアップアップ支援装置１００は、上記テーブルが格納されたネットワーク上のサーバにアクセスして、メイクアップを選択すればよい。

また、メイクアップアップ支援装置１００は、例えば、図２に示す機能部のうち、撮影部２１０および表示部３００のみをユーザの所持する端末に配置し、他の装置部をネットワーク上のサーバ上に配置する等、分散配置型のシステムであってもよい。

また、メイクアップアップ支援装置１００は、外光を検出し、画像から、外光の影響を軽減した状態で、顔特徴点の取得や、眉の領域の検出を行うようにしてもよい。

また、メイクアップアップ支援装置１００は、必ずしもメイクアップのシミュレーション画像を生成しなくてもよい。

また、メイクアップアップ支援装置１００は、メイクアップに必要な化粧品の情報を、シミュレーション画像と併せてユーザに提示してもよい。

本開示のメイクアップアップ支援装置は、顔を撮影した画像である、顔画像を取得する画像取得部と、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する閾値決定部と、前記閾値を用いて、前記顔画像から眉の領域を抽出する眉領域抽出部と、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う眉消去部と、前記眉消去処理が行われた後の前記顔画像を表示する表示部と、を有する。

なお、上記メイクアップアップ支援装置は、前記眉消去処理が行われた後の前記顔画像に、前記顔に対して眉のメイクアップを適用したときの前記眉のメイクアップの状態を示す画像を重畳して得られるシミュレーション画像を生成するメイクアップ提示部、を更に有し、前記表示部は、前記シミュレーション画像を表示してもよい。

また、上記メイクアップアップ支援装置において、前記部分画像は、前記眉頭の位置を基準とした所定の大きさおよび形状の領域の画像であってもよい。

また、上記メイクアップアップ支援装置において、前記眉消去処理は、前記顔画像から前記眉の領域の画像を削除して得られる画像に対して、前記眉頭側から前記眉尻側へと向かう方向で、順次、色を補間していく処理であってもよい。

また、上記メイクアップアップ支援装置において、前記眉消去処理は、前記顔画像から前記眉の領域の画像を削除して得られる画像に対して、前記眉の上側から前記眉の下側へと向かう方向で、順次、色を補間していく第１の処理と、前記画像に対して、前記眉の下側から前記眉の上側へと向かう方向で、順次、色を補間していく第２の処理と、前記第１の処理により得られた第１の画像と、前記第２の処理により得られた第２の画像とを、合成する第３の処理とを含み、前記第３の処理は、前記眉の領域に対する位置に応じた合成比で、前記第１の画像と前記第２の画像とを合成してもよい。

また、上記メイクアップアップ支援装置は、前記顔画像から、眉の特徴点および目の特徴点を抽出する顔部品取得部、を更に有し、前記眉領域抽出部は、前記顔画像の領域のうち、前記眉の特徴点の位置を基準とする小領域の集合である眉包含領域から、前記目の特徴点の位置を基準とする小領域の集合である目包含領域、を除外した中間領域から、前記眉の領域を抽出してもよい。

また、上記メイクアップアップ支援装置において、前記眉消去部は、前記顔画像のうち前記眉の領域を含む矩形領域の画像の全体に対して前記眉消去処理を行い、前記眉消去処理が行われた後の前記矩形領域の画像のうち前記眉の領域の画像を、前記顔画像の対応する領域に貼り付ける。

また、上記メイクアップアップ支援装置において、前記眉領域抽出部は、前記閾値により規定される眉の領域を膨張させた領域を、前記眉の領域として抽出してもよい。

また、上記メイクアップアップ支援装置は、前記顔の映像を撮影する撮影部、を更に有し、前記画像取得部は、前記映像を構成する画像を取得し、前記表示部は、前記映像に沿って、前記シミュレーション画像を順次表示してもよい。

本開示のメイクアップアップ支援方法は、顔を撮影した画像である、顔画像を取得するステップと、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定するステップと、前記閾値を用いて、前記顔画像から眉の領域を抽出するステップと、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行うステップと、前記眉消去処理が行われた後の前記顔画像を表示するステップと、を有する。

本開示のメイクアップアップ支援プログラムは、コンピュータに、顔を撮影した画像である、顔画像を取得する処理と、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する処理と、前記閾値を用いて、前記顔画像から眉の領域を抽出する処理と、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う処理と、前記眉消去処理が行われた後の前記顔画像を表示する処理と、を実行させる。

本開示は、実際に眉毛の処理をした状態により近い眉が消去された画像を得ることができる、メイクアップアップ支援装置、メイクアップアップ支援方法、およびメイクアップアップ支援プログラムとして有用である。

１００ メイクアップ支援装置
２１０ 撮影部
２２０ 画像取得部
２３０ 顔部品取得部
２４０ 閾値決定部
２５０ 眉領域抽出部
２６０ 眉消去部
２７０ メイクアップ情報格納部
２８０ メイクアップ選択部
２９０ メイクアップ提示部
３００ 表示部

Claims (11)

1. 顔を撮影した画像である、顔画像を取得する画像取得部と、
   前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する閾値決定部と、
   前記閾値を用いて、前記顔画像から眉の領域を抽出する眉領域抽出部と、
   前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う眉消去部と、
   前記眉消去処理が行われた後の前記顔画像を表示する表示部と、を有する、
   メイクアップ支援装置。
2. 前記眉消去処理が行われた後の前記顔画像に、前記顔に対して眉のメイクアップを適用したときの前記眉のメイクアップの状態を示す画像を重畳して得られるシミュレーション画像を生成するメイクアップ提示部、を更に有し、
   前記表示部は、
   前記シミュレーション画像を表示する、
   請求項１に記載のメイクアップ支援装置。
3. 前記部分画像は、前記眉頭の位置を基準とした所定の大きさおよび形状の領域の画像である、
   請求項１に記載のメイクアップ支援装置。
4. 前記眉消去処理は、前記顔画像から前記眉の領域の画像を削除して得られる画像に対して、前記眉頭側から前記眉尻側へと向かう方向で、順次、色を補間していく処理である、
   請求項１に記載のメイクアップ支援装置。
5. 前記眉消去処理は、前記顔画像から前記眉の領域の画像を削除して得られる画像に対して、前記眉の上側から前記眉の下側へと向かう方向で、順次、色を補間していく第１の処理と、前記画像に対して、前記眉の下側から前記眉の上側へと向かう方向で、順次、色を補間していく第２の処理と、前記第１の処理により得られた第１の画像と、前記第２の処理により得られた第２の画像とを、合成する第３の処理とを含み、
   前記第３の処理は、前記眉の領域に対する位置に応じた合成比で、前記第１の画像と前記第２の画像とを合成する、
   請求項１に記載のメイクアップ支援装置。
6. 前記顔画像から、眉の特徴点および目の特徴点を抽出する顔部品取得部、を更に有し、
   前記眉領域抽出部は、
   前記顔画像の領域のうち、前記眉の特徴点の位置を基準とする小領域の集合である眉包含領域から、前記目の特徴点の位置を基準とする小領域の集合である目包含領域、を除外した眉近傍領域から、前記眉の領域を抽出する、
   請求項１に記載のメイクアップ支援装置。
7. 前記眉消去部は、
   前記顔画像のうち前記眉の領域を含む矩形領域の画像の全体に対して前記眉消去処理を行い、前記眉消去処理が行われた後の前記矩形領域の画像のうち前記眉の領域の画像を、前記顔画像の対応する領域に貼り付ける、
   請求項５に記載のメイクアップ支援装置。
8. 前記眉領域抽出部は、
   前記閾値により規定される眉の領域を膨張させた領域を、前記眉の領域として抽出する、
   請求項１に記載のメイクアップ支援装置。
9. 前記顔の映像を撮影する撮影部、を更に有し、
   前記画像取得部は、
   前記映像を構成する画像を取得し、
   前記表示部は、
   前記映像に沿って、前記シミュレーション画像を順次表示する、
   請求項１に記載のメイクアップ支援装置。
10. 顔を撮影した画像である、顔画像を取得するステップと、
    前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定するステップと、
    前記閾値を用いて、前記顔画像から眉の領域を抽出するステップと、
    前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行うステップと、
    前記眉消去処理が行われた後の前記顔画像を表示するステップと、を有する、
    メイクアップ支援方法。
11. コンピュータに、
    顔を撮影した画像である、顔画像を取得する処理と、
    前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する処理と、
    前記閾値を用いて、前記顔画像から眉の領域を抽出する処理と、
    前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う処理と、
    前記眉消去処理が行われた後の前記顔画像を表示する処理と、を実行させる、
    メイクアップ支援プログラム。