JPWO2015029371A1 - メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム - Google Patents

Abstract

メイクアップ支援装置（１００）は、顔に対する、所定の指示体の相対位置を取得する位置取得部（２３０）と、指示体が顔に接触しているか否かを判定する接触判定部（２４０）と、指示体が顔に接触していると判定されたときの相対位置である接触位置に基づいて、顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定するメイクアップ決定部（２６０）と、顔画像に対して、決定されたメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するメイクアップ提示部（２７０）と、を有する。

Description

本開示は、顔のメイクアップを支援するメイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムに関する。

近年、顔のメイクアップの仕方（以下、単に「メイクアップ」という）の多様化が進んでいる。無数の選択肢の中から適切なメイクアップを選択することは、特にメイクアップについての十分な知識を有さない人にとって、困難である。あらゆるメイクアップを実際に試して判断および比較を行うことは、膨大な時間および手間を要するからである。

そこで、メイクアップが適用されたときの顔のシミュレーション画像を生成して提示する技術が、例えば、特許文献１および特許文献２に記載されている。特許文献１および特許文献２に記載の技術は、メイクアップの対象となる顔（以下、単に「顔」という）を撮影した画像（以下「顔画像」という）を取得する。そして、特許文献１および特許文献２に記載の技術は、顔画像に、メイクアップを顔に適用したときの状態を示す画像（以下「メイクアップ画像」という）を重畳して、シミュレーション画像を生成し、表示する。以下、シミュレーション画像の生成および表示は、「メイクアップシミュレーション」という。

かかる技術によれば、実際にメイクアップを行うことなく、メイクアップの良し悪しを判断することが可能となる。すなわち、より少ない時間および手間で適切なメイクアップを選択することが可能となる。

ところで、ユーザは、メイクアップの結果だけでなく、メイクアップの作業についても、シミュレーションを行いたいと望む場合がある。

そこで、例えば、特許文献３に記載の技術を用いて、シミュレーション画像を生成することが考えられる。特許文献３に記載の技術は、表示画面にペンのような入力具あるいは指が接触したとき、その接触領域を検出する。この技術を用いることにより、表示された顔画像に対してメイクアップを施す領域を指定することが可能となり、メイクアップの作業についてもシミュレーションを行うことが可能となる。

特開２００１−３４６６２７号公報 特開２００７−１７５３８４号公報 国際公開第２０１１／０４８８４０号 特開２００３−４４８３７号公報

橋本達明、片山登揚、梅本敏孝著、「ＷＥＢカメラを用いた指先検出」、Ｊｏｕｎａｌ ｏｆ ＪＡＣＴ、Ｖｏｌ．１７、Ｎｏ３、２０１２年、ｐｐ．１３−１６ 杉田尚基、山本豪志朗、日浦慎作著、「爪画像を用いた指先接触判定」、パターン計測シンポジウム資料、巻１２ｔｈ、２００７年、ｐｐ．１３−１８

しかしながら、特許文献１および特許文献２に記載の技術に特許文献３に記載の技術を組み合わせたとしても、顔に対して実際にメイクアップ作業を行っているような感覚を得ることは難しい。なぜなら、表示画面に映し出された顔画像に対する作業感覚は、実際の顔に対する作業感覚と大きく異なるからである。

本開示の目的は、顔に対して実際にメイクアップ作業を行っているような感覚を得ることができる、メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムを提供することである。

本開示の一態様に係るメイクアップ支援装置は、顔に対する、所定の指示体の相対位置を取得する位置取得部と、前記指示体が前記顔に接触しているか否かを判定する接触判定部と、前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定するメイクアップ決定部と、前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するメイクアップ提示部と、を有する。

本開示の一態様に係るメイクアップ支援方法は、顔に対する、所定の指示体の相対位置を取得するステップと、前記指示体が前記顔に接触しているか否かを判定するステップと、前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定するステップと、前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するステップと、を有する。

本開示の一態様に係るメイクアップ支援プログラムは、コンピュータに、顔に対する、所定の指示体の相対位置を取得する処理と、前記指示体が前記顔に接触しているか否かを判定する処理と、前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定する処理と、前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成する処理と、を実行させる。

なお、包括的又は具体的な態様は、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

本開示の実施の形態１に係るメイクアップ支援装置の構成の一例を示すブロック図 本開示の実施の形態２に係るメイクアップ支援装置の構成の一例を示すブロック図 実施の形態２における顔特徴点の一例を示す図 実施の形態２における顔座標系の一例を示す図 実施の形態２におけるメイクアップテーブルの内容の一例を示す図 実施の形態２に係るメイクアップ支援装置の動作の一例を示すフローチャート 実施の形態２における、指先が顔に接触する前の撮影画像の一例を示す図 実施の形態２における、接触が開始したときのシミュレーション画像の一例を示す図 実施の形態２における、接触位置が移動したときのシミュレーション画像の一例を示す図 実施の形態２における、塗布操作が完了したときのシミュレーション画像の一例を示す図

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本開示の実施の形態１は、本発明の基本的態様の一例である。

図１は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。

図１において、メイクアップ支援装置１００は、位置取得部２３０、接触判定部２４０、メイクアップ決定部２６０、およびメイクアップ提示部２７０を有する。

位置取得部２３０は、顔に対する、所定の指示体の相対位置を取得する。所定の指示体とは、例えば、ユーザの指先である。

接触判定部２４０は、指示体が顔に接触しているか否かを判定する。

メイクアップ決定部２６０は、指示体が顔に接触していると判定されたときの相対位置である接触位置に基づいて、顔を撮影した顔画像に対して適用される、メイクアップの仕方決定する。

メイクアップ提示部２７０は、顔画像に対して、決定されたメイクアップを適用したときのメイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成する。

メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing
Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、および
ＲＡＭ（Random Access Memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このようなメイクアップ支援装置１００は、指先等の指示体を顔に接触させることにより、メイクアップシミュレーションの対象となるメイクアップを決定することができる。すなわち、メイクアップ支援装置１００によれば、顔に対して実際にメイクアップ作業を行っているような感覚を得ることができる。

（実施の形態２）
本開示の実施の形態２は、本発明の具体的態様の一例である。本実施の形態は、本発明を、デジタルビデオカメラおよびタッチパネル付きのディスプレイを備えた装置に適用した例である。

＜用語の説明＞
まず、本実施の形態において用いられる用語について説明する。

「顔部品」とは、目、眉、鼻、頬（ほお）骨、唇、輪郭等、顔を構成する部分を指すも
のとする。

「顔特徴点」とは、画像上あるいは実空間上の、眉頭、眉尻、目頭、および目尻等、顔部品の特徴点である。

「メイクアップ」とは、アイブロウやアイシャドウ等の、顔部品の特徴の印象を補正して審美性の向上を図るメイクアップの仕方（種類）を示し、色素の色、メイクアップの濃度、および適用の範囲を少なくとも含む。

「メイクアップ情報」とは、メイクアップの内容を示す情報であり、少なくとも、顔画像から、顔にメイクアップを施したときの画像を生成するために必要な情報（顔の色との差分を示す情報）を含む。

「メイクアップ種別」とは、「ファンデーション」、「アイブロウ」、「アイシャドウ」、「口紅」、および「チーク」等、少なくとも顔部品との位置関係により区別されるメイクアップの種類である。

「メイクアップ画像」とは、顔にメイクアップを適用したときのメイクアップの状態を示す画像である。

＜メイクアップ支援装置の構成＞
次に、本実施の形態に係るメイクアップ支援装置の構成について説明する。

図２は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。

図２において、メイクアップ支援装置１００は、撮影部２１０、画像取得部２２０、位置取得部２３０、接触判定部２４０、メイクアップテーブル格納部２５０、メイクアップ決定部２６０、メイクアップ提示部２７０、および表示部２８０を有する。

撮影部２１０は、例えばデジタルビデオカメラを含み、メイクアップシミュレーションの対象となる顔の映像を撮影する。そして、撮影部２１０は、撮影した映像を、画像取得部２２０へ出力する。映像は、時系列の複数の画像（フレーム画像）により構成される。なお、本実施の形態において、メイクアップシミュレーションの対象となる顔は、メイクアップ支援装置１００のユーザの顔であるものとする。

画像取得部２２０は、入力された映像から、映像を構成する画像を順次取得する。そして、画像取得部２２０は、取得した画像（以下「撮影画像」という）を、位置取得部２３０およびメイクアップ提示部２７０へ出力する。なお、画像取得部２２０は、鏡を見ながらメイクアップを行っている感覚をユーザに与えるため、撮影画像に対して左右反転させる画像処理を行うことが望ましい。また、撮影画像は、メイクアップシミュレーションの対象となる顔の画像の部分（以下「顔画像」という）を含む。

位置取得部２３０は、顔に対する、所定の指示体の相対位置を取得する。本実施の形態において、所定の指示体は、ユーザの指先とする。

より具体的には、位置取得部２３０は、まず、入力された撮影画像から、各顔部品の顔特徴点と、撮影画像における指先の領域（以下「指先領域」という）とを取得する。

顔特徴点の取得は、例えば、撮影画像のうち、顔画像の各部分領域と、予め用意され、顔特徴点の位置が設定された、各顔部品のテンプレートとのマッチングにより行われ
る（例えば、特許文献４参照）。

また、位置取得部２３０は、取得された顔特徴点の位置および指先領域の位置から、撮顔に対する指先の相対位置（以下「指先相対位置」という）を取得する。そして、位置取得部２３０は、入力された撮影画像と、取得した顔特徴点の識別情報および位置を示す情報（以下「顔特徴点の情報」という）と、取得した指先領域および指先相対位置とを、接触判定部へ出力する。顔特徴点の詳細、指先領域の取得手法の詳細、および指先相対位置の詳細については、後述する。

接触判定部２４０は、指先が顔に接触しているか否かの判定（以下「指先接触の判定」という）を行う。そして、接触判定部２４０は、入力された顔特徴点の情報と、入力された指先相対位置と、判定結果を示す情報（以下「接触判定情報」という）とを、メイクアップ決定部２６０へ出力する。指先接触の判定の手法の詳細については、後述する。

メイクアップテーブル格納部２５０は、メイクアップテーブルを予め格納している。メイクアップテーブルは、指先が顔に接触していると判定されたときの指先相対位置（以下「接触位置」という）と、メイクアップ種別、メイクアップの色、メイクアップの濃度、およびメイクアップの適用範囲とを対応付けたテーブルである。メイクアップテーブルの詳細については、後述する。

メイクアップ決定部２６０は、接触判定情報が、指先が顔に接触していることを示すときの指先相対位置を、接触位置として取得する。そして、メイクアップ決定部２６０は、取得した接触位置に基づいて、顔画像に対して適用されるメイクアップを決定する。

より具体的には、メイクアップ決定部２６０は、メイクアップテーブルを参照し、接触位置から、メイクアップ種別、メイクアップの色、メイクアップの濃度、およびメイクアップの適用範囲を決定する。そして、メイクアップ決定部２６０は、決定したメイクアップの内容を示すメイクアップ情報を生成し、生成したメイクアップ情報を、メイクアップ提示部２７０へ出力する。本実施の形態において、メイクアップ情報は、顔画像に対する、メイクアップ画像の色、濃度、および領域を示す情報とを、少なくとも含む。

メイクアップ提示部２７０は、入力されたメイクアップ情報から、決定されたメイクアップの画像を生成する。メイクアップ提示部２７０は、入力された撮影画像に含まれる顔画像に、生成されたメイクアップ画像を重畳して、シミュレーション画像を生成する。そして、メイクアップ提示部２７０は、生成されたメイクアップのシミュレーション画像を、表示部２８０へ出力する。

なお、メイクアップ提示部２７０は、メイクアップが決定されていない間は、シミュレーション画像ではなく、撮影画像を表示部２８０へ出力する。また、メイクアップ提示部２７０は、決定されたメイクアップ相対位置、メイクアップ色、およびメイクアップ濃度を、一連の映像において保持する。メイクアップ画像の重畳手法の詳細については、後述する。

表示部２８０は、例えば、上述のタッチパネル付きディスプレイのディスプレイ部分を含む。表示部２８０は、入力されたシミュレーション画像の画像データに基づき、シミュレーション画像を表示する。より具体的には、表示部２８０は、撮影された映像に沿って、シミュレーション画像を順次表示する。

なお、メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このようなメイクアップ支援装置１００は、指先を顔に接触させることにより、メイクアップシミュレーションの対象となるメイクアップを決定することができる。

次に、顔特徴点、指先領域の取得手法、指先相対位置、指先接触の判定の手法、およびメイクアップテーブルの詳細について、順に説明する。

＜顔特徴点＞
図３は、顔画像から抽出される顔特徴点の一例を示す図である。

図３に示すように、顔画像（一部のみ図示する）４１１からは、例えば、顔部品毎に複数ずつ、顔特徴点４１２（図中、丸に十字の印で示す）が抽出される。顔特徴点４１２は、主に、顔部品のエッジ、鋭角部、中央部などに位置している。顔特徴点４１２の配置は、顔によって異なる。

このような顔特徴点４１２を抽出することにより、撮影画像から各顔部品を抽出することが可能となり、また、後述の顔座標系を設定することが可能となる。

＜指先領域の取得手法＞
位置取得部２３０は、例えば、非特許文献１に記載の技術を用いて、撮影画像から、指先領域を取得する。なお、以下の説明において、「肌色」とは、人物（ユーザ等）の肌の色のことを意味するものとする。つまり肌色領域とは、ユーザの肌の色と同様の色を持つ領域を意味する。

位置取得部２３０は、まず、撮影画像から、肌色領域を抽出する。そして、位置取得部２３０は、肌色領域のエッジの形状から、指の領域を推定し、推定した指の領域から、指先領域を推定する。

より具体的には、位置取得部２３０は、肌色領域の輪郭点を順に走査していき、注目している輪郭点と前後数要素分だけ離れた他の２つの輪郭点のそれぞれとを結ぶ２つのベクトルを定義する。位置取得部２３０は、これら２つのベクトルが成す角が所定の範囲内であり、かつ、注目している輪郭点の上記２つの輪郭点を結ぶ線に対する線対称位置が肌色領域に含まれているという条件が満たされるか否かを判断する。

位置取得部２３０は、かかる条件が満たされるとき、注目している輪郭点が、指先のエッジを構成すると判定する。そして、位置取得部２３０は、指先のエッジを構成すると判定された輪郭点に基づいて、指先領域を決定する。例えば、位置取得部２３０は、指先のエッジを構成すると判定された複数の点を通る円あるいは楕円に囲まれた領域を、指先領域と判断する。

このような手法を用いることにより、指先領域を簡単に取得することが可能となる。

＜指先相対位置＞
位置取得部２３０は、例えば、指先領域の中心位置を、撮影画像における指先の位置として取得する。そして、位置取得部２３０は、例えば、取得した指先の位置を、顔を基準として定まる座標系（以下「顔座標系」という）における座標値に変換する。すなわち、位置取得部２３０は、撮影画像における指先の位置を、顔座標系にマップする。顔座標系における指先の位置は、つまり、指先相対位置である。

図４は、顔座標系の一例を示す図である。

図４に示すように、顔座標系４２１は、例えば、左目の中心４２２および右目の中心４２３を通る軸４２４をＸ軸とし、Ｘ軸に直交し、かつ、左目の中心４２２と右目の中心４
２３との間の中点を通る軸４２５をＹ軸とする座標系である。なお、顔座標系４２１の単位長さは、左目の中心４２２と右目の中心４２３との間の距離を基準とした長さ等、複数の顔特徴点の間の距離に比例した長さであることが望ましい。

なお、顔座標系は、図４に示す例に限定されない。例えば、顔座標系は、鼻先と右目の目尻とを通る軸と、鼻先と左目の目尻とを通る軸によって定義されてもよい。

このような指先相対位置を取得することにより、ユーザが顔のどの部分に対してメイクアップを施したいかを、判断することが可能となる。

＜指先接触の判定の手法＞
接触判定部２４０は、例えば、非特許文献２に記載の技術を用いて、顔画像および指先領域から、指先接触の判定を行う。

すなわち、接触判定部２４０は、撮影画像における指先の色模様（つまり指先領域の色模様）を、短い時間間隔で繰り返し取得する。そして、接触判定部２４０は、指先領域の色模様が変化したか否かを判定し、かかる色模様の変化に基づいて、指先が顔に接触しているか否かを判定する。この判定は、例えば、予め用意された、非接触時の色模様パターンおよび接触時の色模様パターンのうち、どちらにより近似しているかを判定することによって行ってもよいし、色模様の変化の方向に基づいて行ってもよい。

このような手法を用いることにより、指先が顔に接触しているか否かを、簡単に判定することが可能となる。

＜メイクアップテーブル＞
図５は、メイクアップ情報格納部２５０が格納するメイクアップテーブルの内容の一例を示す図である。

図５に示すように、メイクアップテーブル４３０は、例えば、接触位置の範囲４３１に対応付けて、メイクアップ種別４３２、色４３３、濃度４３４、および範囲４３５を記述している。

接触位置の範囲４３１は、顔特徴点を基準として、あるいは、顔座標系を基準として定まる、接触位置の範囲である。例えば、接触位置の範囲４３１は、眉の輪郭上に位置する複数の顔特徴点を結んだ領域を、所定の幅だけ膨張させた範囲（以下「眉周辺領域」という）である。

メイクアップ種別４３２は、ここでは簡略化して図示しているが、具体的には、「アイブロウ」、「ファンデーション」、「アイシャドウ」、「口紅」、および「チーク」等である。例えば、上述の眉周辺領域を示す接触位置の範囲４３１に対応するメイクアップ種別４３２は、「アイブロウ」である。

色４３３は、ここでは簡略化して図示しているが、具体的には、ＲＧＢ値および光沢度等である。例えば、上述の眉周辺領域を示す接触位置の範囲４３１に対応する色４３３は、「ダークブラウン」である。

濃度４３４は、ここでは簡略化して図示しているが、具体的には、顔画像の上に重畳する際の透過度およびグラデーションの仕方等である。例えば、上述の眉周辺領域を示す接触位置の範囲４３１に対応する濃度４３４は、「７０％」である。

範囲４３５は、ここでは簡略化して図示しているが、具体的には、接触位置を含む比較
的小さい範囲である。例えば、上述の眉周辺領域を示す接触位置の範囲４３１に対応する範囲４３５は、「接触位置を中心とする直径３ｍｍの円の内部」である。この範囲４３５は、実際のメイクアップにおいて使用される筆やスティックの太さに相当する。なお、この場合、１つの接触位置に対して、直径３ｍｍの点描状のメイクアップの部分が対応することになる。

このようなメイクアップテーブル４３０を用いることにより、接触位置から、ユーザがメイクアップの作業の対象としているメイクアップの種別を的確に判断することが可能となる。そして、このメイクアップ種別に対応して、適切なメイクアップの色、メイクアップの濃度、および接触位置を基準としたメイクアップの適用範囲を、決定することが可能となる。

＜メイクアップ画像の重畳手法＞
メイクアップ提アップ示部２７０は、メイクアップ情報から、メイクアップ画像を生成する。なお、メイクアップ画像の生成は、例えば、各時刻におけるメイクアップ情報が示す点描状のメイクアップ画像を、その時点までに同一のメイクアップ種別について生成されたメイクアップ画像に合成していくことにより、行われる。これにより、メイクアップ提示部２７０は、指先の移動にしたがって、指先の軌跡に沿ってメイクアップを適用する領域を広げていくことができる。すなわち、実際のメイクアップの作業において化粧料が適用される過程と同様の過程を、メイクアップ画像の生成において実現することができる。

メイクアップ提示部２７０は、例えば、アルファ（α）ブレンド処理等の公知の画像合成処理を用いて、顔画像に対し、メイクアップ画像を重畳する。この場合のα値は、メイクアップの濃度に応じた値に設定される。アルファブレンド処理は、例えば、以下の式（１）〜（３）で表される。ここで、ｒ１、ｇ１、ｂ１は、顔画像の任意の領域のＲＧＢ値である。また、ｒ２、ｇ２、ｂ２は、メイクアップ画像の任意の領域のＲＧＢ値である。そして、Ｒ、Ｇ、Ｂは、シミュレーション画像の対応する領域のＲＧＢ値である。

Ｒ ＝ ｒ２×α＋ｒ１×（１−α） ・・・（１）
Ｇ ＝ ｇ２×α＋ｇ１×（１−α） ・・・（２）
Ｂ ＝ ｂ２×α＋ｂ１×（１−α） ・・・（３）
このような手法を用いることにより、より自然なメイクアップシミュレーション画像を得ることが可能となる。

＜メイクアップ支援装置の動作＞
次に、メイクアップ支援装置１００の動作について説明する。

図６は、メイクアップ支援装置１００の動作の一例を示すフローチャートである。

まず、ステップＳ１１００において、撮影部２１０は、ユーザの顔の映像の撮影を開始し、画像取得部２２０は、撮影画像の取得を開始する。また、位置取得部２３０は、撮影画像から顔特徴点の取得を開始し、メイクアップ提示部２７０は、撮影画像の表示部２８０への転送（つまり、表示部２８０における撮影画像の表示）を開始する。

図７は、指先が顔に接触する前の撮影画像の一例を示す図である。

図７に示すように、撮影画像５１０は、顔画像５１１を含む。ユーザは、メイクアップをしていない状態である。撮影画像５１０からは、例えば、図３に示すような顔特徴点が抽出されて、顔特徴点の情報が生成される。

そして、ステップＳ１２００において、位置取得部２３０は、撮影画像に指先の画像（指先領域）が含まれているか否かを判断する。位置取得部２３０は、撮影画像に指先の画像が含まれていない場合（Ｓ１２００：ＮＯ）、処理をステップＳ１３００へ進める。また、位置取得部２３０は、撮影画像に指先の画像が含まれている場合（Ｓ１２００：ＹＥＳ）、処理をステップＳ１４００へ進める。

ステップＳ１３００において、画像取得部２２０は、映像の入力が継続しているか否かを判断する。画像取得部２２０は、映像の入力が継続している場合（Ｓ１３００：ＹＥＳ）、処理をステップＳ１４００へ戻し、次の撮影画像に処理を移す。

ステップＳ１４００において、位置取得部２３０は、指先領域および指先相対位置を取得する。

図８は、接触が開始したときのシミュレーション画像の一例を示す図である。ここでは、ユーザが、人差し指で左眉を撫でようとしているときの例を示す。

図８に示すように、ユーザが、左眉５１２のアイブロウのメイクアップシミュレーションを行うために、指先を左眉５１２の眉頭に接触させたとする。この場合、位置取得部２３０は、顔画像５１１から、指先領域５２１および指先相対位置５２２を取得する。

なお、メイクアップ提示部２７０は、指先が顔に接触している間、その接触位置を示すマーカを、併せて表示することが望ましい。マーカは、図８に示すようなリング状の図形５２３でもよいし、点状その他の図形でもよい。また、マーカは、点滅してもよい。

そして、図６のステップＳ１５００において、接触判定部２４０は、顔画像５１１から、指先の色模様を取得し、取得した色模様を、メイクアップ支援装置１００内のメモリに記録する。この結果、メイクアップ支援装置１００には、指先の色模様の時系列データが蓄積される。

そして、ステップＳ１６００において、接触判定部２４０は、蓄積された指先の色模様の時系列データから、指先が顔に接触しているか否かを判定する。接触判定部２４０は、指先が顔に接触している場合（Ｓ１６００：ＹＥＳ）、処理をステップＳ１７００へ進める。

ステップＳ１７００において、メイクアップ決定部２６０は、メイクアップテーブル４３０（図５参照）を参照し、接触位置からメイクアップ種別およびメイクアップの適用領域を決定する。ここで決定されるメイクアップに対応する画像は、上述の通り、例えば、点描状のメイクアップ画像である。

そして、ステップＳ１８００において、メイクアップ提示部２７０は、指先が顔に接触してから次に顔から離れる前までのメイクアップ画像（以下「メイクアップ適用中の画像」という）を生成する。そして、メイクアップ提示部２７０は、生成したメイクアップ適用中の画像を顔画像に重畳して、メイクアップ作業中のシミュレーション画像を生成する。そして、メイクアップ提示部２７０は、処理をステップＳ１３００へ進める。

ここで、メイクアップ提示部２７０は、過去に連続して生成されたメイクアップ適用中の画像に、新たに生成されたメイクアップ画像を合成して、新たなメイクアップ適用中の画像を生成する。このため、メイクアップ提示部２７０は、メイクアップ適用中の画像を生成する毎に、その画像の、色、濃度、および範囲を、メイクアップ支援装置１００のメモリに記憶する。記憶される画像の範囲は、例えば、顔座標系の座標値によって定義される。すなわち、メイクアップ支援装置１００は、顔に対する相対位置を含めて、メイクアップ適用中の画像を記憶する。

図９は、接触位置が移動したときのシミュレーション画像の一例を示す図である。ここでは、ユーザが、人差し指で左眉を撫でているときの例を示す。

図９に示すように、シミュレーション画像５１０ａでは、顔画像５１１に、左眉のアイブロウの適用中の画像５３１ａが重畳されている。画像５３１ａは、言い換えると、指先位置の軌跡上に、アイブロウについて定められた大きさの領域を並べて配置したときの、全ての領域の論理和である。

なお、実際のメイクアップにおいては、眉毛の全部または一部を剃るなどの処理をした上で、元々の眉毛とは異なる形状あるいは位置でアイブロウを描くことがある。そこで、メイクアップ提示部２７０は、アイブロウのメイクアップ画像を生成する場合、顔画像から眉を消去する処理を併せて行うことが望ましい。

この処理は、例えば、以下のようにして行われる。まず、メイクアップ提示部２７０は、顔画像のうち、顔特徴点の位置に基づいて、眉間の部分の色を肌色として抽出する。そして、メイクアップ提示部２７０は、アイブロウの適用領域（適用中画像）の周囲の所定の幅の範囲を、抽出した肌色で上書きする。なお、眉毛を消去する手法としては、上記手法以外にも、眉毛領域を抽出し、眉毛領域の画素を、周囲の非眉毛領域の画素値で補間したもので置き換えるという手法もある。

また、メイクアップ提示部２７０は、アイブロウを塗布する操作を行う前に、眉毛を消去するために眉毛領域を肌色で塗りつぶす操作を受け付けるようにしてもよい。この場合、例えば、眉毛を消去した後の画像に、メイクアップ決定部２６０で選択されたメイクアップ種別の画像を合成する。

また、指の画像の上にメイクアップ画像が重畳されると、不自然である。したがって、メイクアップ提示部２７０は、例えば、メイクアップ画像のうち、指先領域と重複する部分を、一時的に透明色にするようにしてもよい。

指先が顔に接触していない場合（Ｓ１６００：ＮＯ）、接触判定部２４０は、処理をステップＳ１９００へ進める。処理がステップＳ１９００へ進むのは、ユーザが指先を顔に接触させる前、あるいは、１つの塗布操作が終わって指先が顔から離れた後である。

ステップＳ１９００において、メイクアップ提示部２７０は、１つの塗布操作が完了したか否かを判断する。この判断は、例えば、直前のタイミングにおいて指先が顔に接触していたか否かを判断することにより行われる。メイクアップ提示部２７０は、１つの塗布操作が完了した場合（Ｓ１９００：ＹＥＳ）、処理をステップＳ２０００へ進める。また、メイクアップ提示部２７０は、１つの塗布操作が開始も完了もしていない場合（Ｓ１９００：ＮＯ）、処理をステップＳ１３００へ進める。

ステップＳ２０００において、メイクアップ提示部２７０は、指先が顔に接触してから次に顔から離れるまでのメイクアップ画像（以下「メイクアップ適用後の画像」という）を生成する。メイクアップ提示部２７０は、生成したメイクアップ適用後の画像を顔画像に重畳して、シミュレーション画像を生成し、表示部２８０に表示させる。そして、メイクアップ提示部２７０は、処理をステップＳ１３００へ進める。

ところで、指先で顔を撫でる場合、化粧用の筆やスティックを顔の表面で走らせる場合に比べて、軌跡が荒くなり易い。また、実際には滑らかな軌跡であったとしても、顔特徴点の位置や接触位置に検出誤差が生じた結果、荒い軌跡として誤検出される場合もある。

そこで、メイクアップ提示部２７０は、ステップＳ２０００において、生成したメイクアップ適用後の画像を整形する。より具体的には、メイクアップ提示部２７０は、メイクアップ適用後の画像のエッジの形状を平滑化し、かつ、エッジ部分において色が滑らかに変化するように、エッジ部分をぼかす。

図１０は、塗布操作が完了したときのシミュレーション画像の一例を示す図である。ここでは、ユーザが、人差し指で左眉を撫で終えたときの例を示す。

図１０に示すように、シミュレーション画像５１０ａでは、顔画像５１１に、左眉のアイブロウのメイクアップ適用後の画像５３２ａが重畳されている。メイクアップ適用後の画像５３２ａのエッジの形状は、滑らかになっている。また、メイクアップ適用後の画像５３２ａのエッジは、ぼかしが入った状態となっている。すなわち、シミュレーション画像５１０ａは、美しく自然なアイブロウが施された状態を表示した画像となっている。

なお、メイクアップ提示部２７０は、メイクアップ適用後の画像を生成する毎に、そのメイクアップ適用後の画像の、色、濃度、および範囲を、メイクアップ支援装置１００のメモリに記憶する。記憶されるメイクアップ適用後の画像の範囲は、例えば、顔座標系の座標値によって定義される。すなわち、メイクアップ支援装置１００は、顔に対する相対位置を含めて、メイクアップ適用後の画像を記憶する。

そして、画像取得部２２０は、映像の入力が終了した場合（Ｓ１３００：ＮＯ）、一連の処理を終了する。

このような処理により、メイクアップ支援装置１００は、指先を撫でる動作に追従して、顔画像に対してメイクアップを施していくことができる。また、メイクアップ支援装置１００は、顔に対する相対位置を含めてメイクアップ適用中の画像およびメイクアップ適用後の画像を記憶することができる。したがって、メイクアップ支援装置１００は、ユーザの顔の位置や向きが変化したとしても、メイクアップシミュレーションを継続することができる。

なお、以上説明した動作では、左眉に対して指先を接触させた場合、つまり、左眉のアイブロウをメイクアップシミュレーションの対象とした場合について説明した。しかしながら、メイクアップ支援装置１００は、アイシャドウ、チーク、およびリップ等、他のメイクアップ種別についても、同様にメイクアップシミュレーションを実現することができる。

＜本実施の形態の効果＞
以上のように、本実施の形態に係るメイクアップ支援装置１００は、指先等の指示体を顔に接触させることにより、メイクアップシミュレーションの対象となるメイクアップを決定することができる。これにより、メイクアップ支援装置１００は、顔に対して実際にメイクアップ作業を行っているような感覚を、ユーザに与えることができる。

＜他の指示体＞
なお、接触判定の対象となる指示体は、上述の例に限定されない。例えば、位置取得部２３０は、タッチペンのペン先や、化粧用の筆先を、指示体として認識するようにしてもよい。位置取得部２３０は、人差し指等、特定の指のみを指示体として認識するようにしてもよい。

＜他の指示体位置取得手法＞
また、指示体の位置の手法は、上述の例に限定されない。例えば、指示体の先に特殊なマーカやＬＥＤ等の光信号発生部を設けた場合、撮影画像から容易に指示体の位置を取得することが可能となる。

また、位置取得部２３０は、ステレオ画像等により得られる、顔の各部の３次元位置および指示体の３次元位置から、指先相対位置を取得してもよい。

＜他の接触判定手法＞
また、接触判定の手法は、上述の例に限定されない。例えば、接触判定部２４０は、ユーザの顔を上方から撮影した画像から、指先と顔との距離を推定することにより行ってもよい。また、接触判定部２４０は、指先が顔に接触しているか否かを示す所定の操作をユーザから受け付け、当該操作に基づいて、接触判定を行ってもよい。かかる所定の操作としては、例えば、所定のボタンの押下、親指を立てる等の所定のジェスチャ、および発声を採用することができる。

また、接触判定部２４０は、指先（例えば、人差し指の先）が接触（押下）された際には圧力により指の幅が増加することを利用して、指先接触の判定を行ってもよい。この場合、接触判定部２４０は、例えば、撮影画像から指先の幅を逐次検出し、指先の幅の変化を取得する。また、接触判定部２４０は、例えば、指先に圧力センサ等を装着して、指先接触の判定を行ってもよい。

＜他のメイクアップ決定手法＞
また、メイクアップ決定の手法は、上述の例に限定されない。例えば、メイクアップ決定部２６０は、指先の顔への接触に先立って、メイクアップ画像の生成の対象となるメイクアップの種別、色、濃度、および接触位置に対する塗布領域の大きさ（太さ）に対する選択を、ユーザから受け付けてもよい。具体的には、例えば、メイクアップ決定部２６０は、化粧品パレットを模した複数の色アイコンを撮影画像（シミュレーション画像）と併せて表示する。そして、直前に選択操作が行われた色アイコンに対応する色および濃度を、メイクアップの色および濃度として採用する。あるいは、メイクアップ決定部２６０は、撮影画像から、肌色、髪の色、および服の色等を抽出し、抽出した色に合う色および濃度のメイクアップを、メイクアップ画像を生成する対象として決定してもよい。

また、メイクアップ決定部２６０は、例えば、顔特徴点の位置に対応してメイクアップ種別毎に予め決定された形状のマスク領域を記憶しておき、このマスク領域の範囲内で、メイクアップ画像を生成するようにしてもよい。これにより、唇から極端にはみ出したリップ等、不適切なメイクアップのシミュレーション画像が生成されるのを防ぐことができる。

また、メイクアップ決定部２６０は、メイクアップ種別毎に、顔特徴点の位置に対応して予め決定された形状を、メイクアップ画像の形状として採用するようにしてもよい。すなわち、メイクアップ決定部２６０は、例えば、眉付近の１点がタッチされた時点で、アイブロウ全体のメイクアップ画像を表示してもよい。これにより、例えば、子供等の手先があまり器用ではないユーザにも、メイクアップの気分を体験させることが可能となる。

また、メイクアップ決定部２６０は、左右で対になっているメイクアップ種別については、片方のメイクアップ画像を、他方に援用してもよい。この場合、他方のメイクアップの適用範囲は、顔特徴点を基準として決定されることが望ましい。

また、メイクアップ決定部２６０は、指示体が顔に接触しているときの圧力の度合い、あるいは、接触している間に別途行われるユーザ操作に基づいて、メイクアップの濃度を決定してもよい。この場合、例えば、接触判定部２４０は、指先の色模様に基づいて、指先に掛かっている圧力のレベルを取得する。そして、メイクアップ決定部２６０は、指先に掛かっている圧力のレベルが高いほど、より高い濃度を決定する。

＜他のメイクアップ画像生成手法＞
また、メイクアップ画像の生成手法は、上述の例に限定されない。例えば、メイクアップ提示部２７０は、メイクアップ適用中の画像を表示せずに、メイクアップ適用後の画像のみを表示するようにしてもよい。また、メイクアップ提示部２７０は、各接触位置において、肌部分とメイクアップの範囲との境界部分に対するぼかし処理を行ってもよい。また、メイクアップ提示部２０は、特にこの場合においては、メイクアップ画像の平滑化処理を行わなくてもよい。

また、メイクアップ提示部２７０は、メイクアップ画像に対する消去操作を受け付けてもよい。この場合、メイクアップ提示部２７０は、例えば、メイクアップ画像のうち、特定の指示体（例えば、小指や、タッチペンのペン先とは反対側の端部）の接触位置を中心とする所定の範囲の画像部分を消去する。これにより、メイクアップ支援装置１００は、実際のメイクアップ作業における拭き取り作業と同様の感覚を、ユーザに与えることが可能となる。

＜その他の構成の変形例＞
また、メイクアップテーブルは、必ずしもメイクアップ支援装置１００に格納されていなくてもよい。例えば、メイクアップ支援装置１００がネットワークに接続可能である場合、メイクアップ支援装置１００は、メイクアップテーブルが格納されたネットワーク上のサーバにアクセスして、メイクアップを選択すればよい。

また、メイクアップ支援装置１００は、例えば、図２に示す機能部のうち、撮影部２１０および表示部２８０のみをユーザの所持する端末に配置し、他の装置部をネットワーク上のサーバ上に配置する等、分散配置型のシステムであってもよい。

また、メイクアップ支援装置１００は、外光を検出し、撮影画像から、外光の影響を軽減した状態で、顔特徴点の取得を行うようにしてもよい。

また、メイクアップ支援装置１００は、メイクアップに必要な化粧品の情報を、例えば外部サーバから取得し、シミュレーション画像と併せてユーザに提示してもよい。

また、メイクアップ支援装置１００は、前髪、髭、皺、ほくろ等を、シミュレーション画像の生成の対象となるメイクアップに含めてもよい。

本開示のメイクアップ支援装置は、顔に対する、所定の指示体の相対位置を取得する位置取得部と、前記指示体が前記顔に接触しているか否かを判定する接触判定部と、前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方であるメイクアップを決定するメイクアップ決定部と、前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するメイクアップ提示部と、を有する。

なお、上述のメイクアップ支援装置において、前記メイクアップ決定部は、前記接触位置に基づいて、前記メイクアップを施す領域を決定してもよい。

また、上述のメイクアップ支援装置において、前記メイクアップ提示部は、前記メイクアップの種別毎に、前記メイクアップを施す領域を整形してもよい。

また、上述のメイクアップ支援装置において、前記位置取得部は、前記顔画像から、前記顔の顔特徴点の位置および前記指示体の位置を取得し、取得した前記顔特徴点の位置および前記指示体の位置に基づいて、前記相対位置を取得してもよい。

また、上述のメイクアップ支援装置において、前記指示体は、指先であり、前記接触判
定部は、前記指先の色模様の変化に基づいて、前記顔に前記指先が接触しているか否かを判定してもよい。

また、上述のメイクアップ支援装置は、前記顔画像を撮影する撮影部と、生成された前記シミュレーション画像を表示する表示部と、を更に有してもよい。

また、上述のメイクアップ支援装置において、前記メイクアップ決定部は、前記接触位置に基づいて、前記メイクアップの種別を決定してもよい。

また、上述のメイクアップ支援装置は、前記顔の映像を撮影する撮影部と、前記映像を構成する画像を取得する画像取得部と、を更に有し、前記メイクアップ提示部は、決定された前記メイクアップを施す領域の前記顔に対する相対位置を保持し、前記表示部は、前記映像に沿って、前記シミュレーション画像を順次表示してもよい。

本開示のメイクアップ支援方法は、顔に対する、所定の指示体の相対位置を取得するステップと、前記指示体が前記顔に接触しているか否かを判定するステップと、前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定するステップと、前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するステップと、を有する。

本開示のメイクアップ支援プログラムは、コンピュータに、顔に対する、所定の指示体の相対位置を取得する処理と、前記指示体が前記顔に接触しているか否かを判定する処理と、前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定する処理と、前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成する処理と、を実行させる。

本開示は、顔に対して実際にメイクアップ作業を行っているような感覚を得ることができる、メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムとして有用である。

１００ メイクアップ支援装置
２１０ 撮影部
２２０ 画像取得部
２３０ 位置取得部
２４０ 接触判定部
２５０ メイクアップテーブル格納部
２６０ メイクアップ決定部
２７０ メイクアップ提示部
２８０ 表示部

Claims (10)

1. 顔に対する、所定の指示体の相対位置を取得する位置取得部と、
   前記指示体が前記顔に接触しているか否かを判定する接触判定部と、
   前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定するメイクアップ決定部と、
   前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するメイクアップ提示部と、を有する、
   メイクアップ支援装置。
2. 前記メイクアップ決定部は、
   前記接触位置に基づいて、前記メイクアップの適用領域を決定する、
   請求項１に記載のメイクアップ支援装置。
3. 前記メイクアップ提示部は、
   前記メイクの種別毎に、前記メイクアップの適用領域を整形する、
   請求項１に記載のメイクアップ支援装置。
4. 前記位置取得部は、
   前記顔画像から、前記顔の顔特徴点の位置および前記指示体の位置を取得し、取得した前記顔特徴点の位置および前記指示体の位置に基づいて、前記相対位置を取得する、
   請求項１に記載のメイクアップ支援装置。
5. 前記指示体は、指先であり、
   前記接触判定部は、
   前記指先の色模様の変化に基づいて、前記顔に前記指先が接触しているか否かを判定する、
   請求項４に記載のメイクアップ支援装置。
6. 前記顔画像を撮影する撮影部と、
   生成された前記シミュレーション画像を表示する表示部と、を更に有する、
   請求項５に記載のメイクアップ支援装置。
7. 前記メイクアップ決定部は、
   前記接触位置に基づいて、前記メイクアップの種別を決定する、
   請求項１に記載のメイクアップ支援装置。
8. 前記顔の映像を撮影する撮影部と、
   前記映像を構成する画像を取得する画像取得部と、を更に有し、
   前記メイクアップ提示部は、
   決定された前記メイクの塗布領域の前記顔に対する相対位置を保持し、
   前記表示部は、
   前記映像に沿って、前記シミュレーション画像を順次表示する、
   請求項１に記載のメイクアップ支援装置。
9. 顔に対する、所定の指示体の相対位置を取得するステップと、
   前記指示体が前記顔に接触しているか否かを判定するステップと、
   前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に
   基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方決定するステップと、
   前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するステップと、を有する、
   メイクアップ支援方法。
10. コンピュータに、
    顔に対する、所定の指示体の相対位置を取得する処理と、
    前記指示体が前記顔に接触しているか否かを判定する処理と、
    前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定する処理と、
    前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成する処理と、を実行させる、
    メイクアップ支援プログラム。

Images