JPWO2015029392A1 - メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム - Google Patents

メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム Download PDF

Info

Publication number
JPWO2015029392A1
JPWO2015029392A1 JP2015533981A JP2015533981A JPWO2015029392A1 JP WO2015029392 A1 JPWO2015029392 A1 JP WO2015029392A1 JP 2015533981 A JP2015533981 A JP 2015533981A JP 2015533981 A JP2015533981 A JP 2015533981A JP WO2015029392 A1 JPWO2015029392 A1 JP WO2015029392A1
Authority
JP
Japan
Prior art keywords
eyebrow
image
region
makeup
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015533981A
Other languages
English (en)
Other versions
JP6368919B2 (ja
Inventor
桂子 泉
桂子 泉
陽一 合田
陽一 合田
智史 山梨
智史 山梨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2015029392A1 publication Critical patent/JPWO2015029392A1/ja
Application granted granted Critical
Publication of JP6368919B2 publication Critical patent/JP6368919B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

メイクアップ支援装置(100)は、顔を撮影した画像である顔画像を取得する画像取得部(220)と、顔画像のうち、眉頭および眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する閾値決定部(240)と、閾値を用いて、顔画像から眉の領域を抽出する眉領域抽出部(250)と、眉の領域の周辺の領域の色のうち、眉頭側の色を優先的に用いて、顔画像に対して眉の領域を塗り潰す処理である、眉消去処理を行う眉消去部(260)と、眉消去処理が行われた後の顔画像を表示する表示部(300)とを有する。

Description

本開示は、顔のメイクアップを支援するメイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムに関する。
近年、顔のメイクアップの仕方(以下、単に「メイクアップ」という)の多様化が進んでいる。無数の選択肢の中から適切なメイクアップを選択することは、特にメイクアップについての十分な知識を有さない人にとって、困難である。あらゆるメイクを実際に試して判断および比較を行うことは、膨大な時間および手間を要するからである。
そこで、メイクアップが適用されたときの顔のシミュレーション画像を生成して提示する技術が、例えば、特許文献1および特許文献2に記載されている。特許文献1および特許文献2に記載の技術は、メイクアップの対象となる顔(以下、単に「顔」という)を撮影した画像(以下「顔画像」という)を取得する。そして、特許文献1および特許文献2に記載の技術は、顔画像に、メイクアップを顔に適用したときの状態を示す画像を重畳して、シミュレーション画像を生成し、表示する。
かかる技術によれば、実際にメイクアップを行うことなく、メイクアップの良し悪しを判断することが可能となる。すなわち、より少ない時間および手間で適切なメイクアップを選択することが可能となる。
ところで、実際のメイクアップにおいて、眉毛の処理をした上で眉を塗布することは、広く行われている。このようなメイクアップのシミュレーション画像を生成する場合、眉が無い状態の顔画像を用意することが望ましい。
そこで、顔画像から眉を消去する技術が、例えば特許文献3および特許文献4に記載されている。特許文献3に記載の技術は、ユーザから、顔画像における眉の領域の指定を受け付け、顔画像のうち首の領域と同じ色を、眉の領域を含む少し広めの領域に対して塗布する。特許文献4に記載の技術は、顔画像において眉の輪郭を探索し、眉の輪郭に囲まれた領域を含む少し広めの領域を、眉の輪郭の周囲の色で塗り潰す。
これらの技術によれば、実際に眉毛を処理することなく、眉が無い顔画像を得ることができる。
特開2001−346627号公報 特開2007−175384号公報 特開2007−257165号公報 国際公開第2009/022631号 特開2003−44837号公報
大津展之、「判別および最小2乗規準に基づく自動しきい値選定法」、電子情報通信学会論文誌D、Vol.J63−D、No.4、pp.349−356、1989年4月
しかしながら、特許文献3および特許文献4に記載の従来技術では、実際に眉毛の処理をした場合の顔画像とは大きく異なる、不自然な顔画像が生成されるおそれがある。
理由は以下の通りである。眉の付近の肌の色は、首の領域の肌の色と異なる場合が多い。したがって、特許文献3に記載の技術では、眉の領域の色だけ浮いた色となるおそれがある。また、眉の付近には、特に眉尻の側に、髪の毛が掛かることが多い。したがって、特許文献4に記載の技術では、眉の領域の色が、髪の毛の色が混じった肌色で塗り潰されるおそれがある。そして、いずれの技術においても、誤った領域が眉の領域として決定あるいは検出されることにより、眉の色が部分的に残ったり、目の領域が塗り潰されたりするおそれがある。
眉を消去する処理が行われた後の顔画像(以下「眉が消去された画像」という)が不自然な場合、シミュレーション画像も不自然なものとなり、ユーザがメイクアップの良し悪しを的確に判断することが困難となる。したがって、実際に眉毛の処理をした状態にできるだけ近い画像を、得られることが望ましい。
本開示の目的は、実際に眉毛の処理をした状態により近い画像を得ることができる、メイクアップアップ支援装置、メイクアップアップ支援方法、およびメイクアップアップ支援プログラムを提供することである。
本開示の一態様に係るメイクアップアップ支援装置は、顔を撮影した画像である、顔画像を取得する画像取得部と、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する閾値決定部と、前記閾値を用いて、前記顔画像から眉の領域を抽出する眉領域抽出部と、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う眉消去部と、前記眉消去処理が行われた後の前記顔画像を表示する表示部と、を有する。
本開示の一態様に係るメイクアップアップ支援方法は、顔を撮影した画像である、顔画像を取得するステップと、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定するステップと、前記閾値を用いて、前記顔画像から眉の領域を抽出するステップと、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行うステップと、前記眉消去処理が行われた後の前記顔画像を表示するステップと、を有する。
本開示の一態様に係るメイクアップアップ支援プログラムは、コンピュータに、顔を撮影した画像である、顔画像を取得する処理と、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する処理と、前記閾値を用いて、前記顔画像から眉の領域を抽出する処理と、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う処理と、前記眉消去処理が行われた後の前記顔画像を表示する処理と、を実行させる。
本開示によれば、実際に眉毛の処理をした場合の顔画像により近い画像を得ることができる。
なお、包括的又は具体的な態様は、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよい。また、包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
本開示の実施の形態1に係るメイクアップアップ支援装置の構成の一例を示すブロック図 本開示の実施の形態2に係るメイクアップアップ支援装置の構成の一例を示すブロック図 実施の形態2における部分画像の抽出手法の第1の例を示す図 実施の形態2における部分画像の抽出手法の第2の例を示す図 実施の形態2における2値化画像の一例を示す図 実施の形態2における眉包含領域の一例を示す図 実施の形態2における目包含領域の一例を示す図 実施の形態2における眉の領域を抽出する手法の一例を示す図 実施の形態2における補間枠の一例を示す図 実施の形態2における眉マスクの一例を示す図 実施の形態2における補間枠の移動パターンを示す図 実施の形態2における眉の領域の補間に用いられるα値の一例を示す図 実施の形態2におけるメイクアップテーブルの内容の一例を示す図 実施の形態2におけるメイクアップ情報テーブルの内容の一例を示す図 実施の形態2に係るメイクアップアップ支援装置の動作の一例を示すフローチャート 実施の形態2において取得される撮影画像の一例を示す図 実施の形態2において生成される顔部品情報の一例を示す図 実施の形態2において生成される眉消去顔画像の一例を示す図 実施の形態2において生成されるシミュレーション画像の一例を示す図
以下、本開示の各実施の形態について、図面を参照して詳細に説明する。
(実施の形態1)
本開示の実施の形態1は、本開示の基本的態様の一例である。
図1は、本実施の形態に係るメイクアップアップ支援装置の構成の一例を示すブロック図である。
図1において、メイクアップアップ支援装置100は、画像取得部220、閾値決定部240、眉領域抽出部250、眉消去部260、および表示部300を有する。
画像取得部220は、顔を撮影した画像である、顔画像を取得する。撮影される顔は、例えば、メイクアップアップを行う対象となる顔である。
閾値決定部240は、画像取得部220により取得された顔画像のうち、眉頭および眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、眉の領域を判定するための、画素値の閾値を決定する。
眉領域抽出部250は、閾値決定部240により決定された閾値を用いて、画像取得部220により取得された顔画像から眉の領域を抽出する。
眉消去部260は、眉領域抽出部250により抽出された眉の領域の周辺の領域の色のうち、眉頭側の色を優先的に用いて、顔画像に対して眉の領域を塗り潰す処理である、眉消去処理を行う。
表示部300は、眉消去部260により眉消去処理が行われた後の顔画像を表示する。
メイクアップアップ支援装置100は、図示しないが、例えば、CPU(Central Processing Unit)、制御プログラムを格納したROM(Read Only Memory)等の記憶媒体、およびRAM(Random Access Memory)等の作業用メモリを有する。この場合、上記した各部の機能は、CPUが制御プログラムを実行することにより実現される。
このようなメイクアップアップ支援装置100は、眉により近く、かつ、髪が掛かっていない可能性がより高い領域である、眉頭側の領域の画像情報に基づいて、眉の領域の抽出および塗り潰しを行うことができる。したがって、メイクアップアップ支援装置100は、より高精度に眉の領域を抽出し、かつ、より適切な色で塗り潰しを行うことができる。これにより、メイクアップアップ支援装置100は、実際に眉毛の処理をした場合の顔画像により近い眉が消去された画像眉が消去された画像を得ることができる。
(実施の形態2)
本開示の実施の形態2は、本開示の具体的態様の一例である。本実施の形態は、本開示を、デジタルビデオカメラおよびタッチパネル付きのディスプレイを備えた装置に適用した例である。
<用語の説明>
まず、本実施の形態において用いられる用語について説明する。
「顔部品」とは、目、眉、鼻、頬(ほお)骨、唇、輪郭等、顔を構成する部分を指すものとする。
「顔部品ID」とは、顔部品の識別情報である。
「顔部品の領域」とは、画像上あるいは実空間上で、顔部品が占める領域を指すものとし、眉頭、眉尻、目頭、および目尻等、顔部品の特徴点の位置を含むものとする。
「メイクアップ」とは、アイブロウやアイシャドウ等の、顔部品の特徴の印象を補正して審美性の向上を図るメイクアップアップの仕方(種類)を示し、色素の色、塗布濃度、および塗布範囲を少なくとも含む。
「メイクアップ情報」とは、メイクアップの内容を示す情報であり、少なくとも、顔画像から、顔にメイクアップアップを施したときの画像を生成するために必要な情報(顔の色との差分を示す情報)を含む。
「メイクアップ種別」とは、「ファンデーション」、「アイブロウ」、「アイシャドウ」、「口紅」、および「チークメイクアップアップ」等、少なくとも顔部品との位置関係により区別されるメイクアップの種類である。
「メイクアップID」とは、メイクアップの識別情報である。
「メイクアップ画像」とは、顔にメイクアップを適用したときのメイクアップの状態を示す画像である。
<メイクアップ支援装置の構成>
次に、本実施の形態に係るメイクアップアップ支援装置の構成について説明する。
図2は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。
図2において、メイクアップ支援装置100は、撮影部210、画像取得部220、顔部品取得部230、閾値決定部240、眉領域抽出部250、眉消去部260、メイクアップ情報格納部270、メイクアップ選択部280、メイクアップ提示部290、および表示部300を有する。
撮影部210は、例えばデジタルビデオカメラであり、メイクアップアップシミュレーションの対象となる顔の映像を撮影する。そして、撮影部210は、撮影した映像を、画像取得部220へ出力する。映像は、時系列の複数の画像(フレーム画像)により構成される。なお、本実施の形態において、メイクアップシミュレーションの対象となる顔は、メイクアップ支援装置100のユーザの顔であるものとする。
画像取得部220は、入力された映像から、映像を構成する画像を順次取得する。そして、画像取得部220は、取得した画像(以下「撮影画像」という)を、顔部品取得部230へ出力する。なお、画像取得部220は、鏡を見ながらメイクアップを行っている感覚をユーザに与えるため、撮影画像に対して左右反転させる画像処理を行うことが望ましい。また、撮影画像は、メイクアップシミュレーションの対象となる顔の画像の部分(以下「顔画像」という)を含む。
顔部品取得部230は、入力された画像から、顔の顔部品の領域を取得する。顔部品の領域の取得は、例えば、画像の各部分領域と、予め用意された各顔部品のテンプレートとのマッチングにより行われる(例えば、特許文献5参照)。なお、この顔部品の領域の取得には、眉の特徴点および目の特徴点を含む、各顔部品の特徴点(以下「顔特徴点」という)の抽出が含まれる。そして、顔部品取得部230は、顔部品情報を、撮影画像と共に、閾値決定部240へ出力する。ここで、顔部品情報とは、取得された顔部品の識別情報および領域(顔特徴点の識別情報および位置を含む)を示す情報である。
閾値決定部240は、顔画像から、閾値決定用の画像を、抽出する。閾値決定用の画像は、後述の2値化閾値を決定するために用いられる領域である。本実施の形態において、閾値決定用の画像は、顔画像のうち、眉頭および眉頭の周辺を含み眉尻を含まない領域の画像であって、眉頭の位置を基準とした所定の大きさおよび形状の領域の画像である。
そして、閾値決定部240は、抽出した閾値決定用の画像から、当該画像には肌の領域および眉の領域のみが含まれるという前提の下、2値化閾値を決定する。ここで、2値化閾値とは、眉の領域を判定するための、画素値の閾値である。そして、閾値決定部240は、決定された2値化閾値を、撮影画像および顔部品情報と共に、眉領域抽出部250へ出力する。閾値決定用の画像の抽出手法および2値化閾値の決定手法の詳細については、後述する。
眉領域抽出部250は、顔部品情報を用いて、撮影画像における中間領域を推定する。ここで、中間領域とは、眉が占める大まかな領域である。また、眉領域抽出部250は、撮影画像を、2値化閾値を用いて2値化する。そして、眉領域抽出部250は、推定した中間領域に含まれる2値画像のエッジに基づいて、撮影画像における眉の領域を推定する。以下、推定された眉の領域(つまり、2値化閾値により規定される眉の領域)は、「2値眉領域」という。
更に、眉領域抽出部250は、2値眉領域を膨張させた領域を、最終的な眉の領域として抽出する。最終的な眉の領域として抽出される領域は、以下、単に「眉の領域」という。そして、閾値決定部240は、眉の領域を示す情報(以下「眉領域情報」という)を、撮影画像および顔部品情報と共に、眉消去部260へ出力する。中間領域の推定手法および眉の領域の抽出手法の詳細については、後述する。
眉消去部260は、撮影画像、顔部品情報、および眉領域情報に基づいて、顔画像に対して眉の領域を塗り潰す眉消去処理を行う。本実施の形態において、眉消去処理は、眉の領域の周辺の領域の色のうち、眉頭側の色を優先的に用いて、顔画像に対して眉の領域を塗り潰す処理である。より具体的には、眉消去処理は、例えば、顔画像から眉の領域の画像を削除して得られる画像に対して、眉頭側から眉尻側へと向かう方向で、順次、色を補間していく処理である。そして、眉消去部260は、眉消去処理が行われた後の撮影画像(以下「眉が消去された画像眉が消去された画像」という)を、顔部品情報と共に、メイクアップ提示部290へ出力する。眉消去処理の詳細については、後述する。
メイクアップ情報格納部270は、メイクアップテーブルおよびメイクアップ情報テーブルを格納している。メイクアップテーブルは、顔全体のメイクアップのパターンである複数のメイクアップパターンを定義する。メイクアップ情報テーブルは、メイクアップパターンを構成するメイクアップ種別毎に、メイクアップ情報を記述している。メイクアップ情報は、メイクアップの内容を、顔部品の領域(顔特徴点の位置)と関連付けて記述した情報である。メイクアップテーブルおよびメイクアップ情報テーブルの内容の詳細については、後述する。
メイクアップ選択部280は、ユーザから、メイクアップ情報テーブルに記述された複数のメイクアップパターンから1つを選択する選択操作を受け付ける。かかる選択操作は、例えば、上述のタッチパネル付きディスプレイを介して行われる。そして、メイクアップ選択部280は、選択されたメイクアップパターンに対応するメイクアップ情報を、メイクアップ情報テーブルから取得し、メイクアップ提示部290へ出力する。
メイクアップ提示部290は、メイクアップ情報に基づき、シミュレーション画像を生成する。このシミュレーション画像は、眉が消去された画像に、メイクアップ画像を重畳して得られる画像である。シミュレーション画像の生成の対象となるメイクアップには、例えば、眉のメイクアップが含まれる。そして、メイクアップ提示部290は、生成したシミュレーション画像を、表示部300へ出力する。シミュレーション画像の生成手法の詳細については、後述する。
表示部300は、例えば、上述のタッチパネル付きディスプレイのディスプレイ部分を含む。表示部300は、入力されたシミュレーション画像の画像データに基づき、シミュレーション画像を表示する。より具体的には、表示部300は、撮影された映像に沿って、シミュレーション画像を順次表示する。
なお、メイクアップアップ支援装置100は、図示しないが、例えば、CPU、制御プログラムを格納したROM等の記憶媒体、およびRAM等の作業用メモリを有する。この場合、上記した各部の機能は、CPUが制御プログラムを実行することにより実現される。
このようなメイクアップアップ支援装置100は、眉により近く、かつ、髪が掛かっていない可能性がより高い領域である、眉頭側の領域の画像情報に基づいて、眉の領域の抽出および塗り潰しを行うことができる。
次に、部分画像の抽出手法、2値化閾値の決定手法、中間領域の推定手法、眉の領域の抽出手法、眉消去処理、メイクアップテーブルの内容、およびメイクアップ情報テーブルの内容の詳細について、順に説明する。
<閾値決定用の画像の抽出手法>
図3は、閾値決定用の画像の抽出手法の第1の例を示す図である。
図3に示すように、顔画像(一部のみ図示する)411から、複数の顔特徴点412(図中、丸に十字の印で示す)が抽出されたとする。顔特徴点には、左右の眉山に対応する顔特徴点412L1、412R1、および、左右の眉頭に対応する顔特徴点412L2、412R2が含まれる。
閾値決定部240は、図3に示すように、例えば、左右の眉山に対応する顔特徴点412L1、412R1を上側の左右頂点とし、左右の眉頭に対応する顔特徴点412L2、412R2を通る矩形領域413を、設定する。そして、閾値決定部240は、顔画像411のうち、設定した矩形領域413に対応する領域の画像を、2値化閾値の決定に使用される閾値決定用の画像として抽出する。
図4は、閾値決定用の画像の抽出手法の第2の例を示す図であり、図3に対応するものである。図4と同一部分には同一符号を付し、これについての説明を省略する。
閾値決定部240は、図4に示すように、左の眉頭に対応する顔特徴点412L2を下側頂点とし、左の眉山に対応する顔特徴点412L1を通り、かつ、顔特徴点412L2、412L1の左右方向の距離を一辺の長さとする正方形領域413aを設定する。そして、閾値決定部240は、顔画像411のうち、設定した正方形領域413aに対応する領域の画像を、閾値決定用の画像として抽出する。
このようにして抽出される閾値決定用の画像は、目や前髪を含む可能が低く、このため、肌の領域および眉の領域のみを含んでいる可能性が高いという特徴を有する。また、眉頭の位置を基準とした所定の大きさおよび形状の領域を設定することは、容易である。したがって、閾値決定部240は、2値化閾値を決定するための領域として、肌の領域および眉の領域のみを含んでいる可能性が高い領域を、簡単に設定することができる。
なお、図3に示す手法により抽出された閾値決定用の画像では、特に、顔が正面を向いているときに、後述の2値化閾値を精度良く決定することが可能となる。また、図4に示す手法により抽出された閾値決定用の画像では、特に、顔が横を向いているときに、後述の2値化閾値を精度良く決定することが可能となる。また、顔が正面を向いているものの、片方の眉が髪の毛等で隠れている場合、他方の眉について図4に示す手法を適用することにより、後述の2値化閾値を精度良く決定することが可能となる。
<2値化閾値の決定手法>
閾値決定部240は、例えば大津の2値化と称される手法(「大津の手法」あるいは「判別分析法」ともいう)を用いて、抽出された閾値決定用の画像から、眉の領域を判定するのに適した閾値である、2値化閾値を求める。大津の2値化とは、ある値の集合を2つのクラスに分類する場合の適切な閾値を決定する手法である(例えば、非特許文献1参照)。このように、2値化閾値として、固定値ではなく、画像から選定される適切な値を用いることにより、肌の色や眉の色によらず、高精度に眉を抽出することが可能となる。
このような手法により2値化閾値が決定されると、後段の眉領域抽出部250において、眉と肌との境界がエッジとなるような2値化画像が得られる。
<中間領域の推定手法>
図5は、2値化画像のうち左眉周辺の部分の一例を示す図である。
図5に示すように、2値化画像421は、2値化閾値により眉に分類される領域(図中、黒色で示す。以下「眉判定領域」という)422と、2値化閾値により眉に分類されない領域(図中、白色で示す。以下「非眉判定領域」という)423とから成る。しかし、2値化画像421における眉判定領域422には、実際には、目の領域等、眉以外の領域が含まれ得る。
そこで、眉領域抽出部250は、眉包含領域および目包含領域に基づいて、中間領域を推定する。ここで、眉包含領域とは、眉の顔特徴点の位置から推定される、眉全体を包含する領域である。また、目包含領域とは、目の顔特徴点の位置から推定される、目全体を包含する領域である。
図6は、眉包含領域の一例を示す図である。また、図7は、目包含領域の一例を示す図である。
図6に示すように、眉包含領域431(斜線の網掛けで示す領域)は、眉の顔特徴点(図4参照)の位置を基準とする小領域432の集合である。また、図7に示すように、目包含領域441(縦線の網掛けで示す領域)は、目の顔特徴点(図4参照)の位置を基準とする小領域442の集合である。
眉領域抽出部250は、眉領域抽出部250は、図5に示す2値化画像421のうち、図6に示す眉包含領域431から図7に示す目包含領域441を除外した領域を、中間領域とする。
なお、眉の小領域432の直径は、例えば、眉山に対応する顔特徴点と眉の下側の眉頭側の顔特徴点との距離、あるいは、眉の上側の2つの顔特徴点の間の距離等、隣接する顔特徴点間の距離のうち最大値とすればよい。但し、眉尻の周囲には、髪の毛等が近接して位置する可能性が高い。また、眉のうち、眉頭および眉尻に近い部分の幅は、通常、他の部分の幅よりも狭い。したがって、眉尻(および眉頭)の顔特徴点についての小領域432の直径のみ、より小さくする(例えば、2分の1の直径にする)ことが望ましい。これにより、眉の小領域432に、髪の毛等の眉以外の部分が含まれないようにすることができる。
また、目の小領域442の直径は、例えば、目の上側の中心に対応する顔特徴点と、目の下側の中心に対応する顔特徴点との距離とすればよい。
各小領域432、442をこのような大きさとすることにより、中間領域に、眉の領域がより確実に含まれ、かつ、目の領域がより確実に含まれないようにすることができる。
なお、各小領域432、442の中心点の位置は、必ずしも、顔特徴点に一致しなくてもよく、直径との関係で、それぞれ、眉の領域および目の領域を包含するような位置であればよい。例えば、眉の小領域432の中心点の位置は、眉特徴点に基いて推定される眉の中心線に沿って、配置されていてもよい。この場合、例えば、眉の小領域432の数は、7個とし、眉の小領域432の配置は、眉の中心線上に等間隔の配置とする。そして、眉の小領域432の直径は、眉の上側の2つの顔特徴点の間の距離の3分の2とする。なお、この場合においても、眉尻(および眉頭)の顔特徴点についての小領域432の直径を、より小さくする(例えば、2分の1の直径にする)ことが望ましい。
このような手法により、眉領域抽出部250は、より少ない処理負荷で、眉の領域がより確実に含まれ、かつ、目の領域がより確実に含まれないような領域を、中間領域として設定することができる。そして、眉領域抽出部250は、2値化画像のうち、このような中間領域において眉のエッジを探索することにより、眉の領域を高精度に抽出することができる。
しかしながら、実際の眉と肌の境界はぼやけていることが多いため、2値化画像の眉のエッジは、実際の眉の外縁よりも内側となることがある。
そこで、眉領域抽出部250は、2値化画像から推定された2値眉領域に基づいて、より確実に実際の眉の外縁を含む領域を、眉の領域として抽出する。
<眉の領域の抽出手法>
図8は、2値化画像から推定された2値眉領域に基づいて、眉の領域を抽出する手法の一例を示す図である。
2値化画像からは、例えば、図8(A)に示すような、2値眉領域451が推定される。図8(B)は、図8(A)に示す2値眉領域451の一部を拡大した図である。
眉領域抽出部250は、図8(A)に示す2値眉領域451を、より確実に実際の眉の外縁を含むように、膨張させる。図8(C)および図8(D)は、図8(A)および図8(B)に示す2値眉領域451に対して、縦横それぞれの方向に2画素ずつ、領域を拡大させることにより、膨張させたときの眉の領域を示す。なお、図8(D)において、灰色領域は、膨張により拡大した領域を示す。
なお、膨張の量(幅、段数、あるいは画素数)は、固定値であってもよいし、可変値であってもよい。眉領域抽出部250は、例えば、左右の眉頭の間の距離に合わせて、膨張の量を変化させてもよい。但し、膨張の量は、目の領域や髪の毛の領域が含まれない範囲であることが望ましい。
このような手法により、眉領域抽出部250は、実際の眉の領域がより確実に包含される領域を、眉の領域として抽出することができる。
<眉消去処理>
眉消去部260は、まず、撮影画像に対して、眉の領域の画素値を初期化することにより、撮影画像から眉の領域を削除する。そして、眉消去部260は、撮影画像上で、2w+1(wは1以上の整数、例えば2)画素×2w+1画素の枠を移動させる。そして、眉消去部260は、この枠(以下「補間枠」という)の中心画素が、眉の領域の画素である場合、補間枠内に位置する眉の領域以外の領域(以下「非眉領域」という)の画素値(色)で、当該中心画素の画素値(色)を補間する。
図9は、補間枠の一例を示す図である。
図9では、w=2の場合の補間枠461を示している。以下、撮影画像における画素位置は、xy座標系の座標値で表す。そして、座標(x、y)に位置する画素の画素値(色)は、図9に示すように、f(x、y)で表す。
眉消去部260は、撮影画像から眉の領域を削除するために、眉マスクを生成する。
図10は、眉マスクの一例を部分的に示す図である。ここでは、参考のため、補間枠461を併せて図示している。
図10に示すように、眉マスク471は、例えば、画素毎に設定された眉マスク値m(x,y)の集合から成る。非眉領域の各画素には、m=1が設定され、眉の領域の各画素には、眉マスク値m=0が設定されている。
図10に示す例では、補間枠461は、中心画素の眉マスク値m(x,y)が「0」であり、左上側の14個の画素の眉マスク値mが「1」である。この場合、中心画素の画素値g(x,y)は、左上側の14個の画素の画素値を用いて補間される。
具体的には、眉消去部260は、補間枠461の中心画素(x,y)の画素値g(x,y)を、以下の式(1)を用いて算出する。
ここで、hは、補間係数である。補間枠461内における非眉領域の画素値の平均値を補間に用いる場合の補間係数hは、補間係数havg(x,y)となり、以下の式(2)で表される。
そして、眉マスク471は、眉の領域の画素が補間される毎に、眉マスク471の当該画素のマスク値mを「1」に書き換える。この画素の補間結果は、他の眉の領域の画素値の補間に用いられ得る。
眉消去部260は、補間枠461を眉頭側から眉尻側へと移動させながら、眉の領域の画素を補間して、眉消去処理を行う。
図11は、補間枠461の移動パターンを示す図である。
眉消去部260は、眉の領域452を含む矩形領域481の画像の全体に対して、第1のパターン482および第2のパターン483で、補間枠461を移動させながら、眉の領域の画素を補間する。
第1のパターン482は、補間枠461を移動させる行を、眉の上側から下側へと移動させる移動パターンであり、主に眉の上側の肌の色に基づいて補間を行うものである。すなわち、第1のパターン482を用いて眉の領域の画素を補間する処理は、顔画像から眉の領域452の画像を削除して得られる画像に対して、眉の上側から眉の下側へと向かう方向で、順次、色を補間していく処理(第1の処理)である。
第2のパターン483は、補間枠461を移動させる行を、眉の下側から上側へと移動させる移動パターンであり、主に眉の下側の肌の色に基づいて補間を行うものである。すなわち、第2のパターン483を用いて眉の領域の画素を補間する処理は、顔画像から眉の領域452の画像を削除して得られる画像に対して、眉の下側から眉の上側へと向かう方向で、順次、色を補間していく処理(第2の処理)である。
なお、以下の説明において、矩形領域481の上端から眉の領域452の上端迄の距離は、d1とし、矩形領域481の上端から眉の領域452の下端迄の距離は、d2とする。
眉消去部260は、眉の領域の補間を、第1のパターン482および第2のパターン483の両方で独立して行い、両パターンで得られる2つの結果を合成する。すなわち、眉消去部260は、第1のパターン482(第1の処理)により得られた第1の画像と、第2のパターン(第2の処理)により得られた第2の画像とを、合成する。
より具体的には、眉消去部260は、例えば、以下のアルファ(α)ブレンドの式(3)を用いて、最終的な補間された眉の領域の画素値G(x,y)を算出する。ここで、g1(x,y)は、第1のパターン482での矩形領域481の移動により補間された画素値(色)である。そして、g2(x,y)は、第2のパターン483での矩形領域481の移動により補間された画素値(色)である。
α値は、画素値g1(x,y)と画素値g2(x,y)とを合成する際の比率を決定するものであり、画素値g1(x,y)の重みに相当する。α値は、例えば、画素位置に応じた可変値である。
図12は、眉の領域の補間に用いられるα値の一例を示す図である。図中、横軸は、矩形領域481の上端からの距離を示し、縦軸は、α値を示す。
図12において線分491で示すように、α値は、眉の領域452の上端(d1)において「1」であり、矩形領域481の下方に向かうに従って直線的に減少し、眉の領域452の下端(d2)において「0」となる。
なお、α値は、例えば、以下の式(4)で表される。
眉消去部260は、このようなα値を設定することにより、眉の領域の上側と下側で肌の色が異なる場合でも、これらの色の間で連続的に色が変化するように眉の領域の各画素を補間することができる。すなわち、眉消去部260は、各画素に対して、実際に眉毛を消去処理したときの眉の領域の肌の色により近い色で、画素値を決定することができる。この結果、眉消去部260は、より自然な眉消去を実現することができる。
なお、眉の領域452の上端(d1)と眉の領域452の下端(d2)は、同じx座標値を持つ眉の領域452の画素群の上端と下端としてもよい。すなわち、眉消去部260は、眉の領域452を縦に細かく分割し、分割された領域毎に、その領域における眉の領域452の上端および下端を基準として、α値を決定してもよい。これは、眉の領域452に対する位置に応じた合成比で、第1のパターン482(第1の処理)により得られた第1の画像と、第2のパターン(第2の処理)により得られた第2の画像とを合成することに相当する。このようにした場合、眉消去部260は、眉の領域に接する非眉領域部分を、より高精度に、アルファブレンド処理の対象から除外することができる。
眉消去部260は、合成の結果として得られた画像のうち、眉の領域452の画像部分のみを、元の撮影画像の対応部分に貼り付ける。すなわち、眉消去部は、眉消去処理が行われた後の矩形領域481の画像のうち、眉の領域452の画像を、撮影画像の対応する領域に貼り付ける。
<メイクアップテーブルおよびメイクアップ情報テーブルの内容>
図13は、メイクアップ情報格納部270が格納するメイクアップテーブルの内容の一例を示す図である。
図13に示すように、メイクアップテーブル500は、メイクアップパターン501と、メイクアップID502とを、対応付けて記述している。メイクアップパターン501は、ここでは簡略化して図示しているが、具体的には、例えば、「キュート」、「クール」等の、メイクアップに関するイメージを表すテキスト情報を含む。
なお、メイクアップ選択部280は、例えば、メイクアップパターン501の「キュート」、「クール」等のテキスト情報を、選択肢として表示することにより、上述のメイクアップの選択操作をユーザから受け付ける。
図14は、メイクアップ情報格納部270が格納するメイクアップ情報テーブルの内容の一例を示す図である。
図14に示すように、メイクアップ情報テーブル510は、例えば、メイクアップID511、メイクアップ種別512、色513、濃度514、および範囲515を、対応付けて記述している。
メイクアップID511は、メイクアップテーブル500のメイクアップID502(図13参照)に対応している。メイクアップ種別512は、ここでは簡略化して図示しているが、具体的には、「アイブロウ」、「ファンデーション」、「アイシャドウ」、「口紅」、および「チークメイクアップアップ」等である。色513は、ここでは簡略化して図示しているが、具体的には、RGB値および光沢度等である。濃度514は、ここでは簡略化して図示しているが、具体的には、顔の画像の上に重畳する際の透過度およびグラデーションの仕方等である。範囲515は、ここでは簡略化して図示しているが、具体的には、顔特徴点からの相対座標群、顔特徴点に対する中心点の相対位置と半径との組等である。
色513、濃度514、および範囲515の組は、少なくとも、メイクアップが施された状態を画像化するのに必要な情報を含む。すなわち、本実施の形態において、メイクアップ情報は、少なくとも、顔の画像から、当該顔にメイクアップアップを施したときの画像を生成するために必要な情報(顔の色との差分を示す情報)を、含むものとする。
なお、メイクアップの流行の変化は速く、提示すべきメイクアップの変化も速い。このため、メイクアップテーブル500およびメイクアップ情報テーブル510は、例えば、メイクアップアップ支援装置100に備えられた通信回路(図示せず)を介して、インターネット上のサーバから定期的に更新されることが望ましい。また、図13に示すメイクアップテーブル500および図14に示すメイクアップ情報テーブル510は、1つのテーブルに統合されていてもよい。
<シミュレーション画像の生成手法>
メイクアップ提示部290は、眉が消去された画像に、選択されたメイクアップのメイクアップ画像を重畳して、シミュレーション画像を生成する。メイクアップ画像は、例えば、顔部品情報とメイクアップ情報とに基づいて生成される。
なお、シミュレーション画像における画像の重畳は、例えば、アルファ(α)ブレンド処理等の公知の画像合成処理により行われる。この場合のα値は、メイクアップの濃度に応じた値に設定される。アルファブレンド処理は、例えば、以下の式(5)〜(7)で表される。ここで、r1、g1、b1は、眉が消去された画像の任意の領域のRGB値である。また、r2、g2、b2は、メイクアップ画像の任意の領域のRGB値である。そして、R、G、Bは、シミュレーション画像の対応する領域のRGB値である。
R = r2×α+r1×(1−α) ・・・(5)
G = g2×α+g1×(1−α) ・・・(6)
B = b2×α+b1×(1−α) ・・・(7)
また、メイクアップのそれぞれに、顔に重ねて塗布する場合の順序(以下「塗布順序」という)が設定されており、かつ、メイクアップ画像が、濃度に応じた密度の網掛け画像であったとする。塗布順序は、例えば、チークの塗布が、ファンデーションの塗布の後にすべきものであるということを規定する。この場合、メイクアップ提示部290は、画像の重畳を、眉が消去された画像に対して、各メイクアップ画像を塗布順序に応じた順序で上塗り処理することにより、行ってもよい。
<メイクアップアップ支援装置の動作>
次に、メイクアップアップ支援装置100の動作について説明する。
図15は、メイクアップアップ支援装置100の動作の一例を示すフローチャートである。
まず、ステップS1100において、撮影部210は、ユーザの顔の映像の撮影を開始し、画像取得部220は、撮影された映像を構成する画像の取得を開始する。この際、ユーザは、前髪を上げておくことが望ましい。また、顔部品取得部230は、画像に含まれる顔の顔部品の取得を開始する。
この際、顔部品取得部230は、例えば、画像を解析することにより、画像から顔特徴点を抽出する。そして、顔部品取得部230は、同一の顔部品を構成する顔特徴点により形成される領域を、顔部品の領域として取得する。そして、顔部品取得部230は、取得した顔部品の領域から、顔部品情報を生成する。
図16は、図15のステップS1100において取得される、撮影画像の一例を示す図である。
図16に示すように、撮影画像610は、ユーザの顔画像611を含む。ユーザは、メイクアップアップをしておらず、かつ、眉612を処理していない状態である。画像610からは、例えば、図3および図4に示すような顔特徴点が抽出されて、顔部品情報が生成される。
図17は、図15のステップS1100において生成される、顔部品情報の一例を示す図である。
図17に示すように、顔部品情報620は、例えば、顔部品ID621毎に、領域622および人ID623を記述している。顔部品ID621は、左目、上唇等の、顔部品の識別情報である。領域622は、画像における顔部品の領域の範囲を示す情報であり、例えば、複数の顔特徴点の位置の集合である。顔特徴点の位置は、例えば、顔を基準として定まる顔座標系を用いて、定義される。人ID623は、人の識別情報である。人ID623は、例えば、撮影が開始される毎に、タッチパネル付きディスプレイに対する操作等を介してユーザにより指定された値が、設定される。
そして、図15のステップS1200において、メイクアップ選択部280は、メイクアップを選択し、メイクアップ情報を、メイクアップ提示部290へ出力する。
そして、ステップS1300において、閾値決定部240は、眉の顔特徴点に基づいて、顔画像から、眉頭側の閾値決定用の画像(例えば、図3および図4の矩形領域413に囲まれた領域)を抽出する。
そして、ステップS1400において、閾値決定部240は、ステップS1300で抽出した閾値決定用の画像から、2値化閾値を決定する。
そして、ステップS1500において、眉領域抽出部250は、決定された2値化閾値に基づいて、2値化画像(例えば、図5の2値化画像421)を生成する。そして、眉領域抽出部250は、眉包含領域(例えば、図6の眉包含領域431)から目包含領域(例えば、図7の目包含領域441)を除いた領域を、中間領域とする。
そして、ステップS1600において、眉領域抽出部250は、2値化画像および中間領域から、眉の領域を抽出する。このとき、眉領域抽出部250は、上述の通り、2値眉領域(例えば、図8の2値眉領域451)を膨張させて、眉の領域(例えば、図8の眉の領域452)を得る。
そして、ステップS1700において、眉消去部260は、眉消去処理を行い(図9〜図11参照)、眉が消去された画像を生成する。
図18は、ステップS1700において生成される、眉が消去された画像の一例を示す図である。
図18に示すように、眉が消去された画像610aでは、補間が行われた眉の領域の画像631aが、顔画像611aの対応する領域に、貼り付けられた状態となっている。
そして、図15のステップS1800において、メイクアップ提示部290は、眉が消去された画像に、決定されたメイクアップに対応するメイクアップ情報の画像を重畳して、シミュレーション画像を生成する。そして、表示部300は、生成されたシミュレーション画像を表示する。
図19は、図15のステップS1800において生成される、シミュレーション画像の一例を示す図である。
図19に示すように、シミュレーション画像640は、眉消去処理が行われた顔画像611aに、アイブロウ、アイシャドウ、アイライナー、チークメイクアップアップ、および口紅の画像といった、メイクアップ画像641〜645を重畳した画像となっている。
アイブロウ641の領域は、元の眉612(図16参照)の領域とは大きく異なっている。しかし、眉612がきれいに消去されているため、眉が二重に存在しているような状態は回避される。また、実際に眉612の処理をした場合の顔画像により近い眉が消去された画像を用いているため、より自然なシミュレーション画像640が得られる。
そして、図15のステップS1900において、画像取得部220は、映像の入力が継続しているか否かを判断する。画像取得部220は、映像の入力が継続している場合(S1900:YES)、処理をステップS1300へ戻し、次の撮影画像へと処理を移す。また、画像取得部220は、映像の入力が終了した場合(S1900:NO)、一連の処理を終了する。
なお、メイクアップアップ支援装置100は、一旦得られた眉の領域および眉の領域の補間結果を、後続の画像に転用してもよい。この場合、眉消去部260は、例えば、眉の領域の、顔特徴点に対する相対位置を、記憶する。そして、眉消去部260は、別の顔画像に対しては、その顔画像における顔特徴点の位置に応じて、記憶した相対位置に基づき、眉の領域の画像を、移動あるいは変形させる。
この場合、眉の領域および眉の領域の補間結果が得られた後は、図15のステップS1300〜S1700の処理を省略することが可能となる。
<本実施の形態の効果>
以上のように、本実施の形態に係るメイクアップアップ支援装置100は、眉により近く、かつ、髪が掛かっていない可能性がより高い領域である、眉頭側の領域の画像情報に基づいて、眉の領域の抽出および塗り潰しを行う。これにより、メイクアップアップ支援装置100は、より高精度に眉の領域を抽出し、かつ、より適切な色で塗り潰しを行うことができる。これにより、メイクアップアップ支援装置100は、実際に眉毛の処理をした場合の顔画像により近い眉が消去された画像を得ることができる。
また、本実施の形態に係るメイクアップアップ支援装置100は、実際に眉の処理をした場合の顔画像により近い眉が消去された画像を用いてメイクアップのシミュレーション画像を表示する。これにより、メイクアップアップ支援装置100は、ユーザがメイクアップの良し悪しをより的確に判断することを可能にする。
<メイクアップの他の選択手法>
なお、メイクアップの選択手法は、上述の例に限定されない。例えば、メイクアップ選択部280は、顔の特徴に適したメイクアップを自動で選択してもよいし、流行のメイクアップを自動で選択してもよい。
<その他の構成の変形例>
また、上述の各種テーブルは、必ずしもメイクアップアップ支援装置100に格納されていなくてもよい。例えば、メイクアップアップ支援装置100がネットワークに接続可能である場合、メイクアップアップ支援装置100は、上記テーブルが格納されたネットワーク上のサーバにアクセスして、メイクアップを選択すればよい。
また、メイクアップアップ支援装置100は、例えば、図2に示す機能部のうち、撮影部210および表示部300のみをユーザの所持する端末に配置し、他の装置部をネットワーク上のサーバ上に配置する等、分散配置型のシステムであってもよい。
また、メイクアップアップ支援装置100は、外光を検出し、画像から、外光の影響を軽減した状態で、顔特徴点の取得や、眉の領域の検出を行うようにしてもよい。
また、メイクアップアップ支援装置100は、必ずしもメイクアップのシミュレーション画像を生成しなくてもよい。
また、メイクアップアップ支援装置100は、メイクアップに必要な化粧品の情報を、シミュレーション画像と併せてユーザに提示してもよい。
本開示のメイクアップアップ支援装置は、顔を撮影した画像である、顔画像を取得する画像取得部と、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する閾値決定部と、前記閾値を用いて、前記顔画像から眉の領域を抽出する眉領域抽出部と、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う眉消去部と、前記眉消去処理が行われた後の前記顔画像を表示する表示部と、を有する。
なお、上記メイクアップアップ支援装置は、前記眉消去処理が行われた後の前記顔画像に、前記顔に対して眉のメイクアップを適用したときの前記眉のメイクアップの状態を示す画像を重畳して得られるシミュレーション画像を生成するメイクアップ提示部、を更に有し、前記表示部は、前記シミュレーション画像を表示してもよい。
また、上記メイクアップアップ支援装置において、前記部分画像は、前記眉頭の位置を基準とした所定の大きさおよび形状の領域の画像であってもよい。
また、上記メイクアップアップ支援装置において、前記眉消去処理は、前記顔画像から前記眉の領域の画像を削除して得られる画像に対して、前記眉頭側から前記眉尻側へと向かう方向で、順次、色を補間していく処理であってもよい。
また、上記メイクアップアップ支援装置において、前記眉消去処理は、前記顔画像から前記眉の領域の画像を削除して得られる画像に対して、前記眉の上側から前記眉の下側へと向かう方向で、順次、色を補間していく第1の処理と、前記画像に対して、前記眉の下側から前記眉の上側へと向かう方向で、順次、色を補間していく第2の処理と、前記第1の処理により得られた第1の画像と、前記第2の処理により得られた第2の画像とを、合成する第3の処理とを含み、前記第3の処理は、前記眉の領域に対する位置に応じた合成比で、前記第1の画像と前記第2の画像とを合成してもよい。
また、上記メイクアップアップ支援装置は、前記顔画像から、眉の特徴点および目の特徴点を抽出する顔部品取得部、を更に有し、前記眉領域抽出部は、前記顔画像の領域のうち、前記眉の特徴点の位置を基準とする小領域の集合である眉包含領域から、前記目の特徴点の位置を基準とする小領域の集合である目包含領域、を除外した中間領域から、前記眉の領域を抽出してもよい。
また、上記メイクアップアップ支援装置において、前記眉消去部は、前記顔画像のうち前記眉の領域を含む矩形領域の画像の全体に対して前記眉消去処理を行い、前記眉消去処理が行われた後の前記矩形領域の画像のうち前記眉の領域の画像を、前記顔画像の対応する領域に貼り付ける。
また、上記メイクアップアップ支援装置において、前記眉領域抽出部は、前記閾値により規定される眉の領域を膨張させた領域を、前記眉の領域として抽出してもよい。
また、上記メイクアップアップ支援装置は、前記顔の映像を撮影する撮影部、を更に有し、前記画像取得部は、前記映像を構成する画像を取得し、前記表示部は、前記映像に沿って、前記シミュレーション画像を順次表示してもよい。
本開示のメイクアップアップ支援方法は、顔を撮影した画像である、顔画像を取得するステップと、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定するステップと、前記閾値を用いて、前記顔画像から眉の領域を抽出するステップと、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行うステップと、前記眉消去処理が行われた後の前記顔画像を表示するステップと、を有する。
本開示のメイクアップアップ支援プログラムは、コンピュータに、顔を撮影した画像である、顔画像を取得する処理と、前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する処理と、前記閾値を用いて、前記顔画像から眉の領域を抽出する処理と、前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う処理と、前記眉消去処理が行われた後の前記顔画像を表示する処理と、を実行させる。
本開示は、実際に眉毛の処理をした状態により近い眉が消去された画像を得ることができる、メイクアップアップ支援装置、メイクアップアップ支援方法、およびメイクアップアップ支援プログラムとして有用である。
100 メイクアップ支援装置
210 撮影部
220 画像取得部
230 顔部品取得部
240 閾値決定部
250 眉領域抽出部
260 眉消去部
270 メイクアップ情報格納部
280 メイクアップ選択部
290 メイクアップ提示部
300 表示部

Claims (11)

  1. 顔を撮影した画像である、顔画像を取得する画像取得部と、
    前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する閾値決定部と、
    前記閾値を用いて、前記顔画像から眉の領域を抽出する眉領域抽出部と、
    前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う眉消去部と、
    前記眉消去処理が行われた後の前記顔画像を表示する表示部と、を有する、
    メイクアップ支援装置。
  2. 前記眉消去処理が行われた後の前記顔画像に、前記顔に対して眉のメイクアップを適用したときの前記眉のメイクアップの状態を示す画像を重畳して得られるシミュレーション画像を生成するメイクアップ提示部、を更に有し、
    前記表示部は、
    前記シミュレーション画像を表示する、
    請求項1に記載のメイクアップ支援装置。
  3. 前記部分画像は、前記眉頭の位置を基準とした所定の大きさおよび形状の領域の画像である、
    請求項1に記載のメイクアップ支援装置。
  4. 前記眉消去処理は、前記顔画像から前記眉の領域の画像を削除して得られる画像に対して、前記眉頭側から前記眉尻側へと向かう方向で、順次、色を補間していく処理である、
    請求項1に記載のメイクアップ支援装置。
  5. 前記眉消去処理は、前記顔画像から前記眉の領域の画像を削除して得られる画像に対して、前記眉の上側から前記眉の下側へと向かう方向で、順次、色を補間していく第1の処理と、前記画像に対して、前記眉の下側から前記眉の上側へと向かう方向で、順次、色を補間していく第2の処理と、前記第1の処理により得られた第1の画像と、前記第2の処理により得られた第2の画像とを、合成する第3の処理とを含み、
    前記第3の処理は、前記眉の領域に対する位置に応じた合成比で、前記第1の画像と前記第2の画像とを合成する、
    請求項1に記載のメイクアップ支援装置。
  6. 前記顔画像から、眉の特徴点および目の特徴点を抽出する顔部品取得部、を更に有し、
    前記眉領域抽出部は、
    前記顔画像の領域のうち、前記眉の特徴点の位置を基準とする小領域の集合である眉包含領域から、前記目の特徴点の位置を基準とする小領域の集合である目包含領域、を除外した眉近傍領域から、前記眉の領域を抽出する、
    請求項1に記載のメイクアップ支援装置。
  7. 前記眉消去部は、
    前記顔画像のうち前記眉の領域を含む矩形領域の画像の全体に対して前記眉消去処理を行い、前記眉消去処理が行われた後の前記矩形領域の画像のうち前記眉の領域の画像を、前記顔画像の対応する領域に貼り付ける、
    請求項5に記載のメイクアップ支援装置。
  8. 前記眉領域抽出部は、
    前記閾値により規定される眉の領域を膨張させた領域を、前記眉の領域として抽出する、
    請求項1に記載のメイクアップ支援装置。
  9. 前記顔の映像を撮影する撮影部、を更に有し、
    前記画像取得部は、
    前記映像を構成する画像を取得し、
    前記表示部は、
    前記映像に沿って、前記シミュレーション画像を順次表示する、
    請求項1に記載のメイクアップ支援装置。
  10. 顔を撮影した画像である、顔画像を取得するステップと、
    前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定するステップと、
    前記閾値を用いて、前記顔画像から眉の領域を抽出するステップと、
    前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行うステップと、
    前記眉消去処理が行われた後の前記顔画像を表示するステップと、を有する、
    メイクアップ支援方法。
  11. コンピュータに、
    顔を撮影した画像である、顔画像を取得する処理と、
    前記顔画像のうち、眉頭および前記眉頭の周辺を含み眉尻を含まない領域の画像である部分画像から、画素値の閾値を決定する処理と、
    前記閾値を用いて、前記顔画像から眉の領域を抽出する処理と、
    前記眉の領域の周辺の領域の色のうち、前記眉頭側の色を優先的に用いて、前記顔画像に対して前記眉の領域を塗り潰す処理である、眉消去処理を行う処理と、
    前記眉消去処理が行われた後の前記顔画像を表示する処理と、を実行させる、
    メイクアップ支援プログラム。
JP2015533981A 2013-08-30 2014-08-21 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム Active JP6368919B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013179664 2013-08-30
JP2013179664 2013-08-30
PCT/JP2014/004296 WO2015029392A1 (ja) 2013-08-30 2014-08-21 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム

Publications (2)

Publication Number Publication Date
JPWO2015029392A1 true JPWO2015029392A1 (ja) 2017-03-02
JP6368919B2 JP6368919B2 (ja) 2018-08-08

Family

ID=52585982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015533981A Active JP6368919B2 (ja) 2013-08-30 2014-08-21 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム

Country Status (5)

Country Link
US (1) US9858473B2 (ja)
EP (1) EP3040939B1 (ja)
JP (1) JP6368919B2 (ja)
CN (1) CN104798101B (ja)
WO (1) WO2015029392A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2953090A4 (en) 2013-02-01 2016-05-25 Panasonic Ip Man Co Ltd MAKEUP AID, MAKEUP AID, MAKEUP ASSISTANCE AND MAKEUP ASSISTANCE
JP6288404B2 (ja) 2013-02-28 2018-03-07 パナソニックIpマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
CN109527779A (zh) 2013-03-15 2019-03-29 Matchco公司 用于指定和配制定制的外用制剂的系统和方法
JP5372276B1 (ja) 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372275B1 (ja) 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6458569B2 (ja) * 2015-03-12 2019-01-30 オムロン株式会社 画像処理装置および画像処理方法
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
US9984282B2 (en) * 2015-12-10 2018-05-29 Perfect Corp. Systems and methods for distinguishing facial features for cosmetic application
CN105956522A (zh) * 2016-04-21 2016-09-21 腾讯科技(深圳)有限公司 图片处理方法和装置
WO2018008138A1 (ja) * 2016-07-08 2018-01-11 株式会社オプティム 化粧品情報提供システム、化粧品情報提供装置、化粧品情報提供方法、及びプログラム
BR112019007568A2 (pt) 2016-10-18 2019-07-02 Koninklijke Philips Nv dispositivo acessório de um dispositivo de captura de imagem, e dispositivo de imageamento
CN108875462A (zh) * 2017-05-16 2018-11-23 丽宝大数据股份有限公司 眉毛造型指引装置及其方法
KR20200026808A (ko) 2017-07-13 2020-03-11 시쉐이도 아메리카스 코포레이션 가상 얼굴 메이크업 제거, 빠른 얼굴 검출, 및 랜드마크 추적
CN109299636A (zh) * 2017-07-25 2019-02-01 丽宝大数据股份有限公司 可标示腮红区域的身体信息分析装置
CN109427078A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 身体信息分析装置及其唇妆分析方法
CN109419140A (zh) * 2017-08-31 2019-03-05 丽宝大数据股份有限公司 推荐眉毛形状显示方法与电子装置
CN109583263A (zh) * 2017-09-28 2019-04-05 丽宝大数据股份有限公司 结合扩增实境的身体信息分析装置及其眉型预览方法
CN109718463A (zh) * 2017-10-30 2019-05-07 魏云超 一种高效的纹绣系统及方法
CN107818305B (zh) * 2017-10-31 2020-09-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
KR102507100B1 (ko) * 2018-01-05 2023-03-06 로레알 메이크업 적용을 안내하는 클라이언트 장치를 활용하기 위한 메이크업 콤팩트
US10803677B2 (en) * 2018-04-30 2020-10-13 Mathew Powers Method and system of automated facial morphing for eyebrow hair and face color detection
CN111259696B (zh) * 2018-11-30 2023-08-29 百度在线网络技术(北京)有限公司 用于显示图像的方法及装置
CN111914604A (zh) * 2019-05-10 2020-11-10 丽宝大数据股份有限公司 将头发颜色套用至眉毛的扩充实境显示方法
CN113132795A (zh) 2019-12-30 2021-07-16 北京字节跳动网络技术有限公司 图像处理方法及装置
CN111291642B (zh) * 2020-01-20 2023-11-28 深圳市商汤科技有限公司 一种妆容处理方法、装置、电子设备及存储介质
CN112347979B (zh) * 2020-11-24 2024-03-15 郑州阿帕斯科技有限公司 一种眼线绘制方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161102A (ja) * 1995-12-04 1997-06-20 Nippon Signal Co Ltd:The 行動認識型自動券売装置
JP2000011144A (ja) * 1998-06-18 2000-01-14 Shiseido Co Ltd 眉変形システム
JP2002245477A (ja) * 2001-02-16 2002-08-30 Nippon Telegr & Teleph Corp <Ntt> 似顔絵通信装置と、送信機及び受信機と、送信機及び受信機用プログラムと、送信機及び受信機用プログラムを記録した記録媒体
JP2007188407A (ja) * 2006-01-16 2007-07-26 Toshiba Corp 画像処理装置及び画像処理プログラム
JP2007293649A (ja) * 2006-04-26 2007-11-08 Megachips Lsi Solutions Inc メークアップアシスト装置および眉毛描画アシスト装置
WO2009022631A1 (ja) * 2007-08-10 2009-02-19 Shiseido Company, Ltd. メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2011512717A (ja) * 2008-01-24 2011-04-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 穴充填のための方法及び画像処理デバイス

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2973676B2 (ja) 1992-01-23 1999-11-08 松下電器産業株式会社 顔画像特徴点抽出装置
JP3444148B2 (ja) 1997-07-07 2003-09-08 株式会社ナビタイムジャパン 眉描画方法
JP3582458B2 (ja) 2000-06-07 2004-10-27 花王株式会社 化粧アドバイスシステム
JP3779570B2 (ja) 2001-07-30 2006-05-31 デジタルファッション株式会社 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2005073909A1 (ja) * 2004-01-30 2005-08-11 Digital Fashion Ltd. 化粧シミュレーションプログラム、化粧シミュレーション装置、及び化粧シミュレーション方法
TWI241127B (en) * 2004-08-27 2005-10-01 Univ Nat Cheng Kung Image-capturing device and method for removing strangers
JP4809056B2 (ja) 2005-12-28 2011-11-02 株式会社 資生堂 チークメーキャップのための顔分類装置、顔分類プログラム、及び該プログラムが記録された記録媒体
US20070255589A1 (en) * 2006-04-27 2007-11-01 Klinger Advanced Aesthetics, Inc. Systems and methods using a dynamic database to provide aesthetic improvement procedures
JP4753025B2 (ja) 2006-03-22 2011-08-17 花王株式会社 メイクアップシミュレーション方法
JP2009022631A (ja) 2007-07-23 2009-02-05 Toshiba Home Technology Corp スチームアイロン
JP4794678B1 (ja) * 2010-05-24 2011-10-19 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像通信システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161102A (ja) * 1995-12-04 1997-06-20 Nippon Signal Co Ltd:The 行動認識型自動券売装置
JP2000011144A (ja) * 1998-06-18 2000-01-14 Shiseido Co Ltd 眉変形システム
JP2002245477A (ja) * 2001-02-16 2002-08-30 Nippon Telegr & Teleph Corp <Ntt> 似顔絵通信装置と、送信機及び受信機と、送信機及び受信機用プログラムと、送信機及び受信機用プログラムを記録した記録媒体
JP2007188407A (ja) * 2006-01-16 2007-07-26 Toshiba Corp 画像処理装置及び画像処理プログラム
JP2007293649A (ja) * 2006-04-26 2007-11-08 Megachips Lsi Solutions Inc メークアップアシスト装置および眉毛描画アシスト装置
WO2009022631A1 (ja) * 2007-08-10 2009-02-19 Shiseido Company, Ltd. メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2011512717A (ja) * 2008-01-24 2011-04-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 穴充填のための方法及び画像処理デバイス

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WAI-SHUN TONG ET AL: "Example-Based Cosmetic Transfer", 15TH PACIFIC CONFERENCE ON COMPUTER GRAPHICS AND APPLICATIONS, JPN6018000217, 2007, pages 211 - 218, XP055562734, ISSN: 0003716210, DOI: 10.1109/PG.2007.31 *

Also Published As

Publication number Publication date
US9858473B2 (en) 2018-01-02
EP3040939A4 (en) 2016-09-07
EP3040939A1 (en) 2016-07-06
CN104798101B (zh) 2018-11-23
JP6368919B2 (ja) 2018-08-08
CN104798101A (zh) 2015-07-22
WO2015029392A1 (ja) 2015-03-05
US20150254500A1 (en) 2015-09-10
EP3040939B1 (en) 2018-10-10

Similar Documents

Publication Publication Date Title
JP6368919B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
KR102304674B1 (ko) 얼굴 표정 합성 방법과 장치, 전자 기기, 및 저장 매체
JP6375480B2 (ja) メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム
CN109690617B (zh) 用于数字化妆镜的系统和方法
JP5976103B2 (ja) プレイヤーの外観を反映するアバターの生成
WO2014119253A1 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP4461789B2 (ja) 画像処理装置
JP5463866B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
KR20200014280A (ko) 화상 처리 장치, 화상 처리 시스템, 및 화상 처리 방법, 그리고 프로그램
US20130169827A1 (en) Method and system for make-up simulation on portable devices having digital cameras
JP2020526809A (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
US20150262403A1 (en) Makeup support apparatus and method for supporting makeup
JPWO2015029371A1 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US9224245B2 (en) Mesh animation
JP2010507854A (ja) ビデオイメージシーケンスを仮想シミュレーションする方法及び装置
JP2001109913A (ja) 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
CN111783511A (zh) 美妆处理方法、装置、终端以及存储介质
US20190347832A1 (en) Makeup simulation device, method, and non-transitory recording medium
US10803677B2 (en) Method and system of automated facial morphing for eyebrow hair and face color detection
JP6128356B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP6128357B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP2009521065A (ja) カリカチュア生成システムとその方法およびその記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180611

R151 Written notification of patent or utility model registration

Ref document number: 6368919

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151