JP3993029B2 - Makeup simulation apparatus, makeup simulation method, makeup simulation program, and recording medium recording the program - Google Patents

Makeup simulation apparatus, makeup simulation method, makeup simulation program, and recording medium recording the program Download PDF

Info

Publication number
JP3993029B2
JP3993029B2 JP2002182691A JP2002182691A JP3993029B2 JP 3993029 B2 JP3993029 B2 JP 3993029B2 JP 2002182691 A JP2002182691 A JP 2002182691A JP 2002182691 A JP2002182691 A JP 2002182691A JP 3993029 B2 JP3993029 B2 JP 3993029B2
Authority
JP
Japan
Prior art keywords
makeup
lip
image
area
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002182691A
Other languages
Japanese (ja)
Other versions
JP2004030007A (en
Inventor
貴雄 古川
嘉之 坂口
Original Assignee
デジタルファッション株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デジタルファッション株式会社 filed Critical デジタルファッション株式会社
Priority to JP2002182691A priority Critical patent/JP3993029B2/en
Publication of JP2004030007A publication Critical patent/JP2004030007A/en
Application granted granted Critical
Publication of JP3993029B2 publication Critical patent/JP3993029B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
被写体の顔画像に仮想的に化粧を施す化粧シミュレーション技術に関する。
【0002】
【従来の技術】
従来より、人の顔画像を撮影してコンピュータに取り込み、所定の画像処理を施すことにより、仮想的に化粧を施す化粧シミュレーション装置が知られている。このような化粧シミュレーション装置は、実際に化粧を施すことなく、化粧による効果をコンピュータの画面上で確認することができるため、化粧品の実演販売や、化粧技法を取得するためのトレーニングなどに広く利用されている。
【0003】
このような化粧シミュレーションに関する技術として、顔のメークアップ支援装置(特開平6−319613)、リップカラーアドバイスシステム及び方法(特開平8−202754)、メークアップのシミュレート法(特開平10−21290)などが報告されている。
【0004】
【発明が解決しようとする課題】
しかしながら、これらの技術はいずれもデジタルスチルカメラやイメージスキャナーなどから得られた静止画像を対象としており、動画像を対象としたものではない。そのため、顔の表情の変化に対する化粧効果を確認することができず、リアル性に欠けるという問題があった。
【0005】
本発明は、上記課題を解決するためになされたものであり、よりリアルに化粧シミュレーションを行うことができる化粧シミュレーション技術を提供することを目的としている。
【0006】
【課題を解決するための手段】
本発明に係る化粧シミュレーション装置は、所定フレーム周期で撮影された被験者の顔画像を取得する画像取得手段と、フレーム毎に顔画像の眼の位置を検出する位置検出手段と、フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定する化粧領域設定手段と、前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施すメークアップ処理手段とを備え、前記化粧領域設定手段は、眼の位置を基準として上唇と下唇とを含む領域を唇検出領域として設定する唇検出領域設定手段と、前記唇検出領域から色情報を基に、下唇の輪郭を検出する下唇輪郭検出手段と、前記唇検出領域から明度を基に、上唇の輪郭を検出する上唇輪郭検出手段とを含み、検出された上唇及び下唇の輪郭によって囲まれた領域を前記化粧領域として設定し、前記化粧領域設定手段は、前記唇検出領域内に下唇の画像の重心を中心とする上唇検出用領域を設定し、設定した上唇検出用領域内に含まれる画像から上唇の画像を特定する上唇画像特定手段を備えることを特徴とするものである。
【0007】
本化粧シミュレーション装置によれば、撮影された顔画像の眼の位置がフレーム毎に検出され、検出された眼の位置に基づいて、そのフレーム内に化粧領域が設定され、その化粧領域が着色されて、顔画像にメークアップ処理が施されるため、動画像を対象とした化粧シミュレーションが可能となる。さらに、検出が容易な眼の位置を基準として化粧領域を設定しているため、化粧領域の設定の正確性が増し、よりリアルな化粧シミュレーションを実現することができる。
【0009】
また、色情報によって下唇の輪郭が検出されるとともに、色情報による検出が困難な上唇は、明度によってその輪郭が検出されているため、上唇及び下唇の輪郭をより正確に検出することができる。
【0011】
また、下唇輪郭検出手段が検出した下唇の輪郭から算出される下唇の重心を中心として、唇の輪郭の形に一致するような形状を有する上唇検出用領域が設定され、その上唇検出用域内の画像を基に上唇の画像が特定される。上唇の付近には、深いしわなどが多数存在するため、明度を基に上唇の輪郭を検出すると、誤ってこれらのしわを上唇の輪郭として検出する場合がある。そこで、下唇の重心とする上唇検出用領域を唇検出領域にあてはめ、上唇検出用領域外の画像を排除して、残存する画像から上唇の画像を特定するため、より正確に上唇の画像を特定することができる。ここで、上唇検出用領域としては、楕円、多角形などの形状を有する領域が含まれる。
【0012】
また、前記化粧領域設定手段は、前記上唇輪郭検出手段が検出した上唇の輪郭を構成する画素の配列から、上唇の輪郭を表す近似関数を算出するとともに、前記下唇輪郭検出手段が検出した下唇の輪郭を構成する画素の配列から、下唇の輪郭を表す近似関数を算出する近似関数算出手段を備えることが好ましい。
【0013】
この場合、検出された上唇及び下唇の輪郭を構成する画素の配列を基に、下唇及び上唇の輪郭線を表す近似関数が算出されるため、なめらかな化粧領域を設定することができる。
【0014】
また、前記近似関数算出手段は、上唇の上側の輪郭線を左右方向の中心部で2つの領域に分け、それぞれの領域において、輪郭線を表す近似関数を算出することが好ましい。
【0015】
この場合、上唇の上側の輪郭線を左右方向の中心部分で2つの領域に分けて、それぞれの領域において、輪郭線を表す近似関数を算出して、上唇の上側の輪郭線を2つの近似関数で表すため、上唇上側の中心にある上唇の切り込み部分を表すことができる。
【0016】
また、前記メークアップ処理手段は、前記近似関数算出手段が算出した唇の輪郭を表す近似関数を用いて、下唇に、下唇の光沢を表すためのハイライト処理を施すことが好ましい。
【0017】
この場合、唇のハイライト(光沢)は、通常、唇の輪郭線に沿った形状で、下唇あるいは上唇のそれぞれにおいて、上下方向の中心部分に現れる場合が多い。本発明では、唇の輪郭線をなめらかに表現する近似関数を用いてハイライト処理を行うため、速やかにハイライト処理を施すことができるとともに、唇のハイライトをより美しく表現することが可能となり、化粧シミュレーションのリアル性が増すこととなる。
【0018】
また、予め定められた複数の化粧パターンを記憶する記憶手段と、前記複数の化粧パターンの一覧画像を作成する一覧画像作成手段と、オペレータの操作指令を受け付ける入力手段とを更に備え、前記化粧領域設定手段は、前記複数の化粧パターンの一覧画像の中から、前記入力手段を用いてオペレータによって選択された化粧パターンに基づいて、前記化粧領域を設定し、前記メークアップ処理手段は、前記複数の化粧パターンの一覧画像の中から、前記入力手段を用いてオペレータによって選択された化粧パターンに基づいて、前記化粧領域を着色することが好ましい。
【0019】
この場合、オペレータは、予め記憶された複数の化粧パターン及びカラーパターンの一覧画像から、化粧パターン及びカラーパターンの選択が行えるため、顔画像にふさわしい化粧パターン及びカラーパターンの選定が容易となる。
【0020】
本発明に係る化粧シミュレーション方法は、コンピュータが、所定フレーム周期で撮影された被験者の顔画像を取得し、コンピュータが、フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定し、コンピュータが、前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施し、コンピュータが、眼の位置を基準として上唇と下唇とを含む領域を唇検出領域として設定し、前記唇検出領域から色情報を基に、下唇の輪郭を検出し、前記唇検出領域から明度を基に、上唇の輪郭を検出し、検出された上唇及び下唇の輪郭によって囲まれた領域を前記化粧領域として設定し、コンピュータが、前記唇検出領域内に下唇の画像の重心を中心とする上唇検出用領域を設定し、設定した上唇検出用領域内に含まれる画像から上唇の画像を特定することを特徴とするものである。
【0021】
本化粧シミュレーション方法によれば、撮影された顔画像の眼の位置がフレーム毎に検出され、検出された眼の位置に基づいて、そのフレーム内に化粧領域が設定され、その化粧領域が着色されて、顔画像にメークアップ処理が施されるため、動画像を対象とした化粧シミュレーションが可能となる。さらに、検出が容易な眼の位置を基準として化粧領域を設定しているため、化粧領域の設定の正確性が増し、よりリアルな化粧シミュレーションを実現することができる。
【0022】
本発明に係る化粧シミュレーションプログラムは、所定フレーム周期で撮影された被験者の顔画像を取得する画像取得手段と、フレーム毎に顔画像の眼の位置を検出する位置検出手段と、フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定する化粧領域設定手段と、前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施すメークアップ処理手段としてコンピュータを機能させ、前記化粧領域設定手段は、眼の位置を基準として上唇と下唇とを含む領域を唇検出領域として設定する唇検出領域設定手段と、前記唇検出領域から色情報を基に、下唇の輪郭を検出する下唇輪郭検出手段と、前記唇検出領域から明度を基に、上唇の輪郭を検出する上唇輪郭検出手段とを含み、検出された上唇及び下唇の輪郭によって囲まれた領域を前記化粧領域として設定し、前記化粧領域設定手段は、前記唇検出領域内に下唇の画像の重心を中心とする上唇検出用領域を設定し、設定した上唇検出用領域内に含まれる画像から上唇の画像を特定する上唇画像特定手段を備えることを特徴とするものである。
【0023】
本発明に係る化粧シミュレーションプログラムによれば、撮影された顔画像の眼の位置がフレーム毎に検出され、検出された眼の位置に基づいて、そのフレーム内に化粧領域が設定され、その化粧領域が着色されて、顔画像にメークアップ処理が施されるため、動画像を対象とした化粧シミュレーションが可能となる。さらに、検出が容易な眼の位置を基準として化粧領域を設定しているため、化粧領域の設定の正確性が増し、よりリアルな化粧シミュレーションを実現することができる。
【0024】
本発明に係る化粧シミュレーションプログラムを記録する記録媒体は、所定フレーム周期で撮影された被験者の顔画像を取得する画像取得手段と、フレーム毎に顔画像の眼の位置を検出する位置検出手段と、フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定する化粧領域設定手段と、前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施すメークアップ処理手段としてコンピュータを機能させ、前記化粧領域設定手段は、眼の位置を基準として上唇と下唇とを含む領域を唇検出領域として設定する唇検出領域設定手段と、前記唇検出領域から色情報を基に、下唇の輪郭を検出する下唇輪郭検出手段と、前記唇検出領域から明度を基に、上唇の輪郭を検出する上唇輪郭検出手段とを含み、検出された上唇及び下唇の輪郭によって囲まれた領域を前記化粧領域として設定し、前記化粧領域設定手段は、前記唇検出領域内に下唇の画像の重心を中心とする上唇検出用領域を設定し、設定した上唇検出用領域内に含まれる画像から上唇の画像を特定する上唇画像特定手段を備えることを特徴とする化粧シミュレーションプログラムを記録するものである。
【0025】
本化粧シミュレーションプログラムを記録した記録媒体によれば、撮影された顔画像の眼の位置がフレーム毎に検出され、検出された眼の位置に基づいて、そのフレーム内に化粧領域が設定され、その化粧領域が着色されて、顔画像にメークアップ処理が施されるため、動画像を対象とした化粧シミュレーションが可能となる。さらに、検出が容易な眼の位置を基準として化粧領域を設定しているため、化粧領域の設定の正確性が増し、よりリアルな化粧シミュレーションを実現することができる
【0026】
【発明の実施の形態】
以下、本発明に係る化粧シミュレーション装置の一実施形態について説明する。図1は、化粧シミュレーション装置の概略構成を示した図である。
【0027】
図1に示す化粧シミュレーション装置は、種々の処理を行うパーソナルコンピュータ1と、被験者の顔画像を撮影するビデオカメラ2とを備えている。
【0028】
パーソナルコンピュータ1は、種々のプログラムを実行し、化粧シミュレーション装置全体を制御するCPU(中央処理装置)11と、ビデオカメラ2によって撮影された被写体の顔画像や種々のデータを一時的に記憶するRAM(ランダムアクセスメモリ)12と、パーソナルコンピュータ1を動作させるための基本プログラムを記憶するROM(リードオンリーメモリ)13と、CRT(陰極線管)、液晶パネル、プロジェクタあるいはプラズマディスプレイなどから構成され、処理された顔画像などを表示する表示装置14と、CD−ROM、DVD及びフレキシブルディスクなどの記録媒体Mに記録されたデータを読み取る記録媒体駆動装置15と、ハードディスクなどから構成され、化粧シミュレーションプログラムを記憶する補助記憶装置16と、マウス及びキーボードを含み、オペレータの操作指令を受け付ける入力装置17とを備えている。
【0029】
ビデオカメラ2は、パーソナルコンピュータ1と例えばビデオケーブルにより接続され、所定のフレームレートで被写体の顔画像を撮影し、撮影した顔画像をビデオケーブルを介してパーソナルコンピュータ1に出力する。
【0030】
本実施形態では、化粧シミュレーションプログラムを記録するCD−ROMを記録媒体駆動装置15に装填し、パーソナルコンピュータ1にインストールすることにより、パーソナルコンピュータ1を化粧シミュレーション装置として機能させている。なお、インターネット上に配設されたWEBサーバに化粧シミュレーションプログラムを記憶させておき、WEBサーバからその化粧シミュレーションプログラムをダウンロードすることにより、パーソナルコンピュータ1に化粧シミュレーションプログラムをインストールしてもよい。さらに、パーソナルコンピュータ1によって顔画像を取得して、取得した顔画像をWEBサーバに送信し、WEBサーバ上で眼の検出処理を施し、その処理結果をパーソナルコンピュータに送信するというように、WEBサーバとパーソナルコンピュータ1との間で眼検出プログラムを分散して実行させてもよい。
【0031】
図2は、化粧シミュレーション装置のブロック構成図を示している。本化粧シミュレーション装置は、機能的に、画像取得部100と、画像メモリ200と、表示部300と、化粧パターン記憶部400と、カラーパターン記憶部500と、プログラム実行部600と、一覧画像作成部700とを備えている。
【0032】
画像取得部100は、ビデオカメラ2を用いて撮影された被写体の顔画像を取得して、画像メモリ200に記憶させる。画像取得部100は、顔画像を取得するにあたり、眼の中心と口の中心とを結ぶ直線の方向が水平方向に対して直交する方向となるように、かつ、頭が上側となるように顔画像を取得する。以下の説明において、顔画像とは、図3に示すように被写体の顔の部分を含む長方形状の画像を示し、この顔画像の左上の頂点を原点(0、0)とし、長方形の上辺にx座標を長方形の左辺にy座標を設定する。
【0033】
画像メモリ200は、RAM12などから構成され、画像取得部100が取得した顔画像及びプログラム実行部600が顔画像に対して種々の処理を施した画像などを一時的に記憶するとともに、記憶している顔画像を表示部300に出力する。
【0034】
表示部300は、表示装置14やVRAMなどを含み、画像メモリ200から出力された画像を表示する。
【0035】
化粧パターン記憶部400は、主にRAM12から構成され、複数のアイメークパターン及び複数のリップメークパターンなどを記憶する。カラーパターン記憶部500は、主にRAM12から構成され、化粧領域に施すためのアイカラーパターンやリップカラーパターンなどを記憶する。
【0036】
一覧画像作成部700は、化粧パターン記憶部400に記憶されているアイメークパターンなどのデータと、カラーパターン記憶部500に記憶されているアイカラーパターンなどのデータと、顔画像とを合成して、後述する図15又は図23に示すような一覧画像を作成する。
【0037】
プログラム実行部600は、CPU11が化粧シミュレーションプログラムを実行することにより実現され、顔画像の眼の位置を検出する位置検出部610と、検出された眼の位置を基準として顔画像に化粧領域を設定する化粧領域設定部620と、設定された化粧領域に色を着色するメークアップ処理部630とを備えている。さらに、化粧領域設定部620は、顔画像にアイシャドーやアイラインなどのアイメークを施すための領域を設定するアイメーク領域設定部621と、顔画像にリップメークを施すための領域を設定するリップメーク領域設定部622とを備えている。
【0038】
(眼の位置検出処理)
次に眼の位置検出処理について説明する。図4は、位置検出部610のブロック構成図を示している。
【0039】
位置検出部610は、例えば顔画像の1枚目のフレームから所定枚数目までのフレームに対して眼の検出を行う眼検出モードと、眼検出モードにおいて検出された過去のフレームの眼の位置を基に、現フレームの眼の位置を検出する眼追跡モードとの2つのモードを備えている。
【0040】
位置検出部610は、検出領域設定部611と、画像抽出部612と、位置特定部613と、予測位置算出部614と、判断部615と、濃淡画像変換部616とを備えている。
【0041】
検出領域設定部611は、眼検出モードにおいては、画像取得部100が取得した顔画像の例えば1枚目から所定枚数目より1つ前までのフレームに対して、画像抽出部612が顔画像に対してフィルタ処理を施すための両眼を含む第1の検出領域R1を設定する。図3に示すように第1の検出領域R1は、x方向に平行かつ長尺の長方形状の領域である。
【0042】
また、検出領域設定部611は、眼追跡モードにおいては、現フレームの1つ前のフレームで検出された両眼のそれぞれの位置を中心とする2つの領域を現フレームに当てはめ、現フレームに対して画像抽出部612が種々の処理を施すための第2の検出領域R2を設定する。図3に示すように、第2の検出領域R2に含まれる2つの領域のうち一方の領域は、左側の眉及び眼を含む例えば、ほぼ正方形状の領域であり、他方の領域は右側の眉及び眼を含む例えば、ほぼ正方形状の領域である。なお、第2の検出領域R2に含まれる2つの領域は、それぞれ眼の中心位置を中心とし、かつ短軸がy方向と平行な楕円状の領域としてもよい。
【0043】
画像抽出部612は、濃度補正部6121と、サブサンプリング部6122と、フィルタ処理部6123と、面積算出部6124と、画像判定部6125とを備えている。
【0044】
濃度補正部6121は、検出領域設定部611が設定した第1及び第2の検出領域R1及びR2に対して、同じ濃度値を有する画素数を求め、濃度値ヒストグラムを作成し、この濃度値ヒストグラムを平坦化する処理を行う。その結果、ビデオカメラ2が被写体を撮像する際の照明条件などが異なることによる顔画像毎の明暗のバラツキが抑制される。
【0045】
サブサンプリング部6122は、フィルタ処理部6123によるフィルタ処理の高速化を図るための前処理として、第1及び第2の検出領域R1及びR2の画素数を間引く処理を行う。この場合、第2の検出領域R2に含まれる2つの領域のそれぞれは、画素数が例えば64×64ドットとなるように間引き処理がされる。
【0046】
フィルタ処理部6123は、眼検出モードにおいては、第1の検出領域R1を取り出し、眼追跡モードにおいては、第2の検出領域R2を取り出し、取り出した第1の検出領域R1及び第2の検出領域R2に対して瞳を抽出するための瞳抽出フィルタと、眼の輪郭を抽出するための眼輪郭抽出フィルタとを用いて、瞳及び眼の輪郭の画像を抽出する。図5は、瞳抽出フィルタを示したグラフであり、図6は、目輪郭抽出フィルタを示したグラフである。図5及び図6において、縦軸は顔画像のy座標に対応する座標であり、横軸はフィルタ値を示す座標である。
【0047】
瞳抽出フィルタhp(y)は、式(1)のように表される。
【0048】
【数1】

Figure 0003993029
【0049】
ここで、式(1)において、yは、顔画像のy方向の任意の位置を示す変数であり、Tpは定数であり、その値は一般人の平均的な瞳の半径とほぼ同じ値である。顔画像中の眼、特に瞳の部分は周囲の肌色領域及び白眼領域よりも相対的に暗い。そこで、瞳抽出フィルタhp(y)として、図5に示す横軸の値が0に近づくにつれてフィルタ値が0に近づき、原点から横軸に対して定数Tp及び−Tpに近づくにつれてフィルタ値が1に近づくような、瞳の抽出に適した1次元の関数が採用されている。
【0050】
眼輪郭抽出フィルタhc(y)は、式(2)のように表される。
【0051】
【数2】
Figure 0003993029
【0052】
式(2)は、式(1)とほぼ同じ式であるが、定数Tcの大きさが式(1)の定数Tpの大きさと異なる。すなわち、眼輪郭抽出フィルタhc(y)は、周囲の肌色の画像に対して相対的に暗い曲線状の眼の輪郭が適切に抽出されるように、すなわち、暗くかつ細いライン状の領域を抽出することができるように定数Tcの値が設定されている。そのため、定数Tcは定数Tpよりも小さい値(Tc<Tp)が設定されている。
【0053】
フィルタ処理部6123は、第1及び第2の検出領域R1及びR2内の画像のy方向の1ライン分の画像f(y)に対して瞳抽出フィルタhp(y)を用いて式(3)に示す畳み込み積分を施した後、更にx方向に隣接する次のy方向の1ライン分の画像f(y)に対して瞳抽出フィルタhp(y)を用いた畳み込み積分を施すというように、第1及び第2の検出領域R1及びR2内のy方向の画像f(y)に対して瞳抽出フィルタhp(y)を用いた畳み込み積分を順番に施していき瞳画像を抽出する。
【0054】
【数3】
Figure 0003993029
【0055】
さらに、フィルタ処理部6123は、式(4)に示すように、y方向の1ライン分の画像f(y)に対して、眼輪郭抽出フィルタhc(y)を用いた畳み込み積分を順番に施していき、眼の輪郭画像を抽出する。そして、抽出した瞳画像と眼の輪郭画像とを合成し、眼の画像を抽出する。
【0056】
ここで、フィルタ処理部6123は、第1及び第2の検出領域R1及びR2の画像に対して、1次元のフィルタ処理を施しているが、画像取得部100は、眼の中心と口の中心とを結ぶ直線がy方向となるように顔画像を取得しているため、眼の輪郭線は多くの部分がx方向とほぼ平行に現れることとなり、y方向の1ライン分の画像f(y)に対して眼輪郭抽出フィルタhc(y)を用いた畳み込み積分を施せば、眼の輪郭画像を抽出することができる。その結果、計算量の多い2次元のフィルタ処理を施さなくとも、1次元のフィルタ処理により眼の輪郭画像を抽出することができる。
【0057】
面積算出部6124は、フィルタ処理部6123によってフィルタ処理が施された第1及び第2の検出領域R1及びR2の画像に対して2値化処理を施す。上述したようにフィルタ処理部6123は、第1及び第2の検出領域R1及びR2に対して、眼輪郭抽出フィルタhc(y)及び瞳抽出フィルタhp(y)を用いて、眼の画像を抽出しているが、これらのフィルタは、肌色に対して相対的に暗い画素を抽出する特性を有しているため、眉、鼻の脇及び眼の下のくまなども検出する場合がある。そのため、フィルタ処理部6123は、複数の眼の候補画像を抽出することとなる。そこで、面積算出部6124は、画像判定部6125が面積を基に、眼の画像を判定することができるように、2値化処理を施した後、各候補画像のそれぞれをラベリングし、各候補画像のドット数をカウントすることにより各候補画像の面積を算出する。
【0058】
画像判定部6125は、面積算出部6124が算出した各候補画像のうち、面積の大きな2つ候補画像を眼の画像として判断し、複数の候補画像の中から眼の画像を特定する。ただし、面積の比較だけでは、眉を示す候補画像も大きな面積を有しているため、誤ってこの画像を眼の画像として特定する場合がある。そこで、画像判定部6125は、y方向の上下に面積の大きな2つの候補画像を検出した場合、上側の候補画像を眉の画像として排除し、下側の画像を眼の画像として特定する。
【0059】
位置特定部613は、画像判定部6125が特定した両眼の画像のそれぞれの重心を算出し、両眼のそれぞれの位置を特定する。位置特定部613は、眼の中心を算出するにあたり、例えば眼の画像に外接する四角形を当てはめこの四角形の2本の対角線の交点を眼の重心として算出する。
【0060】
予測位置算出部614は、位置特定部613が過去フレームにおいて検出した両眼のそれぞれの位置をもとに眼の移動速度及び移動加速度を算出し、算出した移動速度及び移動加速度からテイラー展開にしたがって現フレームの眼の予測位置を算出する。現フレーム対して1つ前のフレームにおける眼の位置をx(t)、y(t)とすると眼の移動速度はx(t)及びy(t)の1階微分x’(t)及びy’(t)で表され、眼の移動加速度はx(t)、y(t)の2階微分x’’(t)、y’’(t)で表される(ただし、tは時間を表す変数)。したがって、各フレームの時間間隔をΔtとすると予測位置x(t+Δt)、y(t+Δt)は、式(5)で示すように、2次の項までのテイラー展開を行った式で表すことができる。
【0061】
【数4】
Figure 0003993029
【0062】
判断部615は、位置特定部613が特定した現フレームの眼の位置と、予測位置算出部614が算出した現フレームの眼の予測位置との差dを求め、この差dを基に、予め定められた信頼度関数を用いて信頼度を算出し、位置特定部613が特定した眼の位置の正確性を判断する。信頼度関数は、図7に示すような例えばexp(−d2)で表される関数であり、差dが0に近づくにつれて信頼度が高くなり、差が大きくなるにつれて信頼度が低くなるような関数である。さらに、判断部615は、信頼度が例えば所定の値以上であれば、位置特定部613が検出した眼の位置を正しい眼の位置として採用し、信頼度が所定の値以下であれば、位置特定部613が眼の位置を誤検出したとして、その位置を眼の位置として採用しない。なお、信頼度関数は、指数関数に限定されず、例えば二次関数や1次関数などでもよい。
【0063】
濃淡画像変換部616は、画像取得部100が取得した顔画像のR(赤)、G(緑)及びB(青)色の成分に対してそれぞれ異なる所定の重みづけを施して合成することにより、その顔画像を輝度成分のみを表す濃淡画像に変換し、画像メモリ200に記憶させる。上記検出領域設定部611〜判断部615は、この濃淡画像に対して種々の処理を行う。
【0064】
次に、位置検出部610が行う眼位置検出モードの処理ついて図8に示すフローチャートに従って説明する。
【0065】
まず、画像取得部100によって、顔画像の1枚目のフレームが取得される(ステップS101)。次いで、濃淡画像変換部616により、画像取得部100が取得した顔画像が濃淡画像に変換される(ステップS102)。次いで、検出領域設定部611により、顔画像上に第1の検出領域R1が設定される(図3参照)(ステップS103)。次いで、濃度補正部6121によって、第1の検出領域R1の濃度値ヒストグラムが平坦化される(ステップS104)。
【0066】
次いで、サブサンプリング部6122により、フィルタ処理部6123の計算量の低下させるために、第1の検出領域R1の画像に対して間引き処理が施される(ステップS105)。
【0067】
次いで、フィルタ処理部6123により、顔画像から第1の検出領域R1が取り出され、取り出された第1の検出領域R1に対して、瞳抽出フィルタhp(t)を用いたフィルタ処理が施され(ステップS106)瞳の画像が抽出される。この場合、図9(a)で示すような瞳の画像が抽出される。次いで、フィルタ処理部6123により、再度、顔画像から第1の検出領域R1が取り出され、取り出した第1の検出領域R1の画像に対して、眼輪郭抽出フィルタhc(t)を用いたフィルタ処理が施され、眼の輪郭の画像が抽出される(ステップS107)。この場合、図9(b)で示すような眼の輪郭の画像が抽出される。次いで、フィルタ処理部6123により、ステップS106で抽出された瞳の画像とステップS107で抽出された眼の輪郭との画像が合成され、眼の画像が抽出される(ステップS108)。この場合、図9(c)で示すような瞳及び眼の輪郭が合成された眼の画像が抽出される。なお、実際には、ステップS108の段階において、眼以外の複数の眼の候補画像が含まれているが、図9(a)〜(c)においては、これら眼以外の眼の候補画像を省略している。
【0068】
次いで、面積算出部6124により、フィルタ処理部6123がフィルタ処理した第1の検出領域R1に対して、2値化処理が施され、複数の眼の候補画像がラベリングされ(ステップS109)、ドット数に基づいて各候補画像の面積が算出される。次いで、画像判定部6125によって、複数の眼の候補画像の中から2つの面積の大きな候補画像が抽出可能な場合(ステップS110でYES)、この候補画像が両眼の画像として判定され、ステップS111に進む。一方、ステップS110において、面積の大きな2つの領域を抽出することができない場合(ステップS110でNO)、再処理を行うためステップS103に戻る。なお、画像判定部6125が、y方向の上下に2つの面積の大きな領域を抽出した場合(すなわち、この場合、眼の候補画像としてふさわしい面積を有する眼の候補画像が少なくとも3つ存在する)、上側の画像は眉の画像として排除され、下側の画像が眼の画像として特定される。
【0069】
次いで、位置特定部613によって、眼の画像の重心が算出され、その中心が眼の位置として検出される(ステップS111)。次いで、顔画像の次のフレームが取得される(ステップS112)。次いで、取得されたフレームが所定枚数目未満のフレームである場合(ステップS113でNO)、ステップS102に戻る。一方、取得したフレームが所定枚数目のフレームである場合(ステップS113でYES)、図10に示すステップS201に進む。ここで、所定枚数目とは、眼追跡モードにおいて、眼の位置の移動速度及び移動加速度を算出することができる十分な枚数が該当する。したがって、眼の位置の移動速度及び加速度を算出するためには、少なくとも3枚のフレームが必要であるため、所定枚数目のフレームは少なくとも4枚目以降のフレームとなる。
【0070】
次に、眼追跡モードにおける位置検出部610が行う処理について図10に示すフローチャートに従って説明する。眼追跡モードは、眼検出モードのステップS113の処理に引き続いて行われる。
【0071】
まず、図8に示すステップS112で取得されたフレームが濃淡画像に変換される(ステップS201)。次いで、検出領域設定部611により、過去のフレームで検出された眼の位置に基づいて、図3に示すように現フレーム上に第2の検出領域R2が設定される(ステップS202)。次いで、ステップS203〜ステップS208おいて、図8に示す眼検出モードのステップS104〜S109で行われた処理と同様の処理が、第2の検出領域R2に対して行われる。
【0072】
次いで、予測位置算出部614により、現フレームの1つ前のフレームにおける眼の位置、過去のフレームの眼の位置から算出された眼の移動速度及び移動加速度を用いて、テイラー展開によって現フレームの眼の予測位置が算出される(ステップS209)。次いで、判断部615によって、位置特定部613が現フレーム上で検出した眼の位置と、ステップS209で算出された眼の予測位置との差dが算出され、算出された差dを基に信頼度が算出され、この信頼度が所定の閾値と比較され、位置特定部613が検出した眼の位置の正確性が判断される(ステップS210)。ここで、算出された信頼度が所定の閾値よりも大きい場合は、位置特定部613が特定した眼の位置は正しいものであるとして、(ステップS210でYES)その位置が眼の位置として決定される(ステップS211)。一方、算出された信頼度が所定の閾値よりも小さい場合は、位置特定部613は眼の位置を誤って特定したとして、図8で示すステップS103に戻り、再度眼の検出処理が行われる(ステップS210でNO)。この場合、表示部300には、図3で示すように、位置特定部613が検出した眼の位置を示すマーカIMを被写体の顔の動きに追従するように、瞳の中心の位置に表示させてもよい。
【0073】
次いで、画像取得部100により、次のフレームが取得される(ステップS212)。次いで、最終フレームの処理が終了したか否かが判断され(ステップS213)、最終フレームの処理が終了済みである場合(ステップS213でYES)、処理を終了する。最終フレームの処理が終了していない場合(ステップS213でNO)、ステップS201に戻り、ステップS212で取得されたフレームについて引き続いて眼追跡モードの処理が施される。
【0074】
(メークアップ処理)
次に、メークアップ処理について説明する。図11は、アイメーク領域設定部621のブロック構成図を示している。
【0075】
アイメーク領域設定部621は、ノイズ除去部6211と、エッジ検出部6212と、近似関数算出部6213と、制御点作成部6214と、境界線算出部6215とを備えている。
【0076】
ノイズ除去部6212は、検出領域設定部611が設定した第2の検出領域R2に対して、所定の周波数帯域の画像成分を通過させる空間周波数フィルタを用いて、不要な画像成分を除去する。第2の検出領域R2内には、眉間やこめかみ付近で周囲の肌色より暗い領域が存在するため、エッジ検出部6212は、これらの暗い領域を眼及び眉の輪郭線として誤って検出するおそれがある。そこで、ノイズ除去部6212は、空間周波数フィルタを用いて眼及び眉の輪郭を検出するうえで不要となる画像成分を除去している。空間周波数フィルタによるフィルタ処理方法としては、例えば離散フーリエ変換、離散コサイン変換あるいはウェーブレット変換などによるフィルタ処理方法を採用すればよい。
【0077】
エッジ検出部6212は、位置特定部613で検出された両眼のそれぞれの位置を基に、y方向上の眉及び眼の間の位置を第1の始点として設定し、第2の検出領域R2内の画像に対して、上方向(−y方向)に向かって周囲の肌色よりも暗い画素の検出を所定の濃度閾値と比較することにより行い、検出した画素を眉の下側の輪郭線の画素(輪郭画素)とするとともに、下方向(+y方向)に向かって周囲の肌色よりも暗い画素の検出を、所定の濃度閾値と比較することにより行い、検出した画素を眼の上側の輪郭画素とする。エッジ検出部6212は、このような処理を第2の検出領域R2のx軸方向の一辺のほぼ真ん中の位置から左側(+x側)及び右側(−x側)に向けてy方向の1ラインの画像を1つの処理単位として順番に施していく。このように、エッジ検出部6212は、眼及び眉の輪郭画素の検出を第2の検出領域のx方向の真ん中の位置から左右に分かれて行うため、濃度閾値より暗い画素が検出されなくなった位置が、目頭、目尻、眉頭及び眉尻の位置となる。
【0078】
さらに、エッジ検出部6212は、位置特定部613で検出された両眼それぞれの位置を基に、眉の下側の輪郭画素及び眼の上側の輪郭画素を検出する場合と同様にして、眉の上側(x軸側)の所定の位置を第2の始点として、下方向(+y方向)に向かって周囲の肌色よりも暗い画素の検出を行い、検出した画素を眉の上側の輪郭画素とする。
【0079】
さらに、エッジ検出部6212は、位置特定部613で検出された両眼それぞれの位置を基に、眼の下側の所定の位置を第3の始点として、眉の上側の輪郭画素を検出する場合と同様にして、上方向(−y方向)に向かって周囲の肌色よりも暗い画素の検出を行い、検出した画素を眼の下側の輪郭画素とする。
【0080】
近似関数算出部6213は、エッジ検出部6212が検出した眉の上端画素の配列を基に、例えば最小二乗法を用いて眉の上側の輪郭を表す近似関数を算出する。さらに近似関数算出部6213は、眉の下側の輪郭画素、眼の上側の輪郭画素及び眼の下側の輪郭画素に関しても、画素の配列を基に、最小二乗近似法を用いて眉の下側の輪郭、眼の上側の輪郭及び眼の下側の輪郭を表す近似関数をそれぞれ算出する。ここで、高次の近似関数を用いて輪郭線を表すと、輪郭線の形状が不自然になるため、近似関数としては低次の関数、例えば二次関数を用いることが好ましい。
【0081】
制御点作成部6214は、エッジ検出部6212が検出した眉尻、眉頭、目尻及び目頭の画素をy方向に平行移動し、これらの画素を線形補間することにより、アイメーク領域を設定するための複数の制御点を作成する。さらに、制御点作成部6214は、制御点の作成をするにあたり、化粧パターン記憶部400に記憶されている複数のアイメークパターンの中からユーザーによって選択されたアイメークパターンにしたがって、制御点を作成する。
【0082】
境界線算出部6215は、制御点作成部6214によって作成された複数の制御点のうち、いくつかの制御点を通過するという拘束条件を用いて、アイメーク領域の境界線を表す近似関数を算出する。この近似関数と眼の輪郭線とによって囲まれた領域がアイメーク領域となる。ここで、近似関数は、x座標を変数とする1変数の関数となる。そのため、アイメーク領域内にある画素の判定は、境界線を表す近似関数と眼の上側の輪郭線を表す近似関数とを比較することにより容易に行うことができる。また、アイメーク領域を近似関数により特定することができるため、アイメーク領域境界の画素を容易に特定することができ、境界線付近で、アイメークの色を連続的に変化させることも可能となる。
【0083】
次に、図12に示すフローチャートに従って、アイメーク領域設定部621が1枚のフレームに対して行う処理について説明する。なお、このフレームは予め、図4に示す濃淡画像変換部616で濃淡画像に変換され、検出領域設定部611によって第2の検出領域R2が設定されているものとする。また、第2の検出領域R2が特定されるまでは、アイメーク領域設定部621は、第1の検出領域R1に対して以下に示す処理を行う。
【0084】
まず、ノイズ除去部6211により、第2の検出領域R2に対して空間周波数フィルタを用いたフィルタ処理が施される(ステップS301)。これにより、エッジ検出部6212が眼及び眉の輪郭画素を検出するうえで不要となるノイズ成分が除去される。
【0085】
次いで、エッジ検出部6212により、図13に示すように、第1の始点S1から上側及び下側のそれぞれの方向に向かって眼の上側の輪郭画素EP1及び眉の下側の輪郭画素MP2が検出される(ステップS302)。次いで、エッジ検出部6212により、第2の始点S2から下方向に眉の上側の輪郭画素MP1が検出されるとともに、第3の始点S3から上方向に向かって眼の下側の輪郭画素EP2が検出される(ステップS303)。
【0086】
次いで、近似関数算出部6213によって、ステップS302で検出された眼の上側の輪郭画素EP1及び眉の下側の輪郭画素MP2の配列を基に、最小二乗法により眼の上側の輪郭線及び眉の下側の輪郭線を表す近似関数がそれぞれ算出されるとともに、ステップS303で検出された眉の上側の輪郭画素MP1及び眼の下側の輪郭画素EP2の配列を基に、最小二乗法により眉の上側の輪郭線及び眼の下側の輪郭線を表す近似関数がそれぞれ算出される(ステップS304)。
【0087】
次いで、エッジ検出部6212によって、目頭、目尻、眉頭及び眉尻の画素が検出される(ステップS305)。次いで、制御点作成部6214によって、目頭、目尻、眉頭及び眉尻の画素を基に、制御点が作成される(ステップS306)。この場合、図14に示すように、目頭ETが制御点CPとされ、眉尻MEは、例えば+y方向の位置ME’まで移動され制御点CPとされる。さらに、瞳の上端の点HTは−y方向の位置HT’まで移動され、制御点CPとされる。そして、これらの制御点CPのうちいくつかの制御点CPが線形補間されて新たな制御点CP’が作成される。
【0088】
次いで、図12に示すステップS307において、境界線算出部6215によって、制御点CP及びCP’を基に、アイメーク領域の境界線を表す近似関数EL1が算出される(ステップS307)。この場合、図14に示すように、近似関数EL1及び眼の輪郭EL2に囲まれた領域がアイメーク領域EMRとなる。
【0089】
さらにこの場合、表示部300に表示された図15に示す画面図を用いてオペレータが選択したアイメークパターンの形に、アイメーク領域EMRの形が一致するように制御点CP及びCP’を作成してもよい。図15に示す画面図には、複数のアイメークパターンを一覧表示するアイメークパターン一覧表示部PRと、顔を動画像で表示する顔画像表示部FRと、アイメーク領域EMRに施す複数のアイカラーパターンを一覧表示するアイカラーパターン表示部CRとが表示されている。この一覧画像は、一覧画像作成部700が、化粧パターン記憶部400及びカラーパターン記憶部500に記憶されているアイメークパターン及びアイカラーパターンを、顔画像と合成することにより作成される。オペレータは、この一覧画像上で目的とするアイメークパターン及びアイカラーパターンにマウスポインタを合わせクリックすると、顔画像表示部FRに表示された顔画像にそのアイメークパターン及びアイカラーパターンが施される。
【0090】
次いで、メークアップ処理部630によって、アイメーク領域内EMRに、ユーザーによって選択されたアイカラーパターンが着色される(ステップS308)。以上の処理により、顔画像にアイメーク処理が施される。なお、ステップS301〜ステップS308までの処理は、各フレームに対して行われるため、動画像に対するアイメーク処理が行われることとなる。
【0091】
次に、図16にしたがってリップメーク領域設定部622の説明を行う。リップメーク領域設定部622は、上唇の輪郭線の検出と下唇の輪郭線の検出とをそれぞれ個別に行う。
【0092】
リップメーク領域設定部622は、R−G画像変換部6221と、濃淡画像変換部6222と、唇検出領域設定部6223と、フィルタ処理部6224と、面積算出部6225と、下唇画像特定部6226と、下唇輪郭検出部6227と、上唇画像特定部6228と、上唇輪郭検出部6229と、近似関数算出部6230と、輪郭補正部6231とを備える。
【0093】
6221は、下唇の輪郭を検出するために用いられ、顔画像からR(赤色)成分とG(緑色)成分とを抽出し、R成分からG成分を差し引いた差分(R−G)成分を算出し、顔画像を差分(R−G)画像に変換する。なお、この場合、R−G画像変換部6221は、顔画像から抽出したR成分とG成分との比率(R/G)成分を算出し、顔画像を比率(R/G)成分に変換してもよい。
【0094】
濃淡画像変換部6222は、上唇の輪郭を検出をするために用いられ、顔画像に含まれるR、G及びBの成分を合成して、輝度のみを表す濃淡画像に顔画像を変換する。
【0095】
唇検出領域設定部6223は、位置特定部613が特定した眼の位置を基準として、唇を含む所定の領域を、上唇及び下唇を検出するための唇検出領域として設定する。図17に示すように、唇検出領域設定部6223は、唇検出領域を設定するにあたり、一般的な人間の眼の位置EPに対する口の重心の平均的な位置RGを重心R3Gとするx方向に長尺な長方形状の領域を唇検出領域R3として設定する。
【0096】
フィルタ処理部6224は、唇検出領域R3に対して、所定の周波数帯域のみを抽出する空間周波数フィルタを施して、上唇及び下唇を検出するにあたり不要な画像を除去する。
【0097】
面積算出部6225は、唇検出領域R3を2値化処理して、下唇の複数の候補画像を抽出し、各候補画像のそれぞれをラベリングし、下唇の各候補画像のそれぞれに含まれるドット数をカウントすることにより下唇の候補画像の面積を算出する。
【0098】
下唇画像特定部6226は、複数の下唇の候補画像の中から面積が最大のものを下唇の画像として特定する。
【0099】
下唇輪郭検出部6227は、下唇画像特定部6226が判定した下唇の画像の下側の点を第4の始点として、−y方向に赤色の画素の検出を行い、検出した画素を下唇の下側の輪郭画素とする。下唇輪郭検出部6227は、このような処理を、唇検出領域R3において、y方向の1ラインを1つの処理単位として、第4の始点をx方向にずらしながら、順次下唇の下側の輪郭画素を検出する。
【0100】
上唇画像特定部6228は、図17に示すように、下唇画像特定部6226が判定した下唇画像の重心MGを重心R3Gとする楕円領域R4(上唇検出用領域)を、唇検出領域R3内に設定し、唇検出領域R3の領域内にあって、楕円領域R4領域外にある画像を除去し、唇検出領域R3内に残存する画像を上唇の画像として特定する。
【0101】
上唇輪郭検出部6229は、上唇画像特定部6228が特定した上唇の画像よりも上側の所定の位置を第5の始点として、+y方向に所定の濃度閾値よりも暗い(輝度の低い)画素の検出を行い、検出した画素を上唇の上側の輪郭画素とする。上唇輪郭検出部6229は、このような処理を、唇検出領域R3において、y方向の1ラインを1つの処理単位として第5の始点をx方向にずらしながら、順次上唇の輪郭画素を検出していく。
【0102】
近似関数算出部6230は、上唇の輪郭画素の配列を基に、最小二乗近似法により、上唇の上側の輪郭線を表す近似関数を算出する。上唇の左右方向の中間の上側の輪郭は、切り込んだ部分があるため、1つの近似関数により上唇の輪郭を表すことは困難である。そのため、近似関数算出部6230は、左右の2つの領域に分けて区分的に近似関数を算出している。ここで、自然な輪郭を表現するためには、近似関数としては低次の関数、例えば二次関数を用いることが好ましい。
【0103】
輪郭補正部6231は、近似関数算出部6230が算出した、上唇の上側の輪郭線を表す近似関数及び下唇の下側の輪郭を表す近似関数が、オペレータによって選択されたリップメークパターンの形状となるように、近似関数の補正を行う。ここで、輪郭補正部6231は、唇の厚みを制御する場合は、上唇及び下唇の輪郭を表す近似関数を上下動させることにより制御することができる。さらに、唇の輪郭形状を変更する場合は、唇の輪郭を表す近似関数に対して、輪郭形状を変更するための補正成分を合成することにより、輪郭形状を変更することができる。ここで、輪郭形状を修正するための補正成分は、関数で表すことができるため、輪郭形状の変更は容易に行うことができる。
【0104】
さらに、輪郭補正部6231は、唇の上側の輪郭線と下側の輪郭線で囲まれる領域(唇領域)から、この唇領域に含まれる歯及び口腔の領域を検出して取り除き、リップメーク領域を設定する。この場合、輪郭補正部6231は、唇領域内部の白い画素及び黒い画素を検出することにより歯及び口腔の領域を検出する。
【0105】
次に図18に示すフローチャートにしたがって、リップメーク領域設定部622が1枚のフレームに対して行う下唇の輪郭を検出する処理について説明する。
【0106】
まず、R−G画像変換部6221によって、顔画像からR−G成分のみが抽出され、顔画像がR−G画像に変換される(ステップS401)。次いで、唇検出領域設定部6223によって、眼の位置を基準として、顔画像に唇検出領域R3が設定される(ステップS402)。次いで、フィルタ処理部6224により、唇検出領域R3の画像に空間周波数フィルタによるフィルタ処理が施され(ステップS403)、ノイズ成分が除去される。
【0107】
次いで、面積算出部6225により、唇検出領域R3の画像が2値化される(ステップS403)。この場合、唇検出領域R3には、複数の下唇の候補画像が含まれている。次いで、面積算出部6225により、各下唇の候補画像のドット数を基に、下唇の候補画像の面積が算出される(ステップS405)。次いで、下唇画像特定部6226によって、下唇の候補画像のうち最も面積が大きな下唇の候補画像が下唇の画像として特定される(ステップS406)。
【0108】
次いで、下唇輪郭検出部6227により、図19に示すように、第4の始点S4を始点として、−y方向に赤色の画素が検出され、検出された画素が、下唇の下側の輪郭画素PR2とされる(ステップS407)。
【0109】
次いで、近似関数算出部6230により、下唇の下側の輪郭画素の配列を基に、下唇の下側の輪郭を表す近似関数が算出される(ステップS408)。
【0110】
次に、図20に示すフローチャートにしたがって、リップメーク領域設定部622が、1枚のフレームに対して行う上唇の輪郭を検出する処理について説明する。
【0111】
まず、濃淡画像変換部6222によって、顔画像が濃淡画像に変換される(ステップS501)。次いで、唇検出領域設定部6223によって、眼の位置を基準として、顔画像に唇検出領域R3が設定される(ステップS502)。次いで、フィルタ処理部6224により、唇検出領域R3の画像に空間周波数フィルタを用いたフィルタ処理が施される(ステップS503)。これにより、ノイズ成分が除去される。次いで、上唇画像特定部6228によって、下唇画像特定部6226が算出した、下唇の重心を重心とする楕円領域R4が、唇検出領域R3内に設定され、上唇の画像が特定される(ステップS504)。
【0112】
次いで、上唇輪郭検出部6229により、図19に示すように、上唇の上側の第5の始点S5を始点として+y方向に、所定の濃度閾値よりも暗い画素の検出が行われ、検出された暗い画素が、上唇の上側の輪郭画素RP1とされる(ステップS505)。次いで、上唇輪郭検出部6229により、輪郭画素RP1の配列を基に、上唇の上側の輪郭線を表す近似関数が最小二乗法によって算出される(ステップS506)。次いで、輪郭補正部6231により、図18のステップ408で算出された下唇の輪郭線とステップS506で算出された上唇の輪郭線とで囲まれる唇領域内において、歯及び口腔の画像が検出除去される(ステップS507)。これにより、リップメーク領域が設定される。
【0113】
リップメーク領域設定部622は、このような処理を各フレームに対して行うため、顔の表情に追従するリップメーク領域の設定が可能となる。
【0114】
次に、メークアップ処理部630について説明する。図21は、メークアップ処理部630のブロック構成図を示している。メークアップ処理部630は、着色部631と、ハイライト処理部632と、ラメ処理部633とを備えている。
【0115】
着色部631は、リップメーク領域設定部622が設定した、リップメーク領域に対して、オペレータにより選択されたリップカラーパターンを着色する。なお、着色部631は、オペレータによりリップカラーパターンが選択されていない場合は、予め定められたリップカラーパターンをリップメーク領域に着色する。ここで、着色部631がリップメーク領域にリップカラーパターンを着色するにあたり、特願2001−230528の技術を用いてカラーパターンを着色する。
【0116】
ハイライト処理部632は、下唇の光沢を表すためのハイライト処理を行う。この場合、ハイライト処理部632は、ハイライト唇領域の下側の輪郭線を−y方向に平行移動することによって、ハイライト領域の中心線を定め、この中心線に近づくにつれて画素の輝度値を上げることによりハイライト処理を行う。これにより、下唇の光沢がよりリアルに表現されることとなる。
【0117】
ラメ処理部633は、唇にラメ状の光沢粒子が含まれたリップスティックを塗った場合の視覚効果を表現するラメ処理を行う。
【0118】
次に、メークアップ処理部630が1毎のフレームに対して行うリップメーク処理について、図22に示すフローチャートに従って説明する。
【0119】
まず、輪郭補正部6231により、オペレータによって選択されたリップメークパターンに基づいて、唇領域の上側及び下側の輪郭線が補正される(ステップS601)。これによりリップメーク領域の形状が、リップメークパターンの形状と一致する。この場合、表示部300には、図23で示すような、リップメークパターンを選択するための画面が表示され、オペレータは、この画面を操作することにより、化粧パターンを選択することができる。この画面には、リップメークパターンの一覧を示するリップメーク一覧表示エリアAA、顔画像を動画表示する顔画像表示エリアBA及びリップメーク領域に着色する色の一覧を表示するカラーパレット表示エリアCAなどから構成されている。リップメーク一覧表示エリアAAには、複数(例えば6つ)のリップメークパターンRPが表示されている。オペレータは、マウスポインタをリップメークパターンRPのいずれかに合わせてクリックすると、そのリップメークパターンが顔画像表示エリアBAに表示された顔画像に施される。
【0120】
次いで、メークアップ処理部630により、オペレータによって選択されたリップカラーが、リップメーク領域に着色される(ステップS602)。この場合、オペレータは、図23に示す画面において、カラーパレット表示エリアCAに表示されている複数のカラーパレットIPのいずれか1つにマウスポインタを合わせてクリックすると、そのカラーパレットIPに表示された色が、顔画像のリップメーク領域に着色される。
【0121】
次いで、ハイライト処理部632により、ハイライト処理が施される(ステップS603)。この場合、図19に示すように、下唇領域には、ハイライト領域の中心線HCLを中心として、下唇の各画素の輝度値が調節され、下唇のハイライトが表現される。
【0122】
次いで、ラメ処理部633により、リップメーク領域にラメ処理が施される場合(ステップS604でYES)、ステップS605に進む。一方、ラメ処理部633により、リップメーク領域にラメ処理が施されない場合、(ステップS604でNO)処理を終了する。
【0123】
次いで、ラメ処理部633により、リップメーク領域内でラメ処理を行う画素がランダムに抽出される(ステップS605)。次いで、ラメ処理部633により、抽出された画素の輝度が高く設定され、ラメによって唇に生じる光沢が表現される(ステップS606)。
【0124】
メークアップ処理部630は、このような処理を各フレームに対して行うため、顔画像の動きに追従するリップメーク処理が可能となる。
【0125】
なお、本発明は、以下の態様をとることができる。
【0126】
(1)上記実施形態では、画像取得部100は、被写体の顔の頭部が上側となるように顔画像を取得したが、これに限定されず、例えば顔の頭部が下側あるいは斜め上側に傾くように顔画像を取得してもよい。この場合、眼の中心と口の中心とを結ぶ直線と平行な方向であって、頭部側を上側とし、口側を下側とすればよい。さらに、この場合、上唇画像特定部6228が唇検出領域R3内に楕円領域R4を設定する場合、楕円の短軸が、眼の中心と口の重心RGとを結ぶ直線上に重なるように、楕円領域R4を設定すればよい。
【0127】
(2)上記実施形態では、近似関数算出部6213は、最小二乗法により輪郭線を表す近似関数を算出しているが、これに限定されず、スプライン処理などによって、近似関数を算出してもよい。ただし、なめらかな輪郭線を得るためには、最小二乗法で算出された近似関数が好ましい。
【0128】
(3)上記実施形態では説明しなかったが、化粧領域設定部は、眼及び口以外の例えば頬などに化粧領域を設定し、メークアップ処理部630は、この化粧領域に色を着色することによりメークアップ処理を行ってもよい。ここで、メークアップ処理部630が、化粧領域に色を着色するにあたり、特願2001−230528の技術を用いて着色する。
【0129】
(4)本化粧シミュレーションプログラムを半導体集積回路により構成し、例えばビデオカメラに内蔵してもよい。
【0130】
【発明の効果】
以上説明したように、本発明に係る化粧シミュレーション装置によれば、動画像に対して化粧シミュレーションを行うことができる。さらに、その位置を正確に検出することができる眼の位置に基づいて化粧領域を設定しているため、化粧領域の位置がフレーム間でずれることなく、化粧シミュレーションのリアル性を増すことができる。
【図面の簡単な説明】
【図1】 本発明に係る化粧シミュレーション装置の概略構成を示した図である。
【図2】 本発明に係る化粧シミュレーション装置のブロック構成図である。
【図3】 顔画像の一例を示した図である。
【図4】 位置検出部のブロック構成図である。
【図5】 瞳抽出フィルタを示したグラフである。
【図6】 目輪郭抽出フィルタを示したグラフである。
【図7】 信頼度関数の一例を示したグラフである。
【図8】 位置検出部が行う眼位置検出モードの処理を示すフローチャートである。
【図9】 眼の画像が抽出される様子を説明するための図である。
【図10】 眼追跡モードにおける位置検出部が行う処理を示すフローチャートである。
【図11】 アイメーク領域設定部のブロック構成図である。
【図12】 アイメーク領域設定部が1枚のフレームに対して行う処理を示したフローチャートである。
【図13】 眼及び眉の輪郭画素が検出される様子を説明するための図である。
【図14】 アイメーク領域が設定される様子を説明するための図である。
【図15】 アイメークパターン及びアイラインパターンの一覧画像を示した図である。
【図16】 リップメーク設定部のブロック構成図を示している。
【図17】 唇検出領域が設定される様子を説明するための図である。
【図18】 リップメーク領域設定部が1枚のフレームに対して行う下唇の輪郭を検出する処理を示すフローチャートである。
【図19】 下唇の輪郭画素が検出される様子を説明するための図である。
【図20】 リップメーク領域設定部が、1枚のフレームに対して行う上唇の輪郭を検出する処理を示すフローチャートである。
【図21】 メークアップ処理部のブロック構成図である。
【図22】 メークアップ処理部が1毎のフレームに対して行う処理を示すフローチャートである。
【図23】 リップメークパターン及びリップカラーパターンの一覧画像を示した図である。
【符号の説明】
100 画像取得部
200 画像メモリ
300 表示部
400 化粧パターン記憶部
500 カラーパターン記憶部
600 プログラム実行部
610 位置検出部
611 検出領域設定部
612 画像抽出部
6121 濃度補正部
6122 サブサンプリング部
6123 フィルタ処理部
6124 面積算出部
6125 画像判定部
613 位置特定部
614 予測位置算出部
615 判断部
616 濃淡画像変換部
620 化粧領域設定部
621 アイメーク領域設定部
6211 ノイズ除去部
6212 エッジ検出部
6212 ノイズ除去部
6213 近似関数算出部
6214 制御点作成部
6215 境界線算出部
622 リップメーク領域設定部
6221 R−G画像変換部
6222 濃淡画像変換部
6223 唇検出領域設定部
6224 フィルタ処理部
6225 面積算出部
6226 下唇画像特定部
6227 下唇輪郭検出部
6228 上唇画像特定部
6229 上唇輪郭検出部
6230 近似関数算出部
6231 輪郭補正部
630 メークアップ処理部
631 着色部
632 ハイライト処理部
633 ラメ処理部
700 一覧画像作成部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a makeup simulation technique for virtually applying makeup to a face image of a subject.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been known a makeup simulation apparatus that virtually applies makeup by taking a human face image, taking it into a computer, and performing predetermined image processing. Such a makeup simulation device can be used on demonstration sales of cosmetics and training to acquire makeup techniques because the effect of makeup can be confirmed on the computer screen without actually applying makeup. Has been.
[0003]
As a technique relating to such makeup simulation, a facial makeup support device (Japanese Patent Laid-Open No. 6-319613), a lip color advice system and method (Japanese Patent Laid-Open No. 8-202754), and a makeup simulation method (Japanese Patent Laid-Open No. 10-21290) Etc. have been reported.
[0004]
[Problems to be solved by the invention]
However, all of these techniques are intended for still images obtained from digital still cameras, image scanners, and the like, and are not intended for moving images. For this reason, there has been a problem that the makeup effect with respect to changes in facial expressions cannot be confirmed and lacks realism.
[0005]
The present invention has been made in order to solve the above-described problems, and an object of the present invention is to provide a makeup simulation technique capable of performing makeup simulation more realistically.
[0006]
[Means for Solving the Problems]
The makeup simulation apparatus according to the present invention includes an image acquisition unit that acquires a face image of a subject photographed at a predetermined frame period, a position detection unit that detects an eye position of the face image for each frame, and is detected for each frame. Makeup area setting means for setting a predetermined area of the face image as a makeup area based on the position of the eye, and makeup processing means for coloring the makeup area with a predetermined color and applying the makeup process to the face image With The makeup area setting means includes a lip detection area setting means for setting an area including the upper lip and the lower lip as a lip detection area based on an eye position, and a contour of the lower lip based on color information from the lip detection area. Lower lip contour detecting means for detecting the upper lip contour detecting means based on the brightness from the lip detection area, and detecting the region surrounded by the detected upper lip and lower lip contours. The makeup area setting means sets an upper lip detection area centered on the center of gravity of the lower lip image in the lip detection area, and sets the upper lip from an image included in the set upper lip detection area. Upper lip image specifying means for specifying the image of It is characterized by this.
[0007]
According to the present makeup simulation apparatus, the eye position of the photographed face image is detected for each frame, and based on the detected eye position, a makeup area is set in the frame, and the makeup area is colored. Since the makeup process is performed on the face image, a makeup simulation for moving images can be performed. Furthermore, since the makeup area is set based on the position of the eye that is easy to detect, the setting accuracy of the makeup area is increased, and a more realistic makeup simulation can be realized.
[0009]
Also, The contour of the lower lip is detected by the color information, and the contour of the upper lip and the lower lip can be detected more accurately because the contour of the upper lip that is difficult to detect by the color information is detected by the brightness.
[0011]
Also An upper lip detection region having a shape that matches the shape of the lip contour around the center of gravity of the lower lip calculated from the lower lip contour detected by the lower lip contour detection means is set. The upper lip image is specified based on the image in the region. Since there are many deep wrinkles in the vicinity of the upper lip, when the contour of the upper lip is detected based on the brightness, these wrinkles may be erroneously detected as the contour of the upper lip. Therefore, the upper lip detection area, which is the center of gravity of the lower lip, is applied to the lip detection area, the image outside the upper lip detection area is excluded, and the upper lip image is specified from the remaining image. Can be identified. Here, the upper lip detection region includes a region having a shape such as an ellipse or a polygon.
[0012]
The makeup area setting means calculates an approximate function representing the contour of the upper lip from the arrangement of pixels constituting the contour of the upper lip detected by the upper lip contour detection means, and the lower lip contour detection means detects the lower lip contour detection means. It is preferable to provide an approximate function calculating means for calculating an approximate function representing the contour of the lower lip from the arrangement of pixels constituting the contour of the lip.
[0013]
In this case, since an approximate function representing the contour lines of the lower lip and the upper lip is calculated based on the arrangement of the pixels constituting the detected contours of the upper lip and the lower lip, a smooth makeup area can be set.
[0014]
The approximate function calculating means preferably divides the upper contour of the upper lip into two regions at the center in the left-right direction, and calculates an approximate function representing the contour in each region.
[0015]
In this case, the upper contour of the upper lip is divided into two regions at the center in the left-right direction, and an approximate function representing the contour is calculated in each region, and the upper contour of the upper lip is calculated as two approximate functions. Therefore, the cut portion of the upper lip at the center on the upper lip can be expressed.
[0016]
Preferably, the makeup processing means performs a highlight process for expressing the gloss of the lower lip on the lower lip using the approximate function representing the lip contour calculated by the approximate function calculating means.
[0017]
In this case, the highlight (gloss) of the lips usually has a shape along the outline of the lips and often appears at the center in the vertical direction on each of the lower lip and the upper lip. In the present invention, the highlight processing is performed using an approximation function that smoothly expresses the contour line of the lips, so that the highlight processing can be performed quickly and the highlight of the lips can be expressed more beautifully. The realism of makeup simulation will increase.
[0018]
The makeup area further includes storage means for storing a plurality of predetermined makeup patterns, list image creation means for creating a list image of the plurality of makeup patterns, and input means for receiving an operation command from an operator. The setting means sets the makeup area based on a makeup pattern selected by an operator from the list images of the plurality of makeup patterns using the input means, and the makeup processing means It is preferable that the makeup area is colored based on a makeup pattern selected by an operator using the input means from the makeup pattern list image.
[0019]
In this case, since the operator can select a makeup pattern and a color pattern from a list image of a plurality of makeup patterns and color patterns stored in advance, it is easy to select a makeup pattern and a color pattern suitable for the face image.
[0020]
In the makeup simulation method according to the present invention, a computer acquires a face image of a subject photographed at a predetermined frame period, and the computer extracts a predetermined region of the face image based on the eye position detected for each frame. Set as a makeup area, the computer colors a predetermined color in the makeup area, performs a makeup process on the face image, The computer sets a region including the upper lip and the lower lip as a lip detection region based on the eye position, detects the contour of the lower lip based on color information from the lip detection region, and determines the brightness from the lip detection region. The upper lip contour is detected based on the upper lip and the region surrounded by the detected upper lip and lower lip contour is set as the makeup region, and the computer centers the center of gravity of the lower lip image in the lip detection region. And set the upper lip detection area to identify the upper lip image from the images contained in the set upper lip detection area It is characterized by.
[0021]
According to the present makeup simulation method, the eye position of the photographed face image is detected for each frame, and based on the detected eye position, a makeup area is set in the frame, and the makeup area is colored. Since the makeup process is performed on the face image, a makeup simulation for moving images can be performed. Furthermore, since the makeup area is set based on the position of the eye that is easy to detect, the setting accuracy of the makeup area is increased, and a more realistic makeup simulation can be realized.
[0022]
The makeup simulation program according to the present invention is detected for each frame, an image acquisition means for acquiring a face image of a subject photographed at a predetermined frame period, a position detection means for detecting the eye position of the face image for each frame, and Makeup area setting means for setting a predetermined area of the face image as a makeup area based on the position of the eye, and makeup processing means for coloring the makeup area with a predetermined color and applying the makeup process to the face image Make the computer work, The makeup area setting means includes a lip detection area setting means for setting an area including the upper lip and the lower lip as a lip detection area based on an eye position, and a contour of the lower lip based on color information from the lip detection area. Lower lip contour detecting means for detecting the upper lip contour detecting means based on the brightness from the lip detection area, and detecting the region surrounded by the detected upper lip and lower lip contours. The makeup area setting means sets an upper lip detection area centered on the center of gravity of the lower lip image in the lip detection area, and sets the upper lip from an image included in the set upper lip detection area. Upper lip image identification means to identify the image of It is characterized by providing.
[0023]
According to the makeup simulation program according to the present invention, the eye position of the captured face image is detected for each frame, and based on the detected eye position, a makeup area is set in the frame, and the makeup area Since the face image is colored and makeup processing is performed on the face image, a makeup simulation for moving images can be performed. Furthermore, since the makeup area is set based on the position of the eye that is easy to detect, the setting accuracy of the makeup area is increased, and a more realistic makeup simulation can be realized.
[0024]
The recording medium for recording the makeup simulation program according to the present invention includes an image acquisition unit that acquires a face image of a subject photographed at a predetermined frame period, a position detection unit that detects the position of the eye of the face image for each frame, Based on the eye position detected for each frame, a makeup area setting means for setting a predetermined area of the face image as a makeup area, a predetermined color is colored in the makeup area, and a makeup process is performed on the face image Let the computer function as a makeup processing means, The makeup area setting means includes a lip detection area setting means for setting an area including the upper lip and the lower lip as a lip detection area based on an eye position, and a contour of the lower lip based on color information from the lip detection area. Lower lip contour detecting means for detecting the upper lip contour detecting means based on the brightness from the lip detection area, and detecting the region surrounded by the detected upper lip and lower lip contours. The makeup area setting means sets an upper lip detection area centered on the center of gravity of the lower lip image in the lip detection area, and sets the upper lip from an image included in the set upper lip detection area. Upper lip image identification means to identify the image of A makeup simulation program characterized by comprising:
[0025]
According to the recording medium in which the makeup simulation program is recorded, the eye position of the captured face image is detected for each frame, and a makeup area is set in the frame based on the detected eye position. Since the makeup area is colored and the face image is subjected to the makeup process, a makeup simulation for moving images can be performed. Furthermore, since the makeup area is set based on the position of the eye that is easy to detect, the setting accuracy of the makeup area is increased, and a more realistic makeup simulation can be realized.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of a makeup simulation apparatus according to the present invention will be described. FIG. 1 is a diagram showing a schematic configuration of a makeup simulation apparatus.
[0027]
The makeup simulation apparatus shown in FIG. 1 includes a personal computer 1 that performs various processes and a video camera 2 that captures a face image of a subject.
[0028]
The personal computer 1 executes various programs, and controls a CPU (central processing unit) 11 that controls the entire makeup simulation apparatus, and a RAM that temporarily stores a face image of the subject photographed by the video camera 2 and various data. (Random Access Memory) 12, ROM (Read Only Memory) 13 for storing a basic program for operating the personal computer 1, CRT (Cathode Ray Tube), liquid crystal panel, projector, plasma display, etc. A display device 14 for displaying a face image, a recording medium driving device 15 for reading data recorded on a recording medium M such as a CD-ROM, DVD and flexible disk, a hard disk, etc., and storing a makeup simulation program Complement A storage device 16 includes a mouse and a keyboard, and an input device 17 for receiving an operation instruction of an operator.
[0029]
The video camera 2 is connected to the personal computer 1 by, for example, a video cable, takes a face image of the subject at a predetermined frame rate, and outputs the taken face image to the personal computer 1 through the video cable.
[0030]
In this embodiment, the personal computer 1 is caused to function as a makeup simulation apparatus by loading a CD-ROM for recording a makeup simulation program into the recording medium drive device 15 and installing it in the personal computer 1. The makeup simulation program may be installed in the personal computer 1 by storing the makeup simulation program in a WEB server arranged on the Internet and downloading the makeup simulation program from the WEB server. Furthermore, the WEB server acquires a face image by the personal computer 1, transmits the acquired face image to the WEB server, performs eye detection processing on the WEB server, and transmits the processing result to the personal computer. The eye detection program may be distributed and executed between the computer and the personal computer 1.
[0031]
FIG. 2 shows a block diagram of the makeup simulation apparatus. This makeup simulation apparatus functionally includes an image acquisition unit 100, an image memory 200, a display unit 300, a makeup pattern storage unit 400, a color pattern storage unit 500, a program execution unit 600, and a list image creation unit. 700.
[0032]
The image acquisition unit 100 acquires a face image of a subject photographed using the video camera 2 and stores it in the image memory 200. When acquiring a face image, the image acquisition unit 100 is configured so that the direction of a straight line connecting the center of the eye and the center of the mouth is orthogonal to the horizontal direction and the head is on the upper side. Get an image. In the following description, the face image refers to a rectangular image including the face portion of the subject as shown in FIG. 3, and the upper left vertex of the face image is the origin (0, 0), Set the x coordinate to the left side of the rectangle and the y coordinate.
[0033]
The image memory 200 includes a RAM 12 and the like, and temporarily stores and stores the face image acquired by the image acquisition unit 100 and the image obtained by performing various processes on the face image by the program execution unit 600. The displayed face image is output to the display unit 300.
[0034]
The display unit 300 includes the display device 14 and a VRAM, and displays an image output from the image memory 200.
[0035]
The makeup pattern storage unit 400 is mainly composed of the RAM 12, and stores a plurality of eye makeup patterns, a plurality of lip makeup patterns, and the like. The color pattern storage unit 500 is mainly composed of the RAM 12, and stores an eye color pattern, a lip color pattern, and the like to be applied to the makeup area.
[0036]
The list image creation unit 700 combines data such as an eye makeup pattern stored in the makeup pattern storage unit 400, data such as an eye color pattern stored in the color pattern storage unit 500, and the face image, A list image as shown in FIG. 15 or FIG.
[0037]
The program execution unit 600 is realized by the CPU 11 executing the makeup simulation program, and a position detection unit 610 that detects the eye position of the face image, and sets a makeup region in the face image based on the detected eye position. A makeup area setting unit 620 that performs the process, and a makeup processing unit 630 that colors the set makeup area. The makeup area setting unit 620 further includes an eye makeup area setting unit 621 that sets an area for applying eye makeup such as eye shadow and eye line to the face image, and a lip makeup that sets an area for applying lip makeup to the face image. An area setting unit 622.
[0038]
(Eye position detection processing)
Next, the eye position detection process will be described. FIG. 4 shows a block configuration diagram of the position detection unit 610.
[0039]
For example, the position detection unit 610 detects an eye detection mode in which eyes are detected from the first frame to a predetermined number of frames of the face image, and the positions of the eyes of the past frames detected in the eye detection mode. Based on this, there are two modes: an eye tracking mode for detecting the eye position of the current frame.
[0040]
The position detection unit 610 includes a detection area setting unit 611, an image extraction unit 612, a position specifying unit 613, a predicted position calculation unit 614, a determination unit 615, and a grayscale image conversion unit 616.
[0041]
In the eye detection mode, the detection region setting unit 611 is configured so that the image extraction unit 612 converts the face image acquired by the image acquisition unit 100 into a face image, for example, from the first frame to the frame before the predetermined number. On the other hand, a first detection region R1 including both eyes for performing filter processing is set. As shown in FIG. 3, the first detection region R1 is a long rectangular region that is parallel to the x direction.
[0042]
In the eye tracking mode, the detection area setting unit 611 applies two areas centered on the positions of both eyes detected in the frame immediately before the current frame to the current frame, and The image extraction unit 612 sets a second detection region R2 for performing various processes. As shown in FIG. 3, one of the two regions included in the second detection region R2 is, for example, a substantially square region including the left eyebrow and eyes, and the other region is the right eyebrow. And, for example, a substantially square region including the eye. Note that the two regions included in the second detection region R2 may be elliptical regions each centered on the center position of the eye and whose minor axis is parallel to the y direction.
[0043]
The image extraction unit 612 includes a density correction unit 6121, a sub-sampling unit 6122, a filter processing unit 6123, an area calculation unit 6124, and an image determination unit 6125.
[0044]
The density correction unit 6121 obtains the number of pixels having the same density value for the first and second detection areas R1 and R2 set by the detection area setting unit 611, creates a density value histogram, and creates this density value histogram. A process of flattening is performed. As a result, variations in light and dark for each face image due to different illumination conditions when the video camera 2 captures an object is suppressed.
[0045]
The sub-sampling unit 6122 performs a process of thinning out the number of pixels in the first and second detection regions R1 and R2 as preprocessing for increasing the speed of the filter processing by the filter processing unit 6123. In this case, each of the two areas included in the second detection area R2 is subjected to thinning processing so that the number of pixels is, for example, 64 × 64 dots.
[0046]
The filter processing unit 6123 extracts the first detection region R1 in the eye detection mode, extracts the second detection region R2 in the eye tracking mode, and extracts the first detection region R1 and the second detection region extracted. The pupil and eye contour images are extracted using a pupil extraction filter for extracting the pupil for R2 and an eye contour extraction filter for extracting the eye contour. FIG. 5 is a graph showing a pupil extraction filter, and FIG. 6 is a graph showing an eye contour extraction filter. 5 and 6, the vertical axis is a coordinate corresponding to the y coordinate of the face image, and the horizontal axis is a coordinate indicating the filter value.
[0047]
The pupil extraction filter hp (y) is expressed as Equation (1).
[0048]
[Expression 1]
Figure 0003993029
[0049]
Here, in Expression (1), y is a variable indicating an arbitrary position in the y direction of the face image, Tp is a constant, and its value is substantially the same as the average pupil radius of a general person. . The eyes in the face image, particularly the pupil portion, are relatively darker than the surrounding skin color area and white eye area. Therefore, as the pupil extraction filter hp (y), the filter value approaches 0 as the value on the horizontal axis shown in FIG. 5 approaches 0, and the filter value becomes 1 as it approaches the constants Tp and −Tp from the origin to the horizontal axis. A one-dimensional function suitable for pupil extraction is used.
[0050]
The eye contour extraction filter hc (y) is expressed as in Expression (2).
[0051]
[Expression 2]
Figure 0003993029
[0052]
Expression (2) is substantially the same as Expression (1), but the magnitude of the constant Tc is different from the magnitude of the constant Tp in Expression (1). That is, the eye contour extraction filter hc (y) extracts a dark and thin line-shaped region so that a relatively dark curved contour of the eye is appropriately extracted with respect to the surrounding skin color image. The value of the constant Tc is set so that it can be performed. Therefore, the constant Tc is set to a value smaller than the constant Tp (Tc <Tp).
[0053]
The filter processing unit 6123 uses the pupil extraction filter hp (y) for the image f (y) for one line in the y direction of the images in the first and second detection regions R1 and R2, and uses the expression (3). After performing the convolution integral shown in FIG. 6, the convolution integration using the pupil extraction filter hp (y) is further performed on the image f (y) for the next line in the y direction adjacent to the x direction. A pupil image is extracted by sequentially performing convolution integration using the pupil extraction filter hp (y) on the image f (y) in the y direction in the first and second detection regions R1 and R2.
[0054]
[Equation 3]
Figure 0003993029
[0055]
Further, the filter processing unit 6123 sequentially performs convolution integration using the eye contour extraction filter hc (y) on the image f (y) for one line in the y direction, as shown in Expression (4). Then, the eye contour image is extracted. Then, the extracted pupil image and the eye contour image are synthesized to extract the eye image.
[0056]
Here, the filter processing unit 6123 performs a one-dimensional filter process on the images of the first and second detection regions R1 and R2, but the image acquisition unit 100 includes the center of the eye and the center of the mouth. Since the face image is acquired so that the straight line connecting to the y direction is in the y direction, many portions of the eye outline appear almost parallel to the x direction, and the image f (y) for one line in the y direction ) Is subjected to convolution integration using the eye contour extraction filter hc (y), an eye contour image can be extracted. As a result, an eye contour image can be extracted by one-dimensional filter processing without performing two-dimensional filter processing with a large amount of calculation.
[0057]
The area calculation unit 6124 performs binarization processing on the images of the first and second detection regions R1 and R2 that have been subjected to the filter processing by the filter processing unit 6123. As described above, the filter processing unit 6123 extracts an eye image using the eye contour extraction filter hc (y) and the pupil extraction filter hp (y) for the first and second detection regions R1 and R2. However, since these filters have a characteristic of extracting pixels that are relatively dark with respect to the skin color, there are cases in which eyebrows, the sides of the nose, the bears under the eyes, and the like are also detected. Therefore, the filter processing unit 6123 extracts a plurality of eye candidate images. Therefore, the area calculation unit 6124 performs binarization processing so that the image determination unit 6125 can determine an eye image based on the area, and then labels each candidate image to obtain each candidate image. The area of each candidate image is calculated by counting the number of dots in the image.
[0058]
The image determination unit 6125 determines two candidate images having a large area among the candidate images calculated by the area calculation unit 6124 as eye images, and identifies an eye image from the plurality of candidate images. However, since the candidate image indicating the eyebrows has a large area only by comparing the areas, this image may be erroneously specified as an eye image. Therefore, when the image determination unit 6125 detects two candidate images with large areas above and below in the y direction, the image determination unit 6125 excludes the upper candidate image as an eyebrow image and identifies the lower image as an eye image.
[0059]
The position specifying unit 613 calculates the centroid of each binocular image specified by the image determination unit 6125, and specifies each binocular position. In calculating the center of the eye, the position specifying unit 613 applies, for example, a rectangle circumscribing the eye image and calculates the intersection of two diagonal lines of the rectangle as the center of gravity of the eye.
[0060]
The predicted position calculation unit 614 calculates the movement speed and movement acceleration of the eyes based on the positions of both eyes detected by the position specification unit 613 in the past frame, and follows the Taylor expansion from the calculated movement speed and movement acceleration. The predicted position of the eye of the current frame is calculated. Assuming that the position of the eye in the previous frame with respect to the current frame is x (t) and y (t), the movement speed of the eye is the first derivative x ′ (t) and y of x (t) and y (t). '(T), and the eye movement acceleration is expressed by x (t), y (t) second-order derivatives x ″ (t), y ″ (t) (where t is time Representing variables). Therefore, assuming that the time interval of each frame is Δt, the predicted positions x (t + Δt) and y (t + Δt) can be expressed by an equation obtained by performing Taylor expansion up to the second order term as shown in equation (5). .
[0061]
[Expression 4]
Figure 0003993029
[0062]
The determining unit 615 obtains a difference d between the eye position of the current frame specified by the position specifying unit 613 and the predicted position of the eye of the current frame calculated by the predicted position calculating unit 614, and based on the difference d, The reliability is calculated using the determined reliability function, and the accuracy of the eye position specified by the position specifying unit 613 is determined. The reliability function is, for example, exp (−d 2 ), The reliability increases as the difference d approaches 0, and the reliability decreases as the difference increases. Further, the determination unit 615 adopts the eye position detected by the position specifying unit 613 as the correct eye position if the reliability is, for example, a predetermined value or more, and if the reliability is less than the predetermined value, the position is determined. If the identifying unit 613 detects the eye position incorrectly, the position is not adopted as the eye position. The reliability function is not limited to an exponential function, and may be a quadratic function or a linear function, for example.
[0063]
The grayscale image conversion unit 616 applies different predetermined weights to the R (red), G (green), and B (blue) color components of the face image acquired by the image acquisition unit 100 and combines them. The face image is converted into a grayscale image representing only the luminance component and stored in the image memory 200. The detection area setting unit 611 to the determination unit 615 perform various processes on the grayscale image.
[0064]
Next, the eye position detection mode process performed by the position detection unit 610 will be described with reference to the flowchart shown in FIG.
[0065]
First, the first frame of the face image is acquired by the image acquisition unit 100 (step S101). Next, the gray image conversion unit 616 converts the face image acquired by the image acquisition unit 100 into a gray image (step S102). Next, the detection area setting unit 611 sets the first detection area R1 on the face image (see FIG. 3) (step S103). Next, the density correction unit 6121 flattens the density value histogram of the first detection region R1 (step S104).
[0066]
Next, the sub-sampling unit 6122 performs a thinning process on the image in the first detection region R1 in order to reduce the calculation amount of the filter processing unit 6123 (step S105).
[0067]
Next, the filter processing unit 6123 extracts the first detection region R1 from the face image, and performs filter processing using the pupil extraction filter hp (t) on the extracted first detection region R1 ( Step S106) A pupil image is extracted. In this case, a pupil image as shown in FIG. 9A is extracted. Next, the filter processing unit 6123 extracts the first detection region R1 from the face image again, and performs filter processing using the eye contour extraction filter hc (t) on the extracted image of the first detection region R1. And an image of the eye contour is extracted (step S107). In this case, an image of the eye contour as shown in FIG. 9B is extracted. Next, the image of the pupil extracted in step S106 and the image of the eye contour extracted in step S107 are combined by the filter processing unit 6123, and an eye image is extracted (step S108). In this case, an eye image in which the pupil and eye contours are combined as shown in FIG. 9C is extracted. Actually, in step S108, a plurality of candidate images for eyes other than the eyes are included. In FIGS. 9A to 9C, candidate images for eyes other than the eyes are omitted. is doing.
[0068]
Next, the area calculation unit 6124 performs binarization processing on the first detection region R1 filtered by the filter processing unit 6123, labels a plurality of eye candidate images (step S109), and sets the number of dots. Based on the above, the area of each candidate image is calculated. Next, when the image determination unit 6125 can extract two large candidate images from the plurality of eye candidate images (YES in step S110), the candidate images are determined as binocular images, and step S111. Proceed to On the other hand, if it is not possible to extract two regions having a large area in step S110 (NO in step S110), the process returns to step S103 to perform reprocessing. When the image determination unit 6125 extracts two large areas in the upper and lower directions in the y direction (that is, in this case, there are at least three eye candidate images having an area suitable as an eye candidate image). The upper image is excluded as an eyebrow image, and the lower image is specified as an eye image.
[0069]
Next, the position specifying unit 613 calculates the center of gravity of the eye image, and the center is detected as the eye position (step S111). Next, the next frame of the face image is acquired (step S112). Next, when the acquired frames are less than the predetermined number of frames (NO in step S113), the process returns to step S102. On the other hand, if the acquired frame is the predetermined number of frames (YES in step S113), the process proceeds to step S201 shown in FIG. Here, the predetermined number corresponds to a sufficient number that can calculate the moving speed and moving acceleration of the eye position in the eye tracking mode. Accordingly, since at least three frames are required to calculate the moving speed and acceleration of the eye position, the predetermined number of frames is at least the fourth and subsequent frames.
[0070]
Next, processing performed by the position detection unit 610 in the eye tracking mode will be described with reference to the flowchart shown in FIG. The eye tracking mode is performed following the processing in step S113 in the eye detection mode.
[0071]
First, the frame acquired in step S112 shown in FIG. 8 is converted into a grayscale image (step S201). Next, the detection area setting unit 611 sets the second detection area R2 on the current frame as shown in FIG. 3 based on the eye position detected in the past frame (step S202). Next, in steps S203 to S208, processing similar to the processing performed in steps S104 to S109 in the eye detection mode illustrated in FIG. 8 is performed on the second detection region R2.
[0072]
Next, the predicted position calculation unit 614 uses the eye position in the previous frame of the current frame, the eye movement speed and the movement acceleration calculated from the eye positions in the past frame, and performs Taylor expansion to expand the current frame. A predicted eye position is calculated (step S209). Next, the determination unit 615 calculates a difference d between the eye position detected by the position specifying unit 613 on the current frame and the predicted eye position calculated in step S209, and the trust d is determined based on the calculated difference d. The degree is calculated, the reliability is compared with a predetermined threshold value, and the accuracy of the eye position detected by the position specifying unit 613 is determined (step S210). Here, when the calculated reliability is larger than a predetermined threshold value, it is determined that the eye position specified by the position specifying unit 613 is correct (YES in step S210), and the position is determined as the eye position. (Step S211). On the other hand, if the calculated reliability is smaller than the predetermined threshold, the position specifying unit 613 determines that the eye position is specified by mistake, and the process returns to step S103 shown in FIG. NO in step S210). In this case, as shown in FIG. 3, the display unit 300 displays a marker IM indicating the eye position detected by the position specifying unit 613 at the center position of the pupil so as to follow the movement of the face of the subject. May be.
[0073]
Next, the next frame is acquired by the image acquisition unit 100 (step S212). Next, it is determined whether or not the last frame has been processed (step S213). If the last frame has been processed (YES in step S213), the process ends. When the process of the last frame has not been completed (NO in step S213), the process returns to step S201, and the process of the eye tracking mode is subsequently performed on the frame acquired in step S212.
[0074]
(Make-up process)
Next, the makeup process will be described. FIG. 11 shows a block configuration diagram of the eye makeup region setting unit 621.
[0075]
The eye makeup region setting unit 621 includes a noise removal unit 6211, an edge detection unit 6212, an approximate function calculation unit 6213, a control point creation unit 6214, and a boundary line calculation unit 6215.
[0076]
The noise removing unit 6212 removes unnecessary image components using a spatial frequency filter that allows image components of a predetermined frequency band to pass through the second detection region R2 set by the detection region setting unit 611. In the second detection region R2, there are regions darker than the surrounding skin color near the eyebrows and temples, so the edge detection unit 6212 may erroneously detect these dark regions as eye and eyebrow contours. is there. Therefore, the noise removing unit 6212 removes image components that are not necessary for detecting the contours of the eyes and eyebrows using a spatial frequency filter. As a filter processing method using a spatial frequency filter, for example, a filter processing method using discrete Fourier transform, discrete cosine transform, wavelet transform, or the like may be employed.
[0077]
The edge detection unit 6212 sets the position between the eyebrows and the eyes in the y direction as the first start point based on the positions of both eyes detected by the position specifying unit 613, and the second detection region R2 For the image in the image, the detection of pixels darker than the surrounding skin color in the upward direction (−y direction) is performed by comparing with a predetermined density threshold, and the detected pixels are displayed on the contour line below the eyebrows. A pixel (contour pixel) and a pixel darker than the surrounding skin color in the downward direction (+ y direction) are detected by comparing with a predetermined density threshold, and the detected pixel is the contour pixel on the upper side of the eye And The edge detection unit 6212 performs such processing for one line in the y direction from the substantially middle position of one side in the x-axis direction of the second detection region R2 toward the left side (+ x side) and the right side (−x side). The image is sequentially applied as one processing unit. As described above, the edge detection unit 6212 performs detection of the contour pixels of the eyes and the eyebrows separately from the middle position in the x direction of the second detection region, so that a pixel that is darker than the density threshold is not detected. Are the positions of the eyes, eye corners, eyebrows, and eyebrows.
[0078]
Furthermore, the edge detection unit 6212 detects the contour pixel on the lower side of the eyebrow and the contour pixel on the upper side of the eyebrow on the basis of the positions of both eyes detected by the position specifying unit 613. Using a predetermined position on the upper side (x-axis side) as a second starting point, pixels that are darker than the surrounding skin color are detected in the downward direction (+ y direction), and the detected pixels are used as contour pixels on the upper side of the eyebrows. .
[0079]
Further, when the edge detection unit 6212 detects an outline pixel on the upper side of the eyebrow with a predetermined position on the lower side of the eye as a third starting point based on the positions of both eyes detected by the position specifying unit 613. In the same manner as described above, pixels that are darker than the surrounding skin color are detected in the upward direction (−y direction), and the detected pixels are used as contour pixels below the eyes.
[0080]
The approximate function calculation unit 6213 calculates an approximate function representing the upper contour of the eyebrow using, for example, the least square method based on the arrangement of the upper end pixels of the eyebrow detected by the edge detection unit 6212. Furthermore, the approximate function calculation unit 6213 also uses the least square approximation method for the lower outline pixel of the eyebrows, the upper outline pixel of the eye, and the lower outline pixel of the eye using the least square approximation method. Approximate functions representing the side contour, the upper eye contour, and the lower eye contour are calculated. Here, when the contour line is expressed using a higher-order approximation function, the shape of the contour line becomes unnatural. Therefore, it is preferable to use a low-order function such as a quadratic function as the approximation function.
[0081]
The control point creation unit 6214 translates the eyebrow ass, eyebrow, eye corners, and eye corner pixels detected by the edge detection unit 6212 in the y direction, and linearly interpolates these pixels, thereby setting a plurality of eye make regions. Create control points for. Furthermore, when creating the control point, the control point creation unit 6214 creates a control point according to the eye makeup pattern selected by the user from among the plurality of eye makeup patterns stored in the makeup pattern storage unit 400.
[0082]
The boundary line calculation unit 6215 calculates an approximate function representing the boundary line of the eye makeup region using a constraint condition that a plurality of control points created by the control point creation unit 6214 pass some control points. . A region surrounded by the approximation function and the eye contour is an eye makeup region. Here, the approximation function is a one-variable function with the x coordinate as a variable. Therefore, the determination of the pixels in the eye makeup region can be easily performed by comparing the approximate function representing the boundary line with the approximate function representing the contour line above the eye. In addition, since the eye make region can be specified by the approximation function, the pixels at the eye make region boundary can be easily specified, and the eye make color can be continuously changed in the vicinity of the boundary line.
[0083]
Next, processing performed by the eye makeup region setting unit 621 for one frame will be described according to the flowchart shown in FIG. It is assumed that this frame has been converted into a gray image in advance by the gray image conversion unit 616 shown in FIG. 4, and the second detection region R2 has been set by the detection region setting unit 611. Further, until the second detection region R2 is specified, the eye makeup region setting unit 621 performs the following processing on the first detection region R1.
[0084]
First, the noise removal unit 6211 performs a filtering process using a spatial frequency filter on the second detection region R2 (step S301). Thus, noise components that are unnecessary for the edge detection unit 6212 to detect the eye and eyebrow contour pixels are removed.
[0085]
Next, as shown in FIG. 13, the edge detection unit 6212 detects the upper contour pixel EP1 of the eye and the lower contour pixel MP2 of the eyebrow from the first start point S1 toward the upper and lower directions, respectively. (Step S302). Next, the edge detection unit 6212 detects the upper outline pixel MP1 of the eyebrow in the downward direction from the second start point S2, and the lower outline pixel EP2 in the upward direction from the third start point S3. It is detected (step S303).
[0086]
Next, based on the arrangement of the upper contour pixel EP1 of the eye and the lower contour pixel MP2 of the eyebrow detected in step S302 by the approximate function calculation unit 6213, the upper contour line of the eye and the eyebrow of the eyebrow are calculated by the least square method. An approximate function representing the lower contour line is calculated, and based on the arrangement of the upper contour pixel MP1 of the eyebrow and the lower contour pixel EP2 detected in step S303, the eyebrow of the eyebrow is calculated by the least square method. Approximate functions representing the upper contour line and the lower eye contour are calculated (step S304).
[0087]
Next, the edge detection unit 6212 detects pixels of the eyes, eyes, eyebrows, and eyebrows (step S305). Next, control points are created by the control point creation unit 6214 based on the pixels of the eyes, eyes, eyebrows, and eyebrows (step S306). In this case, as shown in FIG. 14, the eye ET is set as the control point CP, and the eyebrow butt ME is moved to the position ME ′ in the + y direction, for example, as the control point CP. Further, the point HT at the upper end of the pupil is moved to the position HT ′ in the −y direction to be a control point CP. Then, among these control points CP, some control points CP are linearly interpolated to create a new control point CP ′.
[0088]
Next, in step S307 shown in FIG. 12, the boundary line calculation unit 6215 calculates an approximate function EL1 representing the boundary line of the eye makeup region based on the control points CP and CP ′ (step S307). In this case, as shown in FIG. 14, the region surrounded by the approximate function EL1 and the eye contour EL2 is the eye makeup region EMR.
[0089]
Further, in this case, control points CP and CP ′ are created so that the shape of the eye makeup region EMR matches the shape of the eye makeup pattern selected by the operator using the screen shown in FIG. 15 displayed on the display unit 300. Also good. The screen shown in FIG. 15 includes an eye makeup pattern list display portion PR that displays a list of a plurality of eye makeup patterns, a face image display portion FR that displays a face as a moving image, and a plurality of eye color patterns applied to the eye makeup region EMR. An eye color pattern display section CR to be displayed in a list is displayed. The list image is created by the list image creation unit 700 by combining the eye makeup pattern and eye color pattern stored in the makeup pattern storage unit 400 and the color pattern storage unit 500 with the face image. When the operator moves the mouse pointer to the target eye makeup pattern and eye color pattern on the list image and clicks, the eye makeup pattern and eye color pattern are applied to the face image displayed on the face image display unit FR.
[0090]
Next, the eye color pattern selected by the user is colored on the EMR in the eye makeup region by the makeup processing unit 630 (step S308). Through the above processing, the eye image processing is performed on the face image. Since the processing from step S301 to step S308 is performed for each frame, the eye-make processing for the moving image is performed.
[0091]
Next, the lip makeup area setting unit 622 will be described with reference to FIG. The lip makeup region setting unit 622 individually detects the upper lip contour and the lower lip contour.
[0092]
The lip makeup region setting unit 622 includes an RG image conversion unit 6221, a grayscale image conversion unit 6222, a lip detection region setting unit 6223, a filter processing unit 6224, an area calculation unit 6225, and a lower lip image specifying unit 6226. A lower lip contour detecting unit 6227, an upper lip image specifying unit 6228, an upper lip contour detecting unit 6229, an approximate function calculating unit 6230, and a contour correcting unit 6231.
[0093]
6221 is used to detect the contour of the lower lip, extracts an R (red) component and a G (green) component from the face image, and calculates a difference (RG) component obtained by subtracting the G component from the R component. The face image is calculated and converted into a difference (RG) image. In this case, the RG image conversion unit 6221 calculates a ratio (R / G) component between the R component and the G component extracted from the face image, and converts the face image into a ratio (R / G) component. May be.
[0094]
The grayscale image conversion unit 6222 is used to detect the contour of the upper lip, synthesizes the R, G, and B components included in the face image, and converts the face image into a grayscale image representing only the luminance.
[0095]
The lip detection area setting unit 6223 sets a predetermined area including the lips as a lip detection area for detecting the upper lip and the lower lip with the eye position specified by the position specifying unit 613 as a reference. As shown in FIG. 17, the lip detection area setting unit 6223 sets the lip detection area in the x direction with an average position RG of the center of gravity of the mouth with respect to a general human eye position EP as the center of gravity R3G. A long rectangular area is set as the lip detection area R3.
[0096]
The filter processing unit 6224 applies a spatial frequency filter that extracts only a predetermined frequency band to the lip detection region R3, and removes an image unnecessary for detecting the upper lip and the lower lip.
[0097]
The area calculation unit 6225 binarizes the lip detection region R3, extracts a plurality of lower lip candidate images, labels each candidate image, and includes dots included in each lower lip candidate image. The area of the lower lip candidate image is calculated by counting the number.
[0098]
The lower lip image specifying unit 6226 specifies the image having the largest area among the plurality of lower lip candidate images as the lower lip image.
[0099]
The lower lip contour detection unit 6227 detects red pixels in the −y direction using the lower point of the lower lip image determined by the lower lip image specifying unit 6226 as a fourth start point, and lowers the detected pixels. Let it be a contour pixel below the lips. The lower lip contour detection unit 6227 performs such processing in the lip detection region R3 by sequentially shifting the fourth start point in the x direction, with one line in the y direction as one processing unit. An outline pixel is detected.
[0100]
As shown in FIG. 17, the upper lip image specifying unit 6228 sets an elliptical region R4 (upper lip detection region) having the centroid R3G as the centroid MG of the lower lip image determined by the lower lip image specifying unit 6226 in the lip detection region R3. And an image that is within the lip detection region R3 and outside the ellipse region R4 is removed, and an image remaining in the lip detection region R3 is specified as an upper lip image.
[0101]
The upper lip contour detection unit 6229 detects pixels that are darker (lower brightness) than the predetermined density threshold in the + y direction, starting from a predetermined position above the upper lip image specified by the upper lip image specifying unit 6228 as a fifth starting point. And the detected pixel is set as a contour pixel on the upper side of the upper lip. The upper lip contour detection unit 6229 sequentially detects the contour pixels of the upper lip while shifting the fifth start point in the x direction with one line in the y direction as one processing unit in the lip detection region R3. Go.
[0102]
The approximate function calculation unit 6230 calculates an approximate function representing the upper contour line of the upper lip by the least square approximation method based on the arrangement of the contour pixels of the upper lip. Since the upper outline in the middle of the left and right direction of the upper lip has a cut portion, it is difficult to represent the outline of the upper lip with one approximation function. For this reason, the approximate function calculation unit 6230 calculates the approximate function in a divided manner into two left and right regions. Here, in order to express a natural contour, it is preferable to use a low-order function, for example, a quadratic function, as the approximation function.
[0103]
The contour correction unit 6231 calculates the approximate function representing the upper contour line of the upper lip and the approximate function representing the lower contour of the lower lip calculated by the approximate function calculation unit 6230 and the shape of the lip make pattern selected by the operator. The approximation function is corrected so that Here, when controlling the lip thickness, the contour correcting unit 6231 can control the lip thickness by moving up and down an approximate function representing the contours of the upper lip and the lower lip. Furthermore, when changing the lip contour shape, the contour shape can be changed by synthesizing a correction component for changing the contour shape with an approximate function representing the lip contour. Here, since the correction component for correcting the contour shape can be expressed by a function, the contour shape can be easily changed.
[0104]
Further, the contour correcting unit 6231 detects and removes the tooth and oral cavity regions included in the lip region from the region (lip region) surrounded by the upper contour line and the lower contour line of the lip, and the lip makeup region. Set. In this case, the contour correction unit 6231 detects the tooth and oral cavity regions by detecting white pixels and black pixels inside the lip region.
[0105]
Next, processing for detecting the contour of the lower lip performed by the lip makeup region setting unit 622 for one frame will be described with reference to the flowchart shown in FIG.
[0106]
First, the RG image conversion unit 6221 extracts only the RG component from the face image, and converts the face image into an RG image (step S401). Next, the lip detection region setting unit 6223 sets the lip detection region R3 in the face image based on the eye position (step S402). Next, the filter processing unit 6224 subjects the image of the lip detection region R3 to filter processing using a spatial frequency filter (step S403), and noise components are removed.
[0107]
Next, the area calculation unit 6225 binarizes the image of the lip detection region R3 (step S403). In this case, the lip detection region R3 includes a plurality of lower lip candidate images. Next, the area of the lower lip candidate image is calculated by the area calculation unit 6225 based on the number of dots of each lower lip candidate image (step S405). Next, the lower lip image specifying unit 6226 specifies the lower lip candidate image having the largest area among the lower lip candidate images as the lower lip image (step S406).
[0108]
Next, as shown in FIG. 19, the lower lip contour detection unit 6227 detects red pixels in the −y direction starting from the fourth start point S4, and the detected pixels are the lower contours of the lower lip. The pixel is PR2 (step S407).
[0109]
Next, the approximate function calculating unit 6230 calculates an approximate function representing the lower outline of the lower lip based on the arrangement of the lower outline pixels of the lower lip (step S408).
[0110]
Next, a process for detecting the contour of the upper lip for one frame by the lip makeup region setting unit 622 will be described with reference to the flowchart shown in FIG.
[0111]
First, the gray image conversion unit 6222 converts the face image into a gray image (step S501). Next, the lip detection region setting unit 6223 sets the lip detection region R3 in the face image with reference to the eye position (step S502). Next, the filter processing unit 6224 performs filter processing using a spatial frequency filter on the image of the lip detection region R3 (step S503). Thereby, a noise component is removed. Next, the upper lip image specifying unit 6228 sets the ellipse region R4 calculated by the lower lip image specifying unit 6226 and having the center of gravity of the lower lip as the center of gravity in the lip detection region R3, and specifies the image of the upper lip (step) S504).
[0112]
Next, as shown in FIG. 19, the upper lip contour detection unit 6229 detects pixels darker than a predetermined density threshold in the + y direction starting from the fifth start point S5 above the upper lip, and the detected darkness is detected. The pixel is the contour pixel RP1 above the upper lip (step S505). Next, the upper lip contour detection unit 6229 calculates an approximate function representing the upper lip contour by the least square method based on the arrangement of the contour pixels RP1 (step S506). Next, the contour correction unit 6231 detects and removes the images of the teeth and the oral cavity in the lip region surrounded by the contour line of the lower lip calculated in step 408 of FIG. 18 and the contour line of the upper lip calculated in step S506. (Step S507). Thereby, a lip makeup area is set.
[0113]
Since the lip make area setting unit 622 performs such processing on each frame, it is possible to set a lip make area that follows facial expressions.
[0114]
Next, the makeup processing unit 630 will be described. FIG. 21 shows a block configuration diagram of the makeup processing unit 630. The makeup processing unit 630 includes a coloring unit 631, a highlight processing unit 632, and a lame processing unit 633.
[0115]
The coloring unit 631 colors the lip color pattern selected by the operator with respect to the lip make region set by the lip make region setting unit 622. Note that the coloring unit 631 colors a predetermined lip color pattern in the lip make area when a lip color pattern is not selected by the operator. Here, when the coloring unit 631 colors the lip color pattern in the lip make area, the color pattern is colored using the technique of Japanese Patent Application No. 2001-230528.
[0116]
The highlight processing unit 632 performs highlight processing for expressing the gloss of the lower lip. In this case, the highlight processing unit 632 determines the center line of the highlight area by translating the lower outline of the highlight lip area in the −y direction, and the luminance value of the pixel as the center line is approached. The highlight process is performed by raising. Thereby, the gloss of the lower lip is expressed more realistically.
[0117]
The lame processing unit 633 performs a lame process for expressing a visual effect when a lipstick containing lamellar glossy particles is applied to the lips.
[0118]
Next, lip makeup processing performed by the makeup processing unit 630 for each frame will be described with reference to the flowchart shown in FIG.
[0119]
First, the contour correction unit 6231 corrects the upper and lower contour lines of the lip region based on the lip makeup pattern selected by the operator (step S601). As a result, the shape of the lip make area matches the shape of the lip make pattern. In this case, a screen for selecting a lip makeup pattern as shown in FIG. 23 is displayed on the display unit 300, and the operator can select a makeup pattern by operating this screen. This screen includes a lip make list display area AA for displaying a list of lip make patterns, a face image display area BA for displaying face images in a moving image, and a color palette display area CA for displaying a list of colors to be colored in the lip make area. It is composed of In the lip makeup list display area AA, a plurality of (for example, six) lip makeup patterns RP are displayed. When the operator places the mouse pointer on one of the lip make patterns RP and clicks, the lip make pattern is applied to the face image displayed in the face image display area BA.
[0120]
Next, the makeup processing unit 630 colors the lip color selected by the operator in the lip makeup region (step S602). In this case, when the operator places the mouse pointer on one of the plurality of color palettes IP displayed in the color palette display area CA and clicks on the screen shown in FIG. 23, the color palette IP is displayed. The color is colored in the lip makeup area of the face image.
[0121]
Next, highlight processing is performed by the highlight processing unit 632 (step S603). In this case, as shown in FIG. 19, in the lower lip region, the luminance value of each pixel of the lower lip is adjusted around the center line HCL of the highlight region, and the highlight of the lower lip is expressed.
[0122]
Next, when the lame processing unit 633 applies the lame processing to the lip make area (YES in step S604), the process proceeds to step S605. On the other hand, if the lame processing unit 633 does not perform the lame processing on the lip make area (NO in step S604), the processing ends.
[0123]
Next, the lame processing unit 633 randomly extracts pixels to be subjected to the lame processing within the lip make area (step S605). Next, the glitter processing unit 633 sets the brightness of the extracted pixel to be high, and expresses the gloss generated on the lips by the glitter (step S606).
[0124]
Since the makeup processing unit 630 performs such processing on each frame, lip makeup processing that follows the movement of the face image can be performed.
[0125]
In addition, this invention can take the following aspects.
[0126]
(1) In the above-described embodiment, the image acquisition unit 100 acquires a face image so that the head of the subject's face is on the upper side. However, the present invention is not limited to this. The face image may be acquired so as to be inclined. In this case, the direction may be parallel to a straight line connecting the center of the eye and the center of the mouth, the head side being the upper side, and the mouth side being the lower side. Furthermore, in this case, when the upper lip image specifying unit 6228 sets the elliptical region R4 in the lip detection region R3, the elliptical axis is overlapped on a straight line connecting the center of the eye and the center of gravity RG of the mouth. The region R4 may be set.
[0127]
(2) In the above embodiment, the approximate function calculation unit 6213 calculates the approximate function representing the contour line by the least square method. However, the present invention is not limited to this, and the approximate function may be calculated by spline processing or the like. Good. However, in order to obtain a smooth outline, an approximate function calculated by the least square method is preferable.
[0128]
(3) Although not described in the above embodiment, the makeup region setting unit sets a makeup region on, for example, a cheek other than the eyes and mouth, and the makeup processing unit 630 colors the makeup region. The make-up process may be performed by Here, the makeup processing unit 630 colors the makeup area using the technique of Japanese Patent Application No. 2001-230528.
[0129]
(4) The present makeup simulation program may be constituted by a semiconductor integrated circuit and may be incorporated in, for example, a video camera.
[0130]
【The invention's effect】
As described above, according to the makeup simulation apparatus according to the present invention, a makeup simulation can be performed on a moving image. Furthermore, since the makeup area is set based on the position of the eye that can accurately detect the position, the makeup simulation can be performed more realistically without shifting the position of the makeup area between frames.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of a makeup simulation apparatus according to the present invention.
FIG. 2 is a block diagram of a makeup simulation apparatus according to the present invention.
FIG. 3 is a diagram showing an example of a face image.
FIG. 4 is a block configuration diagram of a position detection unit.
FIG. 5 is a graph showing a pupil extraction filter.
FIG. 6 is a graph showing an eye contour extraction filter.
FIG. 7 is a graph showing an example of a reliability function.
FIG. 8 is a flowchart illustrating processing in an eye position detection mode performed by a position detection unit.
FIG. 9 is a diagram for explaining how an eye image is extracted;
FIG. 10 is a flowchart illustrating processing performed by a position detection unit in an eye tracking mode.
FIG. 11 is a block diagram of an eye makeup area setting unit.
FIG. 12 is a flowchart illustrating processing performed by an eye makeup region setting unit on one frame.
FIG. 13 is a diagram for explaining a state in which eye and eyebrow contour pixels are detected;
FIG. 14 is a diagram for explaining how an eye makeup region is set.
FIG. 15 is a diagram showing a list image of eye makeup patterns and eye line patterns.
FIG. 16 is a block diagram of a lip makeup setting unit.
FIG. 17 is a diagram for explaining how a lip detection region is set.
FIG. 18 is a flowchart showing processing for detecting the contour of the lower lip performed by a lip make area setting unit on one frame.
FIG. 19 is a diagram for explaining how the contour pixels of the lower lip are detected.
FIG. 20 is a flowchart showing processing for detecting an outline of an upper lip performed by a lip make area setting unit for one frame.
FIG. 21 is a block configuration diagram of a makeup processing unit.
FIG. 22 is a flowchart showing processing performed by the makeup processing unit for each frame.
FIG. 23 is a diagram showing a list image of lip makeup patterns and lip color patterns.
[Explanation of symbols]
100 Image acquisition unit
200 Image memory
300 Display section
400 makeup pattern storage
500 Color pattern storage
600 Program execution part
610 Position detection unit
611 Detection area setting part
612 Image extraction unit
6121 Density correction unit
6122 Sub-sampling unit
6123 Filter processing unit
6124 Area calculation unit
6125 Image determination unit
613 Location specifying part
614 Predicted position calculation unit
615 Judgment part
616 Gray image conversion unit
620 Makeup area setting section
621 Eye make area setting part
6211 Noise removal unit
6212 Edge detection unit
6212 Noise removal unit
6213 Approximate function calculator
6214 Control point generator
6215 Boundary line calculation unit
622 Lip Make Area Setting Unit
6221 RG image converter
6222 Grayscale image converter
6223 Lip detection area setting section
6224 Filter processing unit
6225 Area calculator
6226 Lower lip image identification part
6227 Lower lip contour detection unit
6228 Upper lip image identification part
6229 Upper lip contour detection unit
6230 Approximate function calculator
6231 Contour correction unit
630 Makeup Processing Department
631 Coloring part
632 Highlight processing section
633 Lame processing unit
700 List image generator

Claims (8)

所定フレーム周期で撮影された被験者の顔画像を取得する画像取得手段と、
フレーム毎に顔画像の眼の位置を検出する位置検出手段と、
フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定する化粧領域設定手段と、
前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施すメークアップ処理手段とを備え、
前記化粧領域設定手段は、眼の位置を基準として上唇と下唇とを含む領域を唇検出領域として設定する唇検出領域設定手段と、前記唇検出領域から色情報を基に、下唇の輪郭を検出する下唇輪郭検出手段と、前記唇検出領域から明度を基に、上唇の輪郭を検出する上唇輪郭検出手段とを含み、検出された上唇及び下唇の輪郭によって囲まれた領域を前記化粧領域として設定し、
前記化粧領域設定手段は、前記唇検出領域内に下唇の画像の重心を中心とする上唇検出用領域を設定し、設定した上唇検出用領域内に含まれる画像から上唇の画像を特定する上唇画像特定手段を備えることを特徴とする化粧シミュレーション装置。
Image acquisition means for acquiring a face image of a subject photographed at a predetermined frame period;
Position detecting means for detecting the position of the eye of the face image for each frame;
Makeup area setting means for setting a predetermined area of the face image as a makeup area based on the eye position detected for each frame;
A makeup processing means for coloring the makeup area with a predetermined color and applying a makeup process to the face image;
The makeup area setting means includes a lip detection area setting means for setting an area including the upper lip and the lower lip as a lip detection area based on an eye position, and a contour of the lower lip based on color information from the lip detection area. Lower lip contour detecting means for detecting the upper lip contour detecting means based on the brightness from the lip detection area, and detecting the region surrounded by the detected upper lip and lower lip contours. Set as a makeup area,
The makeup area setting means sets an upper lip detection area centered on the center of gravity of the lower lip image in the lip detection area, and identifies an upper lip image from an image included in the set upper lip detection area A makeup simulation apparatus comprising image specifying means .
前記化粧領域設定手段は、前記上唇輪郭検出手段が検出した上唇の輪郭を構成する画素の配列から、上唇の輪郭を表す近似関数を算出するとともに、前記下唇輪郭検出手段が検出した下唇の輪郭を構成する画素の配列から、下唇の輪郭を表す近似関数を算出する近似関数算出手段を備えることを特徴とする請求項記載の化粧シミュレーション装置。The makeup region setting means calculates an approximate function representing the contour of the upper lip from an array of pixels constituting the contour of the upper lip detected by the upper lip contour detection means, and also detects the lower lip contour detected by the lower lip contour detection means. the sequence of pixels constituting the contour, makeup simulation device according to claim 1, characterized in that it comprises an approximate function calculating means for calculating an approximate function representing the outline of the lower lip. 前記近似関数算出手段は、上唇の上側の輪郭線を左右方向の中心部で2つの領域に分け、それぞれの領域において、輪郭線を表す近似関数を算出することを特徴とする請求項記載の化粧シミュレーション装置。The approximate function calculating means, the upper contour line of the upper lip at the center in the horizontal direction is divided into two areas, in each area, according to claim 2, wherein the calculating an approximate function representing the outline Makeup simulation device. 前記メークアップ処理手段は、前記近似関数算出手段が算出した唇の輪郭を表す近似関数を用いて、唇の光沢を表すためのハイライト処理を施すことを特徴とする請求項2又は3記載の化粧シミュレーション装置。The make-up processing means, using an approximate function representing the outline of the lips of the approximation function calculating means is calculated, according to claim 2 or 3, wherein the applying highlighting to represent a lip gloss Makeup simulation device. 予め定められた複数の化粧パターンを記憶する記憶手段と、
前記複数の化粧パターンの一覧画像を作成する一覧画像作成手段と、
オペレータの操作指令を受け付ける入力手段とを更に備え、
前記化粧領域設定手段は、前記複数の化粧パターンの一覧画像の中から、前記入力手段を用いてオペレータによって選択された化粧パターンに基づいて、前記化粧領域を設定し、
前記メークアップ処理手段は、前記複数の化粧パターンの一覧画像の中から、前記入力手段を用いてオペレータによって選択された化粧パターンに基づいて、前記化粧領域を着色することを特徴とする請求項1〜のいずれかに記載の化粧シミュレーション装置。
Storage means for storing a plurality of predetermined makeup patterns;
A list image creating means for creating a list image of the plurality of makeup patterns;
An input means for receiving an operator's operation command;
The makeup area setting means sets the makeup area based on a makeup pattern selected by an operator from the list image of the plurality of makeup patterns using the input means,
The makeup process means colors the makeup area based on a makeup pattern selected by an operator using the input means from among the list images of the plurality of makeup patterns. The makeup simulation apparatus according to any one of to 4 .
コンピュータが、所定フレーム周期で撮影された被験者の顔画像を取得し、
コンピュータが、フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定し、
コンピュータが、前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施し、
コンピュータが、眼の位置を基準として上唇と下唇とを含む領域を唇検出領域として設定し、前記唇検出領域から色情報を基に、下唇の輪郭を検出し、前記唇検出領域から明度を基に、上唇の輪郭を検出し、検出された上唇及び下唇の輪郭によって囲まれた領域を前記化粧領域として設定し、
コンピュータが、前記唇検出領域内に下唇の画像の重心を中心とする上唇検出用領域を設定し、設定した上唇検出用領域内に含まれる画像から上唇の画像を特定することを特徴とする化粧シミュレーション方法。
The computer obtains a face image of the subject taken at a predetermined frame period,
The computer sets a predetermined area of the face image as a makeup area based on the eye position detected for each frame,
The computer colors a predetermined color on the makeup area, performs a makeup process on the face image,
The computer sets a region including the upper lip and the lower lip as a lip detection region based on the eye position, detects the contour of the lower lip based on color information from the lip detection region, and determines the brightness from the lip detection region. On the basis of the contour of the upper lip, set the region surrounded by the detected upper lip and lower lip contour as the makeup region,
The computer sets an upper lip detection area centered on the center of gravity of the lower lip image in the lip detection area, and specifies an upper lip image from an image included in the set upper lip detection area Makeup simulation method.
所定フレーム周期で撮影された被験者の顔画像を取得する画像取得手段と、
フレーム毎に顔画像の眼の位置を検出する位置検出手段と、
フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定する化粧領域設定手段と、
前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施すメークアップ処理手段としてコンピュータを機能させ、
前記化粧領域設定手段は、眼の位置を基準として上唇と下唇とを含む領域を唇検出領域として設定する唇検出領域設定手段と、前記唇検出領域から色情報を基に、下唇の輪郭を検出する下唇輪郭検出手段と、前記唇検出領域から明度を基に、上唇の輪郭を検出する上唇輪郭検出手段とを含み、検出された上唇及び下唇の輪郭によって囲まれた領域を前記化粧領域として設定し、
前記化粧領域設定手段は、前記唇検出領域内に下唇の画像の重心を中心とする上唇検出用領域を設定し、設定した上唇検出用領域内に含まれる画像から上唇の画像を特定する上唇画像特定手段を備えることを特徴とする化粧シミュレーションプログラム。
Image acquisition means for acquiring a face image of a subject photographed at a predetermined frame period;
Position detecting means for detecting the position of the eye of the face image for each frame;
Makeup area setting means for setting a predetermined area of the face image as a makeup area based on the eye position detected for each frame;
Coloring the makeup area with a predetermined color, causing the computer to function as a makeup processing means for performing makeup processing on the face image,
The makeup area setting means includes a lip detection area setting means for setting an area including the upper lip and the lower lip as a lip detection area based on an eye position, and a contour of the lower lip based on color information from the lip detection area. Lower lip contour detecting means for detecting the upper lip contour detecting means based on the brightness from the lip detection area, and detecting the region surrounded by the detected upper lip and lower lip contours. Set as a makeup area,
The makeup area setting means sets an upper lip detection area centered on the center of gravity of the lower lip image in the lip detection area, and identifies an upper lip image from an image included in the set upper lip detection area A makeup simulation program comprising image specifying means .
所定フレーム周期で撮影された被験者の顔画像を取得する画像取得手段と、
フレーム毎に顔画像の眼の位置を検出する位置検出手段と、
フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定する化粧領域設定手段と、
前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施すメークアップ処理手段としてコンピュータを機能させ、
前記化粧領域設定手段は、眼の位置を基準として上唇と下唇とを含む領域を唇検出領域として設定する唇検出領域設定手段と、前記唇検出領域から色情報を基に、下唇の輪郭を検出する下唇輪郭検出手段と、前記唇検出領域から明度を基に、上唇の輪郭を検出する上唇輪郭検出手段とを含み、検出された上唇及び下唇の輪郭によって囲まれた領域を前記化粧領域として設定し、
前記化粧領域設定手段は、前記唇検出領域内に下唇の画像の重心を中心とする上唇検出用領域を設定し、設定した上唇検出用領域内に含まれる画像から上唇の画像を特定する上唇画像特定手段を備えることを特徴とする化粧シミュレーションプログラムを記録したコンピュータ読取可能な記録媒体。
Image acquisition means for acquiring a face image of a subject photographed at a predetermined frame period;
Position detecting means for detecting the position of the eye of the face image for each frame;
Makeup area setting means for setting a predetermined area of the face image as a makeup area based on the eye position detected for each frame;
Coloring the makeup area with a predetermined color, causing the computer to function as a makeup processing means for performing makeup processing on the face image,
The makeup area setting means includes a lip detection area setting means for setting an area including the upper lip and the lower lip as a lip detection area based on an eye position, and a contour of the lower lip based on color information from the lip detection area. Lower lip contour detecting means for detecting the upper lip contour detecting means based on the brightness from the lip detection area, and detecting the region surrounded by the detected upper lip and lower lip contours. Set as a makeup area,
The makeup area setting means sets an upper lip detection area centered on the center of gravity of the lower lip image in the lip detection area, and identifies an upper lip image from an image included in the set upper lip detection area A computer-readable recording medium having a makeup simulation program recorded thereon, comprising image specifying means .
JP2002182691A 2002-06-24 2002-06-24 Makeup simulation apparatus, makeup simulation method, makeup simulation program, and recording medium recording the program Expired - Fee Related JP3993029B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002182691A JP3993029B2 (en) 2002-06-24 2002-06-24 Makeup simulation apparatus, makeup simulation method, makeup simulation program, and recording medium recording the program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002182691A JP3993029B2 (en) 2002-06-24 2002-06-24 Makeup simulation apparatus, makeup simulation method, makeup simulation program, and recording medium recording the program

Publications (2)

Publication Number Publication Date
JP2004030007A JP2004030007A (en) 2004-01-29
JP3993029B2 true JP3993029B2 (en) 2007-10-17

Family

ID=31179118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002182691A Expired - Fee Related JP3993029B2 (en) 2002-06-24 2002-06-24 Makeup simulation apparatus, makeup simulation method, makeup simulation program, and recording medium recording the program

Country Status (1)

Country Link
JP (1) JP3993029B2 (en)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053718A (en) * 2004-08-11 2006-02-23 Noritsu Koki Co Ltd Photographic processor
JP2006059162A (en) * 2004-08-20 2006-03-02 Noritsu Koki Co Ltd Tooth image correction method and device
JP5043323B2 (en) * 2005-10-06 2012-10-10 株式会社 資生堂 Makeup information provision system
JP2007047949A (en) * 2005-08-08 2007-02-22 Advanced Telecommunication Research Institute International Apparatus for tracking mouse and computer program
JP4414401B2 (en) 2006-02-10 2010-02-10 富士フイルム株式会社 Facial feature point detection method, apparatus, and program
FR2907569B1 (en) * 2006-10-24 2009-05-29 Jean Marc Robin METHOD AND DEVICE FOR VIRTUAL SIMULATION OF A VIDEO IMAGE SEQUENCE
JP4853560B2 (en) * 2009-09-18 2012-01-11 コニカミノルタビジネステクノロジーズ株式会社 Image processing method, image processing apparatus, and computer program
WO2015029372A1 (en) * 2013-08-30 2015-03-05 パナソニックIpマネジメント株式会社 Makeup assistance device, makeup assistance system, makeup assistance method, and makeup assistance program
JP6414681B2 (en) * 2013-11-21 2018-10-31 フリュー株式会社 Photo sticker creation apparatus, image processing method, and program
JP6331515B2 (en) * 2014-03-13 2018-05-30 パナソニックIpマネジメント株式会社 Makeup support device and makeup support method
JP6359389B2 (en) * 2014-09-02 2018-07-18 花王株式会社 Evaluation method for aesthetic impression of lips and support device for supporting the evaluation
JP6458569B2 (en) 2015-03-12 2019-01-30 オムロン株式会社 Image processing apparatus and image processing method
JP6590139B2 (en) * 2015-03-19 2019-10-16 富士ゼロックス株式会社 Image processing apparatus and image processing program
JP6583660B2 (en) * 2015-03-26 2019-10-02 パナソニックIpマネジメント株式会社 Image composition apparatus and image composition method
EP3652701A4 (en) * 2017-07-13 2021-11-03 Shiseido Company, Limited Virtual facial makeup removal, fast facial detection and landmark tracking
CN109426767A (en) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 Informer describes guidance device and its method
CN112308944A (en) * 2019-07-29 2021-02-02 丽宝大数据股份有限公司 Augmented reality display method of simulated lip makeup
CN113837017B (en) * 2021-08-31 2022-11-04 北京新氧科技有限公司 Cosmetic progress detection method, device, equipment and storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11143352A (en) * 1997-11-13 1999-05-28 Onishi Netsugaku Kogyosho:Kk Method and device for automatically plotting makeup simulation
JP3723349B2 (en) * 1998-06-18 2005-12-07 株式会社資生堂 Lipstick conversion system
JP2000311248A (en) * 1999-04-28 2000-11-07 Sharp Corp Image processor
JP3810943B2 (en) * 1999-05-06 2006-08-16 株式会社東芝 Image processing apparatus, image processing method, and recording medium recording image processing program

Also Published As

Publication number Publication date
JP2004030007A (en) 2004-01-29

Similar Documents

Publication Publication Date Title
JP3993029B2 (en) Makeup simulation apparatus, makeup simulation method, makeup simulation program, and recording medium recording the program
KR101363691B1 (en) Makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program
JP5463866B2 (en) Image processing apparatus, image processing method, and program
KR100682889B1 (en) Method and Apparatus for image-based photorealistic 3D face modeling
US8150205B2 (en) Image processing apparatus, image processing method, program, and data configuration
EP2178045A1 (en) Makeup simulation system, makeup simulation apparatus, makeup simulation method, and makeup simulation program
JP4309928B2 (en) Wrinkle detection device, wrinkle detection method, and program
EP1710746A1 (en) Makeup simulation program, makeup simulation device, and makeup simulation method
JP3684017B2 (en) Image processing apparatus and method
US20150262403A1 (en) Makeup support apparatus and method for supporting makeup
JPH10187936A (en) Image processor
JP4130820B2 (en) Face center position detection apparatus and method, and program
JP2005339522A (en) Method for automatically identifying hair region
JP2012113747A (en) Makeup simulation system, makeup simulation device, makeup simulation method and makeup simulation program
CN112135041B (en) Method and device for processing special effect of human face and storage medium
JP7463774B2 (en) MAKEUP SIMULATION DEVICE, MAKEUP SIMULATION METHOD, AND PROGRAM
JP2011022733A (en) Device and program for simulating makeup, and counter selling support method
KR100815209B1 (en) The Apparatus and Method for Abstracting Peculiarity of Two-Dimensional Image ? The Apparatus and Method for Creating Three-Dimensional Image Using Them
KR20010084996A (en) Method for generating 3 dimension avatar using one face image and vending machine with the same
JP2021099749A (en) Detection method of nasolabial folds
JP3963789B2 (en) Eye detection device, eye detection program, recording medium for recording the program, and eye detection method
JPH11175765A (en) Method and device for generating three-dimensional model and storage medium
JP4831344B2 (en) Eye position detection method
JP5093540B2 (en) Eye position detection method and detection system
KR100618493B1 (en) The Apparatus and Method for Creating Three-Dimensional Image Automatically

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050621

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20070223

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20070403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070725

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees