JP3779570B2 - 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3779570B2 JP3779570B2 JP2001230528A JP2001230528A JP3779570B2 JP 3779570 B2 JP3779570 B2 JP 3779570B2 JP 2001230528 A JP2001230528 A JP 2001230528A JP 2001230528 A JP2001230528 A JP 2001230528A JP 3779570 B2 JP3779570 B2 JP 3779570B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- makeup
- color
- lip
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、顔部への化粧をシミュレートする化粧シミュレーション技術に関する。
【０００２】
【従来の技術】
従来より、化粧品の販売、化粧技法の教習などに際し、実際に化粧を行うことなく、何通りもの化粧の効果を簡便に確認させるため、コンピュータ上で、撮像された顔部の画像に対し画像処理を施し化粧をシミュレートする技術が知られている。
【０００３】
特開平6−319613に記載された顔のメークアップ支援装置、特開平8−202754に記載されたリップカラーアドバイスシステム、特開平10−21290に記載されたメークアップのシミュレート法、および、特開平2000−194835に記載された化粧アドバイスシステムは、いずれも、化粧のシミュレートを実現するものであり、これらシステムのユーザはシミュレーション結果によって化粧の効果を簡便に確認することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記のような従来の化粧シミュレーションシステムでは、シミュレーション結果が静止画上で表示されるため、ユーザは、発話したり笑ったりして表情が変化した際の化粧の効果を十分に判断できず、化粧の効果を誤認識することがある。
【０００５】
本発明はこれらに着眼してなされたものであり、その目的は、化粧をよりリアルにシミュレートし、化粧の効果をより正確に確認させることのできる化粧シミュレート技術を提供することである。
【０００６】
【課題を解決するための手段】
上記の目的を達成するための本発明に係る第1および第2の化粧シミュレーション装置は、ユーザから受け付けられた化粧色を指定する入力に基づき、顔部への化粧をシミュレートする化粧シミュレーション装置である。
【０００７】
本発明の第１の化粧シミュレーション装置では、ユーザから受け付けられた化粧色を指定する入力に基づき、顔部への化粧をシミュレートする化粧シミュレーション装置であって、撮像された動画像を構成するフレーム画像から顔部の口領域に対応する画素からなるテンプレート画像を定め、前記テンプレート画像を用いたテンプレートマッチングを行い、表情の変化を捕らえた動画像の各フレームに対応するフレーム画像内で、前記口領域を順次特定し、特定した口領域を、色相及び彩度を示すＵＶ平面上に投影し、所定の識別関数を用いて肌の色に対応する肌領域とリップの色に対応するリップ領域とに分別し、前記口領域からリップ領域を特定し、特定したリップ領域の色を、指定された化粧色に対応させて変更しつつ、フレーム画像を表示することを特徴とする。
【０００８】
この第１の化粧シミュレーション装置では、所定のテンプレート画像に対応するフレーム画像内の口領域を特定し、特定された口領域内で所定の範囲の色に対応する画素領域を特定することにより、リップ領域の特定を行うものとすることができ、また、前記画素の特定を色空間内の識別関数を用いて行い、前記リップ領域の色の変更を色空間内でのアフィン変換により行うものとすることができる。
【０００９】
本発明の第２の化粧シミュレーション装置では、ユーザから受け付けられた化粧色を指定する入力に基づき、顔部への化粧をシミュレートする化粧シミュレーション装置であって、撮像された動画像を構成するフレーム画像から顔部の口領域及び２つの目領域に対応する画素からなるテンプレート画像を定め、前記テンプレート画像を用いたテンプレートマッチングを行い、表情の変化を捕らえた動画像の各フレームに対応するフレーム画像内での、前記口領域及び２つの目領域の特定を複数のフレームに渡り順次行い、各フレーム画像にて、特定された口領域を、色相及び彩度を示すＵＶ平面上に投影し、所定の識別関数を用いて肌の色に対応する肌領域とリップの色に対応するリップ領域とに分別し、前記口領域からリップ領域を算定すると共に、特定した口領域及び２つの目領域からハイライト領域及びチーク領域を算定し、算定されたリップ領域、ハイライト領域及びチーク領域の色を、指定された化粧色に対応させて変更しつつ、フレーム画像を表示することを特徴とする。
【００１０】
この第２の化粧シミュレーション装置では、特定された口領域及び２つの目領域に基づき、リップ領域、ハイライト領域、及びチーク領域を算定している。
【００１１】
これら第1および第2の化粧シミュレーション装置では、前記動画像を撮像しつつ、この撮像された動画像を、前記フレーム画像の表示に隣接してリアルタイムに表示するものとすることができる。
【００１２】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態の1つであるメークアップシミュレーションシステムについて説明する。
【００１３】
図1は本発明の実施の形態の1つであるメークアップシミュレーションシステムのハードウェア構成を示すブロック図であり、図2、図3は、本メークアップシミュレーションシステムでのリップへのポイントメークシミュレーション、フェースメークシミュレーションを示す図である。
【００１４】
図1に示すように、本メークアップシミュレーションシステムは、プログラム記憶式コンピュータに、所定のＯＳ上メークシミュレーション処理プログラムがインストールされたメークシミュレータ10と、ＩＥＥＥ1394また他の所定のインターフェースを介してメークシミュレータ10に接続される、ビデオカメラ、デジタルビデオカメラなどの動画像撮像装置20とを含んでいる。
【００１５】
動画像撮像装置20ではユーザの顔部を含む動画像が撮像され、対応する動画像データ（映像信号）がメークシミュレータ10に伝送される。伝送されてくる動画像データに対し、メークシミュレータ10では動画像処理が行われて化粧がシミュレートされる。
【００１６】
より詳細には、メークシミュレータ10は、キーボード、マウスなどからなる入力部14と、ＣＲＴ等のディスプレイである表示部11と、プログラムファイル、データファイルなどを格納するＨＤＤ15と、プログラムおよび用いられるデータを一時的に記憶するＲＡＭ12と、入力部14、表示部11、ＨＤＤ15、および、動画像撮像装置20からの動画像データの伝送を制御しつつＲＡＭ12上にロードされたプログラムを実行する制御部（ＣＰＵ）13とを含んでいる。（実行されるメークシミュレーション処理プログラムは、ＣＤ−ＲＯＭ等の記録媒体により配布されて図示しないＣＤ−ＲＯＭドライブからインストールされ、また、通信回線を介してダウンロードされてインストールされる。）
特に、入力部14では、口紅、ファンデーションなどの化粧品の色の指定がユーザから受け付けられ、上記の他にペンタブレット、タッチパネルが用いられるものとし、また、音声入力、画像認識を用いたジェスチャー入力などが行われるものとすることができる。表示部11では、化粧シミュレーションの結果が表示され、上記の他にＬＣＤ、プロジェクタ、プラズマディスプレイなどが用いられるものとすることができる。
【００１７】
一般的な化粧技法として、（1）肌をきれいに見せるためのベースメーク、（2）顔の立体感を補正するためのフェースメーク、（3）リップ、目、眉など顔のパーツの色、形状を補正するためのポイントメークがあり、通常、これらが組み合わされる。本メークシミュレーションシステムでは、主に、リップへのポイントメークおよびフェースメークが個別にまた組み合わされてシミュレートされ、これらシミュレート結果が表示される。
【００１８】
実際、リップメークシミュレーションによると、図2（ａ）〜（ｄ）に示すように、入力される顔部画像30中の、たとえば赤のリップ31のリップカラーが変更されつつ、オレンジのリップ41が顔部画像40が表示されることとなり、また、フェースメークシミュレーションによると、図3（ａ）〜（ｄ）に示すように、顔部画像50中での、Ｔゾーン61、頬上部62、63へのハイライトカラーの化粧料（ファンデーション、フェースカラー、フィニッシュパウダーなど）の塗布および頬中下部64、65へのチークカラーの化粧料の塗布に対応して肌の色が変更され、顔部画像60として表示されることとなる。
【００１９】
特に本メークアップシミュレーションシステムでのこれらの化粧シミュレーションは動画像上でリアルタイムに行われるため、ユーザは表情を多様に変化させながら化粧の効果をリアルに確認することができる。また、撮像される動画像（顔部画像30、50）とシミュレート結果である動画像（顔部画像40、60）とを、表示部11（図1）上の1つの画面内に並べて表示させるものとすることにより、化粧の効果をよりわかりやすく正確に知ることができる。
【００２０】
これらのような概要の本メークアップシミュレーションシステムのメークシミュレータ10につき詳細を説明する。図4はメークシミュレータ10のメークシミュレーション処理部（メークシミュレーション処理プログラム）100の主要部を示すブロック図であり、図5はメークシミュレーション処理での処理手順の概略を示すフローチャートである。
【００２１】
メークシミュレーション処理部100は、図4に示すように、動画像データ110から1フレーム分の画像データを抽出するフレーム抽出部101を含み、主に、リップメークシミュレーション処理に関し、抽出された画像データに対応するフレーム画像上で口近傍の画像領域を追跡する口領域追跡部102と、追跡される口近傍の画像領域中でリップに対応する画素のみを選択するリップ画素選択部103と、選択されたリップに対応する画素の色を変更するリップカラー変更部104とを含んでいる。
【００２２】
また、主として、フェースメークシミュレーション処理に関して、フレーム画像中で目近傍の画像領域を追跡する目領域追跡部105と、追跡される口領域、目領域の位置から、（ハイライトカラーの化粧料の塗布に対応する）ハイライト領域、（チークカラーの化粧料の塗布に対応する）チーク領域を算出し指定するハイライトチーク領域指定部106と、指定されたハイライト領域、チーク領域の色を変更するハイライトチーク領域色変更部107とを含み、さらに、色の変更されたリップおよびハイライト領域、チーク領域の画像と元の抽出されたフレーム画像とを合成して表示部11に表示する画像合成部108を含んでいる。
【００２３】
メークシミュレーション処理では、図5に示すように、まず、化粧技法を指定する入力がユーザにより行われ、リップカラー、ハイライトカラー、チークカラーなどが指定される（ＳＴ1）。動画像撮像装置20（図1）から撮像されリアルタイムに伝送されてくる顔部画像に対応する動画像データ110からはフレーム画像が抽出され（ＳＴ2）、このフレーム画像に対し、口領域追跡部102、画素選択部103およびリップカラー変更部104での口領域画像処理が行われ（ＳＴ3、後に図6等を用いて詳述）、また、目領域追跡部105、ハイライトチーク領域指定部106、ハイライトチーク領域色変更部107でのハイライトチーク領域画像処理が行われる（ＳＴ4、図12等を用いて詳述）。
【００２４】
これらＳＴ3およびＳＴ4にて画素の色が変更される画像領域は、画像合成部108にて、元のフレーム画像に合成され（ＳＴ5）、合成後のフレーム画像が表示される（ＳＴ6）。
【００２５】
ＳＴ2〜ＳＴ6の処理は繰り返され（ＳＴ7にてＮＯ）、最終フレームに達すると（ＳＴ7にてＹＥＳ）、本メークシミュレーション処理は終了することとなる。
【００２６】
図6は図5のＳＴ3での口領域画像処理の手順を示すフローチャートである。図7はフレーム画像200上の口領域110を示す図であり、図8は口領域の追跡（図6のＳＴ31）を説明するための図であり、図9は口領域の追跡のために行われるテンプレートマッチングを説明するための図である。また、図10は口領域中のリップカラーの変更（図6のＳＴ33）を行うためのＵＶ平面上での点群（クラスタ）の回転を示す図であり、図11は口領域でのリップカラーの変更を示す図である。
【００２７】
図6に示すように、口領域画像処理では、まず、口領域110（図7）が口領域追跡部102にて追跡される（ＳＴ31）。図8（ａ）に示すフレーム画像201が撮像される人物の動きによりフレーム画像202のように変化されると、この変化に伴い、図8（ｂ）に示すように、口領域111が追跡される。
【００２８】
このような口領域の追跡をテンプレートマッチングにより行うことができる。図9のように、動画像を構成する先頭のフレーム画像203中の口領域に対応させてＭ×Ｎに並ぶ画素からなるテンプレート画像112を定め、このテンプレート画像112を後続するフレーム画像中で上下左右に移動させつつ、次に［数1］に示す誤差関数Ｅ（ｕ，ｖ）などを用いてマッチングの度合いを算出し、テンプレート画像に最も類似する領域を追跡されるべき口領域として特定する。
【００２９】
【数１】
【００３０】
ここで、ｔ（ｉ，ｊ）をテンプレート画像の輝度、ｐ（ｉ，ｊ）を入力されるフレーム画像の輝度とし、また、ｕm、ｖmを所定の定数として、ｕ＝ｕ0，ｕ0±1，ｕ0±2，…，ｕ0±ｕm、ｖ＝ｖ0，ｖ0±1，ｖ0±2，…，ｖ0±ｖmである。
【００３１】
口領域画像処理（図6）では、追跡される口領域中のリップに対応する画素がリップ画素選択部103により選択されると（ＳＴ32）、続いて、これらリップ画素の色がユーザが指定したリップカラーに応じたものとなるように変更され（ＳＴ33）、処理はリターンされる。
【００３２】
動画像データ中の各フレームの画素がＹＵＶ（ＹＣｂＣｒ）表色系にて表されるものとすると、実際、口領域113（図11（ａ））の各画素をＵＶ平面（色相・彩度平面）上に投影したとき、図10（ａ）に示すような分布が得られる。これらＵＶ平面上の画素は、あらかじめ定められている識別関数（ここでは、線形識別関数Ｖ＝−3Ｕ−12）により、肌の色に対応する肌領域クラスタ71とリップの色に対応するリップ領域クラスタ72とに分別することができる。
【００３３】
分別され（選択され）たリップ領域クラスタ72の画素は、ＵＶ平面上で回転させて、図10（ｂ）に示すようなリップ領域クラスタ73へと色変換することによって光沢感を維持したまま色合いを変えることができる。（回転量は回転後の色の平均がユーザに指定されたリップカラーとなるように設定される。）
図11（b）の口領域114は、色変換後の、リップ領域クラスタ73に対応するリップカラーのリップを含むものであり、これらのリップカラーの変更を各フレーム画像について連続して行い（適宜ＲＧＢ表色系へと線形変換して）表示することによって、図2（ａ）〜（ｄ）に示すようなリップメークシミュレーションが可能となる。
【００３４】
図12は図5のＳＴ4でのハイライトチーク領域画像処理の手順を示すフローチャートである。図13はフレーム画像204上でのハイライト領域121〜123、チーク領域124、125の肌の色の変更を示す図であり、図14はフレーム画像205上の目領域116、117を示す図である。図15はハイライト領域の算定（図12のＳＴ42）、チーク領域の算定（ＳＴ43）を説明するための図であり、図16はハイライト領域、チーク領域を構成する楕円領域を示す図である。また、図17は化粧色を滑らかに表示させるための分布関数α（ｘ）の例を示す図である。
【００３５】
鼻上部から額下部へのＴゾーンおよび頬上部へのハイライトカラー化粧料の塗布と頬中下部へのチークカラー化粧料の塗布とは、フェースメークの基本技法の1つとされており、顔の立体感を強調させるものである。本ハイライトチーク領域画像処理では、図13に示すように、入力されるフレーム画像204の顔部画像中でハイライト領域（Ｔゾーン）121、ハイライト領域（頬上部）122、123、チーク領域（頬中下部）124、125が指定され、これら領域の色がユーザに指定されたハイライトカラー、チークカラーに変更され顔部画像115が生成される。
【００３６】
ハイライトチーク領域画像処理では、図12に示すように、まず、目領域116、117が、目領域追跡部105で、口領域110（図7）と同様テンプレートマッチングなどにより追跡され（ＳＴ41）、ハイライトチーク領域指定部106にて、口領域110、2つの目領域116、117からハイライト領域121〜123が算定され（ＳＴ42）、また、チーク領域124、125が算定される（ＳＴ43）。
【００３７】
実際、図15（ａ）に示す口領域110の中心ｑm、2つの目領域116、117の中心ｑl、ｑrから、ハイライト領域121を構成する楕円状のＴゾーン横領域131の中心ｑc fH、長軸に相当するベクトルｖ01（2つ目の添え字1はｑc fHに関するものであることを示す）、短軸に相当するベクトルｖ11が［数2］、［数3］により算定される。
【００３８】
【数２】
【００３９】
【数３】
【００４０】
ここで、ａ1は1.3〜1.5程度の値であり、ｂ1は0.3〜0.5程度の値である。
また、図16のような、長軸方向への基底ベクトルｓ01、短軸方向への基底ベクトルｓ11が算出され、これらから、図17のようなｘｙ断面が楕円であるα（ｘ）（ここでは、α（ｘ，ｙ）＝ｅｘｐ［−（3ｘ2−2ｘｙ＋3ｙ2）／4］、［数10］にて後述）が［数4］により求められることとなる。
【００４１】
【数４】
【００４２】
さらに、Ｔゾーン横領域131と同様に楕円領域である、図15（ｂ）のＴゾーン縦領域132、左頬上部領域133、左頬中下部領域134、右頬上部領域135、右頬中下部領域136の各々についても、順次［数5］〜［数9］により、中心と長軸、短軸とが算出され、また、長軸方向、短軸方向への基底ベクトルとα（ｘ）とが求められることとなる。
【００４３】
【数５】
【００４４】
ここで、ａ2は1.0〜1.2程度の値であり、ｂ2は0.25程度の値であり、ｃ2は0.5程度の値である。
【００４５】
【数６】
【００４６】
ここで、ａ3は0.3程度の値であり、ｂ3は0.1程度の値であり、ｃ3は0.2程度の値である。
【００４７】
【数７】
【００４８】
ここで、ａ4は0.3程度の値であり、ｂ4は0.1程度の値であり、ｃ4は0.2程度の値である。
【００４９】
【数８】
【００５０】
ここで、ａ5は0.1程度の値であり、ｂ5は0.2程度の値であり、ｃ5は0.3程度の値である。
【００５１】
【数９】
【００５２】
ここで、ａ6は0.1程度の値であり、ｂ6は0.2程度の値であり、ｃ6は0.3程度の値である。
これらのようにして、ハイライトチーク領域画像処理（図12）のＳＴ42、ＳＴ43にて、領域131〜136の各々に対しα（ｘ）が求められると、続いて、ハイライトチーク領域色変更部107により、ハイライト領域が指定されたハイライトカラーに、チーク領域が指定されたチークカラーに変更され（ＳＴ44、ＳＴ45）、処理はリターンされる。
【００５３】
実際、上記のα（ｘ）が［数10］にて用いられることにより、入力画像ｐ（ｉ，ｊ）と、（ハイライトカラーに変更されたハイライト領域とチークカラーに変更されたチーク領域とからなる）ハイライトチーク領域ｑ（ｉ，ｊ）が合成される。
【００５４】
【数１０】
【００５５】
このα（ｘ）は、図17のように、楕円領域である領域131〜136の各々の内側の位置に対し、同心上に中央部から端部へと値を減少させていくよう設定されており、特にハイライト領域とチーク領域の境界部分でも色が不連続となることがない。
【００５６】
これらのハイライトカラーの変更、チークカラーの変更を各フレーム画像について連続して行い表示することによって、図3（ａ）〜（ｄ）に示すようなフェースメークシミュレーションが可能となる。
【００５７】
以上のように、本メークアップシミュレーションシステムでのリップメークシミュレーションでは、人の表情変化を捕らえた動画像中の各フレーム画像内で口に対応する画素領域が特定され、特定された画素領域の色が、指定されたリップカラーに対応して変更され、フレーム画像が表示される。
【００５８】
このようなリップメークシミュレーションによると、動画像上で化粧がよりリアルにシミュレートされ、化粧の効果がより正確にユーザに確認されることとなる。すなわち、顔の光源に対する向きの変化、表情の変化を捕らえる動画像により、静止画では判別が困難な凹凸、高低の知覚が可能となり、メークアップ後の肌の質感と顔の立体感、さらに顔の表情の変化がリアルに表示される。
【００５９】
特に上記の画素領域の特定をテンプレートマッチングを用いて行い、さらに、所定の色空間（たとえばＵＶ平面）にて識別関数を用いて変更される画素を特定し、特定された画素の色をアフィン変換して色変換するものとすることにより、簡便な手法で演算量を抑えつつ上記の効果が達成されることとなる。
【００６０】
本メークアップシミュレーションシステムでのフェースメークシミュレーションでは、人の表情変化を捕らえた動画像中の各フレーム画像内で口および両目に対応する画素領域が特定され、各フレーム画像にて、特定された3つの画素領域からフェースメークを仮想的に施す化粧領域が算定され、算定された化粧領域内の色が指定されたハイライトカラー、チークカラー等に応じて変更されつつ、フレーム画像が表示される。
【００６１】
このようなフェースメークシミュレーションによると、動画像上で化粧がよりリアルにシミュレートされ、化粧の効果がより正確にユーザに確認されることとなる。
【００６２】
特に上記の化粧領域を［数2］〜［数9］のような楕円領域として特定し、さらに上記のようなα（ｘ）を用いて楕円領域の中央部から端部に向けて徐々にハイライトカラー、チークカラーを薄くしていくことにより、化粧領域の位置および形状が適宜変化されつつリアルなフェースメークが簡便にシミュレートされることとなる。
【００６３】
加えて、これらのリップメークおよびフェースメークを組み合わせまた個別にシミュレートする際、撮像される人物画像に隣接してシミュレート結果を表示するものとすることにより、ユーザは化粧の効果をよりわかりやすく正確に知ることができる。
【００６４】
なお、上記の実施の形態のメークアップシミュレーションシステムでは、撮像される動画像に対しリアルタイムに処理が行われるものとしたが、記憶されている動画像データに基づき処理を行うことを想定することができる。
【００６５】
また、上記の実施の形態のメークアップシミュレーションシステムでは、ＹＵＶ表色系にて表される色に対し変換を施すものとしたが、（必要に応じ適宜変換を行い）ＣＩＥ ＸＹＺ、ＣＩＥ ＬＡＢ、マンセル色座標系、ＲＧＢ表色系等、他の表色系で表される色に対し変換を施すものとすることができる。
【００６６】
上記の実施の形態のメークアップシミュレーションシステムでは、特に、メークシミュレータにデジタルビデオカメラもしくはビデオカメラが直接接続されて、デジタルビデオカメラからの画像データまたはＡ／Ｄ変換されたビデオカメラの映像信号に対して、動画像処理が施されることを想定したが、メークシミュレータが通信を制御する通信制御部を有するものとして、ネットワークを介して、デジタルビデオカメラもしくはビデオカメラ等が接続された遠隔のパーソナルコンピュータ等から処理されるべき動画像データ（またＡ／Ｄ変換後の映像信号）が送信され、さらに、処理後の動画像データが遠隔に送信されていくものとすることができる。
【００６７】
上記の実施の形態のメークアップシミュレーションシステムでは、色相・彩度平面上での色変換を回転により行うものとしたが、変換後のリップ領域クラスタの色の平均が操作者の指示する色となるように色変換をアフィン変換により行うものとすることができる。色変換を彩度成分についての非線形変換等により行って光沢感などの質感を変更させるものとすることができ、また、色の識別を線形関数により行うものとしたが、非線形関数により行うことができる。
【００６８】
上記の実施の形態のメークアップシミュレーションシステムにて、さらに肌の領域に対応する画素の明度を増加させて彩度を低下させることにより、肌の色を白くするように変換することができ、明度を減少させて赤色成分を強調することにより、日焼けに相当する肌の色へと変換することができる。
【００６９】
また、上記の実施の形態のメークアップシミュレーションシステムにて、加えて、同様に、鼻、目、瞳、まつげ、眉、歯などを画像上で特徴付ける特徴点を追跡して、マスカラ、アイライン、アイカラーなどを仮想的にポイントメークするものとすることができ、また、眉の形状、歯の色を変えるものとすることができる。髪領域を追跡してヘアダイをシミュレートすることができ、テンプレートマッチング以外の他の方法、たとえは時空間勾配法により顔のパーツ（口領域および他の領域）の追跡を行うものとすることができる。
【００７０】
上記の実施の形態のメークアップシミュレーションシステムにて、フェースメークシミュレーション時、鼻領域を追跡して、ハイライト領域、チーク領域の指定をより正確に行うものとすることができる。また、ファンデーションを塗布する楕円形状の領域を複数組み合わせて、より複雑な形状の領域を指定することができ、加えて、楕円形状領域に代え、円形、卵形、矩形等、他の形状の領域を組み合わせるものとすることができる。
【００７１】
【発明の効果】
請求項1、請求項8および請求項10に記載の発明によると、動画像上で円滑に化粧（特にポイントメーク）がシミュレートされるため、ユーザは表情を変化させつつ化粧の効果をより正確に確認することができる。
【００７２】
請求項2および請求項3に記載の発明によると、簡便な手法で演算量を抑えつつポイントメークシミュレーションが達成されることとなる。
【００７３】
請求項4、請求項9および請求項11に記載の発明によると、動画像上で円滑に化粧（特にフェースメーク）がシミュレートされるため、ユーザは表情を変化させつつ化粧の効果をより正確に確認することができる。
【００７４】
請求項5に記載の発明によると、化粧領域の位置および形状が適宜変化されるため、簡便な手法で演算量が抑えられつつリアルなフェースメークシミュレーションが達成されることとなる。
【００７５】
請求項6に記載の発明によると、よりリアルなフェースメークシミュレーションが行われることとなる。
【００７６】
請求項7に記載の発明によると、シミュレーション結果である動画像と撮像された動画像とが隣接してリアルタイムに表示されることとなるため、ユーザは化粧の効果をよりわかりやすく正確に知ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の1つであるメークアップシミュレーションシステムのハードウェア構成を示すブロック図である。
【図２】本メークアップシミュレーションシステムでのリップへのポイントメークシミュレーションを示す図である。
【図３】本メークアップシミュレーションシステムでのフェースメークシミュレーションを示す図である。
【図４】メークシミュレータ10のメークシミュレーション処理部（メークシミュレーション処理プログラム）100の主要部を示すブロック図である。
【図５】メークシミュレーション処理での処理手順の概略を示すフローチャートである。
【図６】図5のＳＴ3での口領域画像処理の手順を示すフローチャートである。
【図７】フレーム画像200上の口領域110を示す図である。
【図８】口領域の追跡（図6のＳＴ31）を説明するための図である。
【図９】口領域の追跡のために行われるテンプレートマッチングを説明するための図である。
【図１０】口領域中のリップカラーの変更（図6のＳＴ33）を行うためのＵＶ平面上での点群（クラスタ）の回転を示す図である。
【図１１】口領域でのリップカラーの変更を示す図である。
【図１２】図5のＳＴ4でのハイライトチーク領域画像処理の手順を示すフローチャートである。
【図１３】フレーム画像204上でのハイライト領域121〜123、チーク領域124、125の肌の色の変更を示す図である。
【図１４】フレーム画像205上の目領域116、117を示す図である。
【図１５】ハイライト領域の算定（図12のＳＴ42）、チーク領域の算定（ＳＴ43）を説明するための図である。
【図１６】ハイライト領域、チーク領域を構成する楕円領域を示す図である。
【図１７】化粧色を滑らかに表示させるための分布関数α（ｘ）の例を示す図である。
【符号の説明】
10 メークシミュレータ
11 表示部
12 ＲＡＭ
13 制御部（ＣＰＵ）
14 入力部
15 ＨＤＤ
20 デジタルビデオカメラ
30、50 入力される顔部画像
31 リップカラー変更前のリップ
40 リップカラーの変更された顔部画像
41 リップカラー変更後のリップ
60、115 ハイライト領域色、チーク領域色の変更された顔部画像
61、121 ハイライト領域（Ｔゾーン）
62、63、122、123 ハイライト領域（頬上部）
64、65、124、125 チーク領域（頬中下部）
71 肌領域クラスタ
72、73 リップ領域クラスタ
100 メークシミュレーション処理部
101 フレーム抽出部
102 口領域追跡部
103 リップ画素選択部
104 リップカラー変更部
105 目領域追跡部
106 ハイライトチーク領域指定部
107 ハイライトチーク領域色変更部
108 画像合成部
110 動画像データ
110〜112 口領域
113 入力される顔部画像中の口領域
114 リップカラー変更後の顔部画像中の口領域
116、117 目領域
120 テンプレート画像
131 Ｔゾーン横領域
132 Ｔゾーン縦領域
133 左頬上部領域
134 左頬中下部領域
135 右頬上部領域
136 右頬中下部領域
200〜205 フレーム画像
【発明の属する技術分野】
本発明は、顔部への化粧をシミュレートする化粧シミュレーション技術に関する。
【０００２】
【従来の技術】
従来より、化粧品の販売、化粧技法の教習などに際し、実際に化粧を行うことなく、何通りもの化粧の効果を簡便に確認させるため、コンピュータ上で、撮像された顔部の画像に対し画像処理を施し化粧をシミュレートする技術が知られている。
【０００３】
特開平6−319613に記載された顔のメークアップ支援装置、特開平8−202754に記載されたリップカラーアドバイスシステム、特開平10−21290に記載されたメークアップのシミュレート法、および、特開平2000−194835に記載された化粧アドバイスシステムは、いずれも、化粧のシミュレートを実現するものであり、これらシステムのユーザはシミュレーション結果によって化粧の効果を簡便に確認することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記のような従来の化粧シミュレーションシステムでは、シミュレーション結果が静止画上で表示されるため、ユーザは、発話したり笑ったりして表情が変化した際の化粧の効果を十分に判断できず、化粧の効果を誤認識することがある。
【０００５】
本発明はこれらに着眼してなされたものであり、その目的は、化粧をよりリアルにシミュレートし、化粧の効果をより正確に確認させることのできる化粧シミュレート技術を提供することである。
【０００６】
【課題を解決するための手段】
上記の目的を達成するための本発明に係る第1および第2の化粧シミュレーション装置は、ユーザから受け付けられた化粧色を指定する入力に基づき、顔部への化粧をシミュレートする化粧シミュレーション装置である。
【０００７】
本発明の第１の化粧シミュレーション装置では、ユーザから受け付けられた化粧色を指定する入力に基づき、顔部への化粧をシミュレートする化粧シミュレーション装置であって、撮像された動画像を構成するフレーム画像から顔部の口領域に対応する画素からなるテンプレート画像を定め、前記テンプレート画像を用いたテンプレートマッチングを行い、表情の変化を捕らえた動画像の各フレームに対応するフレーム画像内で、前記口領域を順次特定し、特定した口領域を、色相及び彩度を示すＵＶ平面上に投影し、所定の識別関数を用いて肌の色に対応する肌領域とリップの色に対応するリップ領域とに分別し、前記口領域からリップ領域を特定し、特定したリップ領域の色を、指定された化粧色に対応させて変更しつつ、フレーム画像を表示することを特徴とする。
【０００８】
この第１の化粧シミュレーション装置では、所定のテンプレート画像に対応するフレーム画像内の口領域を特定し、特定された口領域内で所定の範囲の色に対応する画素領域を特定することにより、リップ領域の特定を行うものとすることができ、また、前記画素の特定を色空間内の識別関数を用いて行い、前記リップ領域の色の変更を色空間内でのアフィン変換により行うものとすることができる。
【０００９】
本発明の第２の化粧シミュレーション装置では、ユーザから受け付けられた化粧色を指定する入力に基づき、顔部への化粧をシミュレートする化粧シミュレーション装置であって、撮像された動画像を構成するフレーム画像から顔部の口領域及び２つの目領域に対応する画素からなるテンプレート画像を定め、前記テンプレート画像を用いたテンプレートマッチングを行い、表情の変化を捕らえた動画像の各フレームに対応するフレーム画像内での、前記口領域及び２つの目領域の特定を複数のフレームに渡り順次行い、各フレーム画像にて、特定された口領域を、色相及び彩度を示すＵＶ平面上に投影し、所定の識別関数を用いて肌の色に対応する肌領域とリップの色に対応するリップ領域とに分別し、前記口領域からリップ領域を算定すると共に、特定した口領域及び２つの目領域からハイライト領域及びチーク領域を算定し、算定されたリップ領域、ハイライト領域及びチーク領域の色を、指定された化粧色に対応させて変更しつつ、フレーム画像を表示することを特徴とする。
【００１０】
この第２の化粧シミュレーション装置では、特定された口領域及び２つの目領域に基づき、リップ領域、ハイライト領域、及びチーク領域を算定している。
【００１１】
これら第1および第2の化粧シミュレーション装置では、前記動画像を撮像しつつ、この撮像された動画像を、前記フレーム画像の表示に隣接してリアルタイムに表示するものとすることができる。
【００１２】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態の1つであるメークアップシミュレーションシステムについて説明する。
【００１３】
図1は本発明の実施の形態の1つであるメークアップシミュレーションシステムのハードウェア構成を示すブロック図であり、図2、図3は、本メークアップシミュレーションシステムでのリップへのポイントメークシミュレーション、フェースメークシミュレーションを示す図である。
【００１４】
図1に示すように、本メークアップシミュレーションシステムは、プログラム記憶式コンピュータに、所定のＯＳ上メークシミュレーション処理プログラムがインストールされたメークシミュレータ10と、ＩＥＥＥ1394また他の所定のインターフェースを介してメークシミュレータ10に接続される、ビデオカメラ、デジタルビデオカメラなどの動画像撮像装置20とを含んでいる。
【００１５】
動画像撮像装置20ではユーザの顔部を含む動画像が撮像され、対応する動画像データ（映像信号）がメークシミュレータ10に伝送される。伝送されてくる動画像データに対し、メークシミュレータ10では動画像処理が行われて化粧がシミュレートされる。
【００１６】
より詳細には、メークシミュレータ10は、キーボード、マウスなどからなる入力部14と、ＣＲＴ等のディスプレイである表示部11と、プログラムファイル、データファイルなどを格納するＨＤＤ15と、プログラムおよび用いられるデータを一時的に記憶するＲＡＭ12と、入力部14、表示部11、ＨＤＤ15、および、動画像撮像装置20からの動画像データの伝送を制御しつつＲＡＭ12上にロードされたプログラムを実行する制御部（ＣＰＵ）13とを含んでいる。（実行されるメークシミュレーション処理プログラムは、ＣＤ−ＲＯＭ等の記録媒体により配布されて図示しないＣＤ−ＲＯＭドライブからインストールされ、また、通信回線を介してダウンロードされてインストールされる。）
特に、入力部14では、口紅、ファンデーションなどの化粧品の色の指定がユーザから受け付けられ、上記の他にペンタブレット、タッチパネルが用いられるものとし、また、音声入力、画像認識を用いたジェスチャー入力などが行われるものとすることができる。表示部11では、化粧シミュレーションの結果が表示され、上記の他にＬＣＤ、プロジェクタ、プラズマディスプレイなどが用いられるものとすることができる。
【００１７】
一般的な化粧技法として、（1）肌をきれいに見せるためのベースメーク、（2）顔の立体感を補正するためのフェースメーク、（3）リップ、目、眉など顔のパーツの色、形状を補正するためのポイントメークがあり、通常、これらが組み合わされる。本メークシミュレーションシステムでは、主に、リップへのポイントメークおよびフェースメークが個別にまた組み合わされてシミュレートされ、これらシミュレート結果が表示される。
【００１８】
実際、リップメークシミュレーションによると、図2（ａ）〜（ｄ）に示すように、入力される顔部画像30中の、たとえば赤のリップ31のリップカラーが変更されつつ、オレンジのリップ41が顔部画像40が表示されることとなり、また、フェースメークシミュレーションによると、図3（ａ）〜（ｄ）に示すように、顔部画像50中での、Ｔゾーン61、頬上部62、63へのハイライトカラーの化粧料（ファンデーション、フェースカラー、フィニッシュパウダーなど）の塗布および頬中下部64、65へのチークカラーの化粧料の塗布に対応して肌の色が変更され、顔部画像60として表示されることとなる。
【００１９】
特に本メークアップシミュレーションシステムでのこれらの化粧シミュレーションは動画像上でリアルタイムに行われるため、ユーザは表情を多様に変化させながら化粧の効果をリアルに確認することができる。また、撮像される動画像（顔部画像30、50）とシミュレート結果である動画像（顔部画像40、60）とを、表示部11（図1）上の1つの画面内に並べて表示させるものとすることにより、化粧の効果をよりわかりやすく正確に知ることができる。
【００２０】
これらのような概要の本メークアップシミュレーションシステムのメークシミュレータ10につき詳細を説明する。図4はメークシミュレータ10のメークシミュレーション処理部（メークシミュレーション処理プログラム）100の主要部を示すブロック図であり、図5はメークシミュレーション処理での処理手順の概略を示すフローチャートである。
【００２１】
メークシミュレーション処理部100は、図4に示すように、動画像データ110から1フレーム分の画像データを抽出するフレーム抽出部101を含み、主に、リップメークシミュレーション処理に関し、抽出された画像データに対応するフレーム画像上で口近傍の画像領域を追跡する口領域追跡部102と、追跡される口近傍の画像領域中でリップに対応する画素のみを選択するリップ画素選択部103と、選択されたリップに対応する画素の色を変更するリップカラー変更部104とを含んでいる。
【００２２】
また、主として、フェースメークシミュレーション処理に関して、フレーム画像中で目近傍の画像領域を追跡する目領域追跡部105と、追跡される口領域、目領域の位置から、（ハイライトカラーの化粧料の塗布に対応する）ハイライト領域、（チークカラーの化粧料の塗布に対応する）チーク領域を算出し指定するハイライトチーク領域指定部106と、指定されたハイライト領域、チーク領域の色を変更するハイライトチーク領域色変更部107とを含み、さらに、色の変更されたリップおよびハイライト領域、チーク領域の画像と元の抽出されたフレーム画像とを合成して表示部11に表示する画像合成部108を含んでいる。
【００２３】
メークシミュレーション処理では、図5に示すように、まず、化粧技法を指定する入力がユーザにより行われ、リップカラー、ハイライトカラー、チークカラーなどが指定される（ＳＴ1）。動画像撮像装置20（図1）から撮像されリアルタイムに伝送されてくる顔部画像に対応する動画像データ110からはフレーム画像が抽出され（ＳＴ2）、このフレーム画像に対し、口領域追跡部102、画素選択部103およびリップカラー変更部104での口領域画像処理が行われ（ＳＴ3、後に図6等を用いて詳述）、また、目領域追跡部105、ハイライトチーク領域指定部106、ハイライトチーク領域色変更部107でのハイライトチーク領域画像処理が行われる（ＳＴ4、図12等を用いて詳述）。
【００２４】
これらＳＴ3およびＳＴ4にて画素の色が変更される画像領域は、画像合成部108にて、元のフレーム画像に合成され（ＳＴ5）、合成後のフレーム画像が表示される（ＳＴ6）。
【００２５】
ＳＴ2〜ＳＴ6の処理は繰り返され（ＳＴ7にてＮＯ）、最終フレームに達すると（ＳＴ7にてＹＥＳ）、本メークシミュレーション処理は終了することとなる。
【００２６】
図6は図5のＳＴ3での口領域画像処理の手順を示すフローチャートである。図7はフレーム画像200上の口領域110を示す図であり、図8は口領域の追跡（図6のＳＴ31）を説明するための図であり、図9は口領域の追跡のために行われるテンプレートマッチングを説明するための図である。また、図10は口領域中のリップカラーの変更（図6のＳＴ33）を行うためのＵＶ平面上での点群（クラスタ）の回転を示す図であり、図11は口領域でのリップカラーの変更を示す図である。
【００２７】
図6に示すように、口領域画像処理では、まず、口領域110（図7）が口領域追跡部102にて追跡される（ＳＴ31）。図8（ａ）に示すフレーム画像201が撮像される人物の動きによりフレーム画像202のように変化されると、この変化に伴い、図8（ｂ）に示すように、口領域111が追跡される。
【００２８】
このような口領域の追跡をテンプレートマッチングにより行うことができる。図9のように、動画像を構成する先頭のフレーム画像203中の口領域に対応させてＭ×Ｎに並ぶ画素からなるテンプレート画像112を定め、このテンプレート画像112を後続するフレーム画像中で上下左右に移動させつつ、次に［数1］に示す誤差関数Ｅ（ｕ，ｖ）などを用いてマッチングの度合いを算出し、テンプレート画像に最も類似する領域を追跡されるべき口領域として特定する。
【００２９】
【数１】
ここで、ｔ（ｉ，ｊ）をテンプレート画像の輝度、ｐ（ｉ，ｊ）を入力されるフレーム画像の輝度とし、また、ｕm、ｖmを所定の定数として、ｕ＝ｕ0，ｕ0±1，ｕ0±2，…，ｕ0±ｕm、ｖ＝ｖ0，ｖ0±1，ｖ0±2，…，ｖ0±ｖmである。
【００３１】
口領域画像処理（図6）では、追跡される口領域中のリップに対応する画素がリップ画素選択部103により選択されると（ＳＴ32）、続いて、これらリップ画素の色がユーザが指定したリップカラーに応じたものとなるように変更され（ＳＴ33）、処理はリターンされる。
【００３２】
動画像データ中の各フレームの画素がＹＵＶ（ＹＣｂＣｒ）表色系にて表されるものとすると、実際、口領域113（図11（ａ））の各画素をＵＶ平面（色相・彩度平面）上に投影したとき、図10（ａ）に示すような分布が得られる。これらＵＶ平面上の画素は、あらかじめ定められている識別関数（ここでは、線形識別関数Ｖ＝−3Ｕ−12）により、肌の色に対応する肌領域クラスタ71とリップの色に対応するリップ領域クラスタ72とに分別することができる。
【００３３】
分別され（選択され）たリップ領域クラスタ72の画素は、ＵＶ平面上で回転させて、図10（ｂ）に示すようなリップ領域クラスタ73へと色変換することによって光沢感を維持したまま色合いを変えることができる。（回転量は回転後の色の平均がユーザに指定されたリップカラーとなるように設定される。）
図11（b）の口領域114は、色変換後の、リップ領域クラスタ73に対応するリップカラーのリップを含むものであり、これらのリップカラーの変更を各フレーム画像について連続して行い（適宜ＲＧＢ表色系へと線形変換して）表示することによって、図2（ａ）〜（ｄ）に示すようなリップメークシミュレーションが可能となる。
【００３４】
図12は図5のＳＴ4でのハイライトチーク領域画像処理の手順を示すフローチャートである。図13はフレーム画像204上でのハイライト領域121〜123、チーク領域124、125の肌の色の変更を示す図であり、図14はフレーム画像205上の目領域116、117を示す図である。図15はハイライト領域の算定（図12のＳＴ42）、チーク領域の算定（ＳＴ43）を説明するための図であり、図16はハイライト領域、チーク領域を構成する楕円領域を示す図である。また、図17は化粧色を滑らかに表示させるための分布関数α（ｘ）の例を示す図である。
【００３５】
鼻上部から額下部へのＴゾーンおよび頬上部へのハイライトカラー化粧料の塗布と頬中下部へのチークカラー化粧料の塗布とは、フェースメークの基本技法の1つとされており、顔の立体感を強調させるものである。本ハイライトチーク領域画像処理では、図13に示すように、入力されるフレーム画像204の顔部画像中でハイライト領域（Ｔゾーン）121、ハイライト領域（頬上部）122、123、チーク領域（頬中下部）124、125が指定され、これら領域の色がユーザに指定されたハイライトカラー、チークカラーに変更され顔部画像115が生成される。
【００３６】
ハイライトチーク領域画像処理では、図12に示すように、まず、目領域116、117が、目領域追跡部105で、口領域110（図7）と同様テンプレートマッチングなどにより追跡され（ＳＴ41）、ハイライトチーク領域指定部106にて、口領域110、2つの目領域116、117からハイライト領域121〜123が算定され（ＳＴ42）、また、チーク領域124、125が算定される（ＳＴ43）。
【００３７】
実際、図15（ａ）に示す口領域110の中心ｑm、2つの目領域116、117の中心ｑl、ｑrから、ハイライト領域121を構成する楕円状のＴゾーン横領域131の中心ｑc fH、長軸に相当するベクトルｖ01（2つ目の添え字1はｑc fHに関するものであることを示す）、短軸に相当するベクトルｖ11が［数2］、［数3］により算定される。
【００３８】
【数２】
【数３】
ここで、ａ1は1.3〜1.5程度の値であり、ｂ1は0.3〜0.5程度の値である。
また、図16のような、長軸方向への基底ベクトルｓ01、短軸方向への基底ベクトルｓ11が算出され、これらから、図17のようなｘｙ断面が楕円であるα（ｘ）（ここでは、α（ｘ，ｙ）＝ｅｘｐ［−（3ｘ2−2ｘｙ＋3ｙ2）／4］、［数10］にて後述）が［数4］により求められることとなる。
【００４１】
【数４】
さらに、Ｔゾーン横領域131と同様に楕円領域である、図15（ｂ）のＴゾーン縦領域132、左頬上部領域133、左頬中下部領域134、右頬上部領域135、右頬中下部領域136の各々についても、順次［数5］〜［数9］により、中心と長軸、短軸とが算出され、また、長軸方向、短軸方向への基底ベクトルとα（ｘ）とが求められることとなる。
【００４３】
【数５】
ここで、ａ2は1.0〜1.2程度の値であり、ｂ2は0.25程度の値であり、ｃ2は0.5程度の値である。
【００４５】
【数６】
ここで、ａ3は0.3程度の値であり、ｂ3は0.1程度の値であり、ｃ3は0.2程度の値である。
【００４７】
【数７】
ここで、ａ4は0.3程度の値であり、ｂ4は0.1程度の値であり、ｃ4は0.2程度の値である。
【００４９】
【数８】
ここで、ａ5は0.1程度の値であり、ｂ5は0.2程度の値であり、ｃ5は0.3程度の値である。
【００５１】
【数９】
ここで、ａ6は0.1程度の値であり、ｂ6は0.2程度の値であり、ｃ6は0.3程度の値である。
これらのようにして、ハイライトチーク領域画像処理（図12）のＳＴ42、ＳＴ43にて、領域131〜136の各々に対しα（ｘ）が求められると、続いて、ハイライトチーク領域色変更部107により、ハイライト領域が指定されたハイライトカラーに、チーク領域が指定されたチークカラーに変更され（ＳＴ44、ＳＴ45）、処理はリターンされる。
【００５３】
実際、上記のα（ｘ）が［数10］にて用いられることにより、入力画像ｐ（ｉ，ｊ）と、（ハイライトカラーに変更されたハイライト領域とチークカラーに変更されたチーク領域とからなる）ハイライトチーク領域ｑ（ｉ，ｊ）が合成される。
【００５４】
【数１０】
このα（ｘ）は、図17のように、楕円領域である領域131〜136の各々の内側の位置に対し、同心上に中央部から端部へと値を減少させていくよう設定されており、特にハイライト領域とチーク領域の境界部分でも色が不連続となることがない。
【００５６】
これらのハイライトカラーの変更、チークカラーの変更を各フレーム画像について連続して行い表示することによって、図3（ａ）〜（ｄ）に示すようなフェースメークシミュレーションが可能となる。
【００５７】
以上のように、本メークアップシミュレーションシステムでのリップメークシミュレーションでは、人の表情変化を捕らえた動画像中の各フレーム画像内で口に対応する画素領域が特定され、特定された画素領域の色が、指定されたリップカラーに対応して変更され、フレーム画像が表示される。
【００５８】
このようなリップメークシミュレーションによると、動画像上で化粧がよりリアルにシミュレートされ、化粧の効果がより正確にユーザに確認されることとなる。すなわち、顔の光源に対する向きの変化、表情の変化を捕らえる動画像により、静止画では判別が困難な凹凸、高低の知覚が可能となり、メークアップ後の肌の質感と顔の立体感、さらに顔の表情の変化がリアルに表示される。
【００５９】
特に上記の画素領域の特定をテンプレートマッチングを用いて行い、さらに、所定の色空間（たとえばＵＶ平面）にて識別関数を用いて変更される画素を特定し、特定された画素の色をアフィン変換して色変換するものとすることにより、簡便な手法で演算量を抑えつつ上記の効果が達成されることとなる。
【００６０】
本メークアップシミュレーションシステムでのフェースメークシミュレーションでは、人の表情変化を捕らえた動画像中の各フレーム画像内で口および両目に対応する画素領域が特定され、各フレーム画像にて、特定された3つの画素領域からフェースメークを仮想的に施す化粧領域が算定され、算定された化粧領域内の色が指定されたハイライトカラー、チークカラー等に応じて変更されつつ、フレーム画像が表示される。
【００６１】
このようなフェースメークシミュレーションによると、動画像上で化粧がよりリアルにシミュレートされ、化粧の効果がより正確にユーザに確認されることとなる。
【００６２】
特に上記の化粧領域を［数2］〜［数9］のような楕円領域として特定し、さらに上記のようなα（ｘ）を用いて楕円領域の中央部から端部に向けて徐々にハイライトカラー、チークカラーを薄くしていくことにより、化粧領域の位置および形状が適宜変化されつつリアルなフェースメークが簡便にシミュレートされることとなる。
【００６３】
加えて、これらのリップメークおよびフェースメークを組み合わせまた個別にシミュレートする際、撮像される人物画像に隣接してシミュレート結果を表示するものとすることにより、ユーザは化粧の効果をよりわかりやすく正確に知ることができる。
【００６４】
なお、上記の実施の形態のメークアップシミュレーションシステムでは、撮像される動画像に対しリアルタイムに処理が行われるものとしたが、記憶されている動画像データに基づき処理を行うことを想定することができる。
【００６５】
また、上記の実施の形態のメークアップシミュレーションシステムでは、ＹＵＶ表色系にて表される色に対し変換を施すものとしたが、（必要に応じ適宜変換を行い）ＣＩＥ ＸＹＺ、ＣＩＥ ＬＡＢ、マンセル色座標系、ＲＧＢ表色系等、他の表色系で表される色に対し変換を施すものとすることができる。
【００６６】
上記の実施の形態のメークアップシミュレーションシステムでは、特に、メークシミュレータにデジタルビデオカメラもしくはビデオカメラが直接接続されて、デジタルビデオカメラからの画像データまたはＡ／Ｄ変換されたビデオカメラの映像信号に対して、動画像処理が施されることを想定したが、メークシミュレータが通信を制御する通信制御部を有するものとして、ネットワークを介して、デジタルビデオカメラもしくはビデオカメラ等が接続された遠隔のパーソナルコンピュータ等から処理されるべき動画像データ（またＡ／Ｄ変換後の映像信号）が送信され、さらに、処理後の動画像データが遠隔に送信されていくものとすることができる。
【００６７】
上記の実施の形態のメークアップシミュレーションシステムでは、色相・彩度平面上での色変換を回転により行うものとしたが、変換後のリップ領域クラスタの色の平均が操作者の指示する色となるように色変換をアフィン変換により行うものとすることができる。色変換を彩度成分についての非線形変換等により行って光沢感などの質感を変更させるものとすることができ、また、色の識別を線形関数により行うものとしたが、非線形関数により行うことができる。
【００６８】
上記の実施の形態のメークアップシミュレーションシステムにて、さらに肌の領域に対応する画素の明度を増加させて彩度を低下させることにより、肌の色を白くするように変換することができ、明度を減少させて赤色成分を強調することにより、日焼けに相当する肌の色へと変換することができる。
【００６９】
また、上記の実施の形態のメークアップシミュレーションシステムにて、加えて、同様に、鼻、目、瞳、まつげ、眉、歯などを画像上で特徴付ける特徴点を追跡して、マスカラ、アイライン、アイカラーなどを仮想的にポイントメークするものとすることができ、また、眉の形状、歯の色を変えるものとすることができる。髪領域を追跡してヘアダイをシミュレートすることができ、テンプレートマッチング以外の他の方法、たとえは時空間勾配法により顔のパーツ（口領域および他の領域）の追跡を行うものとすることができる。
【００７０】
上記の実施の形態のメークアップシミュレーションシステムにて、フェースメークシミュレーション時、鼻領域を追跡して、ハイライト領域、チーク領域の指定をより正確に行うものとすることができる。また、ファンデーションを塗布する楕円形状の領域を複数組み合わせて、より複雑な形状の領域を指定することができ、加えて、楕円形状領域に代え、円形、卵形、矩形等、他の形状の領域を組み合わせるものとすることができる。
【００７１】
【発明の効果】
請求項1、請求項8および請求項10に記載の発明によると、動画像上で円滑に化粧（特にポイントメーク）がシミュレートされるため、ユーザは表情を変化させつつ化粧の効果をより正確に確認することができる。
【００７２】
請求項2および請求項3に記載の発明によると、簡便な手法で演算量を抑えつつポイントメークシミュレーションが達成されることとなる。
【００７３】
請求項4、請求項9および請求項11に記載の発明によると、動画像上で円滑に化粧（特にフェースメーク）がシミュレートされるため、ユーザは表情を変化させつつ化粧の効果をより正確に確認することができる。
【００７４】
請求項5に記載の発明によると、化粧領域の位置および形状が適宜変化されるため、簡便な手法で演算量が抑えられつつリアルなフェースメークシミュレーションが達成されることとなる。
【００７５】
請求項6に記載の発明によると、よりリアルなフェースメークシミュレーションが行われることとなる。
【００７６】
請求項7に記載の発明によると、シミュレーション結果である動画像と撮像された動画像とが隣接してリアルタイムに表示されることとなるため、ユーザは化粧の効果をよりわかりやすく正確に知ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の1つであるメークアップシミュレーションシステムのハードウェア構成を示すブロック図である。
【図２】本メークアップシミュレーションシステムでのリップへのポイントメークシミュレーションを示す図である。
【図３】本メークアップシミュレーションシステムでのフェースメークシミュレーションを示す図である。
【図４】メークシミュレータ10のメークシミュレーション処理部（メークシミュレーション処理プログラム）100の主要部を示すブロック図である。
【図５】メークシミュレーション処理での処理手順の概略を示すフローチャートである。
【図６】図5のＳＴ3での口領域画像処理の手順を示すフローチャートである。
【図７】フレーム画像200上の口領域110を示す図である。
【図８】口領域の追跡（図6のＳＴ31）を説明するための図である。
【図９】口領域の追跡のために行われるテンプレートマッチングを説明するための図である。
【図１０】口領域中のリップカラーの変更（図6のＳＴ33）を行うためのＵＶ平面上での点群（クラスタ）の回転を示す図である。
【図１１】口領域でのリップカラーの変更を示す図である。
【図１２】図5のＳＴ4でのハイライトチーク領域画像処理の手順を示すフローチャートである。
【図１３】フレーム画像204上でのハイライト領域121〜123、チーク領域124、125の肌の色の変更を示す図である。
【図１４】フレーム画像205上の目領域116、117を示す図である。
【図１５】ハイライト領域の算定（図12のＳＴ42）、チーク領域の算定（ＳＴ43）を説明するための図である。
【図１６】ハイライト領域、チーク領域を構成する楕円領域を示す図である。
【図１７】化粧色を滑らかに表示させるための分布関数α（ｘ）の例を示す図である。
【符号の説明】
10 メークシミュレータ
11 表示部
12 ＲＡＭ
13 制御部（ＣＰＵ）
14 入力部
15 ＨＤＤ
20 デジタルビデオカメラ
30、50 入力される顔部画像
31 リップカラー変更前のリップ
40 リップカラーの変更された顔部画像
41 リップカラー変更後のリップ
60、115 ハイライト領域色、チーク領域色の変更された顔部画像
61、121 ハイライト領域（Ｔゾーン）
62、63、122、123 ハイライト領域（頬上部）
64、65、124、125 チーク領域（頬中下部）
71 肌領域クラスタ
72、73 リップ領域クラスタ
100 メークシミュレーション処理部
101 フレーム抽出部
102 口領域追跡部
103 リップ画素選択部
104 リップカラー変更部
105 目領域追跡部
106 ハイライトチーク領域指定部
107 ハイライトチーク領域色変更部
108 画像合成部
110 動画像データ
110〜112 口領域
113 入力される顔部画像中の口領域
114 リップカラー変更後の顔部画像中の口領域
116、117 目領域
120 テンプレート画像
131 Ｔゾーン横領域
132 Ｔゾーン縦領域
133 左頬上部領域
134 左頬中下部領域
135 右頬上部領域
136 右頬中下部領域
200〜205 フレーム画像
Claims (10)
- ユーザから受け付けられた化粧色を指定する入力に基づき、顔部への化粧をシミュレートする化粧シミュレーション装置であって、
撮像された動画像を構成するフレーム画像から顔部の口領域に対応する画素からなるテンプレート画像を定め、前記テンプレート画像を用いたテンプレートマッチングを行い、表情の変化を捕らえた動画像の各フレームに対応するフレーム画像内で、前記口領域を順次特定し、
特定した口領域を、色相及び彩度を示すＵＶ平面上に投影し、所定の識別関数を用いて肌の色に対応する肌領域とリップの色に対応するリップ領域とに分別し、前記口領域からリップ領域を特定し、
特定したリップ領域の色を、指定された化粧色に対応させて変更しつつ、フレーム画像を表示することを特徴とする化粧シミュレーション装置。 - 特定したリップ領域の色の変更を、色空間内でのアフィン変換により行うことを特徴とする請求項１記載の化粧シミュレーション装置。
- ユーザから受け付けられた化粧色を指定する入力に基づき、顔部への化粧をシミュレートする化粧シミュレーション装置であって、
撮像された動画像を構成するフレーム画像から顔部の口領域及び２つの目領域に対応する画素からなるテンプレート画像を定め、前記テンプレート画像を用いたテンプレートマッチングを行い、表情の変化を捕らえた動画像の各フレームに対応するフレーム画像内での、前記口領域及び２つの目領域の特定を複数のフレームに渡り順次行い、
各フレーム画像にて、特定された口領域を、色相及び彩度を示すＵＶ平面上に投影し、所定の識別関数を用いて肌の色に対応する肌領域とリップの色に対応するリップ領域とに分別し、前記口領域からリップ領域を算定すると共に、特定した口領域及び２つの目領域からハイライト領域及びチーク領域を算定し、
算定されたリップ領域、ハイライト領域及びチーク領域の色を、指定された化粧色に対応させて変更しつつ、フレーム画像を表示することを特徴とする化粧シミュレーション装置。 - 前記ハイライト領域及びチーク領域が楕円状領域から構成されるものとし、
前記ハイライト領域及びチーク領域の算定を、特定された口領域及び２つの目領域に基づき、楕円状領域の中心と、長軸および短軸とを算定することにより行う請求項３記載の化粧シミュレーション装置。 - 前記化粧色の変更を、
算定された楕円状領域の中心を化粧色に対応させるように、かつ、楕円状領域の中心から外側に向かうに従い徐々に化粧色が薄れていくように行うことを特徴とする請求項４記載の化粧シミュレーション装置。 - 前記動画像を撮像し、
前記フレーム画像の表示に隣接して、撮像された動画像を表示することを特徴とする請求項１〜５のいずれかに記載の化粧シミュレーション装置。 - ユーザから受け付けられた化粧色を指定する入力に基づき、顔部への化粧をシミュレートする化粧シミュレーション方法であって、
コンピュータが、撮像された動画像を構成するフレーム画像から顔部の口領域に対応する画素からなるテンプレート画像を定め、前記テンプレート画像を用いたテンプレートマッチングを行い、表情の変化を捕らえた動画像の各フレームに対応するフレーム画像内で前記口領域を特定し、
コンピュータが、特定した口領域を、色相及び彩度を示すＵＶ平面上に投影し、所定の識別関数を用いて肌の色に対応する肌領域とリップの色に対応するリップ領域とに分別し、前記口領域からリップ領域を特定し、
コンピュータが、特定したリップ領域の色を、指定された化粧色に対応させて変更しつつ、フレーム画像を表示することを特徴とする化粧シミュレーション方法。 - ユーザから受け付けられた化粧色を指定する入力に基づき、顔部への化粧をシミュレートする化粧シミュレーション方法であって、
コンピュータが、撮像された動画像を構成するフレーム画像から顔部の口領域及び２つの目領域に対応する画素からなるテンプレート画像を定め、前記テンプレート画像を用いたテンプレートマッチングを行い、表情の変化を捕らえた動画像の各フレームに対応するフレーム画像内での、前記口領域及び２つの目領域の特定を複数のフレームに渡り順次行い、
コンピュータが、各フレーム画像にて、特定された口領域を、色相及び彩度を示すＵＶ平面上に投影し、所定の識別関数を用いて肌の色に対応する肌領域とリップの色に対応するリップ領域とに分別し、前記口領域からリップ領域を算定すると共に、特定した口領域及び２つの目領域からハイライト領域及びチーク領域を算定し、
コンピュータが、算定されたリップ領域、ハイライト領域及びチーク領域の色を、指定された化粧色に対応させて変更しつつ、フレーム画像を表示することを特徴とする化粧シミュレーション方法。 - ユーザから受け付けられた化粧色を指定する入力に基づき、顔部への化粧をシミュレートするようにコンピュータを機能させる化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
撮像された動画像を構成するフレーム画像から顔部の口領域に対応する画素からなるテンプレート画像を定め、前記テンプレート画像を用いたテンプレートマッチングを行い、表情の変化を捕らえた動画像の各フレームに対応するフレーム画像内で前記口領域を特定し、
特定した口領域を、色相及び彩度を示すＵＶ平面上に投影し、所定の識別関数を用いて肌の色に対応する肌領域とリップの色に対応するリップ領域とに分別し、前記口領域からリップ領域を特定し、
特定したリップ領域の色を、指定された化粧色に対応させて変更しつつ、フレーム画像を表示するようにコンピュータを機能させることを特徴とする化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体。 - ユーザから受け付けられた化粧色を指定する入力に基づき、顔部への化粧をシミュレートするようにコンピュータを機能させる化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
撮像された動画像を構成するフレーム画像から顔部の口領域及び２つの目領域に対応する画素からなるテンプレート画像を定め、前記テンプレート画像を用いたテンプレートマッチングを行い、表情の変化を捕らえた動画像の各フレームに対応するフレーム画像内での、前記口領域及び２つの目領域の特定を複数のフレームに渡り順次行い、
各フレーム画像にて、特定された口領域を、色相及び彩度を示すＵＶ平面上に投影し、所定の識別関数を用いて肌の色に対応する肌領域とリップの色に対応するリップ領域とに分別し、前記口領域からリップ領域を算定すると共に、特定した口領域及び２つの目領域からハイライト領域及びチーク領域を算定し、
算定されたリップ領域、ハイライト領域及びチーク領域の色を、指定された化粧色に対応させて変更しつつ、フレーム画像を表示することを特徴とする化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001230528A JP3779570B2 (ja) | 2001-07-30 | 2001-07-30 | 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001230528A JP3779570B2 (ja) | 2001-07-30 | 2001-07-30 | 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003044837A JP2003044837A (ja) | 2003-02-14 |
| JP3779570B2 true JP3779570B2 (ja) | 2006-05-31 |
Family
ID=19062720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001230528A Expired - Fee Related JP3779570B2 (ja) | 2001-07-30 | 2001-07-30 | 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3779570B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105101836A (zh) * | 2013-02-28 | 2015-11-25 | 松下知识产权经营株式会社 | 化妆辅助装置、化妆辅助方法以及化妆辅助程序 |
| CN107705240A (zh) * | 2016-08-08 | 2018-02-16 | 阿里巴巴集团控股有限公司 | 虚拟试妆方法、装置和电子设备 |
| KR20220082124A (ko) * | 2020-12-09 | 2022-06-17 | 오승현 | 화면표시장치 상에서 파운데이션 색상을 보정하는 방법 및 이를 이용한 파운데이션 추천 방법 |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7039222B2 (en) * | 2003-02-28 | 2006-05-02 | Eastman Kodak Company | Method and system for enhancing portrait images that are processed in a batch mode |
| JP2005092588A (ja) * | 2003-09-18 | 2005-04-07 | Hitachi Software Eng Co Ltd | 合成画像プリント装置及び画像編集方法 |
| WO2005073909A1 (ja) * | 2004-01-30 | 2005-08-11 | Digital Fashion Ltd. | 化粧シミュレーションプログラム、化粧シミュレーション装置、及び化粧シミュレーション方法 |
| JP4481682B2 (ja) * | 2004-02-25 | 2010-06-16 | キヤノン株式会社 | 情報処理装置及びその制御方法 |
| JP4756876B2 (ja) * | 2004-06-09 | 2011-08-24 | キヤノン株式会社 | 画像表示制御装置、画像表示制御方法、プログラム、及び記憶媒体 |
| JP4951127B2 (ja) * | 2004-06-09 | 2012-06-13 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
| US7773091B2 (en) | 2004-09-07 | 2010-08-10 | L'oreal | Method and device for generating a synthesized image of at least one fringe of lashes |
| FR2875044B1 (fr) * | 2004-09-07 | 2007-09-14 | Oreal | Procede et dispositif permettant de generer une image de synthese d'au moins une frange de cils |
| JP5043323B2 (ja) * | 2005-10-06 | 2012-10-10 | 株式会社 資生堂 | 化粧情報提供システム |
| EP1975870B1 (en) | 2006-01-17 | 2020-08-26 | Shiseido Co., Ltd. | Makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program |
| JP4753025B2 (ja) * | 2006-03-22 | 2011-08-17 | 花王株式会社 | メイクアップシミュレーション方法 |
| JP2009064423A (ja) | 2007-08-10 | 2009-03-26 | Shiseido Co Ltd | メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム |
| JP2010073222A (ja) * | 2010-01-07 | 2010-04-02 | Kao Corp | メイクアップシミュレーション方法 |
| JP5029852B2 (ja) * | 2010-01-07 | 2012-09-19 | 花王株式会社 | メイクアップシミュレーション方法 |
| CN102012620B (zh) * | 2010-10-28 | 2013-06-05 | 鸿富锦精密工业（深圳）有限公司 | 电子化妆品盒 |
| JP2014023127A (ja) * | 2012-07-23 | 2014-02-03 | Sharp Corp | 情報表示装置、情報表示方法、制御プログラム、および記録媒体 |
| JP5991536B2 (ja) | 2013-02-01 | 2016-09-14 | パナソニックＩｐマネジメント株式会社 | メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム |
| JP6132232B2 (ja) | 2013-02-01 | 2017-05-24 | パナソニックＩｐマネジメント株式会社 | メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法 |
| JP6128309B2 (ja) | 2013-02-01 | 2017-05-17 | パナソニックＩｐマネジメント株式会社 | メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム |
| JP6008323B2 (ja) | 2013-02-01 | 2016-10-19 | パナソニックＩｐマネジメント株式会社 | メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム |
| JP5768222B2 (ja) | 2013-03-01 | 2015-08-26 | パナソニックＩｐマネジメント株式会社 | 転写装置および印刷装置 |
| JP5372275B1 (ja) | 2013-03-22 | 2013-12-18 | パナソニック株式会社 | メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム |
| JP5372276B1 (ja) * | 2013-03-22 | 2013-12-18 | パナソニック株式会社 | メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム |
| JP6375480B2 (ja) | 2013-08-30 | 2018-08-22 | パナソニックＩｐマネジメント株式会社 | メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム |
| EP3040939B1 (en) | 2013-08-30 | 2018-10-10 | Panasonic Intellectual Property Management Co., Ltd. | Makeup support device, makeup support method, and makeup support program |
| JP6435516B2 (ja) | 2013-08-30 | 2018-12-12 | パナソニックＩｐマネジメント株式会社 | メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム |
| JP6722866B2 (ja) | 2016-02-29 | 2020-07-15 | パナソニックＩｐマネジメント株式会社 | 画像処理装置および画像処理方法 |
| JP6655789B2 (ja) | 2016-03-08 | 2020-02-26 | パナソニックＩｐマネジメント株式会社 | 画像処理装置および画像処理方法 |
| JP6731616B2 (ja) * | 2016-06-10 | 2020-07-29 | パナソニックＩｐマネジメント株式会社 | バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム |
| JP2019115653A (ja) * | 2017-12-26 | 2019-07-18 | パナソニックＩｐマネジメント株式会社 | 身体外観補正支援装置、身体外観補正支援方法、およびコンピュータプログラム |
| CN107895343B (zh) * | 2017-12-31 | 2021-02-23 | 广州二元科技有限公司 | 一种基于五官定位快速简单上腮红的图像处理方法 |
| CN112308944A (zh) * | 2019-07-29 | 2021-02-02 | 丽宝大数据股份有限公司 | 仿真唇妆的扩增实境显示方法 |
| WO2022085775A1 (ja) * | 2020-10-23 | 2022-04-28 | ソニーグループ株式会社 | ユーザインタフェースシステム、ユーザインタフェース方法及び画像編集装置 |
| CN112347979B (zh) * | 2020-11-24 | 2024-03-15 | 郑州阿帕斯科技有限公司 | 一种眼线绘制方法和装置 |
| CN115494326A (zh) * | 2022-09-20 | 2022-12-20 | 广东花至美容科技有限公司 | 美容仪检测方法、装置及电子设备 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62144280A (ja) * | 1985-12-18 | 1987-06-27 | Tokyo Insatsu Shiki Kk | メイクアツプシユミレ−タ |
| JP2638693B2 (ja) * | 1991-05-23 | 1997-08-06 | 富士写真フイルム株式会社 | 特徴画像データの抽出方法 |
| JPH06296231A (ja) * | 1993-04-09 | 1994-10-21 | Toyo Ink Mfg Co Ltd | 色彩値変換装置 |
| JPH11143352A (ja) * | 1997-11-13 | 1999-05-28 | Onishi Netsugaku Kogyosho:Kk | 化粧シミュレーション自動描画方法および装置 |
| JP2000137792A (ja) * | 1998-10-30 | 2000-05-16 | Toyota Motor Corp | 眼部検出装置 |
| JP2000235640A (ja) * | 1999-02-15 | 2000-08-29 | Oki Electric Ind Co Ltd | 顔器官検出装置 |
| JP2000242787A (ja) * | 1999-02-22 | 2000-09-08 | Toyota Motor Corp | 物体検出装置 |
| JP3871010B2 (ja) * | 1999-03-29 | 2007-01-24 | 株式会社資生堂 | 頬紅メーキャップシミュレーションシステム |
| JP3917321B2 (ja) * | 1999-03-29 | 2007-05-23 | 株式会社資生堂 | 口元メーキャップシミュレーションシステム |
| JP4188487B2 (ja) * | 1999-03-29 | 2008-11-26 | 株式会社資生堂 | 目元メーキャップシミュレーションシステム |
| JP2000350123A (ja) * | 1999-06-04 | 2000-12-15 | Fuji Photo Film Co Ltd | 画像選択装置、カメラ、画像選択方法及び記録媒体 |
| JP3582458B2 (ja) * | 2000-06-07 | 2004-10-27 | 花王株式会社 | 化粧アドバイスシステム |
-
2001
- 2001-07-30 JP JP2001230528A patent/JP3779570B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105101836A (zh) * | 2013-02-28 | 2015-11-25 | 松下知识产权经营株式会社 | 化妆辅助装置、化妆辅助方法以及化妆辅助程序 |
| CN107705240A (zh) * | 2016-08-08 | 2018-02-16 | 阿里巴巴集团控股有限公司 | 虚拟试妆方法、装置和电子设备 |
| CN107705240B (zh) * | 2016-08-08 | 2021-05-04 | 阿里巴巴集团控股有限公司 | 虚拟试妆方法、装置和电子设备 |
| KR20220082124A (ko) * | 2020-12-09 | 2022-06-17 | 오승현 | 화면표시장치 상에서 파운데이션 색상을 보정하는 방법 및 이를 이용한 파운데이션 추천 방법 |
| KR102459646B1 (ko) | 2020-12-09 | 2022-10-31 | 오승현 | 화면표시장치 상에서 파운데이션 색상을 보정하는 방법 및 이를 이용한 파운데이션 추천 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003044837A (ja) | 2003-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3779570B2 (ja) | 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US12444110B2 (en) | System and method for digital makeup mirror | |
| CN102074040B (zh) | 图像处理设备、图像处理方法 | |
| US9142054B2 (en) | System and method for changing hair color in digital images | |
| CN101779218B (zh) | 化妆模拟系统及其化妆模拟方法 | |
| JP3984191B2 (ja) | 仮想化粧装置及びその方法 | |
| US9058765B1 (en) | System and method for creating and sharing personalized virtual makeovers | |
| JP4435809B2 (ja) | 仮想化粧装置及びその方法 | |
| JP5400187B2 (ja) | しわのエイジング及びディエイジングの現実的シミュレーションの方法及び装置 | |
| CN104798101B (zh) | 化妆辅助装置、化妆辅助方法以及化妆辅助程序 | |
| US20100189357A1 (en) | Method and device for the virtual simulation of a sequence of video images | |
| JP5261586B2 (ja) | メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム | |
| JP4753025B2 (ja) | メイクアップシミュレーション方法 | |
| CN116648733A (zh) | 用于从面部图像提取颜色的方法和系统 | |
| JP2001109913A (ja) | 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体 | |
| CN113344837B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| Borges et al. | A virtual makeup augmented reality system | |
| JP2021144582A (ja) | メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム | |
| CN103714225A (zh) | 自动彩妆的信息系统及其进行上妆方法 | |
| JP5029852B2 (ja) | メイクアップシミュレーション方法 | |
| JP4372494B2 (ja) | 画像処理装置、画像処理方法、プログラム、記録媒体 | |
| KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 | |
| KR20250125410A (ko) | 메이크업 가상 시착 방법들 및 장치들 | |
| JP2010073222A (ja) | メイクアップシミュレーション方法 | |
| CN117389676B (zh) | 一种基于显示界面的智能发型适配展示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050916 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051101 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060302 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090310 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120310 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120310 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120310 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |