JP3917321B2 - 口元メーキャップシミュレーションシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は口元メーキャップシミュレーションシステムに係り、特に、人の顔画像にアイラインやリップペンを塗布して表示する口元メーキャップシミュレーションシステムに関する。
【０００２】
【従来の技術】
メーキャップによるイメージの演出法は、造形理論を応用したもので、形の特徴や目に映ったときどのようにどの様な印象を受けるかを把握している。例えば、直線はシャープあるいは静的なイメージを演出させ、曲線はソフトあるいは動的なイメージを演出する。したがって、直線的又は曲線的なメーキャップすることにより、それぞれ、シャープなイメージを演出したりソフトなイメージを演出したりすることができる。同様に、下降線を使用して落ちついたイメージを出したり、太い線を使用してたくましいイメージを演出することができる。
【０００３】
このようなメーキャップによるイメージ演出をコンピュータシステムの画像処理技術を用いて実現することが考えられている。従来のコンピュータシステムの画像処理技術では、単に形状を直線的又は曲線的に変形させることが行われている。
【０００４】
【発明が解決しようとする課題】
しかし、従来のコンピュータシステムの画像処理技術では、口の輪郭をリップペンで修正するシミュレーションを行う場合、オペレータが顔画像におけるリップペンを塗る領域の指定、ぼかしの度合い、リップペンの色の修正、等を細かに入力しなければならず、また、操作には画像処理の専門的な知識を必要とし、手間及び時間がかかるという問題があった。
【０００５】
本発明は、上記の点に鑑みなされたもので、メーキャップイメージタイプを選択するだけで、選択したタイプに応じて顔画像の口の輪郭をリップペンで描画して表示する口元メーキャップシミュレーションシステムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、カメラで撮像した被験者の顔画像の口の輪郭をリップペンで描画する口元メーキャップシミュレーションシステムであって、
入力手段からのユーザの入力に応じ第１乃至第４のメーキャップイメージタイプから所望のタイプとリップペンの色を選択して記憶手段に記憶する選択手段と、
前記記憶手段に予め記憶されている被験者の顔画像から口の輪郭データを取得し、前記選択手段で選択されたメーキャップイメージタイプに応じて、前記第１のメーキャップイメージタイプでは前記口の輪郭データの上唇の上縁を口の左右端から中央に向けて緩やかに増加するオフセットで縦方向に上げて丸みを持たせる変形、前記第２のメーキャップイメージタイプでは上唇の上縁を口の左右端から中央に向けて緩やかに増加するオフセットで縦方向に上げて丸みを持たせ、下唇の下縁を口の左右端から中央に向けて緩やかに減少するオフセットで縦方向に下げて丸みを持たせる変形、前記第３のメーキャップイメージタイプでは下唇を口の左右端と下唇の下縁中央部の点との間を直線で結んで直線的にする変形、前記第４のメーキャップイメージタイプでは上唇を口の左右端と上唇の上縁中央部の点との間を直線で結んで直線的にし、下唇を口の左右端と下唇の下縁中央部の点との間を直線で結んで直線的にする変形を行って、前記記憶手段に予め記憶されている被験者の顔画像の口の輪郭近傍にリップペンで描画する唇形状を設定するリップペン描画形状設定手段と、
前記記憶手段に予め記憶されている被験者の顔画像について、前記リップペン描画形状設定手段で設定された唇形状で前記被験者の顔画像の画素値に前記リップペンの色の画素値を加算して前記リップペンによる描画を行い、前記記憶手段に記憶されている前記被験者の顔画像を更新するリップペン描画手段とを有し、
更新された前記被験者の顔画像を表示手段に表示する。
【０００７】
このように、複数のメーキャップイメージタイプから所望のタイプを選択すると、選択されたメーキャップイメージタイプに応じてリップペンで描画する形状を設定し、設定された形状でリップペンによる描画を行うため、所望のタイプを選択するだけで、選択したメーキャップイメージタイプに応じて口の輪郭近傍をリップペンで描画して表示することができる。
【０００８】
請求項２に記載の発明は、請求項１記載の口元メーキャップシミュレーションシステムにおいて、
前記リップペン描画手段は、前記リップペンを描画する際に前記被験者の顔画像の口の輪郭からの縦方向距離が大なるほどリップペンの色を薄くして前記被験者の顔画像の画素値に加算するグラデュエーション付加手段を有する。
【０００９】
このように、口の輪郭からの縦方向距離が大なるほどリップペンの色を薄くするグラデュエーションをつけるため、描画したリップペンが顔画像の肌色となじんで違和感のないリップペンを表示できる。
【００１０】
【発明の実施の形態】
図１は本発明の口元メーキャップシミュレーションシステムの一実施例のブロック図を示す。同図中、中央処理装置（ＣＰＵ）１０には、バス１５を介して入力装置２０、記憶装置３０、表示装置４０、印刷装置５０、通信装置６０それぞれが接続されている。入力装置２０としてはキーボード２１，タッチセンサ２２，デジタルカメラ（またはＣＣＤカメラ）２３等が設けられており、記憶装置３０としてはＲＡＭ３１、ＲＯＭ３２、ハードディスク装置３３、フレキシブルディスク装置３４等が設けられている。表示装置４０としては例えばＣＲＴが用いられ、ＣＲＴの前面に透明のタッチセンサ２２を設置する。
【００１１】
ＣＰＵ１０は、記憶装置３０に記憶されている各種処理プログラムを実行し、その結果を記憶装置３０に記憶すると共に、表示装置４０に表示し、印刷装置５０で印刷して出力する。記憶装置３０には顔画像の画像データ等が記憶されると共に、各種処理プログラムが予め格納されている。
図２は本発明システムで実行する口元メーキャップシミュレーションのメインルーチンの一実施例のフローチャートを示す。同図中、ステップＳ１０で記憶装置３０内に作業用顔画像領域を確保する。次に、ステップＳ１２で、確保した作業用顔画像領域にデジタルカメラ２３で撮像した被験者の顔画像（カラー顔画像）の画像データをコピーする。なお、被験者の顔画像の画像データは、既に記憶装置３０内の所定領域に格納されている。
【００１２】
ステップＳ１４では上記の画像データから顔画像の特徴点を抽出する。ここでは、先ず、顔画像に対し顔位置の認識を行って顔領域のラベリングを行うと共に、顔の輪郭の特徴点を抽出する。なお、顔画像は左上隅を原点として、横方向をＸ軸、縦方向をＹ軸とするＸＹ座標で位置を表す。更に、顔領域のエッジ画像（２値画像）を作成し、このエッジ画像をＹ軸に投影してエッジのヒストグラムを作成するＹ投影を行う。そして、Ｙ投影によるヒストグラムから顔の各部位、つまり、眉、目、鼻、口それぞれのＹ座標を検索する。更に、顔のエッジ画像における目及び鼻を含むＹ座標位置で、目及び鼻の特徴点及びこれに付随する特徴点を抽出し、口を含むＹ座標位置で、口の特徴点及びこれに付随する特徴点を抽出し、眉を含むＹ座標位置で、眉の特徴点及びこれに付随する特徴点を抽出する。
【００１３】
これによって、図３に示すＹ軸座標が最大の点Ｃ３と、Ｙ軸座標が最小の点Ｃ２と、点Ｃ２，Ｃ３を通る直線と髪の生え際との交点Ｆ１とが顔の特徴点として抽出され、瞳ＰＬ，ＰＲ、目尻ＥＬ１，ＥＲ１、目頭ＥＬ４，ＥＲ４、瞳の上下の目の輪郭ＥＬ５，ＥＲ５，ＥＬ３，ＥＲ３、鼻の輪郭Ｎ１，Ｎ２，Ｎ３、口の上端Ｍ２，Ｍ４、左右端Ｍ１，Ｍ５、下端Ｍ６、眉山ＢＬ２，ＢＲ２、眉頭ＢＬ３，ＢＲ３、眉尻ＢＬ１，ＢＲ１、眉底ＢＬ４，ＢＲ４等の各種特徴点が抽出される。
【００１４】
次に、ステップＳ１６で、顔画像の中の例えば頬に対応する領域の複数の画像データを平均化することにより、被験者の肌色データを得る。また、ステップＳ１８で、スイート、クール、キュート、フレッシュの４つのメーキャップイメージタイプうち、いずれのメーキャップイメージタイプを被験者がタッチセンサ２２によって選択したかを読み取り、また、ステップＳ２０でリップペンの色としてどの色を被験者がタッチセンサ２２によって選択したかを読み取る。
【００１５】
なお、この口元メーキャップシミュレーションを実行する際には、図４に示すような画面が表示装置４０に表示されている。この画面中央には被験者の顔画像が表示され、選択ボックス４１Ａ，４１Ｂ，４１Ｃ，４１Ｄによってスイート、クール、キュート、フレッシュの４つのメーキャップイメージタイプを選択でき、リップペンの選択ボックス４５にタッチすることにより、複数のリップペンの色がリップペンの選択ボックス４５内に表示され、所望のリップペンの色を選択できる。
【００１６】
この後、ステップＳ２２でリップペン描画処理を実行し、この処理が終了すると、ステップＳ２４に進んで、ステップＳ１０で確保していた作業用顔画像領域を解放し、この処理を終了する。
図５及び図６は、ステップＳ２２で実行するリップペン描画処理の一実施例のフローチャートを示す。図５において、先ず、ステップＳ３０で口を囲む矩形領域の顔画像を取得すると共に、口の輪郭データを取得する。この口の輪郭データは、ステップＳ１４で特徴点抽出を行った際に得られたものである。
【００１７】
次のステップＳ３２では被験者が選択したメーキャップイメージタイプに応じて曲線描画区間と直線描画区間とを設定する。
ところで、図７に口を囲む矩形領域の顔画像を示す。この図では、口（上唇）の上端Ｍ２，Ｍ４、口の左右端Ｍ１，Ｍ５、口（下唇）の下端Ｍ６、それぞれの特徴点の他に、口（下唇）の下縁における左端Ｍ１から口幅（Ｍ１，Ｍ５間距離）の１／３の距離にある点Ｍ７と、口（下唇）の下縁における右端Ｍ５から口幅（Ｍ１，Ｍ５間距離）の１／３の距離にある点Ｍ８とを示している。
【００１８】
選択されたメーキャップイメージタイプがフレッシュの場合、区間Ｍ１〜Ｍ２、区間Ｍ４〜Ｍ５それぞれを曲線で描画し、区間Ｍ２〜Ｍ３、区間Ｍ３〜Ｍ４それぞれを直線で描画する。これによって、図８（Ａ）の描画イメージに示すように、上唇に丸みを持たせるリップペン描画が行われ、下唇についてはリップペン描画を行われない。
【００１９】
選択されたメーキャップイメージタイプがスイートの場合、区間Ｍ１〜Ｍ２、区間Ｍ４〜Ｍ５、区間Ｍ１〜Ｍ６〜Ｍ５それぞれを曲線で描画し、区間Ｍ２〜Ｍ３、区間Ｍ３〜Ｍ４それぞれを直線で描画する。これによって、図８（Ｂ）の描画イメージに示すように、上唇及び下唇に丸みを持たせるリップペン描画が行われる。
【００２０】
選択されたメーキャップイメージタイプがキュートの場合、区間Ｍ１〜Ｍ７、区間Ｍ７〜Ｍ８、区間Ｍ８〜Ｍ５それぞれを直線で描画する。これによって、図８（Ｃ）の描画イメージに示すように、下唇を直線的にするリップペン描画が行われ、上唇についてはリップペン描画を行われない。
選択されたメーキャップイメージタイプがクールの場合、区間Ｍ２〜Ｍ４を曲線で描画し、区間Ｍ１〜Ｍ２、区間Ｍ４〜Ｍ５、区間Ｍ１〜Ｍ７、区間Ｍ７〜Ｍ８、区間Ｍ８〜Ｍ５それぞれを直線で描画する。これによって、図８（Ｃ）の描画イメージに示すように、上唇及び下唇を直線的にするリップペン描画が行われる。
【００２１】
次のステップＳ３４のループ処理でｘ座標値を０（口の左端Ｍ１位置）から画素単位で最大値（口の右端Ｍ５位置）まで順次増加させる。なお、ｘ座標は図７に示す口を囲む矩形領域において右側に増加し、ｙ座標は上側に増加するものとする。
このループ内のステップＳ３６で曲線描画区間か否かを判別し、曲線描画区間でなければ、ステップＳ３４に戻りｘ座標値を増加させる。曲線描画区間であれば、ステップＳ３８に進み、図９に示すオフセット曲線をｘ座標値で参照して、当該ｘ座標に対するオフセット値を求める。この図９に示すオフセットは上唇の上縁を上に（鼻側に）持ち上げて口を大きく見せるために用いられ、下唇の下縁についてはオフセット値＝０とされている。
【００２２】
次に、ステップＳ４０のループ処理を行う。ここでは、ｙ座標値を、口の輪郭データのｙ座標＋オフセット値−βから口の輪郭データのｙ座標＋オフセット値＋βまで、画素単位で順次増加させて、以下の処理を行う。このβは、リップペンのペン幅の１／２（例えば数ｍｍに相当）である。
ステップＳ４０のループ内のステップＳ４２では、当該ｘｙ座標に対応する画素のＲＧＢ値から所定の演算式を用いて彩度（Ｓ），色相（Ｈ），明度（Ｖ）それぞれを算出する。そして、ステップＳ４４で、口の輪郭データのｙ座標と当該ｙ座標との差（最大でオフセット値＋β）に基づいて、リップペンの色のＨＳＶ値を上記差に比例して薄くなるように補正してグラデュエーションをつけた後、ステップＳ４２で得た当該ｘｙ座標に対応する画素のＨＳＶ値に加算する。この後、ステップＳ４６で上記当該ｘｙ座標に対応する画素のＨＳＶ値をＲＧＢ値に変換し、ステップＳ４８でこのＲＧＢ値を用いて当該ｘｙ座標に対応する画素を上書きして更新することによりリップペンの描画を行う。
【００２３】
なお、このステップＳ４０は図８（Ａ）の描画イメージでは曲線描画区間が上唇の上縁だけであるため１回しか実行されないが、図８（Ｂ）の描画イメージでは曲線描画区間が上唇の上縁と下唇の下縁とがあるため２回実行される。下唇の下縁を描画する際には図９のオフセット値は負の値として取り扱う。
ステップＳ３４のループ処理を終了すると、ステップＳ５２に進んで各直線描画区間の直線の関数を求める。次のステップＳ５４のループ処理でｘ座標値を０（口の左端Ｍ１位置）から画素単位で最大値（口の右端Ｍ５位置）まで順次増加させる。
【００２４】
このループ内のステップＳ５６で直線描画区間か否かを判別し、直線描画区間でなければ、ステップＳ５４に戻りｘ座標値を増加させる。直線描画区間であれば、ステップＳ５８に進み、直線の関数を用いて、当該ｘ座標に対応する直線のｙ座標Ｙ（Ｌ）を求める。次に、ステップＳ６０のループ処理を行う。ここでは、ｙ座標値を、Ｙ（Ｌ）−βからＹ（Ｌ）＋βまで、画素単位で順次増加させて、以下の処理を行う。このβは、リップペンのペン幅の１／２（例えば数ｍｍに相当）である。
【００２５】
ステップＳ６０のループ内のステップＳ６２では、当該ｘｙ座標に対応する画素のＲＧＢ値から所定の演算式を用いて彩度（Ｓ），色相（Ｈ），明度（Ｖ）それぞれを算出する。そして、ステップＳ６４で、Ｙ（Ｌ）と当該ｙ座標との差（最大でβ）に基づいて、リップペンの色のＨＳＶ値を上記差に比例して薄くなるように補正してグラデュエーションをつけた後、ステップＳ６２で得た当該ｘｙ座標に対応する画素のＨＳＶ値に加算する。この後、ステップＳ６６で上記当該ｘｙ座標に対応する画素のＨＳＶ値をＲＧＢ値に変換し、ステップＳ６８でこのＲＧＢ値を用いて当該ｘｙ座標に対応する画素を上書きして更新することによりリップペンの描画を行う。
【００２６】
なお、このステップＳ６０は図８（Ｃ）の描画イメージでは曲線描画区間が上唇の上縁だけであるため１回しか実行されないが、図８（Ｄ）の描画イメージでは曲線描画区間が上唇の上縁と下唇の下縁とがあるため２回実行される。
ステップＳ５４のループ処理を終了すると、ステップＳ７０に進んでリップペンを描画した顔画像を表示装置４０に表示して、この処理を終了する。
【００２７】
このように、複数のメーキャップイメージタイプから所望のタイプを選択すると、選択されたメーキャップイメージタイプに応じてリップペンで描画する形状を設定し、設定された形状でリップペンによる描画を行うため、所望のタイプを選択するだけで、選択したメーキャップイメージタイプに応じて口の輪郭近傍をリップペンで描画して表示することができる。
【００２８】
また、口の輪郭からの縦方向距離が大なるほどリップペンの色を薄くするグラデュエーションをつけるため、描画したリップペンが顔画像の肌色となじんで違和感のないリップペンを表示できる。
なお、選択ボックス４１Ａ，４１Ｂ，４１Ｃ，４１Ｄが特許請求の範囲に記載のタイプ選択手段に対応し、ステップＳ３２がリップペン描画形状設定手段に対応し、ステップＳ３４〜Ｓ６８がリップペン描画手段に対応し、ステップＳ４４，Ｓ６４がグラデュエーション付加手段に対応する。
【００２９】
【発明の効果】
上述の如く、請求項１に記載の発明は、カメラで撮像した被験者の顔画像の口の輪郭をリップペンで描画する口元メーキャップシミュレーションシステムであって、
入力手段からのユーザの入力に応じ第１乃至第４のメーキャップイメージタイプから所望のタイプとリップペンの色を選択して記憶手段に記憶する選択手段と、
前記記憶手段に予め記憶されている被験者の顔画像から口の輪郭データを取得し、前記選択手段で選択されたメーキャップイメージタイプに応じて、前記第１のメーキャップイメージタイプでは前記口の輪郭データの上唇の上縁を口の左右端から中央に向けて緩やかに増加するオフセットで縦方向に上げて丸みを持たせる変形、前記第２のメーキャップイメージタイプでは上唇の上縁を口の左右端から中央に向けて緩やかに増加するオフセットで縦方向に上げて丸みを持たせ、下唇の下縁を口の左右端から中央に向けて緩やかに減少するオフセットで縦方向に下げて丸みを持たせる変形、前記第３のメーキャップイメージタイプでは下唇を口の左右端と下唇の下縁中央部の点との間を直線で結んで直線的にする変形、前記第４のメーキャップイメージタイプでは上唇を口の左右端と上唇の上縁中央部の点との間を直線で結んで直線的にし、下唇を口の左右端と下唇の下縁中央部の点との間を直線で結んで直線的にする変形を行って、前記記憶手段に予め記憶されている被験者の顔画像の口の輪郭近傍にリップペンで描画する唇形状を設定するリップペン描画形状設定手段と、
前記記憶手段に予め記憶されている被験者の顔画像について、前記リップペン描画形状設定手段で設定された唇形状で前記被験者の顔画像の画素値に前記リップペンの色の画素値を加算して前記リップペンによる描画を行い、前記記憶手段に記憶されている前記被験者の顔画像を更新するリップペン描画手段とを有し、
更新された前記被験者の顔画像を表示手段に表示する。
【００３０】
このように、複数のメーキャップイメージタイプから所望のタイプを選択すると、選択されたメーキャップイメージタイプに応じてリップペンで描画する形状を設定し、設定された形状でリップペンによる描画を行うため、所望のタイプを選択するだけで、選択したメーキャップイメージタイプに応じて口の輪郭近傍をリップペンで描画して表示することができる。
【００３１】
請求項２に記載の発明では、リップペン描画手段は、前記リップペンを描画する際に前記被験者の顔画像の口の輪郭からの縦方向距離が大なるほどリップペンの色を薄くして前記被験者の顔画像の画素値に加算するグラデュエーション付加手段を有する。
このように、口の輪郭からの縦方向距離が大なるほどリップペンの色を薄くしてグラデュエーションをつけるため、描画したリップペンが顔画像の肌色となじんで違和感のないリップペンを表示できる。
【図面の簡単な説明】
【図１】本発明の口元メーキャップシミュレーションシステムの一実施例のブロック図である。
【図２】本発明システムで実行する口元メーキャップシミュレーションのメインルーチンの一実施例のフローチャートである。
【図３】顔画像の特徴点を示す図である。
【図４】口元メーキャップシミュレーション実行の際の表示画面の一実施例を示す図である。
【図５】リップペン描画処理の一実施例のフローチャートである。
【図６】リップペン描画処理の一実施例のフローチャートである。
【図７】口を囲む矩形領域を示す図である。
【図８】描画イメージを示す図である。
【図９】オフセット曲線を示す図である。
【符号の説明】
１０ 中央処理装置（ＣＰＵ）
２０ 入力装置
２１ キーボード
２２ タッチセンサ
２３ デジタルカメラ
３０ 記憶装置
３１ ＲＡＭ
３２ ＲＯＭ
３３ ハードディスク装置
３４ フレキシブルディスク装置
４０ 表示装置
４１Ａ，４１Ｂ，４１Ｃ，４１Ｄ 選択ボックス
４５ 選択ボックス
５０ 印刷装置

Claims (2)

1. カメラで撮像した被験者の顔画像の口の輪郭をリップペンで描画する口元メーキャップシミュレーションシステムであって、
   入力手段からのユーザの入力に応じ第１乃至第４のメーキャップイメージタイプから所望のタイプとリップペンの色を選択して記憶手段に記憶する選択手段と、
   前記記憶手段に予め記憶されている被験者の顔画像から口の輪郭データを取得し、前記選択手段で選択されたメーキャップイメージタイプに応じて、前記第１のメーキャップイメージタイプでは前記口の輪郭データの上唇の上縁を口の左右端から中央に向けて緩やかに増加するオフセットで縦方向に上げて丸みを持たせる変形、前記第２のメーキャップイメージタイプでは上唇の上縁を口の左右端から中央に向けて緩やかに増加するオフセットで縦方向に上げて丸みを持たせ、下唇の下縁を口の左右端から中央に向けて緩やかに減少するオフセットで縦方向に下げて丸みを持たせる変形、前記第３のメーキャップイメージタイプでは下唇を口の左右端と下唇の下縁中央部の点との間を直線で結んで直線的にする変形、前記第４のメーキャップイメージタイプでは上唇を口の左右端と上唇の上縁中央部の点との間を直線で結んで直線的にし、下唇を口の左右端と下唇の下縁中央部の点との間を直線で結んで直線的にする変形を行って、前記記憶手段に予め記憶されている被験者の顔画像の口の輪郭近傍にリップペンで描画する唇形状を設定するリップペン描画形状設定手段と、
   前記記憶手段に予め記憶されている被験者の顔画像について、前記リップペン描画形状設定手段で設定された唇形状で前記被験者の顔画像の画素値に前記リップペンの色の画素値を加算して前記リップペンによる描画を行い、前記記憶手段に記憶されている前記被験者の顔画像を更新するリップペン描画手段とを有し、
   更新された前記被験者の顔画像を表示手段に表示することを特徴とする口元メーキャップシミュレーションシステム。
2. 請求項１記載の口元メーキャップシミュレーションシステムにおいて、
   前記リップペン描画手段は、前記リップペンを描画する際に前記被験者の顔画像の口の輪郭からの縦方向距離が大なるほどリップペンの色を薄くして前記被験者の顔画像の画素値に加算するグラデュエーション付加手段を
   有することを特徴とする口元メーキャップシミュレーションシステム。

Images