JP3723349B2 - 口紅色変換システム - Google Patents
口紅色変換システム Download PDFInfo
- Publication number
- JP3723349B2 JP3723349B2 JP17163598A JP17163598A JP3723349B2 JP 3723349 B2 JP3723349 B2 JP 3723349B2 JP 17163598 A JP17163598 A JP 17163598A JP 17163598 A JP17163598 A JP 17163598A JP 3723349 B2 JP3723349 B2 JP 3723349B2
- Authority
- JP
- Japan
- Prior art keywords
- hue
- saturation
- color
- brightness
- lipstick
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 23
- 239000003086 colorant Substances 0.000 claims description 16
- 238000000034 method Methods 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007639 printing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Description
【０００１】
【発明の属する技術分野】
本発明は口紅色変換システムに係り、人の顔の画像上で唇の口紅の色を塗り替える口紅色変換システムに関する。
【０００２】
【従来の技術】
メーキャップによるイメージの演出法では、形の特徴や目に映ったときどのようにどの様な印象を受けるかを把握している。例えば、直線はシャープあるいは静的なイメージを演出させ、曲線はソフトあるいは動的なイメージを演出する。したがって、眉を直線的又は曲線的にメーキャップすることにより、それぞれ、シャープなイメージを演出したりソフトなイメージを演出したりすることができる。同様に、下降線を使用して落ちついたイメージを出したり、太い線を使用してたくましいイメージを演出することができる。これと同様に、例えば口紅の色を変えることにより、新たなイメージを演出することができる。
【０００３】
このようなメーキャップによるイメージ演出をコンピュータシステムの画像処理技術を用いて実現することが考えられている。従来のコンピュータシステムの画像処理技術でも、例えば顔画像の中で唇の部分の色を変化させることが可能である。従来のコンピュータシステムの画像処理技術では、元の顔画像の唇領域及び唇の色を指定し、更に、塗り替えようとする口紅の色を指定すると、指定された元の顔画像の唇領域の唇の色を指定された口紅の色に置き換えている。
【０００４】
【発明が解決しようとする課題】
しかし、従来のコンピュータシステムの画像処理技術では、元の顔画像の唇領域及び唇の色を指定し、更に、塗り替えようとする口紅の色を指定すると、指定された元の顔画像の唇領域の唇の色を指定された口紅の色に置き換えているだけであるため、塗り替え後の唇には、元の唇の自然な質感が失われ、唇領域の画像品質が劣化するという問題があった。
【０００５】
本発明は、上記の点に鑑みなされたもので、元の唇の自然な質感を失うことなく顔画像の口紅の色を塗り替えることができ、劣化のない顔画像を得ることのできる口紅色変換システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、３原色の顔画像から唇領域を抽出する唇領域抽出手段と、
抽出された前記唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出する平均値算出手段と、
塗り替えようとする目標口紅色と前記代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出する塗り替え偏差算出手段と、
前記唇領域の各画素の色相、彩度、明度に前記塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を算出する加算手段と、
前記唇領域の新たな画素の色相、彩度、明度を３原色に変換して表示用に用いる変換手段とを有する。
【０００７】
このように、唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出し、目標口紅色と代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出し、唇領域の各画素の色相、彩度、明度に塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を３原色に変換して表示するため、人の目の特性に近い色相、彩度、明度の形態で、かつ、画素単位で新たな画素の色が算出され、元の唇の自然な質感を失うことなく顔画像の口紅の色を塗り替えて、劣化のない顔画像を得ることができる。
【０００８】
請求項２に記載の発明は、請求項１記載の口紅色変換システムにおいて、
前記加算手段に、前記唇領域の画素が肌色であるとき前記塗り替え偏差の色相、彩度、明度の加算を停止する肌色判別手段を有する。
このように、唇領域の画素が肌色であるとき塗り替え偏差の色相、彩度、明度の加算を停止するため、唇領域と誤って抽出された肌色の画素の色が口紅の色に塗り替えられることを防止でき、劣化のない顔画像を得ることができる。
【０００９】
請求項３に記載の発明は、請求項１または２記載の口紅色変換システムにおいて、
前記加算手段に、前記唇領域の画素がハイライトまたは影の部分であるとき前記塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するハイライト影判別手段を有する。
【００１０】
このように、唇領域の画素がハイライトまたは影の部分であるとき塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するため、唇領域で光が当たっているハイライト部分や光の当たらない影の部分における光の影響を保持して口紅の色を表現することができる。
【００１１】
【発明の実施の形態】
図１は本発明の口紅色変換システムの一実施例のブロック図を示す。同図中、中央処理装置（ＣＰＵ）１０には、バス１５を介して入力装置２０、記憶装置３０、表示装置４０、印刷装置５０、通信装置６０それぞれが接続されている。入力装置２０としてはキーボード２１，マウス２２，デジタルカメラ２３等が設けられており、記憶装置３０としてはＲＡＭ３１、ＲＯＭ３２、ハードディスク装置３３、フレキシブルディスク装置３４等が設けられている。ＣＰＵ１０は記憶装置３０に記憶されている各種処理プログラムを実行し、その結果を記憶装置３０に記憶すると共に、表示装置４０に表示し、印刷装置５０で印刷して出力する。記憶装置３０には各種処理プログラムの他に、各種ライブラリも記憶されている。
【００１２】
図２は本発明の口紅色変換システムの一実施例のメインフローチャートを示す。同図中、ステップＳ１０で入力装置２０のデジタルカメラ２３で被験者の顔を撮影し、得られた顔画像を記憶装置３０のハードディスク装置３３に記憶する。次に、ステップＳ１２で上記の顔画像に対し顔位置認識処理を行う。この顔位置認識処理によって顔領域のラベリングが行われると共に、顔の輪郭の特徴点が抽出される。なお、顔画像は左上隅を原点として、横方向をＸ軸、縦方向をＹ軸とするＸＹ座標で位置を表す。顔画像の各画素は、３原色ＲＧＢの値を表している。
【００１３】
次に、ステップＳ１４で顔領域のエッジ画像作成処理が行われ、顔のエッジ画像（２値画像）が作成され、ステップＳ１６で上記エッジ画像をＹ軸に投影してエッジのヒストグラムを作成するＹ投影が行われる。この後、ステップＳ１８でＹ投影によるヒストグラムから顔の各部位、つまり、眉、目、鼻、口それぞれのＹ座標を検索する。ステップＳ２０では顔のエッジ画像における目及び鼻を含むＹ座標位置で、目及び鼻の特徴点及びこれに付随する特徴点を抽出する。また、ステップＳ２２では上記の口のＹ座標を用いて唇領域を抽出する。
【００１４】
この後、ステップＳ２４では、塗り替えようとする唇の色、即ち目標口紅色を指定する。この目標口紅色を指定はカウンセラー（オペレータ）によって行われ、色相、彩度、明度（ＨＳＶ）として与えられる。次に、ステップＳ２６で唇領域の色を目標口紅色に塗り替える口紅色変換が行われ、ステップＳ２８でこの変換結果の顔画像を表示装置４０にディスプレイ表示し、また印刷装置５０でプリントアウトして、処理を終了する。
【００１５】
図３及び図４はステップＳ２２で実行する唇領域抽出処理の一実施例のフローチャートを示す。図３において、ステップＳ３０では顔のエッジ画像における口を含むＹ座標位置が鼻の下端の特徴点のＹ座標より下方であるかどうかを判別し、口を含むＹ座標位置が鼻の下端の特徴点のＹ座標より下方でなければステップＳ３２で鼻の下端の特徴点のＹ座標より下方に修正する。また、ステップＳ３４で鼻の左右端の特徴点より大きめの範囲を口の範囲として仮設定し、この範囲の口のＹ座標領域の顔画像及び顔のエッジ画像を取得する。
【００１６】
次のステップＳ３６では鼻の下端から口のＹ座標領域の上端までＹ座標を変位させてループ処理を行い、このループ内のステップＳ３８で口の範囲の向かって左端から右端までＸ座標を変位させてループ処理を行い、このループ内のステップＳ４０で顔のエッジ画像からエッジの画素であるか否かを判別し、エッジの画素でなければ肌部分であるためステップＳ４２で顔画像から肌色情報を蓄積する。また、エッジの画素が最初に検出されたときステップＳ４４で検出した画素のＹ座標を唇の上端として記憶する。
【００１７】
次に、ステップＳ４６で蓄積している肌色情報の平均値を求める。この後、図４のステップＳ４８で口の領域の上端から下端までＹ座標を変位させてループ処理を行い、このループ内のステップＳ５０で口の範囲の向かって左端から右端までＸ座標を変位させてループ処理を行い、このループ内のステップＳ５２でこのＹ座標位置の１ラインでの肌色の画素の比率を算出する。そして、ステップＳ５４で肌色情報の平均値に対する各画素の色の偏差を求め、この偏差が閾値を超えたときに唇領域と判定して記憶する。
【００１８】
ステップＳ５６では唇の下端か否かを判別する。ここでは、そのラインでエッジの画素が検出されなかった、かつ、そのラインの肌色の画素の比率が所定値以上であるという条件を満足したとき、唇の下端と判別する。唇の下端が検出されると、ステップＳ５８で直前のラインにおけるエッジの画素のＸ座標とそのラインのＹ座標を唇の下端として記憶し、これにより、唇領域の抽出が終了する。
【００１９】
図５はステップＳ２６で実行する口紅色変換処理の一実施例のフローチャートを示す。図５において、ステップＳ６０では唇領域の顔画像の全画素の明度（Ｖ）の平均値及び標準偏差σを算出する。なお、各画素の明度（Ｖ）はＲＧＢの値から所定の演算式を用いて算出して保持しておく。次に、ステップＳ６２で唇領域の顔画像の全画素を順に検索し、ステップＳ６４で検索した画素の明度（Ｖ）が明度（Ｖ）の平均値±σの範囲にあるか否かを判別する。
【００２０】
この条件を満足する場合はその画素が唇領域の代表的な明度であるからステップＳ６６に進み、その画素のＲＧＢの値から所定の演算式を用いて彩度（Ｓ），色相（Ｈ）それぞれを算出して明度（Ｖ）と共に格納する。つまり、ＲＧＢ／ＨＳＶ変換を行う。更に、ステップＳ６８で唇領域の代表的な明度の画素について色相、彩度、明度（ＨＳＶ）の平均値を求め、このＨＳＶの平均値を元の唇色として保持する。
【００２１】
ここで、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）は、図６に示すように高さ方向の軸に明度（Ｖ）を取り、この軸に垂直に彩度（Ｓ）を取ると、色相（Ｈ）は彩度（Ｓ）の回転角として与えられ、加算混合の３原色ＲＧＢ及び減算混合の３原色Ｍｇ（マゼンタ）Ｃｙ（シアン）Ｙ（イエロー）それぞれは、図６に示すように表される。
【００２２】
次に、ステップＳ７０ではステップＳ２４で指定された目標口紅色（ＨＳＶ）に対する元の唇色（ＨＳＶ）の差を、塗り替え偏差（ＨＳＶ）として算出する。この後、再びステップＳ７２で唇領域の顔画像の全画素を順に検索し、ステップＳ７４で検索した画素が肌色か否かを判別する。これは、唇領域に肌色の部分が残っているおそれがあるためである。なお、肌色としてはステップＳ４６で蓄積している肌色情報の平均値を用いる。
【００２３】
ここで、検索した画素が肌色でない場合はＳ７６でその画素の明度（Ｖ）が第１の閾値以上の光が当たっているハイライト部分か、または第２の閾値以下の光の当たらない影の部分かを判別する。ハイライト部分または影の部分であれば、ステップＳ７８でその画素の色相（Ｈ）に塗り替え偏差の色相を加算して、色相だけを変更する。一方、ハイライト部分及び影の部分でなければ、その画素は元の唇色またはその近傍の色であるためステップＳ８０でその画素の色（ＨＳＶ）に塗り替え偏差（ＨＳＶ）を加算して、新たな色（ＨＳＶ）とする。これにより、唇領域で光が当たっているハイライト部分や光の当たらない影の部分における光の影響を保持して口紅の色を表現することが可能となる。
【００２４】
この後、ステップＳ８２でメディアンフィルタ処理等によってノイズ除去を行う。これは、唇領域を塗り替えたときに生じたノイズを除去するためである。次のステップＳ８４で唇領域の顔画像の全画素の色相、彩度、明度（ＨＳＶ）を３原色ＲＧＢの値に変換して処理を終了する。
このように、唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出し、目標口紅色と代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出し、唇領域の各画素の色相、彩度、明度に塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を３原色に変換して表示するため、人の目の特性に近い色相、彩度、明度の形態で、かつ、画素単位で新たな画素の色が算出され、元の唇の自然な質感を失うことなく顔画像の口紅の色を塗り替えて、劣化のない顔画像を得ることができる。
【００２５】
また、唇領域の画素が肌色であるとき塗り替え偏差の色相、彩度、明度の加算を停止するため、唇領域と誤って抽出された肌色の画素の色が口紅の色に塗り替えられることを防止でき、また、唇領域の画素がハイライトまたは影の部分であるとき塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するため、唇領域で光が当たっているハイライト部分や光の当たらない影の部分における光の影響を保持して口紅の色を表現することができる。
【００２６】
なお、ステップＳ２２が唇領域抽出手段に対応し、ステップＳ６８が平均値算出手段に対応し、ステップＳ７０が塗り替え偏差算出手段に対応し、ステップＳ８０が加算手段に対応し、ステップＳ８４が変換手段に対応し、ステップＳ７４が肌色判別手段に対応し、ステップＳ７６，Ｓ７８がハイライト影判別手段に対応する。
【００２７】
【発明の効果】
上述のように、請求項１に記載の発明は、３原色の顔画像から唇領域を抽出する唇領域抽出手段と、
抽出された前記唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出する平均値算出手段と、
塗り替えようとする目標口紅色と前記代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出する塗り替え偏差算出手段と、
前記唇領域の各画素の色相、彩度、明度に前記塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を算出する加算手段と、
前記唇領域の新たな画素の色相、彩度、明度を３原色に変換して表示用に用いる変換手段とを有する。
【００２８】
このように、唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出し、目標口紅色と代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出し、唇領域の各画素の色相、彩度、明度に塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を３原色に変換して表示するため、人の目の特性に近い色相、彩度、明度の形態で、かつ、画素単位で新たな画素の色が算出され、元の唇の自然な質感を失うことなく顔画像の口紅の色を塗り替えて、劣化のない顔画像を得ることができる。
【００２９】
また、請求項２に記載の発明は、加算手段に、前記唇領域の画素が肌色であるとき前記塗り替え偏差の色相、彩度、明度の加算を停止する肌色判別手段を有する。
このように、唇領域の画素が肌色であるとき塗り替え偏差の色相、彩度、明度の加算を停止するため、唇領域と誤って抽出された肌色の画素の色が口紅の色に塗り替えられることを防止でき、劣化のない顔画像を得ることができる。
【００３０】
また、請求項３に記載の発明は、加算手段に、前記唇領域の画素がハイライトまたは影の部分であるとき前記塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するハイライト影判別手段を有する。
このように、唇領域の画素がハイライトまたは影の部分であるとき塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するため、唇領域で光が当たっているハイライト部分や光の当たらない影の部分における光の影響を保持して口紅の色を表現することができる。
【図面の簡単な説明】
【図１】本発明の口紅色変換システムの一実施例のブロック図である。
【図２】本発明の口紅色変換システムの一実施例のメインフローチャートである。
【図３】ステップＳ２２で実行する唇領域抽出処理の一実施例のフローチャートである。
【図４】ステップＳ２２で実行する唇領域抽出処理の一実施例のフローチャートである。
【図５】ステップＳ２６で実行する口紅色変換処理の一実施例のフローチャートである。
【図６】色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）と３原色ＲＧＢとの関係を示すための図である。
【符号の説明】
１０ 中央処理装置（ＣＰＵ）
２０ 入力装置
２１ キーボード
２２ マウス
２３ デジタルカメラ
３０ 記憶装置
３１ ＲＡＭ
３２ ＲＯＭ
３３ ハードディスク装置
３４ フレキシブルディスク装置
４０ 表示装置
５０ 印刷装置
【発明の属する技術分野】
本発明は口紅色変換システムに係り、人の顔の画像上で唇の口紅の色を塗り替える口紅色変換システムに関する。
【０００２】
【従来の技術】
メーキャップによるイメージの演出法では、形の特徴や目に映ったときどのようにどの様な印象を受けるかを把握している。例えば、直線はシャープあるいは静的なイメージを演出させ、曲線はソフトあるいは動的なイメージを演出する。したがって、眉を直線的又は曲線的にメーキャップすることにより、それぞれ、シャープなイメージを演出したりソフトなイメージを演出したりすることができる。同様に、下降線を使用して落ちついたイメージを出したり、太い線を使用してたくましいイメージを演出することができる。これと同様に、例えば口紅の色を変えることにより、新たなイメージを演出することができる。
【０００３】
このようなメーキャップによるイメージ演出をコンピュータシステムの画像処理技術を用いて実現することが考えられている。従来のコンピュータシステムの画像処理技術でも、例えば顔画像の中で唇の部分の色を変化させることが可能である。従来のコンピュータシステムの画像処理技術では、元の顔画像の唇領域及び唇の色を指定し、更に、塗り替えようとする口紅の色を指定すると、指定された元の顔画像の唇領域の唇の色を指定された口紅の色に置き換えている。
【０００４】
【発明が解決しようとする課題】
しかし、従来のコンピュータシステムの画像処理技術では、元の顔画像の唇領域及び唇の色を指定し、更に、塗り替えようとする口紅の色を指定すると、指定された元の顔画像の唇領域の唇の色を指定された口紅の色に置き換えているだけであるため、塗り替え後の唇には、元の唇の自然な質感が失われ、唇領域の画像品質が劣化するという問題があった。
【０００５】
本発明は、上記の点に鑑みなされたもので、元の唇の自然な質感を失うことなく顔画像の口紅の色を塗り替えることができ、劣化のない顔画像を得ることのできる口紅色変換システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、３原色の顔画像から唇領域を抽出する唇領域抽出手段と、
抽出された前記唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出する平均値算出手段と、
塗り替えようとする目標口紅色と前記代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出する塗り替え偏差算出手段と、
前記唇領域の各画素の色相、彩度、明度に前記塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を算出する加算手段と、
前記唇領域の新たな画素の色相、彩度、明度を３原色に変換して表示用に用いる変換手段とを有する。
【０００７】
このように、唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出し、目標口紅色と代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出し、唇領域の各画素の色相、彩度、明度に塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を３原色に変換して表示するため、人の目の特性に近い色相、彩度、明度の形態で、かつ、画素単位で新たな画素の色が算出され、元の唇の自然な質感を失うことなく顔画像の口紅の色を塗り替えて、劣化のない顔画像を得ることができる。
【０００８】
請求項２に記載の発明は、請求項１記載の口紅色変換システムにおいて、
前記加算手段に、前記唇領域の画素が肌色であるとき前記塗り替え偏差の色相、彩度、明度の加算を停止する肌色判別手段を有する。
このように、唇領域の画素が肌色であるとき塗り替え偏差の色相、彩度、明度の加算を停止するため、唇領域と誤って抽出された肌色の画素の色が口紅の色に塗り替えられることを防止でき、劣化のない顔画像を得ることができる。
【０００９】
請求項３に記載の発明は、請求項１または２記載の口紅色変換システムにおいて、
前記加算手段に、前記唇領域の画素がハイライトまたは影の部分であるとき前記塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するハイライト影判別手段を有する。
【００１０】
このように、唇領域の画素がハイライトまたは影の部分であるとき塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するため、唇領域で光が当たっているハイライト部分や光の当たらない影の部分における光の影響を保持して口紅の色を表現することができる。
【００１１】
【発明の実施の形態】
図１は本発明の口紅色変換システムの一実施例のブロック図を示す。同図中、中央処理装置（ＣＰＵ）１０には、バス１５を介して入力装置２０、記憶装置３０、表示装置４０、印刷装置５０、通信装置６０それぞれが接続されている。入力装置２０としてはキーボード２１，マウス２２，デジタルカメラ２３等が設けられており、記憶装置３０としてはＲＡＭ３１、ＲＯＭ３２、ハードディスク装置３３、フレキシブルディスク装置３４等が設けられている。ＣＰＵ１０は記憶装置３０に記憶されている各種処理プログラムを実行し、その結果を記憶装置３０に記憶すると共に、表示装置４０に表示し、印刷装置５０で印刷して出力する。記憶装置３０には各種処理プログラムの他に、各種ライブラリも記憶されている。
【００１２】
図２は本発明の口紅色変換システムの一実施例のメインフローチャートを示す。同図中、ステップＳ１０で入力装置２０のデジタルカメラ２３で被験者の顔を撮影し、得られた顔画像を記憶装置３０のハードディスク装置３３に記憶する。次に、ステップＳ１２で上記の顔画像に対し顔位置認識処理を行う。この顔位置認識処理によって顔領域のラベリングが行われると共に、顔の輪郭の特徴点が抽出される。なお、顔画像は左上隅を原点として、横方向をＸ軸、縦方向をＹ軸とするＸＹ座標で位置を表す。顔画像の各画素は、３原色ＲＧＢの値を表している。
【００１３】
次に、ステップＳ１４で顔領域のエッジ画像作成処理が行われ、顔のエッジ画像（２値画像）が作成され、ステップＳ１６で上記エッジ画像をＹ軸に投影してエッジのヒストグラムを作成するＹ投影が行われる。この後、ステップＳ１８でＹ投影によるヒストグラムから顔の各部位、つまり、眉、目、鼻、口それぞれのＹ座標を検索する。ステップＳ２０では顔のエッジ画像における目及び鼻を含むＹ座標位置で、目及び鼻の特徴点及びこれに付随する特徴点を抽出する。また、ステップＳ２２では上記の口のＹ座標を用いて唇領域を抽出する。
【００１４】
この後、ステップＳ２４では、塗り替えようとする唇の色、即ち目標口紅色を指定する。この目標口紅色を指定はカウンセラー（オペレータ）によって行われ、色相、彩度、明度（ＨＳＶ）として与えられる。次に、ステップＳ２６で唇領域の色を目標口紅色に塗り替える口紅色変換が行われ、ステップＳ２８でこの変換結果の顔画像を表示装置４０にディスプレイ表示し、また印刷装置５０でプリントアウトして、処理を終了する。
【００１５】
図３及び図４はステップＳ２２で実行する唇領域抽出処理の一実施例のフローチャートを示す。図３において、ステップＳ３０では顔のエッジ画像における口を含むＹ座標位置が鼻の下端の特徴点のＹ座標より下方であるかどうかを判別し、口を含むＹ座標位置が鼻の下端の特徴点のＹ座標より下方でなければステップＳ３２で鼻の下端の特徴点のＹ座標より下方に修正する。また、ステップＳ３４で鼻の左右端の特徴点より大きめの範囲を口の範囲として仮設定し、この範囲の口のＹ座標領域の顔画像及び顔のエッジ画像を取得する。
【００１６】
次のステップＳ３６では鼻の下端から口のＹ座標領域の上端までＹ座標を変位させてループ処理を行い、このループ内のステップＳ３８で口の範囲の向かって左端から右端までＸ座標を変位させてループ処理を行い、このループ内のステップＳ４０で顔のエッジ画像からエッジの画素であるか否かを判別し、エッジの画素でなければ肌部分であるためステップＳ４２で顔画像から肌色情報を蓄積する。また、エッジの画素が最初に検出されたときステップＳ４４で検出した画素のＹ座標を唇の上端として記憶する。
【００１７】
次に、ステップＳ４６で蓄積している肌色情報の平均値を求める。この後、図４のステップＳ４８で口の領域の上端から下端までＹ座標を変位させてループ処理を行い、このループ内のステップＳ５０で口の範囲の向かって左端から右端までＸ座標を変位させてループ処理を行い、このループ内のステップＳ５２でこのＹ座標位置の１ラインでの肌色の画素の比率を算出する。そして、ステップＳ５４で肌色情報の平均値に対する各画素の色の偏差を求め、この偏差が閾値を超えたときに唇領域と判定して記憶する。
【００１８】
ステップＳ５６では唇の下端か否かを判別する。ここでは、そのラインでエッジの画素が検出されなかった、かつ、そのラインの肌色の画素の比率が所定値以上であるという条件を満足したとき、唇の下端と判別する。唇の下端が検出されると、ステップＳ５８で直前のラインにおけるエッジの画素のＸ座標とそのラインのＹ座標を唇の下端として記憶し、これにより、唇領域の抽出が終了する。
【００１９】
図５はステップＳ２６で実行する口紅色変換処理の一実施例のフローチャートを示す。図５において、ステップＳ６０では唇領域の顔画像の全画素の明度（Ｖ）の平均値及び標準偏差σを算出する。なお、各画素の明度（Ｖ）はＲＧＢの値から所定の演算式を用いて算出して保持しておく。次に、ステップＳ６２で唇領域の顔画像の全画素を順に検索し、ステップＳ６４で検索した画素の明度（Ｖ）が明度（Ｖ）の平均値±σの範囲にあるか否かを判別する。
【００２０】
この条件を満足する場合はその画素が唇領域の代表的な明度であるからステップＳ６６に進み、その画素のＲＧＢの値から所定の演算式を用いて彩度（Ｓ），色相（Ｈ）それぞれを算出して明度（Ｖ）と共に格納する。つまり、ＲＧＢ／ＨＳＶ変換を行う。更に、ステップＳ６８で唇領域の代表的な明度の画素について色相、彩度、明度（ＨＳＶ）の平均値を求め、このＨＳＶの平均値を元の唇色として保持する。
【００２１】
ここで、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）は、図６に示すように高さ方向の軸に明度（Ｖ）を取り、この軸に垂直に彩度（Ｓ）を取ると、色相（Ｈ）は彩度（Ｓ）の回転角として与えられ、加算混合の３原色ＲＧＢ及び減算混合の３原色Ｍｇ（マゼンタ）Ｃｙ（シアン）Ｙ（イエロー）それぞれは、図６に示すように表される。
【００２２】
次に、ステップＳ７０ではステップＳ２４で指定された目標口紅色（ＨＳＶ）に対する元の唇色（ＨＳＶ）の差を、塗り替え偏差（ＨＳＶ）として算出する。この後、再びステップＳ７２で唇領域の顔画像の全画素を順に検索し、ステップＳ７４で検索した画素が肌色か否かを判別する。これは、唇領域に肌色の部分が残っているおそれがあるためである。なお、肌色としてはステップＳ４６で蓄積している肌色情報の平均値を用いる。
【００２３】
ここで、検索した画素が肌色でない場合はＳ７６でその画素の明度（Ｖ）が第１の閾値以上の光が当たっているハイライト部分か、または第２の閾値以下の光の当たらない影の部分かを判別する。ハイライト部分または影の部分であれば、ステップＳ７８でその画素の色相（Ｈ）に塗り替え偏差の色相を加算して、色相だけを変更する。一方、ハイライト部分及び影の部分でなければ、その画素は元の唇色またはその近傍の色であるためステップＳ８０でその画素の色（ＨＳＶ）に塗り替え偏差（ＨＳＶ）を加算して、新たな色（ＨＳＶ）とする。これにより、唇領域で光が当たっているハイライト部分や光の当たらない影の部分における光の影響を保持して口紅の色を表現することが可能となる。
【００２４】
この後、ステップＳ８２でメディアンフィルタ処理等によってノイズ除去を行う。これは、唇領域を塗り替えたときに生じたノイズを除去するためである。次のステップＳ８４で唇領域の顔画像の全画素の色相、彩度、明度（ＨＳＶ）を３原色ＲＧＢの値に変換して処理を終了する。
このように、唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出し、目標口紅色と代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出し、唇領域の各画素の色相、彩度、明度に塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を３原色に変換して表示するため、人の目の特性に近い色相、彩度、明度の形態で、かつ、画素単位で新たな画素の色が算出され、元の唇の自然な質感を失うことなく顔画像の口紅の色を塗り替えて、劣化のない顔画像を得ることができる。
【００２５】
また、唇領域の画素が肌色であるとき塗り替え偏差の色相、彩度、明度の加算を停止するため、唇領域と誤って抽出された肌色の画素の色が口紅の色に塗り替えられることを防止でき、また、唇領域の画素がハイライトまたは影の部分であるとき塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するため、唇領域で光が当たっているハイライト部分や光の当たらない影の部分における光の影響を保持して口紅の色を表現することができる。
【００２６】
なお、ステップＳ２２が唇領域抽出手段に対応し、ステップＳ６８が平均値算出手段に対応し、ステップＳ７０が塗り替え偏差算出手段に対応し、ステップＳ８０が加算手段に対応し、ステップＳ８４が変換手段に対応し、ステップＳ７４が肌色判別手段に対応し、ステップＳ７６，Ｓ７８がハイライト影判別手段に対応する。
【００２７】
【発明の効果】
上述のように、請求項１に記載の発明は、３原色の顔画像から唇領域を抽出する唇領域抽出手段と、
抽出された前記唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出する平均値算出手段と、
塗り替えようとする目標口紅色と前記代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出する塗り替え偏差算出手段と、
前記唇領域の各画素の色相、彩度、明度に前記塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を算出する加算手段と、
前記唇領域の新たな画素の色相、彩度、明度を３原色に変換して表示用に用いる変換手段とを有する。
【００２８】
このように、唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出し、目標口紅色と代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出し、唇領域の各画素の色相、彩度、明度に塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を３原色に変換して表示するため、人の目の特性に近い色相、彩度、明度の形態で、かつ、画素単位で新たな画素の色が算出され、元の唇の自然な質感を失うことなく顔画像の口紅の色を塗り替えて、劣化のない顔画像を得ることができる。
【００２９】
また、請求項２に記載の発明は、加算手段に、前記唇領域の画素が肌色であるとき前記塗り替え偏差の色相、彩度、明度の加算を停止する肌色判別手段を有する。
このように、唇領域の画素が肌色であるとき塗り替え偏差の色相、彩度、明度の加算を停止するため、唇領域と誤って抽出された肌色の画素の色が口紅の色に塗り替えられることを防止でき、劣化のない顔画像を得ることができる。
【００３０】
また、請求項３に記載の発明は、加算手段に、前記唇領域の画素がハイライトまたは影の部分であるとき前記塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するハイライト影判別手段を有する。
このように、唇領域の画素がハイライトまたは影の部分であるとき塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するため、唇領域で光が当たっているハイライト部分や光の当たらない影の部分における光の影響を保持して口紅の色を表現することができる。
【図面の簡単な説明】
【図１】本発明の口紅色変換システムの一実施例のブロック図である。
【図２】本発明の口紅色変換システムの一実施例のメインフローチャートである。
【図３】ステップＳ２２で実行する唇領域抽出処理の一実施例のフローチャートである。
【図４】ステップＳ２２で実行する唇領域抽出処理の一実施例のフローチャートである。
【図５】ステップＳ２６で実行する口紅色変換処理の一実施例のフローチャートである。
【図６】色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）と３原色ＲＧＢとの関係を示すための図である。
【符号の説明】
１０ 中央処理装置（ＣＰＵ）
２０ 入力装置
２１ キーボード
２２ マウス
２３ デジタルカメラ
３０ 記憶装置
３１ ＲＡＭ
３２ ＲＯＭ
３３ ハードディスク装置
３４ フレキシブルディスク装置
４０ 表示装置
５０ 印刷装置
Claims (3)
- ３原色の顔画像から唇領域を抽出する唇領域抽出手段と、
抽出された前記唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出する平均値算出手段と、
塗り替えようとする目標口紅色と前記代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出する塗り替え偏差算出手段と、
前記唇領域の各画素の色相、彩度、明度に前記塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を算出する加算手段と、
前記唇領域の新たな画素の色相、彩度、明度を３原色に変換して表示用に用いる変換手段とを
有することを特徴とする口紅色変換システム。 - 請求項１記載の口紅色変換システムにおいて、
前記加算手段に、前記唇領域の画素が肌色であるとき前記塗り替え偏差の色相、彩度、明度の加算を停止する肌色判別手段を
有することを特徴とする口紅色変換システム。 - 請求項１または２記載の口紅色変換システムにおいて、
前記加算手段に、前記唇領域の画素がハイライトまたは影の部分であるとき前記塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するハイライト影判別手段を
有することを特徴とする口紅色変換システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17163598A JP3723349B2 (ja) | 1998-06-18 | 1998-06-18 | 口紅色変換システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17163598A JP3723349B2 (ja) | 1998-06-18 | 1998-06-18 | 口紅色変換システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000011145A JP2000011145A (ja) | 2000-01-14 |
| JP3723349B2 true JP3723349B2 (ja) | 2005-12-07 |
Family
ID=15926860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17163598A Expired - Lifetime JP3723349B2 (ja) | 1998-06-18 | 1998-06-18 | 口紅色変換システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3723349B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014167831A1 (ja) | 2013-04-08 | 2014-10-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7113310B2 (en) | 2000-01-26 | 2006-09-26 | Fuji Photo Film Co., Ltd. | Method of processing image |
| US7711610B2 (en) | 2000-07-19 | 2010-05-04 | Shiseido Company, Ltd. | Personal color ordering system and personal color ordering method |
| JP3993029B2 (ja) * | 2002-06-24 | 2007-10-17 | デジタルファッション株式会社 | 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体 |
| KR20040009966A (ko) * | 2002-07-26 | 2004-01-31 | 삼성전자주식회사 | 색 보정장치 및 방법 |
| US7274453B2 (en) | 2004-10-14 | 2007-09-25 | The Procter & Gamble Company | Methods and apparatus for calibrating an electromagnetic measurement device |
| EP1780672A1 (en) * | 2005-10-25 | 2007-05-02 | Bracco Imaging, S.P.A. | Method of registering images, algorithm for carrying out the method of registering images, a program for registering images using the said algorithm and a method of treating biomedical images to reduce imaging artefacts caused by object movement |
| JP5285249B2 (ja) * | 2006-08-07 | 2013-09-11 | 株式会社 資生堂 | 唇色スケール及び口紅の選定方法 |
| JP5962268B2 (ja) * | 2012-07-09 | 2016-08-03 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、画像生成方法及びプログラム |
| JP2014021782A (ja) * | 2012-07-19 | 2014-02-03 | Canon Inc | 画像処理装置、その制御方法及びプログラム |
| JP6359389B2 (ja) * | 2014-09-02 | 2018-07-18 | 花王株式会社 | 唇の美的印象の評価方法及びその評価を支援する支援装置 |
| JP6458570B2 (ja) * | 2015-03-12 | 2019-01-30 | オムロン株式会社 | 画像処理装置および画像処理方法 |
| JP6876941B2 (ja) | 2016-10-14 | 2021-05-26 | パナソニックＩｐマネジメント株式会社 | バーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラム |
| JP6986676B2 (ja) | 2016-12-28 | 2021-12-22 | パナソニックＩｐマネジメント株式会社 | 化粧品提示システム、化粧品提示方法、及び化粧品提示サーバ |
| JP2019115653A (ja) * | 2017-12-26 | 2019-07-18 | パナソニックＩｐマネジメント株式会社 | 身体外観補正支援装置、身体外観補正支援方法、およびコンピュータプログラム |
| CN109934092A (zh) * | 2019-01-18 | 2019-06-25 | 深圳壹账通智能科技有限公司 | 识别色号方法、装置、计算机设备及存储介质 |
| CN109965493A (zh) * | 2019-04-03 | 2019-07-05 | 颜沿（上海）智能科技有限公司 | 一种分屏交互展示方法及装置 |
| JP7015009B2 (ja) * | 2019-12-19 | 2022-02-02 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN112767285B (zh) * | 2021-02-23 | 2023-03-10 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113627232B (zh) * | 2021-06-17 | 2024-02-09 | 浙江科技学院 | 一种基于分析人体缺水状态的饮水机控制系统及控制方法 |
-
1998
- 1998-06-18 JP JP17163598A patent/JP3723349B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014167831A1 (ja) | 2013-04-08 | 2014-10-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム |
| US9603437B2 (en) | 2013-04-08 | 2017-03-28 | Panasonic Intellectual Property Corporation Of America | Image processing device, image processing method, and program, capable of virtual reproduction of makeup application state |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000011145A (ja) | 2000-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3723349B2 (ja) | 口紅色変換システム | |
| US6389155B2 (en) | Image processing apparatus | |
| US8150205B2 (en) | Image processing apparatus, image processing method, program, and data configuration | |
| EP1596573B1 (en) | Image correction apparatus | |
| US6526161B1 (en) | System and method for biometrics-based facial feature extraction | |
| US6608926B1 (en) | Image processing method, image processing apparatus and recording medium | |
| JP3539539B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 | |
| US20090027732A1 (en) | Image processing apparatus, image processing method, and computer program | |
| JPH11232442A (ja) | 赤目低減システム | |
| JP2008234342A (ja) | 画像処理装置及び画像処理方法 | |
| WO2005073909A1 (ja) | 化粧シミュレーションプログラム、化粧シミュレーション装置、及び化粧シミュレーション方法 | |
| JP2000261650A (ja) | 画像処理装置 | |
| JP3490910B2 (ja) | 顔領域検出装置 | |
| US20090316168A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN113344836A (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| JP2014016688A (ja) | 顕著性マップを利用した非写実変換プログラム、装置及び方法 | |
| JP2004030007A (ja) | 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体 | |
| US7139439B2 (en) | Method and apparatus for generating texture for 3D facial model | |
| CN113139557B (zh) | 一种基于二维多元经验模态分解的特征提取方法 | |
| KR20020085669A (ko) | 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법 | |
| KR20010084996A (ko) | 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기 | |
| JP2020135653A (ja) | 映像補正装置及びそのプログラム | |
| JP4708866B2 (ja) | ルックアップテーブル作成装置および方法，ならびにルックアップテーブル作成プログラム | |
| US20050089217A1 (en) | Data creation method data creation apparatus and 3-dimensional model | |
| CN114170071A (zh) | 一种图像处理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050824 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050913 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050915 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130922 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |