JP3828285B2 - 顔立ち認識システム - Google Patents
顔立ち認識システム Download PDFInfo
- Publication number
- JP3828285B2 JP3828285B2 JP17163398A JP17163398A JP3828285B2 JP 3828285 B2 JP3828285 B2 JP 3828285B2 JP 17163398 A JP17163398 A JP 17163398A JP 17163398 A JP17163398 A JP 17163398A JP 3828285 B2 JP3828285 B2 JP 3828285B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- eyes
- feature points
- mouth
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は顔立ち認識システムに係り、人の顔の画像から特徴点を抽出し、その特徴点に基づいて顔立ちを認識する顔立ち認識システムに関する。
【０００２】
【従来の技術】
顔のメーキャップは、通常、各自の経験や感覚に基づいて行われる場合が多いが、自らの顔のメーキャップを行うことは別として他人の顔のメーキャップを演出する場合には、対象となる顔は千差万別であり、また、個々の顔立ちに応じたメーキャップを施すことはかなりの経験と、特殊な感覚を必要とするもので、一定のレベルに達するまでにはかなりの経験を要している。従来は顔立ちを経験により認識しており、顔立ちを自動で認識して系統的に示すシステムは存在しなかった。
【０００３】
【発明が解決しようとする課題】
メーキャップによるイメージの演出法は、理論的に説明する試みもなされているが、従来のメーキャップによるイメージ演出は、造形理論を応用したもので、形の特徴や目に映ったときどのようにどの様な印象を受けるかを把握してメーキャップに応用するものである。例えば、直線はシャープあるいは静的なイメージを演出させ、曲線はソフトあるいは動的なイメージを演出する。したがって、眉や口の輪郭、あるいは髪の状態を直線的又は曲線的にメーキャップすることにより、それぞれ、シャープなイメージを演出したりソフトなイメージを演出したりすることができる。同様に、下降線を使用して落ちついたイメージを出したり、太い線を使用してたくましいイメージを演出することができる。
【０００４】
しかしながら、従来は人の顔を総合的にとらえて分類し、顔立ちを認識していないために、個々の顔にはそれぞれ独自の特徴があるにも拘わらず、造形理論の応用だけでは、個々の顔に不釣合いなメーキャップの仕上がりになってしまうおそれががある。また、個々の顔だちに用いるメーキャップテクニックは本来異なるものであるが個々の顔だちを系統的に示すことができず、メーキャップによるイメージ演出に用いることができないという問題があった。
【０００５】
本発明は、上記の点に鑑みなされたもので、人の顔の画像から抽出した特徴点に基づいて顔立ちを的確に認識することのできる顔立ち認識システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、被験者の顔画像を色空間分割してラベリングを行い、顔領域を判別して顎を含む顔の輪郭の特徴点を抽出すると共に、閾値を最低値から順次増加させるループ処理で前記閾値により顔画像の２値化を行って得たエッジ画像から、連続するエッジで囲まれる領域がほぼ円形で所定範囲の面積を持ち、その領域に対となる同様の領域があるかにより瞳を判別して、左右の目の瞳と目尻と目頭と瞳の上下の目の輪郭の特徴点を抽出し、２つの瞳を２点として口の方向に１点を設けた正三角形内のエッジ画像から鼻の特徴点を抽出し、ループ処理を行って顔画像から肌色情報を蓄積して肌色情報の平均値を求め、ループ処理を行ってＹ座標位置の１ラインでの肌色の画素の比率を算出して口の上端と左右端と下端の口の特徴点を抽出し、左右の眉それぞれの眉山と眉頭と眉尻と眉底の特徴点を抽出する特徴点抽出手段と、
抽出された前記特徴点の座標から目と顎のなす角度、顔の縦横比、眉幅と顔の縦幅比それぞれを算出する第１の演算手段と、
前記目と顎のなす角度、顔の縦横比、眉幅と顔の縦幅比それぞれを所定の基準値と比較して大人／子供タイプを判定する大人／子供タイプ判定手段とを有する。
【０００７】
このように、顔画像から抽出した特徴点の座標から顔の長さと顔の各部の配置状態を表す値を求め、所定の基準値と比較して大人／子供タイプを判定することにより、被験者の顔が大人タイプか子供タイプかを経験によらず自動で認識することができる。
請求項２に記載の発明は、被験者の顔画像を色空間分割してラベリングを行い、顔領域を判別して顎を含む顔の輪郭の特徴点を抽出すると共に、閾値を最低値から順次増加させるループ処理で前記閾値により顔画像の２値化を行って得たエッジ画像から、連続するエッジで囲まれる領域がほぼ円形で所定範囲の面積を持ち、その領域に対となる同様の領域があるかにより瞳を判別して、左右の目の瞳と目尻と目頭と瞳の上下の目の輪郭の特徴点を抽出し、２つの瞳を２点として口の方向に１点を設けた正三角形内のエッジ画像から鼻の特徴点を抽出し、ループ処理を行って顔画像から肌色情報を蓄積して肌色情報の平均値を求め、ループ処理を行ってＹ座標位置の１ラインでの肌色の画素の比率を算出して口の上端と左右端と下端の口の特徴点を抽出し、左右の眉それぞれの眉山と眉頭と眉尻と眉底の特徴点を抽出する特徴点抽出手段と、
抽出された前記特徴点の座標から目の縦横比、顎幅と顔の縦幅比、顎の角度、目と口の距離と顔の縦幅比それぞれを算出する第２の演算手段と、
前記目の縦横比、顎幅と顔の縦幅比、顔の輪郭の特徴点のなす顎の角度、目と口の距離と顔の縦幅比それぞれを所定の基準値と比較して直線／曲線タイプを判定する直線／曲線タイプ判定手段とを有する。
【０００８】
このように、顔画像から抽出した特徴点の座標から顔の各部の形状が曲線的か直線的かの形状特性を表す値を求め、所定の基準値と比較して直線／曲線タイプを判定することにより、被験者の顔が直線タイプか曲線タイプかを経験によらず自動で認識することができる。
請求項３に記載の発明は、請求項１記載の顔立ち認識システムにおいて、
抽出された前記特徴点の座標から目の縦横比、顎幅と顔の縦幅比、顎の角度、目と口の距離と顔の縦幅比それぞれを算出する第２の演算手段と、
前記目の縦横比、顎幅と顔の縦幅比、顔の輪郭の特徴点のなす顎の角度、目と口の距離と顔の縦幅比それぞれを所定の基準値と比較して直線／曲線タイプを判定する直線／曲線タイプ判定手段とを有する。
【０００９】
これにより、被験者の顔が大人タイプか子供タイプか、及び被験者の顔が直線タイプか曲線タイプかを経験によらず自動で認識することができる。
【００１２】
【発明の実施の形態】
図１は本発明の顔立ち認識システムの一実施例のブロック図を示す。同図中、中央処理装置（ＣＰＵ）１０には、バス１５を介して入力装置２０、記憶装置３０、表示装置４０、印刷装置５０、通信装置６０それぞれが接続されている。入力装置２０としてはキーボード２１，マウス２２，デジタルカメラ（またはＣＣＤカメラ）２３等が設けられており、記憶装置３０としてはＲＡＭ３１、ＲＯＭ３２、ハードディスク装置３３、フレキシブルディスク装置３４等が設けられている。ＣＰＵ１０は記憶装置３０に記憶されている各種処理プログラムを実行し、その結果を記憶装置３０に記憶すると共に、表示装置４０に表示し、印刷装置５０で印刷して出力する。記憶装置３０には各種処理プログラムの他に、各種ライブラリも記憶されている。
【００１３】
図２は本発明の顔立ち認識システムの一実施例のメインフローチャートを示す。同図中、ステップＳ１０で入力装置２０のデジタルカメラ２３で被験者の顔を撮像し、得られた顔画像を記憶装置３０のハードディスク装置３３に記憶する。次に、ステップＳ１２で上記の顔画像に対し顔位置認識処理を行う。この顔位置認識処理によって顔領域のラベリングが行われると共に、顔の輪郭の特徴点が抽出される。なお、顔画像は左上隅を原点として、横方向をＸ軸、縦方向をＹ軸とするＸＹ座標で位置を表す。
【００１４】
次に、ステップＳ１４で顔領域のエッジ画像作成処理が行われ、顔のエッジ画像（２値画像）が作成され、ステップＳ１６で上記エッジ画像をＹ軸に投影してエッジのヒストグラムを作成するＹ投影が行われる。この後、ステップＳ１８でＹ投影によるヒストグラムから顔の各部位、つまり、眉、目、鼻、口それぞれのＹ座標を検索する。
【００１５】
ステップＳ２０では顔のエッジ画像における目及び鼻を含むＹ座標位置で、目及び鼻の特徴点及びこれに付随する特徴点を抽出する。また、ステップＳ２２で顔のエッジ画像における口を含むＹ座標位置で、口の特徴点及びこれに付随する特徴点を抽出する。また、ステップＳ２４で顔のエッジ画像における眉を含むＹ座標位置で、眉の特徴点及びこれに付随する特徴点を抽出する。
【００１６】
この後、ステップＳ２６では、抽出した全ての特徴点から被験者の顔が大人タイプまたは子供タイプであるか、直線タイプまたは曲線タイプであるかを判定し、そこ判定結果を表示装置４０にディスプレイ表示し、また印刷装置５０でプリントアウトして、処理を終了する。
図３はステップＳ１２で実行する顔位置認識処理の一実施例のフローチャートを示す。同図中、ステップＳ３０で顔画像の全画素で使用されている色を例えば１４４色の色空間に分割する色空間分割処理を行う。そして、ステップＳ３２で分割された色空間単位で、図４に示すような顔画像のヒストグラムを作成する。次に、ステップＳ３４でヒストグラムにおける頻度の高い色空間から順に色空間を並べ換えるソートを行う。
【００１７】
ステップＳ３６では頻度の高い色空間から順にラベリングを行い、各色空間に値の異なるラベルを添付する。次に、ステップＳ３８で各ラベルについてループ処理を行い、ループ内のステップＳ４０でラベリングされた領域が顔領域か否かを判別する。ここでは、ラベリングされた領域が縦長の楕円で、面積が所定範囲内であり（カメラと被験者の距離は一定）、ラベリングされた領域内の肌色画素の割合が基準値以上である等の条件により、顔領域か否かを判別している。
【００１８】
ここで、顔領域と判別されるとステップＳ４２で顔の特徴点抽出を行う。ステップＳ４２では図５に示す顔画像の顔領域がラベリングされ、顔領域の中でＹ軸座標が最大の点Ｃ３と、Ｙ軸座標が最小の点Ｃ２と、点Ｃ２，Ｃ３を通る直線と髪の生え際との交点Ｆ１とが顔の特徴点として抽出される。
図６はステップＳ２０で実行する目及び鼻の特徴点抽出処理の一実施例のフローチャートを示す。同図中、ステップＳ４６では目及び鼻を含むＹ座標領域の顔画像を取得する。次のステップＳ４７のループ処理で閾値ＴＨを最低値から順次増加させ、ループ内のステップＳ４８で閾値ＴＨを用いて顔画像の２値化を行う。このように閾値ＴＨを可変して２値化を行うのは、瞳を正確に検出するためである。
【００１９】
次のステップＳ４９では２値化で得たエッジ画像において、連続するエッジで囲まれる領域をラベリングする。そして、ステップＳ５０のループ処理内のステップＳ５１でラベリングされた各領域について瞳か否かを判別する。ここでは、その領域がほぼ円形で所定範囲の面積を持つか、そして、その領域に対となる同様の領域があるか、等の条件で瞳か否かを判別する。
【００２０】
次に、ステップＳ５２で２つの瞳を検出できたか否かを判別し、瞳を検出できた場合にはステップＳ５４で固定値の閾値を用いて顔画像の２値化（エッジ画像）を行う。この後、ステップＳ５６でエッジ画像での左の瞳を中心とする左目の領域で左目の特徴点を抽出し、ステップＳ５８でエッジ画像での右の瞳を中心とする右目の領域で右目の特徴点を抽出する。なお、左右の目の特徴点として図５に示す瞳ＰＬ，ＰＲと、目尻ＥＬ１，ＥＲ１と、目頭ＥＬ４，ＥＲ４と、瞳の上下の目の輪郭ＥＬ５，ＥＲ５，ＥＬ３，ＥＲ３であり、これらの特徴点が記憶される。
【００２１】
この後、ステップＳ６０に進む。ここでは、２つの瞳を２点とし、口の方向に１点を設けた正三角形を設定する。そして、ステップＳ６２でエッジ画像での上記正三角形内において、最もＹ座標が大きい点を特徴点Ｎ２として抽出して記憶する。次に、ステップＳ６４でＹ座標が特徴点ＥＬ３，ＥＲ３と特徴点Ｎ２との間で、最もＸ座標が小さい点を特徴点Ｎ１として抽出して記憶し、最もＸ座標が大きい点を特徴点Ｎ３として抽出して記憶する。上記の目及び鼻の特徴点を全て抽出して、この処理を終了する。
【００２２】
図７及び図８はステップＳ２２で実行する口の特徴点抽出処理の一実施例のフローチャートを示す。図７中、ステップＳ７０では顔のエッジ画像における口を含むＹ座標位置が鼻の特徴点Ｎ２のＹ座標より下方であるかどうかを判別し、口を含むＹ座標位置が鼻の特徴点Ｎ２のＹ座標より下方でなければステップＳ７２で鼻の特徴点Ｎ２のＹ座標より下方に修正する。また、ステップＳ７４で鼻の特徴点Ｎ１からＮ３より大きめの範囲を口の範囲として仮設定し、この範囲の口のＹ座標領域の顔画像及び顔のエッジ画像を取得する。
【００２３】
次のステップＳ７６では鼻の下から口の領域の上端までＹ座標を変位させてループ処理を行い、このループ内のステップＳ７８で口の範囲の向かって左端から右端までＸ座標を変位させてループ処理を行い、このループ内のステップＳ８０で顔のエッジ画像からエッジの画素であるか否かを判別し、エッジの画素でなければ肌部分であるためステップＳ８２で顔画像から肌色情報を蓄積する。また、エッジの画素が最初に検出されたときステップＳ８４で検出した画素のＹ座標を口の上端として記憶する。
【００２４】
次に、ステップＳ８６で蓄積している肌色情報の平均値を求める。この後、図８のステップＳ８８で口の領域の上端から下端までＹ座標を変位させてループ処理を行い、このループ内のステップＳ９０で口の範囲の向かって左端から右端までＸ座標を変位させてループ処理を行い、このループ内のステップＳ９２でこのＹ座標位置の１ラインでの肌色の画素の比率を算出する。そして、ステップＳ９４でエッジの画素のＸ座標の最小値と最大値をそのラインのＹ座標と共に更新して記憶する。ステップＳ９６では口の下端か否かを判別する。ここでは、そのラインでエッジの画素が検出されなかった、かつ、そのラインの肌色の画素の比率が所定値以上であるという条件を満足したとき、口の下端と判別する。
【００２５】
口の下端が検出されると、ステップＳ９８で直前のラインにおけるエッジの画素のＸ座標とそのラインのＹ座標を口の下端として記憶し、Ｘ座標の最小値と最大値とそのラインのＹ座標を口の左右端として記憶する。これにより、口の特徴点として図５に示す口の上端Ｍ２，Ｍ４と、左右端Ｍ１，Ｍ５と、下端Ｍ６が抽出される。
【００２６】
図９及び図１０はステップＳ２４で実行する眉の特徴点抽出処理の一実施例のフローチャートを示す。図９中、ステップＳ１００では眉のＹ座標が適正か否かを判別する。ここでは、例えば眉のＹ座標が、顔の特徴点Ｆ１，Ｃ２のＹ座標の平均値より小さいとき適正と判別する。ここで眉のＹ座標が適正でなければ、ステップＳ１０２でこれを適正な値とする。
【００２７】
次のステップＳ１０２では顔領域における向かって左の眉の内側から外側までＸ座標を変位させてループ処理を行い、このループ内のステップＳ１０４で眉の領域の上端から下端方向にＹ座標を変位させてループ処理を行い、このループ内のステップＳ１０６で顔のエッジ画像からエッジであり、かつ、顔画像から肌色ではない画素が最初に検出されたときステップＳ１０８に進む。ステップＳ１０８では検出した画素のＹ座標をこのときのＸ座標における左眉の上端として記憶する。更に、ステップＳ１０２のループ内のステップＳ１１０で眉の領域の下端から上端方向にＹ座標を変位させてループ処理を行い、このループ内のステップＳ１１２で顔のエッジ画像からエッジであり、かつ、顔画像から肌色ではない画素が最初に検出されたときステップＳ１１４で検出した画素のＹ座標をこのときのＸ座標における左眉の下端として記憶する。
【００２８】
次の図１０のステップＳ１２２では顔領域における向かって右の眉の内側から外側までＸ座標を変位させてループ処理を行い、このループ内のステップＳ１２４で眉の領域の上端から下端方向にＹ座標を変位させてループ処理を行い、このループ内のステップＳ１２６で顔のエッジ画像からエッジであり、かつ、顔画像から肌色ではない画素が最初に検出されたときステップＳ１２８に進む。ステップＳ１２８では検出した画素のＹ座標をこのときのＸ座標における右眉の上端として記憶する。更に、ステップＳ１２２のループ内のステップＳ１３０で眉の領域の下端から上端方向にＹ座標を変位させてループ処理を行い、このループ内のステップＳ１３２で顔のエッジ画像からエッジであり、かつ、顔画像から肌色ではない画素が最初に検出されたときステップＳ１３４で検出した画素のＹ座標をこのときのＸ座標における右眉の下端として記憶する。
【００２９】
この後、ステップＳ１４４で左右の眉それぞれの上端で最も高い位置（Ｙ座標最小）を、眉山の特徴点（図５に示す点ＢＬ２，ＢＲ２）として抽出する。また、ステップＳ１４６で左右の眉それぞれの上端及び下端で最も顔の内側（中心側）の位置を眉頭の特徴点（図５に示す点ＢＬ３，ＢＲ３）として抽出する。また、ステップＳ１４８で左右の眉それぞれの上端及び下端で最も顔の外側の位置を眉尻の特徴点（図５に示す点ＢＬ１，ＢＲ１）として抽出する。また、ステップＳ１４９で左右の眉それぞれの下端で最も低い位置（Ｙ座標最大）を、眉底の特徴点（図５に示す点ＢＬ４，ＢＲ４）として抽出する。そして、この処理を終了する。
【００３０】
ところで、本出願人は、特願平８−２３５５２８号等により、顔立ち分類方法を提案している。この提案では、図１１に示すように、縦軸に「顔の長さと顔の各部（眉、目、鼻、口）の配置状態」を、横軸に「顔の各部（眉、目、鼻、口）の形状」を座標軸を取る。この縦軸は、顔の長さが「短い」から「長い」、顔の各部が「左右中心から離れている」から「左右中心に中心に寄っている」、あるいは「パーツが上下中心に寄っている」から「上下中心から離れている」への変化を示すものでる。これは、子供から大人への成長に伴う変化と一致するものであり、下方に向かって「子供っぽさ」を、上方に向かって「大人っぽさ」の度合い、換言すれば、子供から大人への成長時のバランスの変化を示しているものとみることができ、ここでは、「バランス軸」と名付けている。また、横軸は顔の各部の形状が曲線的か直線的かの形状特性を表しているものであり、「フォルム軸」と名付けている。
【００３１】
図１２に図１１の座標空間の各象限に位置する形態と印象を示す。例えば、顔が長くて、顔の各部が曲線的だと、やさしい女らしい印象を強くする、あるいは、顔が短くて形状が直線的であればフレッシュで活発的な印象を与える等、形態と印象との関連が明らかとしている。
このように、顔の長さと目、眉、口、鼻の顔の各部（パーツ）の配置状態と、顔の各部（パーツ）の形状を指標として顔を分類することにより、顔を形態から特徴別に分類することができ、また顔の形状から受ける印象別に分類することが可能となる。そして、このように分類することにより、例えばメーキャップを行う際に的確にイメージの演出が可能となる。また、美容院等の顧客リストに分類を付与しておくことにより、顧客に合ったイメージをつくる際のガイドラインとすることができる。
【００３２】
本実施例では、上記の顔立ち分類方法に基づいて顔立ち判定を行う。図１３はステップＳ２６で実行するタイプ判定処理の一実施例のフローチャートを示す。同図中、ステップＳ１５０では先行ステップで検出された図５に示す瞳ＰＬ，ＰＲを通る直線と髪の生え際との交点Ｆ６，Ｆ７と、口の左右端Ｍ１，Ｍ５を通る直線と顔の輪郭との交点Ｆ１０，Ｆ１１とを特徴点として抽出する。そして、ステップＳ１５２で各特徴点の座標から、目と顎の特徴点ＥＬ１，Ｃ２，ＥＲ１のなす角度θ１、顔の縦横比（Ｆ６−Ｆ７）／（Ｆ１−Ｃ２）、眉幅と顔の縦幅比（ＢＲ３−ＥＲ４）／（Ｆ１−Ｃ２）それぞれを算出する。また、ステップＳ１５３で各特徴点の座標から、目の縦横比（ＥＲ５−ＥＲ３）／（ＥＲ１−ＥＲ４）、顎幅と顔の縦幅比（Ｆ１０−Ｆ１１）／（Ｆ１−Ｃ２）、顔の輪郭の特徴点Ｆ１０，Ｃ２，Ｆ１１のなす顎の角度θ２、目と口の距離と顔の縦幅比（Ｆ７−Ｆ１１）／（Ｆ１−Ｃ２）それぞれを算出する。
【００３３】
ステップＳ１５４では、目と顎の特徴点ＥＬ１，Ｃ２，ＥＲ１のなす角度θ１が第１の基準値を超えると１．５ポイントで、未満ならば−１．５ポイントとし、顔の縦横比（Ｆ６−Ｆ７）／（Ｆ１−Ｃ２）が第２の基準値を超えると１．０ポイントで、未満ならば−１．０ポイントとし、眉幅と顔の縦幅比（ＢＲ３−ＥＲ４）／（Ｆ１−Ｃ２）が第３の基準値を超えると１．０ポイントで、未満ならば−１．０ポイントとし、３つのポイントの合計値が正であれば子供タイプ、負であれば大人タイプと判定する。
【００３４】
次に、ステップＳ１５６で、目の縦横比（ＥＲ５−ＥＲ３）／（ＥＲ１−ＥＲ４）が第４の基準値を超えると１．５ポイントで、未満ならば−１．５ポイントとし、顎幅と顔の縦幅比（Ｆ１０−Ｆ１１）／（Ｆ１−Ｃ２）が第５の基準値を超えると１．０ポイントで、未満ならば−１．０ポイントとし、顔の輪郭の特徴点Ｆ１０，Ｃ２，Ｆ１１のなす顎の角度θ２が第６の基準値を超えると１．０ポイントで、未満ならば−１．０ポイントとし、目と口の距離と顔の縦幅比（Ｆ７−Ｆ１１）／（Ｆ１−Ｃ２）が第７の基準値未満ならば１．０ポイントで、基準値を超えると−１．０ポイントとし、４つのポイントの合計値が正であれば曲線タイプ、負であれば直線タイプと判定する。なお、上記の第１〜第７の基準値は、多数の日本人女性の顔からコンピュータでモーフィング（画像の変形）して作成した平均的な顔（平均顔）の値を用いている。
【００３５】
この判定結果に基づいて、被験者の顔立ちのタイプを図１４に示す大人タイプ、子供タイプ、直線タイプ、曲線タイプ、子供・直線タイプ、子供・曲線タイプ、大人・直線タイプ、大人・曲線タイプ、平均顔タイプ、それと４つ軸（矢印）上の１４タイプに分類してディスプレイ表示する。
このように、顔画像から抽出した特徴点の座標から顔の長さと顔の各部の配置状態を表す値を求め、所定の基準値と比較して大人／子供タイプを判定することにより、被験者の顔が大人タイプか子供タイプかを経験によらず自動で認識することができ、また、顔画像から抽出した特徴点の座標から顔の各部の形状が曲線的か直線的かの形状特性を表す値を求め、所定の基準値と比較して直線／曲線タイプを判定することにより、被験者の顔が直線タイプか曲線タイプかを経験によらず自動で認識することができる。従って、メーキャップに用いる化粧用のツールとして使用することができ、これをガイドラインとすることにより、目的とするイメージを演出するためにはどのような方向でメーキャップを施せばよいか、格別の熟練を要することなく知ることができる。
【００３６】
なお、ステップＳ１２〜Ｓ２６が特徴点抽出手段に対応し、ステップＳ１５２が第１の演算手段に対応し、ステップＳ１５４が大人／子供タイプ判定手段に対応し、ステップＳ１５３が第２の演算手段に対応し、ステップＳ１５６が直線／曲線タイプ判定手段に対応する。
【００３７】
【発明の効果】
上述のように、請求項１に記載の発明は、被験者の顔画像を色空間分割してラベリングを行い、顔領域を判別して顎を含む顔の輪郭の特徴点を抽出すると共に、閾値を最低値から順次増加させるループ処理で前記閾値により顔画像の２値化を行って得たエッジ画像から、連続するエッジで囲まれる領域がほぼ円形で所定範囲の面積を持ち、その領域に対となる同様の領域があるかにより瞳を判別して、左右の目の瞳と目尻と目頭と瞳の上下の目の輪郭の特徴点を抽出し、２つの瞳を２点として口の方向に１点を設けた正三角形内のエッジ画像から鼻の特徴点を抽出し、ループ処理を行って顔画像から肌色情報を蓄積して肌色情報の平均値を求め、ループ処理を行ってＹ座標位置の１ラインでの肌色の画素の比率を算出して口の上端と左右端と下端の口の特徴点を抽出し、左右の眉それぞれの眉山と眉頭と眉尻と眉底の特徴点を抽出する特徴点抽出手段と、
抽出された前記特徴点の座標から目と顎のなす角度、顔の縦横比、眉幅と顔の縦幅比それぞれを算出する第１の演算手段と、
前記目と顎のなす角度、顔の縦横比、眉幅と顔の縦幅比それぞれを所定の基準値と比較して大人／子供タイプを判定する大人／子供タイプ判定手段とを有する。
【００３８】
このように、顔画像から抽出した特徴点の座標から顔の長さと顔の各部の配置状態を表す値を求め、所定の基準値と比較して大人／子供タイプを判定することにより、被験者の顔が大人タイプか子供タイプかを経験によらず自動で認識することができる。
請求項２に記載の発明は、被験者の顔画像を色空間分割してラベリングを行い、顔領域を判別して顎を含む顔の輪郭の特徴点を抽出すると共に、閾値を最低値から順次増加させるループ処理で前記閾値により顔画像の２値化を行って得たエッジ画像から、連続するエッジで囲まれる領域がほぼ円形で所定範囲の面積を持ち、その領域に対となる同様の領域があるかにより瞳を判別して、左右の目の瞳と目尻と目頭と瞳の上下の目の輪郭の特徴点を抽出し、２つの瞳を２点として口の方向に１点を設けた正三角形内のエッジ画像から鼻の特徴点を抽出し、ループ処理を行って顔画像から肌色情報を蓄積して肌色情報の平均値を求め、ループ処理を行ってＹ座標位置の１ラインでの肌色の画素の比率を算出して口の上端と左右端と下端の口の特徴点を抽出し、左右の眉それぞれの眉山と眉頭と眉尻と眉底の特徴点を抽出する特徴点抽出手段と、
抽出された前記特徴点の座標から目の縦横比、顎幅と顔の縦幅比、顎の角度、目と口の距離と顔の縦幅比それぞれを算出する第２の演算手段と、
前記目の縦横比、顎幅と顔の縦幅比、顔の輪郭の特徴点のなす顎の角度、目と口の距離と顔の縦幅比それぞれを所定の基準値と比較して直線／曲線タイプを判定する直線／曲線タイプ判定手段とを有する。
【００３９】
請求項３に記載の発明は、抽出された前記特徴点の座標から目の縦横比、顎幅と顔の縦幅比、顎の角度、目と口の距離と顔の縦幅比それぞれを算出する第２の演算手段と、
前記目の縦横比、顎幅と顔の縦幅比、顔の輪郭の特徴点のなす顎の角度、目と口の距離と顔の縦幅比それぞれを所定の基準値と比較して直線／曲線タイプを判定する直線／曲線タイプ判定手段とを有する。
【００４０】
これにより、被験者の顔が大人タイプか子供タイプか、及び被験者の顔が直線タイプか曲線タイプかを経験によらず自動で認識することができる。
【図面の簡単な説明】
【図１】本発明の顔立ち認識システムの一実施例のブロック図である。
【図２】本発明の顔立ち認識システムの一実施例のメインフローチャートである。
【図３】ステップＳ１２で実行する顔位置認識処理の一実施例のフローチャートである。
【図４】顔画像のヒストグラムを示す図である。
【図５】顔画像の特徴点を示す図である。
【図６】ステップＳ２０で実行する目及び鼻の特徴点抽出処理の一実施例のフローチャートである。
【図７】ステップＳ２２で実行する口の特徴点抽出処理の一実施例のフローチャートである。
【図８】ステップＳ２２で実行する口の特徴点抽出処理の一実施例のフローチャートである。
【図９】ステップＳ２４で実行する眉の特徴点抽出処理の一実施例のフローチャートである。
【図１０】ステップＳ２４で実行する眉の特徴点抽出処理の一実施例のフローチャートである。
【図１１】顔立ち分類を説明するための図である。
【図１２】顔立ち分類を説明するための図である。
【図１３】ステップＳ２６で実行するタイプ判定処理の一実施例のフローチャートである。
【図１４】被験者の顔立ちのタイプを示す図である。
【符号の説明】
１０ 中央処理装置（ＣＰＵ）
２０ 入力装置
２１ キーボード
２２ マウス
２３ デジタルカメラ
３０ 記憶装置
３１ ＲＡＭ
３２ ＲＯＭ
３３ ハードディスク装置
３４ フレキシブルディスク装置
４０ 表示装置
５０ 印刷装置
【発明の属する技術分野】
本発明は顔立ち認識システムに係り、人の顔の画像から特徴点を抽出し、その特徴点に基づいて顔立ちを認識する顔立ち認識システムに関する。
【０００２】
【従来の技術】
顔のメーキャップは、通常、各自の経験や感覚に基づいて行われる場合が多いが、自らの顔のメーキャップを行うことは別として他人の顔のメーキャップを演出する場合には、対象となる顔は千差万別であり、また、個々の顔立ちに応じたメーキャップを施すことはかなりの経験と、特殊な感覚を必要とするもので、一定のレベルに達するまでにはかなりの経験を要している。従来は顔立ちを経験により認識しており、顔立ちを自動で認識して系統的に示すシステムは存在しなかった。
【０００３】
【発明が解決しようとする課題】
メーキャップによるイメージの演出法は、理論的に説明する試みもなされているが、従来のメーキャップによるイメージ演出は、造形理論を応用したもので、形の特徴や目に映ったときどのようにどの様な印象を受けるかを把握してメーキャップに応用するものである。例えば、直線はシャープあるいは静的なイメージを演出させ、曲線はソフトあるいは動的なイメージを演出する。したがって、眉や口の輪郭、あるいは髪の状態を直線的又は曲線的にメーキャップすることにより、それぞれ、シャープなイメージを演出したりソフトなイメージを演出したりすることができる。同様に、下降線を使用して落ちついたイメージを出したり、太い線を使用してたくましいイメージを演出することができる。
【０００４】
しかしながら、従来は人の顔を総合的にとらえて分類し、顔立ちを認識していないために、個々の顔にはそれぞれ独自の特徴があるにも拘わらず、造形理論の応用だけでは、個々の顔に不釣合いなメーキャップの仕上がりになってしまうおそれががある。また、個々の顔だちに用いるメーキャップテクニックは本来異なるものであるが個々の顔だちを系統的に示すことができず、メーキャップによるイメージ演出に用いることができないという問題があった。
【０００５】
本発明は、上記の点に鑑みなされたもので、人の顔の画像から抽出した特徴点に基づいて顔立ちを的確に認識することのできる顔立ち認識システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、被験者の顔画像を色空間分割してラベリングを行い、顔領域を判別して顎を含む顔の輪郭の特徴点を抽出すると共に、閾値を最低値から順次増加させるループ処理で前記閾値により顔画像の２値化を行って得たエッジ画像から、連続するエッジで囲まれる領域がほぼ円形で所定範囲の面積を持ち、その領域に対となる同様の領域があるかにより瞳を判別して、左右の目の瞳と目尻と目頭と瞳の上下の目の輪郭の特徴点を抽出し、２つの瞳を２点として口の方向に１点を設けた正三角形内のエッジ画像から鼻の特徴点を抽出し、ループ処理を行って顔画像から肌色情報を蓄積して肌色情報の平均値を求め、ループ処理を行ってＹ座標位置の１ラインでの肌色の画素の比率を算出して口の上端と左右端と下端の口の特徴点を抽出し、左右の眉それぞれの眉山と眉頭と眉尻と眉底の特徴点を抽出する特徴点抽出手段と、
抽出された前記特徴点の座標から目と顎のなす角度、顔の縦横比、眉幅と顔の縦幅比それぞれを算出する第１の演算手段と、
前記目と顎のなす角度、顔の縦横比、眉幅と顔の縦幅比それぞれを所定の基準値と比較して大人／子供タイプを判定する大人／子供タイプ判定手段とを有する。
【０００７】
このように、顔画像から抽出した特徴点の座標から顔の長さと顔の各部の配置状態を表す値を求め、所定の基準値と比較して大人／子供タイプを判定することにより、被験者の顔が大人タイプか子供タイプかを経験によらず自動で認識することができる。
請求項２に記載の発明は、被験者の顔画像を色空間分割してラベリングを行い、顔領域を判別して顎を含む顔の輪郭の特徴点を抽出すると共に、閾値を最低値から順次増加させるループ処理で前記閾値により顔画像の２値化を行って得たエッジ画像から、連続するエッジで囲まれる領域がほぼ円形で所定範囲の面積を持ち、その領域に対となる同様の領域があるかにより瞳を判別して、左右の目の瞳と目尻と目頭と瞳の上下の目の輪郭の特徴点を抽出し、２つの瞳を２点として口の方向に１点を設けた正三角形内のエッジ画像から鼻の特徴点を抽出し、ループ処理を行って顔画像から肌色情報を蓄積して肌色情報の平均値を求め、ループ処理を行ってＹ座標位置の１ラインでの肌色の画素の比率を算出して口の上端と左右端と下端の口の特徴点を抽出し、左右の眉それぞれの眉山と眉頭と眉尻と眉底の特徴点を抽出する特徴点抽出手段と、
抽出された前記特徴点の座標から目の縦横比、顎幅と顔の縦幅比、顎の角度、目と口の距離と顔の縦幅比それぞれを算出する第２の演算手段と、
前記目の縦横比、顎幅と顔の縦幅比、顔の輪郭の特徴点のなす顎の角度、目と口の距離と顔の縦幅比それぞれを所定の基準値と比較して直線／曲線タイプを判定する直線／曲線タイプ判定手段とを有する。
【０００８】
このように、顔画像から抽出した特徴点の座標から顔の各部の形状が曲線的か直線的かの形状特性を表す値を求め、所定の基準値と比較して直線／曲線タイプを判定することにより、被験者の顔が直線タイプか曲線タイプかを経験によらず自動で認識することができる。
請求項３に記載の発明は、請求項１記載の顔立ち認識システムにおいて、
抽出された前記特徴点の座標から目の縦横比、顎幅と顔の縦幅比、顎の角度、目と口の距離と顔の縦幅比それぞれを算出する第２の演算手段と、
前記目の縦横比、顎幅と顔の縦幅比、顔の輪郭の特徴点のなす顎の角度、目と口の距離と顔の縦幅比それぞれを所定の基準値と比較して直線／曲線タイプを判定する直線／曲線タイプ判定手段とを有する。
【０００９】
これにより、被験者の顔が大人タイプか子供タイプか、及び被験者の顔が直線タイプか曲線タイプかを経験によらず自動で認識することができる。
【００１２】
【発明の実施の形態】
図１は本発明の顔立ち認識システムの一実施例のブロック図を示す。同図中、中央処理装置（ＣＰＵ）１０には、バス１５を介して入力装置２０、記憶装置３０、表示装置４０、印刷装置５０、通信装置６０それぞれが接続されている。入力装置２０としてはキーボード２１，マウス２２，デジタルカメラ（またはＣＣＤカメラ）２３等が設けられており、記憶装置３０としてはＲＡＭ３１、ＲＯＭ３２、ハードディスク装置３３、フレキシブルディスク装置３４等が設けられている。ＣＰＵ１０は記憶装置３０に記憶されている各種処理プログラムを実行し、その結果を記憶装置３０に記憶すると共に、表示装置４０に表示し、印刷装置５０で印刷して出力する。記憶装置３０には各種処理プログラムの他に、各種ライブラリも記憶されている。
【００１３】
図２は本発明の顔立ち認識システムの一実施例のメインフローチャートを示す。同図中、ステップＳ１０で入力装置２０のデジタルカメラ２３で被験者の顔を撮像し、得られた顔画像を記憶装置３０のハードディスク装置３３に記憶する。次に、ステップＳ１２で上記の顔画像に対し顔位置認識処理を行う。この顔位置認識処理によって顔領域のラベリングが行われると共に、顔の輪郭の特徴点が抽出される。なお、顔画像は左上隅を原点として、横方向をＸ軸、縦方向をＹ軸とするＸＹ座標で位置を表す。
【００１４】
次に、ステップＳ１４で顔領域のエッジ画像作成処理が行われ、顔のエッジ画像（２値画像）が作成され、ステップＳ１６で上記エッジ画像をＹ軸に投影してエッジのヒストグラムを作成するＹ投影が行われる。この後、ステップＳ１８でＹ投影によるヒストグラムから顔の各部位、つまり、眉、目、鼻、口それぞれのＹ座標を検索する。
【００１５】
ステップＳ２０では顔のエッジ画像における目及び鼻を含むＹ座標位置で、目及び鼻の特徴点及びこれに付随する特徴点を抽出する。また、ステップＳ２２で顔のエッジ画像における口を含むＹ座標位置で、口の特徴点及びこれに付随する特徴点を抽出する。また、ステップＳ２４で顔のエッジ画像における眉を含むＹ座標位置で、眉の特徴点及びこれに付随する特徴点を抽出する。
【００１６】
この後、ステップＳ２６では、抽出した全ての特徴点から被験者の顔が大人タイプまたは子供タイプであるか、直線タイプまたは曲線タイプであるかを判定し、そこ判定結果を表示装置４０にディスプレイ表示し、また印刷装置５０でプリントアウトして、処理を終了する。
図３はステップＳ１２で実行する顔位置認識処理の一実施例のフローチャートを示す。同図中、ステップＳ３０で顔画像の全画素で使用されている色を例えば１４４色の色空間に分割する色空間分割処理を行う。そして、ステップＳ３２で分割された色空間単位で、図４に示すような顔画像のヒストグラムを作成する。次に、ステップＳ３４でヒストグラムにおける頻度の高い色空間から順に色空間を並べ換えるソートを行う。
【００１７】
ステップＳ３６では頻度の高い色空間から順にラベリングを行い、各色空間に値の異なるラベルを添付する。次に、ステップＳ３８で各ラベルについてループ処理を行い、ループ内のステップＳ４０でラベリングされた領域が顔領域か否かを判別する。ここでは、ラベリングされた領域が縦長の楕円で、面積が所定範囲内であり（カメラと被験者の距離は一定）、ラベリングされた領域内の肌色画素の割合が基準値以上である等の条件により、顔領域か否かを判別している。
【００１８】
ここで、顔領域と判別されるとステップＳ４２で顔の特徴点抽出を行う。ステップＳ４２では図５に示す顔画像の顔領域がラベリングされ、顔領域の中でＹ軸座標が最大の点Ｃ３と、Ｙ軸座標が最小の点Ｃ２と、点Ｃ２，Ｃ３を通る直線と髪の生え際との交点Ｆ１とが顔の特徴点として抽出される。
図６はステップＳ２０で実行する目及び鼻の特徴点抽出処理の一実施例のフローチャートを示す。同図中、ステップＳ４６では目及び鼻を含むＹ座標領域の顔画像を取得する。次のステップＳ４７のループ処理で閾値ＴＨを最低値から順次増加させ、ループ内のステップＳ４８で閾値ＴＨを用いて顔画像の２値化を行う。このように閾値ＴＨを可変して２値化を行うのは、瞳を正確に検出するためである。
【００１９】
次のステップＳ４９では２値化で得たエッジ画像において、連続するエッジで囲まれる領域をラベリングする。そして、ステップＳ５０のループ処理内のステップＳ５１でラベリングされた各領域について瞳か否かを判別する。ここでは、その領域がほぼ円形で所定範囲の面積を持つか、そして、その領域に対となる同様の領域があるか、等の条件で瞳か否かを判別する。
【００２０】
次に、ステップＳ５２で２つの瞳を検出できたか否かを判別し、瞳を検出できた場合にはステップＳ５４で固定値の閾値を用いて顔画像の２値化（エッジ画像）を行う。この後、ステップＳ５６でエッジ画像での左の瞳を中心とする左目の領域で左目の特徴点を抽出し、ステップＳ５８でエッジ画像での右の瞳を中心とする右目の領域で右目の特徴点を抽出する。なお、左右の目の特徴点として図５に示す瞳ＰＬ，ＰＲと、目尻ＥＬ１，ＥＲ１と、目頭ＥＬ４，ＥＲ４と、瞳の上下の目の輪郭ＥＬ５，ＥＲ５，ＥＬ３，ＥＲ３であり、これらの特徴点が記憶される。
【００２１】
この後、ステップＳ６０に進む。ここでは、２つの瞳を２点とし、口の方向に１点を設けた正三角形を設定する。そして、ステップＳ６２でエッジ画像での上記正三角形内において、最もＹ座標が大きい点を特徴点Ｎ２として抽出して記憶する。次に、ステップＳ６４でＹ座標が特徴点ＥＬ３，ＥＲ３と特徴点Ｎ２との間で、最もＸ座標が小さい点を特徴点Ｎ１として抽出して記憶し、最もＸ座標が大きい点を特徴点Ｎ３として抽出して記憶する。上記の目及び鼻の特徴点を全て抽出して、この処理を終了する。
【００２２】
図７及び図８はステップＳ２２で実行する口の特徴点抽出処理の一実施例のフローチャートを示す。図７中、ステップＳ７０では顔のエッジ画像における口を含むＹ座標位置が鼻の特徴点Ｎ２のＹ座標より下方であるかどうかを判別し、口を含むＹ座標位置が鼻の特徴点Ｎ２のＹ座標より下方でなければステップＳ７２で鼻の特徴点Ｎ２のＹ座標より下方に修正する。また、ステップＳ７４で鼻の特徴点Ｎ１からＮ３より大きめの範囲を口の範囲として仮設定し、この範囲の口のＹ座標領域の顔画像及び顔のエッジ画像を取得する。
【００２３】
次のステップＳ７６では鼻の下から口の領域の上端までＹ座標を変位させてループ処理を行い、このループ内のステップＳ７８で口の範囲の向かって左端から右端までＸ座標を変位させてループ処理を行い、このループ内のステップＳ８０で顔のエッジ画像からエッジの画素であるか否かを判別し、エッジの画素でなければ肌部分であるためステップＳ８２で顔画像から肌色情報を蓄積する。また、エッジの画素が最初に検出されたときステップＳ８４で検出した画素のＹ座標を口の上端として記憶する。
【００２４】
次に、ステップＳ８６で蓄積している肌色情報の平均値を求める。この後、図８のステップＳ８８で口の領域の上端から下端までＹ座標を変位させてループ処理を行い、このループ内のステップＳ９０で口の範囲の向かって左端から右端までＸ座標を変位させてループ処理を行い、このループ内のステップＳ９２でこのＹ座標位置の１ラインでの肌色の画素の比率を算出する。そして、ステップＳ９４でエッジの画素のＸ座標の最小値と最大値をそのラインのＹ座標と共に更新して記憶する。ステップＳ９６では口の下端か否かを判別する。ここでは、そのラインでエッジの画素が検出されなかった、かつ、そのラインの肌色の画素の比率が所定値以上であるという条件を満足したとき、口の下端と判別する。
【００２５】
口の下端が検出されると、ステップＳ９８で直前のラインにおけるエッジの画素のＸ座標とそのラインのＹ座標を口の下端として記憶し、Ｘ座標の最小値と最大値とそのラインのＹ座標を口の左右端として記憶する。これにより、口の特徴点として図５に示す口の上端Ｍ２，Ｍ４と、左右端Ｍ１，Ｍ５と、下端Ｍ６が抽出される。
【００２６】
図９及び図１０はステップＳ２４で実行する眉の特徴点抽出処理の一実施例のフローチャートを示す。図９中、ステップＳ１００では眉のＹ座標が適正か否かを判別する。ここでは、例えば眉のＹ座標が、顔の特徴点Ｆ１，Ｃ２のＹ座標の平均値より小さいとき適正と判別する。ここで眉のＹ座標が適正でなければ、ステップＳ１０２でこれを適正な値とする。
【００２７】
次のステップＳ１０２では顔領域における向かって左の眉の内側から外側までＸ座標を変位させてループ処理を行い、このループ内のステップＳ１０４で眉の領域の上端から下端方向にＹ座標を変位させてループ処理を行い、このループ内のステップＳ１０６で顔のエッジ画像からエッジであり、かつ、顔画像から肌色ではない画素が最初に検出されたときステップＳ１０８に進む。ステップＳ１０８では検出した画素のＹ座標をこのときのＸ座標における左眉の上端として記憶する。更に、ステップＳ１０２のループ内のステップＳ１１０で眉の領域の下端から上端方向にＹ座標を変位させてループ処理を行い、このループ内のステップＳ１１２で顔のエッジ画像からエッジであり、かつ、顔画像から肌色ではない画素が最初に検出されたときステップＳ１１４で検出した画素のＹ座標をこのときのＸ座標における左眉の下端として記憶する。
【００２８】
次の図１０のステップＳ１２２では顔領域における向かって右の眉の内側から外側までＸ座標を変位させてループ処理を行い、このループ内のステップＳ１２４で眉の領域の上端から下端方向にＹ座標を変位させてループ処理を行い、このループ内のステップＳ１２６で顔のエッジ画像からエッジであり、かつ、顔画像から肌色ではない画素が最初に検出されたときステップＳ１２８に進む。ステップＳ１２８では検出した画素のＹ座標をこのときのＸ座標における右眉の上端として記憶する。更に、ステップＳ１２２のループ内のステップＳ１３０で眉の領域の下端から上端方向にＹ座標を変位させてループ処理を行い、このループ内のステップＳ１３２で顔のエッジ画像からエッジであり、かつ、顔画像から肌色ではない画素が最初に検出されたときステップＳ１３４で検出した画素のＹ座標をこのときのＸ座標における右眉の下端として記憶する。
【００２９】
この後、ステップＳ１４４で左右の眉それぞれの上端で最も高い位置（Ｙ座標最小）を、眉山の特徴点（図５に示す点ＢＬ２，ＢＲ２）として抽出する。また、ステップＳ１４６で左右の眉それぞれの上端及び下端で最も顔の内側（中心側）の位置を眉頭の特徴点（図５に示す点ＢＬ３，ＢＲ３）として抽出する。また、ステップＳ１４８で左右の眉それぞれの上端及び下端で最も顔の外側の位置を眉尻の特徴点（図５に示す点ＢＬ１，ＢＲ１）として抽出する。また、ステップＳ１４９で左右の眉それぞれの下端で最も低い位置（Ｙ座標最大）を、眉底の特徴点（図５に示す点ＢＬ４，ＢＲ４）として抽出する。そして、この処理を終了する。
【００３０】
ところで、本出願人は、特願平８−２３５５２８号等により、顔立ち分類方法を提案している。この提案では、図１１に示すように、縦軸に「顔の長さと顔の各部（眉、目、鼻、口）の配置状態」を、横軸に「顔の各部（眉、目、鼻、口）の形状」を座標軸を取る。この縦軸は、顔の長さが「短い」から「長い」、顔の各部が「左右中心から離れている」から「左右中心に中心に寄っている」、あるいは「パーツが上下中心に寄っている」から「上下中心から離れている」への変化を示すものでる。これは、子供から大人への成長に伴う変化と一致するものであり、下方に向かって「子供っぽさ」を、上方に向かって「大人っぽさ」の度合い、換言すれば、子供から大人への成長時のバランスの変化を示しているものとみることができ、ここでは、「バランス軸」と名付けている。また、横軸は顔の各部の形状が曲線的か直線的かの形状特性を表しているものであり、「フォルム軸」と名付けている。
【００３１】
図１２に図１１の座標空間の各象限に位置する形態と印象を示す。例えば、顔が長くて、顔の各部が曲線的だと、やさしい女らしい印象を強くする、あるいは、顔が短くて形状が直線的であればフレッシュで活発的な印象を与える等、形態と印象との関連が明らかとしている。
このように、顔の長さと目、眉、口、鼻の顔の各部（パーツ）の配置状態と、顔の各部（パーツ）の形状を指標として顔を分類することにより、顔を形態から特徴別に分類することができ、また顔の形状から受ける印象別に分類することが可能となる。そして、このように分類することにより、例えばメーキャップを行う際に的確にイメージの演出が可能となる。また、美容院等の顧客リストに分類を付与しておくことにより、顧客に合ったイメージをつくる際のガイドラインとすることができる。
【００３２】
本実施例では、上記の顔立ち分類方法に基づいて顔立ち判定を行う。図１３はステップＳ２６で実行するタイプ判定処理の一実施例のフローチャートを示す。同図中、ステップＳ１５０では先行ステップで検出された図５に示す瞳ＰＬ，ＰＲを通る直線と髪の生え際との交点Ｆ６，Ｆ７と、口の左右端Ｍ１，Ｍ５を通る直線と顔の輪郭との交点Ｆ１０，Ｆ１１とを特徴点として抽出する。そして、ステップＳ１５２で各特徴点の座標から、目と顎の特徴点ＥＬ１，Ｃ２，ＥＲ１のなす角度θ１、顔の縦横比（Ｆ６−Ｆ７）／（Ｆ１−Ｃ２）、眉幅と顔の縦幅比（ＢＲ３−ＥＲ４）／（Ｆ１−Ｃ２）それぞれを算出する。また、ステップＳ１５３で各特徴点の座標から、目の縦横比（ＥＲ５−ＥＲ３）／（ＥＲ１−ＥＲ４）、顎幅と顔の縦幅比（Ｆ１０−Ｆ１１）／（Ｆ１−Ｃ２）、顔の輪郭の特徴点Ｆ１０，Ｃ２，Ｆ１１のなす顎の角度θ２、目と口の距離と顔の縦幅比（Ｆ７−Ｆ１１）／（Ｆ１−Ｃ２）それぞれを算出する。
【００３３】
ステップＳ１５４では、目と顎の特徴点ＥＬ１，Ｃ２，ＥＲ１のなす角度θ１が第１の基準値を超えると１．５ポイントで、未満ならば−１．５ポイントとし、顔の縦横比（Ｆ６−Ｆ７）／（Ｆ１−Ｃ２）が第２の基準値を超えると１．０ポイントで、未満ならば−１．０ポイントとし、眉幅と顔の縦幅比（ＢＲ３−ＥＲ４）／（Ｆ１−Ｃ２）が第３の基準値を超えると１．０ポイントで、未満ならば−１．０ポイントとし、３つのポイントの合計値が正であれば子供タイプ、負であれば大人タイプと判定する。
【００３４】
次に、ステップＳ１５６で、目の縦横比（ＥＲ５−ＥＲ３）／（ＥＲ１−ＥＲ４）が第４の基準値を超えると１．５ポイントで、未満ならば−１．５ポイントとし、顎幅と顔の縦幅比（Ｆ１０−Ｆ１１）／（Ｆ１−Ｃ２）が第５の基準値を超えると１．０ポイントで、未満ならば−１．０ポイントとし、顔の輪郭の特徴点Ｆ１０，Ｃ２，Ｆ１１のなす顎の角度θ２が第６の基準値を超えると１．０ポイントで、未満ならば−１．０ポイントとし、目と口の距離と顔の縦幅比（Ｆ７−Ｆ１１）／（Ｆ１−Ｃ２）が第７の基準値未満ならば１．０ポイントで、基準値を超えると−１．０ポイントとし、４つのポイントの合計値が正であれば曲線タイプ、負であれば直線タイプと判定する。なお、上記の第１〜第７の基準値は、多数の日本人女性の顔からコンピュータでモーフィング（画像の変形）して作成した平均的な顔（平均顔）の値を用いている。
【００３５】
この判定結果に基づいて、被験者の顔立ちのタイプを図１４に示す大人タイプ、子供タイプ、直線タイプ、曲線タイプ、子供・直線タイプ、子供・曲線タイプ、大人・直線タイプ、大人・曲線タイプ、平均顔タイプ、それと４つ軸（矢印）上の１４タイプに分類してディスプレイ表示する。
このように、顔画像から抽出した特徴点の座標から顔の長さと顔の各部の配置状態を表す値を求め、所定の基準値と比較して大人／子供タイプを判定することにより、被験者の顔が大人タイプか子供タイプかを経験によらず自動で認識することができ、また、顔画像から抽出した特徴点の座標から顔の各部の形状が曲線的か直線的かの形状特性を表す値を求め、所定の基準値と比較して直線／曲線タイプを判定することにより、被験者の顔が直線タイプか曲線タイプかを経験によらず自動で認識することができる。従って、メーキャップに用いる化粧用のツールとして使用することができ、これをガイドラインとすることにより、目的とするイメージを演出するためにはどのような方向でメーキャップを施せばよいか、格別の熟練を要することなく知ることができる。
【００３６】
なお、ステップＳ１２〜Ｓ２６が特徴点抽出手段に対応し、ステップＳ１５２が第１の演算手段に対応し、ステップＳ１５４が大人／子供タイプ判定手段に対応し、ステップＳ１５３が第２の演算手段に対応し、ステップＳ１５６が直線／曲線タイプ判定手段に対応する。
【００３７】
【発明の効果】
上述のように、請求項１に記載の発明は、被験者の顔画像を色空間分割してラベリングを行い、顔領域を判別して顎を含む顔の輪郭の特徴点を抽出すると共に、閾値を最低値から順次増加させるループ処理で前記閾値により顔画像の２値化を行って得たエッジ画像から、連続するエッジで囲まれる領域がほぼ円形で所定範囲の面積を持ち、その領域に対となる同様の領域があるかにより瞳を判別して、左右の目の瞳と目尻と目頭と瞳の上下の目の輪郭の特徴点を抽出し、２つの瞳を２点として口の方向に１点を設けた正三角形内のエッジ画像から鼻の特徴点を抽出し、ループ処理を行って顔画像から肌色情報を蓄積して肌色情報の平均値を求め、ループ処理を行ってＹ座標位置の１ラインでの肌色の画素の比率を算出して口の上端と左右端と下端の口の特徴点を抽出し、左右の眉それぞれの眉山と眉頭と眉尻と眉底の特徴点を抽出する特徴点抽出手段と、
抽出された前記特徴点の座標から目と顎のなす角度、顔の縦横比、眉幅と顔の縦幅比それぞれを算出する第１の演算手段と、
前記目と顎のなす角度、顔の縦横比、眉幅と顔の縦幅比それぞれを所定の基準値と比較して大人／子供タイプを判定する大人／子供タイプ判定手段とを有する。
【００３８】
このように、顔画像から抽出した特徴点の座標から顔の長さと顔の各部の配置状態を表す値を求め、所定の基準値と比較して大人／子供タイプを判定することにより、被験者の顔が大人タイプか子供タイプかを経験によらず自動で認識することができる。
請求項２に記載の発明は、被験者の顔画像を色空間分割してラベリングを行い、顔領域を判別して顎を含む顔の輪郭の特徴点を抽出すると共に、閾値を最低値から順次増加させるループ処理で前記閾値により顔画像の２値化を行って得たエッジ画像から、連続するエッジで囲まれる領域がほぼ円形で所定範囲の面積を持ち、その領域に対となる同様の領域があるかにより瞳を判別して、左右の目の瞳と目尻と目頭と瞳の上下の目の輪郭の特徴点を抽出し、２つの瞳を２点として口の方向に１点を設けた正三角形内のエッジ画像から鼻の特徴点を抽出し、ループ処理を行って顔画像から肌色情報を蓄積して肌色情報の平均値を求め、ループ処理を行ってＹ座標位置の１ラインでの肌色の画素の比率を算出して口の上端と左右端と下端の口の特徴点を抽出し、左右の眉それぞれの眉山と眉頭と眉尻と眉底の特徴点を抽出する特徴点抽出手段と、
抽出された前記特徴点の座標から目の縦横比、顎幅と顔の縦幅比、顎の角度、目と口の距離と顔の縦幅比それぞれを算出する第２の演算手段と、
前記目の縦横比、顎幅と顔の縦幅比、顔の輪郭の特徴点のなす顎の角度、目と口の距離と顔の縦幅比それぞれを所定の基準値と比較して直線／曲線タイプを判定する直線／曲線タイプ判定手段とを有する。
【００３９】
請求項３に記載の発明は、抽出された前記特徴点の座標から目の縦横比、顎幅と顔の縦幅比、顎の角度、目と口の距離と顔の縦幅比それぞれを算出する第２の演算手段と、
前記目の縦横比、顎幅と顔の縦幅比、顔の輪郭の特徴点のなす顎の角度、目と口の距離と顔の縦幅比それぞれを所定の基準値と比較して直線／曲線タイプを判定する直線／曲線タイプ判定手段とを有する。
【００４０】
これにより、被験者の顔が大人タイプか子供タイプか、及び被験者の顔が直線タイプか曲線タイプかを経験によらず自動で認識することができる。
【図面の簡単な説明】
【図１】本発明の顔立ち認識システムの一実施例のブロック図である。
【図２】本発明の顔立ち認識システムの一実施例のメインフローチャートである。
【図３】ステップＳ１２で実行する顔位置認識処理の一実施例のフローチャートである。
【図４】顔画像のヒストグラムを示す図である。
【図５】顔画像の特徴点を示す図である。
【図６】ステップＳ２０で実行する目及び鼻の特徴点抽出処理の一実施例のフローチャートである。
【図７】ステップＳ２２で実行する口の特徴点抽出処理の一実施例のフローチャートである。
【図８】ステップＳ２２で実行する口の特徴点抽出処理の一実施例のフローチャートである。
【図９】ステップＳ２４で実行する眉の特徴点抽出処理の一実施例のフローチャートである。
【図１０】ステップＳ２４で実行する眉の特徴点抽出処理の一実施例のフローチャートである。
【図１１】顔立ち分類を説明するための図である。
【図１２】顔立ち分類を説明するための図である。
【図１３】ステップＳ２６で実行するタイプ判定処理の一実施例のフローチャートである。
【図１４】被験者の顔立ちのタイプを示す図である。
【符号の説明】
１０ 中央処理装置（ＣＰＵ）
２０ 入力装置
２１ キーボード
２２ マウス
２３ デジタルカメラ
３０ 記憶装置
３１ ＲＡＭ
３２ ＲＯＭ
３３ ハードディスク装置
３４ フレキシブルディスク装置
４０ 表示装置
５０ 印刷装置
Claims (3)
- 被験者の顔画像を色空間分割してラベリングを行い、顔領域を判別して顎を含む顔の輪郭の特徴点を抽出すると共に、閾値を最低値から順次増加させるループ処理で前記閾値により顔画像の２値化を行って得たエッジ画像から、連続するエッジで囲まれる領域がほぼ円形で所定範囲の面積を持ち、その領域に対となる同様の領域があるかにより瞳を判別して、左右の目の瞳と目尻と目頭と瞳の上下の目の輪郭の特徴点を抽出し、２つの瞳を２点として口の方向に１点を設けた正三角形内のエッジ画像から鼻の特徴点を抽出し、ループ処理を行って顔画像から肌色情報を蓄積して肌色情報の平均値を求め、ループ処理を行ってＹ座標位置の１ラインでの肌色の画素の比率を算出して口の上端と左右端と下端の口の特徴点を抽出し、左右の眉それぞれの眉山と眉頭と眉尻と眉底の特徴点を抽出する特徴点抽出手段と、
抽出された前記特徴点の座標から目と顎のなす角度、顔の縦横比、眉幅と顔の縦幅比それぞれを算出する第１の演算手段と、
前記目と顎のなす角度、顔の縦横比、眉幅と顔の縦幅比それぞれを所定の基準値と比較して大人／子供タイプを判定する大人／子供タイプ判定手段とを
有することを特徴とする顔立ち認識システム。 - 被験者の顔画像を色空間分割してラベリングを行い、顔領域を判別して顎を含む顔の輪郭の特徴点を抽出すると共に、閾値を最低値から順次増加させるループ処理で前記閾値により顔画像の２値化を行って得たエッジ画像から、連続するエッジで囲まれる領域がほぼ円形で所定範囲の面積を持ち、その領域に対となる同様の領域があるかにより瞳を判別して、左右の目の瞳と目尻と目頭と瞳の上下の目の輪郭の特徴点を抽出し、２つの瞳を２点として口の方向に１点を設けた正三角形内のエッジ画像から鼻の特徴点を抽出し、ループ処理を行って顔画像から肌色情報を蓄積して肌色情報の平均値を求め、ループ処理を行ってＹ座標位置の１ラインでの肌色の画素の比率を算出して口の上端と左右端と下端の口の特徴点を抽出し、左右の眉それぞれの眉山と眉頭と眉尻と眉底の特徴点を抽出する特徴点抽出手段と、
抽出された前記特徴点の座標から目の縦横比、顎幅と顔の縦幅比、顎の角度、目と口の距離と顔の縦幅比それぞれを算出する第２の演算手段と、
前記目の縦横比、顎幅と顔の縦幅比、顔の輪郭の特徴点のなす顎の角度、目と口の距離と顔の縦幅比それぞれを所定の基準値と比較して直線／曲線タイプを判定する直線／曲線タイプ判定手段とを
有することを特徴とする顔立ち認識システム。 - 請求項１記載の顔立ち認識システムにおいて、
抽出された前記特徴点の座標から目の縦横比、顎幅と顔の縦幅比、顎の角度、目と口の距離と顔の縦幅比それぞれを算出する第２の演算手段と、
前記目の縦横比、顎幅と顔の縦幅比、顔の輪郭の特徴点のなす顎の角度、目と口の距離と顔の縦幅比それぞれを所定の基準値と比較して直線／曲線タイプを判定する直線／曲線タイプ判定手段とを
有することを特徴とする顔立ち認識システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17163398A JP3828285B2 (ja) | 1998-06-18 | 1998-06-18 | 顔立ち認識システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17163398A JP3828285B2 (ja) | 1998-06-18 | 1998-06-18 | 顔立ち認識システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000011143A JP2000011143A (ja) | 2000-01-14 |
| JP3828285B2 true JP3828285B2 (ja) | 2006-10-04 |
Family
ID=15926818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17163398A Expired - Lifetime JP3828285B2 (ja) | 1998-06-18 | 1998-06-18 | 顔立ち認識システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3828285B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3582458B2 (ja) * | 2000-06-07 | 2004-10-27 | 花王株式会社 | 化粧アドバイスシステム |
| US7079158B2 (en) * | 2000-08-31 | 2006-07-18 | Beautyriot.Com, Inc. | Virtual makeover system and method |
| JP3963789B2 (ja) * | 2002-06-24 | 2007-08-22 | デジタルファッション株式会社 | 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法 |
| JP3855939B2 (ja) | 2003-01-31 | 2006-12-13 | ソニー株式会社 | 画像処理装置、画像処理方法及び撮影装置 |
| JP4345440B2 (ja) * | 2003-11-04 | 2009-10-14 | オムロン株式会社 | 輪郭判断装置及び輪郭判断方法 |
| US7274453B2 (en) | 2004-10-14 | 2007-09-25 | The Procter & Gamble Company | Methods and apparatus for calibrating an electromagnetic measurement device |
| JP5043323B2 (ja) * | 2005-10-06 | 2012-10-10 | 株式会社 資生堂 | 化粧情報提供システム |
| CN101043832A (zh) | 2004-10-22 | 2007-09-26 | 株式会社资生堂 | 嘴唇的分类方法，化妆方法，分类图谱及化妆用器具 |
| JP4809056B2 (ja) * | 2005-12-28 | 2011-11-02 | 株式会社 資生堂 | チークメーキャップのための顔分類装置、顔分類プログラム、及び該プログラムが記録された記録媒体 |
| JP2007272435A (ja) * | 2006-03-30 | 2007-10-18 | Univ Of Electro-Communications | 顔特徴抽出装置及び顔特徴抽出方法 |
| JP2010140100A (ja) * | 2008-12-09 | 2010-06-24 | Yurakusha:Kk | 顔パターン分析システム |
| KR101413413B1 (ko) | 2010-03-04 | 2014-06-27 | 닛본 덴끼 가부시끼가이샤 | 이물 판정 장치, 이물 판정 방법 및 이물 판정 프로그램 |
| JP5234857B2 (ja) * | 2011-07-22 | 2013-07-10 | 株式会社 資生堂 | チークメーキャップのための顔分類方法、分類見極めマップ、顔分類プログラム、及び該プログラムが記録された記録媒体 |
| WO2014110598A1 (en) * | 2013-01-14 | 2014-07-17 | Massively Parallel Technologies, Inc. | System and method for determining engagement of audience members during a lecture |
| JP5882929B2 (ja) * | 2013-02-26 | 2016-03-09 | 日本電信電話株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP6098304B2 (ja) * | 2013-03-29 | 2017-03-22 | 富士通株式会社 | 脈波検出装置、脈波検出方法及び脈波検出プログラム |
| CN114743159A (zh) * | 2022-03-31 | 2022-07-12 | 武汉市江夏区人民政府纸坊街道办事处 | 一种基于物联网的智慧街道人口大数据综合管理平台 |
-
1998
- 1998-06-18 JP JP17163398A patent/JP3828285B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000011143A (ja) | 2000-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3828285B2 (ja) | 顔立ち認識システム | |
| Galdámez et al. | A brief review of the ear recognition process using deep neural networks | |
| US7912253B2 (en) | Object recognition method and apparatus therefor | |
| EP2315158B1 (en) | Information processing apparatus, information processing method, and program | |
| CN107169455B (zh) | 基于深度局部特征的人脸属性识别方法 | |
| Vukadinovic et al. | Fully automatic facial feature point detection using Gabor feature based boosted classifiers | |
| JP3279913B2 (ja) | 人物認証装置、特徴点抽出装置及び特徴点抽出方法 | |
| US7035461B2 (en) | Method for detecting objects in digital images | |
| CN104008364B (zh) | 人脸识别方法 | |
| KR20060056805A (ko) | 다중스케일 가변영역분할 홍채인식 방법 및 시스템 | |
| CN101923645A (zh) | 适应复杂应用场景中低质量虹膜图像的虹膜分割方法 | |
| JP2000311248A (ja) | 画像処理装置 | |
| CN103544478A (zh) | 一种全方位人脸检测的方法及系统 | |
| JP3773657B2 (ja) | 眉変形システム | |
| KR100815209B1 (ko) | 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법 | |
| JP2015094973A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び記録媒体 | |
| Galdámez et al. | A small look at the ear recognition process using a hybrid approach | |
| Ayinde et al. | Region-based face detection | |
| Saha et al. | A symmetry based face detection technique | |
| CN114783025A (zh) | 一种计算颜值得分的方法及装置 | |
| Hotta | View-invariant face detection method based on local pca cells | |
| Jadhav et al. | Introducing Celebrities in an Images using HAAR Cascade algorithm | |
| KR102583696B1 (ko) | 심미적인 스마일 형성을 위한 개인맞춤형 입술 견인기 제작 방법, 이에 따라 제작되는 개인맞춤형 입술 견인기 및 이를 수행하는 개인맞춤형 입술 견인기 제작 장치 | |
| KR100618493B1 (ko) | 3차원 영상 자동 생성 장치 및 그 방법 | |
| JP6721169B1 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051013 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051018 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051219 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060314 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060515 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060706 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090714 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110714 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110714 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130714 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |