JP2767814B2 - 顔画像検出方法及び装置 - Google Patents
顔画像検出方法及び装置Info
- Publication number
- JP2767814B2 JP2767814B2 JP63147256A JP14725688A JP2767814B2 JP 2767814 B2 JP2767814 B2 JP 2767814B2 JP 63147256 A JP63147256 A JP 63147256A JP 14725688 A JP14725688 A JP 14725688A JP 2767814 B2 JP2767814 B2 JP 2767814B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- area
- mouth
- storing
- candidate group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 （産業上の利用分野） 本発明は入門管理等で重要となるTVカメラ画像からの
顔画像部分の検出を自動化する時等に必要となる顔画像
の検出技術に関する。
顔画像部分の検出を自動化する時等に必要となる顔画像
の検出技術に関する。
（従来の技術） 顔画像を検出する従来の方式の一例として文献［姉崎
隆、酒見博行、「似顔絵ロボットの画像処理（Ｉ）−処
理概要、特徴抽出−」、昭和60年度電子通信学会総合全
国大会、P5−83.］に記載されているものについて説明
する。
隆、酒見博行、「似顔絵ロボットの画像処理（Ｉ）−処
理概要、特徴抽出−」、昭和60年度電子通信学会総合全
国大会、P5−83.］に記載されているものについて説明
する。
例えばTVカメラ等で入力された画像から顔の特徴を抽
出するのに従来方式では、第１段階として第９図に示す
ような画像の黒領域として分割された、黒領域群毎に算
出された面積、周長、及び重心位置等に対する条件式と
上記領域群の相対的な位置関係により目のペアとなる領
域を識別する。第２段階として、上記目の座標をもと
に、眉、鼻、及び口を収める特徴領域を作り、第３段階
として、上記各領域から特徴を抽出していた。
出するのに従来方式では、第１段階として第９図に示す
ような画像の黒領域として分割された、黒領域群毎に算
出された面積、周長、及び重心位置等に対する条件式と
上記領域群の相対的な位置関係により目のペアとなる領
域を識別する。第２段階として、上記目の座標をもと
に、眉、鼻、及び口を収める特徴領域を作り、第３段階
として、上記各領域から特徴を抽出していた。
（発明が解決しようとする問題点） しかしながら、従来の方式を用いて例えば上下が逆に
なった顔画像を識別する場合、目のペアとなる領域群だ
けでは顔画像の上下を抽出するのは難しく、そのため、
眉、鼻、及び口に相当する特徴領域を正しく設定するの
は困難であった。
なった顔画像を識別する場合、目のペアとなる領域群だ
けでは顔画像の上下を抽出するのは難しく、そのため、
眉、鼻、及び口に相当する特徴領域を正しく設定するの
は困難であった。
本発明の目的は顔画像の写り方に依存しない顔画像の
検出技術を提供することにある。
検出技術を提供することにある。
（問題を解決するための手段） 第１の本発明の顔画像検出方法は、顔画像の特徴を検
出する際に、顔画像から肌に該当する領域を検出し、前
記肌に該当する領域に囲まれた非肌色領域を顔の特徴に
対応する領域候補として検出することを特徴とする。
出する際に、顔画像から肌に該当する領域を検出し、前
記肌に該当する領域に囲まれた非肌色領域を顔の特徴に
対応する領域候補として検出することを特徴とする。
本発明の第２の顔画像検出方法は顔の特徴の候補の組
を顔面に対する上記候補の位置を頂点とする図形の面積
比で選別することを特徴とする。
を顔面に対する上記候補の位置を頂点とする図形の面積
比で選別することを特徴とする。
本発明の第１の顔画像検出装置は、顔の構造を記憶す
る顔構造記憶手段と、顔画像を記憶する顔画像記憶手段
と、上記顔画像記憶手段が記憶する画像から目に対応す
る領域の候補を検出する目候補群発見手段と、上記目候
補群発見手段が検出した領域群を記憶する目候補群記憶
手段と、前記顔画像記憶手段が記憶する画像から、肌に
該当する領域を検出し、前記肌に該当する領域に囲まれ
た領域を口に対応する領域の候補として検出する口候補
群発見手段と、上記口候補群発見手段が検出した領域群
を記憶する口候補群記憶手段と、前記目候補群記憶手段
が記憶する領域と前記口候補群記憶手段が記憶する領域
を組み合わせた顔候補群を前記顔構造記憶手段が記憶す
る顔の構造と照合する顔構造照合手段を具備することを
特徴とする。
る顔構造記憶手段と、顔画像を記憶する顔画像記憶手段
と、上記顔画像記憶手段が記憶する画像から目に対応す
る領域の候補を検出する目候補群発見手段と、上記目候
補群発見手段が検出した領域群を記憶する目候補群記憶
手段と、前記顔画像記憶手段が記憶する画像から、肌に
該当する領域を検出し、前記肌に該当する領域に囲まれ
た領域を口に対応する領域の候補として検出する口候補
群発見手段と、上記口候補群発見手段が検出した領域群
を記憶する口候補群記憶手段と、前記目候補群記憶手段
が記憶する領域と前記口候補群記憶手段が記憶する領域
を組み合わせた顔候補群を前記顔構造記憶手段が記憶す
る顔の構造と照合する顔構造照合手段を具備することを
特徴とする。
本発明の第２の顔画像検出装置は、顔面に対する顔の
特徴の位置を頂点とする図形の面積比を、顔の構造とし
て少なくとも記憶する顔構造記憶手段と、顔画像を記憶
する顔画像記憶手段と、上記顔画像記憶手段が記憶する
画像から目に対応する領域の候補を検出する目候補群発
見手段と、上記目候補群発見手段が検出した領域群を記
憶する目候補群記憶手段と、前記顔画像記憶手段が記憶
する画像から口に対応する領域の候補を検出する口候補
群発見手段と、上記口候補群発見手段が検出した領域群
を記憶する口候補群記憶手段と、前記目候補群記憶手段
が記憶する領域と前記口候補群記憶手段が記憶する領域
を組み合わせた顔候補群を作成し、少なくとも２つの目
候補領域と口候補領域について領域内に代表点を設定し
て各領域の代表点を頂点とする図形の面積と顔面の面積
の比を求め、前記顔構造記憶手段が記憶する顔の構造と
照合する顔構造照合手段を具備することを特徴とする。
特徴の位置を頂点とする図形の面積比を、顔の構造とし
て少なくとも記憶する顔構造記憶手段と、顔画像を記憶
する顔画像記憶手段と、上記顔画像記憶手段が記憶する
画像から目に対応する領域の候補を検出する目候補群発
見手段と、上記目候補群発見手段が検出した領域群を記
憶する目候補群記憶手段と、前記顔画像記憶手段が記憶
する画像から口に対応する領域の候補を検出する口候補
群発見手段と、上記口候補群発見手段が検出した領域群
を記憶する口候補群記憶手段と、前記目候補群記憶手段
が記憶する領域と前記口候補群記憶手段が記憶する領域
を組み合わせた顔候補群を作成し、少なくとも２つの目
候補領域と口候補領域について領域内に代表点を設定し
て各領域の代表点を頂点とする図形の面積と顔面の面積
の比を求め、前記顔構造記憶手段が記憶する顔の構造と
照合する顔構造照合手段を具備することを特徴とする。
（作用） 第１の本発明は顔の特徴の候補を肌色領域内の肌色で
ない領域として検出するものである。
ない領域として検出するものである。
即ち、例えば顔の特徴の一例である口領域は第１に頭
髪等によって隠されることが極めて少ないので顔画像の
中では安定して肌色領域内に含まれ、第２に、口唇は口
紅等で色が変化することが多いので、口唇の色を特定化
するのは困難であるため、本発明では例えば口の候補を
肌色領域に囲まれた肌色でない領域として検出する。
髪等によって隠されることが極めて少ないので顔画像の
中では安定して肌色領域内に含まれ、第２に、口唇は口
紅等で色が変化することが多いので、口唇の色を特定化
するのは困難であるため、本発明では例えば口の候補を
肌色領域に囲まれた肌色でない領域として検出する。
第２の本発明は顔の特徴の候補の組を、顔面に対する
上記候補の位置を頂点とする図形の面積比で選別するも
のである。
上記候補の位置を頂点とする図形の面積比で選別するも
のである。
即ち、例えば両目と口の重心位置を頂点とする三角形
の顔面に対する面積比は、顔を見る視線方向が多少変化
しても安定しており、さらに顔面は例えば肌色領域とし
て検出できるため、顔の大きさを測る尺度にすることが
できる。よって例えば正しくない両目と口の重心位置を
頂点とする三角形の顔面に対する面積比は予め設定して
おいた範囲におさまらず、上記面積比を調べることで正
しくない両目と口の候補を選別することができる。
の顔面に対する面積比は、顔を見る視線方向が多少変化
しても安定しており、さらに顔面は例えば肌色領域とし
て検出できるため、顔の大きさを測る尺度にすることが
できる。よって例えば正しくない両目と口の重心位置を
頂点とする三角形の顔面に対する面積比は予め設定して
おいた範囲におさまらず、上記面積比を調べることで正
しくない両目と口の候補を選別することができる。
第３及び第４の本発明は、入力画像を処理して求めた
例えば目、眉、及び口のそれぞれに対する候補領域群の
形状と位置関係を、目、眉、及び口を表わす顔構造のモ
デルと照合することにより上記各候補領域群の中から
目、眉、及び口に相当する領域を選択しようとするもの
である。
例えば目、眉、及び口のそれぞれに対する候補領域群の
形状と位置関係を、目、眉、及び口を表わす顔構造のモ
デルと照合することにより上記各候補領域群の中から
目、眉、及び口に相当する領域を選択しようとするもの
である。
即ち、本発明では入力画像を構成する領域群のうち、
例えば第８図（Ａ）に例示した顔構造の相対位置に関す
る下記第１のパラメータ群 L:目の重心間距離 L1:口の重心と、両目の重心を通る直線との距離 L2:口の重心と、両目の重心間線分の垂直二等分線との
距離 L3:右眉の重心と、両目の重心間線分の垂直二等分線と
の距離 L4:左眉の重心と、両目の重心間線分の垂直二等分線と
の距離 L5:右眉と重心と、右目の重心を通り両目の重心間線分
に垂直な線分との距離 L6:左眉の重心と、左目の重心を通り両目の重心間線分
に垂直な線分との距離 PBR:右眉の位置、PBL:左眉の位置 PER:右目の位置、PEL:左目の位置 PM:口の位置 に関する例えば下記条件式 と、例えば第８図（Ｂ）に例示した顔構造の形状に関し
て画像の写り方に依存しない下記第２のパラメータ群 Θ1:両目の重心間線分と右目領域の主軸方向が成す角度 Θ2:両目の重心間線分と左目領域の主軸方向が成す角度 Θ3:両目の重心間線分と口領域の主軸方向が成す角度 Θ4:両目の重心間線分と右眉領域の主軸方向が成す角度 Θ5:両目の重心間線分と左眉領域の主軸方向が成す角度 に関する例えば下記条件式 を満たす領域を目、眉及び口に対応する領域として検出
するものである。
例えば第８図（Ａ）に例示した顔構造の相対位置に関す
る下記第１のパラメータ群 L:目の重心間距離 L1:口の重心と、両目の重心を通る直線との距離 L2:口の重心と、両目の重心間線分の垂直二等分線との
距離 L3:右眉の重心と、両目の重心間線分の垂直二等分線と
の距離 L4:左眉の重心と、両目の重心間線分の垂直二等分線と
の距離 L5:右眉と重心と、右目の重心を通り両目の重心間線分
に垂直な線分との距離 L6:左眉の重心と、左目の重心を通り両目の重心間線分
に垂直な線分との距離 PBR:右眉の位置、PBL:左眉の位置 PER:右目の位置、PEL:左目の位置 PM:口の位置 に関する例えば下記条件式 と、例えば第８図（Ｂ）に例示した顔構造の形状に関し
て画像の写り方に依存しない下記第２のパラメータ群 Θ1:両目の重心間線分と右目領域の主軸方向が成す角度 Θ2:両目の重心間線分と左目領域の主軸方向が成す角度 Θ3:両目の重心間線分と口領域の主軸方向が成す角度 Θ4:両目の重心間線分と右眉領域の主軸方向が成す角度 Θ5:両目の重心間線分と左眉領域の主軸方向が成す角度 に関する例えば下記条件式 を満たす領域を目、眉及び口に対応する領域として検出
するものである。
第１、第３の本発明は、明るい背景の下で撮像した顔
画像の明るさのヒストグラムが黒色領域と肌色領域と背
景に対応する三つのピークを持つことを利用して顔画像
の肌色領域に対応する領域を検出する。
画像の明るさのヒストグラムが黒色領域と肌色領域と背
景に対応する三つのピークを持つことを利用して顔画像
の肌色領域に対応する領域を検出する。
即ち、本発明では第10図に例示するB1とB4とB6にそれ
ぞれ黒色、肌色、背景に対応する極大値が現われている
顔画像の明るさのヒストグラム81から例えば同図に例示
したB1よりも画素値が大きく、かつ、最小であるヒスト
グラム81の極小値B2と、同図に例示したB4よりも画素値
が小さく、かつ最大であるヒストグラム81の極小値B
3と、上記B4よりも画素値が大きく、かつ最小であるヒ
ストグラム81の極小値B5を求め、例えば画素値Ｂが Ｂ＜B2 （２−１） となる画素は黒色領域に含まれ、例えば画素値Ｂが B3≦Ｂ＜B5 （２−２） となる画素は肌色領域に含まれると判断する。
ぞれ黒色、肌色、背景に対応する極大値が現われている
顔画像の明るさのヒストグラム81から例えば同図に例示
したB1よりも画素値が大きく、かつ、最小であるヒスト
グラム81の極小値B2と、同図に例示したB4よりも画素値
が小さく、かつ最大であるヒストグラム81の極小値B
3と、上記B4よりも画素値が大きく、かつ最小であるヒ
ストグラム81の極小値B5を求め、例えば画素値Ｂが Ｂ＜B2 （２−１） となる画素は黒色領域に含まれ、例えば画素値Ｂが B3≦Ｂ＜B5 （２−２） となる画素は肌色領域に含まれると判断する。
（実施例１） 以下、本発明について図面を用いて第１の実施例を詳
細に説明する。
細に説明する。
第１図は第３又は第４の本発明を用いて例えば第２図
（Ａ）に例示する入力画像を構成する領域のうち、目、
眉、及び口に対応する領域を出力する第１の実施例を示
すブロック図である。
（Ａ）に例示する入力画像を構成する領域のうち、目、
眉、及び口に対応する領域を出力する第１の実施例を示
すブロック図である。
第１図において、14は例えばTVカメラで入力した第２
図（Ａ）に例示する顔画像39を記憶する顔画像記憶手
段、15は第８図（Ａ）と第８図（Ｂ）に例示した顔構造
のモデルをそれぞれ式（１−１）と（１−２）の表現で
記憶する顔構造記憶手段である。
図（Ａ）に例示する顔画像39を記憶する顔画像記憶手
段、15は第８図（Ａ）と第８図（Ｂ）に例示した顔構造
のモデルをそれぞれ式（１−１）と（１−２）の表現で
記憶する顔構造記憶手段である。
動作は例えば制御手段18が目候補群発見手段10を起動
して始まる。起動された上記目候補群発生手段10は第１
段階として前記顔画像39をｆ（x,y）と表わしたとき、
例えば予め実験により求めておいた閾値TLを用いて値が
１である画素群が黒色領域を表わす例えば第３図（Ａ）
に例示する黒色領域画像ｇ（x,y）を で合成し、第２段階として上記黒色領域画像ｇ（x,y）
が表わす黒色領域群のうち突出部分を特願昭63−1902号
明細書「図形認識装置」に記載されている手法により切
断して第３図（Ｂ）に例示する画像（x,y）を合成
し、第３段階として上記画像（x,y）を構成する値が
１である画素群が表わす領域のうち、例えば面積が予め
指定された範囲にあるものだけを残すことにより第３図
（Ｃ）に例示する目候補群画像4.8を合成した後、上記
目候補群画像45を目候補群記憶手段11に記憶して処理を
終了する。
して始まる。起動された上記目候補群発生手段10は第１
段階として前記顔画像39をｆ（x,y）と表わしたとき、
例えば予め実験により求めておいた閾値TLを用いて値が
１である画素群が黒色領域を表わす例えば第３図（Ａ）
に例示する黒色領域画像ｇ（x,y）を で合成し、第２段階として上記黒色領域画像ｇ（x,y）
が表わす黒色領域群のうち突出部分を特願昭63−1902号
明細書「図形認識装置」に記載されている手法により切
断して第３図（Ｂ）に例示する画像（x,y）を合成
し、第３段階として上記画像（x,y）を構成する値が
１である画素群が表わす領域のうち、例えば面積が予め
指定された範囲にあるものだけを残すことにより第３図
（Ｃ）に例示する目候補群画像4.8を合成した後、上記
目候補群画像45を目候補群記憶手段11に記憶して処理を
終了する。
上記目候補群発見手段10が処理を終了すると前記制御
手段18は例えば第１の原理を用いた口候補群発見手段16
を起動する。起動された上記口候補群発見手段16は第１
段階として前記顔画像39をｆ（x,y）と表わしたとき、
例えば予め実験により求めておいた閾値TSO,TSI（５）
を用いて、値が１である画素群が肌色領域を表わす例え
ば第４図（Ａ）に例示する肌色領域画像ｈ（x,y）を で合成し、第２段階として上記肌色領域画像ｈ（x,y）
に含まれている穴領域に相当する画素群に値１を代入し
て合成した第４図（Ｂ）に例示する口候補群画像49を合
成した後、上記口候補群画像49を口候補群記憶手段17に
記憶して処理を終了する。
手段18は例えば第１の原理を用いた口候補群発見手段16
を起動する。起動された上記口候補群発見手段16は第１
段階として前記顔画像39をｆ（x,y）と表わしたとき、
例えば予め実験により求めておいた閾値TSO,TSI（５）
を用いて、値が１である画素群が肌色領域を表わす例え
ば第４図（Ａ）に例示する肌色領域画像ｈ（x,y）を で合成し、第２段階として上記肌色領域画像ｈ（x,y）
に含まれている穴領域に相当する画素群に値１を代入し
て合成した第４図（Ｂ）に例示する口候補群画像49を合
成した後、上記口候補群画像49を口候補群記憶手段17に
記憶して処理を終了する。
上記口候補群発見手段16が処理を終了すると、前記制
御手段10は顔構造照合手段12を起動する。起動された上
記顔構造照合手段12は第１段階として前記目候補群記憶
手段11が記憶する群領域から例えば第３図（Ｃ）に例示
した領域50と領域51を選択した後、上記領域50の例えば
重心位置を第８図（Ａ）の点PERに、上記領域51の例え
ば重心位置を第８図（Ａ）の点PELにそれぞれ対応づ
け、第２段階として前記領域50と51の例えば重心間距離 （７） を算出して第８図（Ａ）に示すパラメータＬの値を定
め、第３段階として前記口候補群記憶手段16が記憶する
領域群のうち例えば重心の位置を第８図（Ａ）に示す点
PMに対応づけた場合に前記顔構造記憶手段15が記憶する
式（１−１）を満たす例えば第４図（Ｂ）に例示した領
域60を選択し、第４図として、例えば第２の原理に従っ
て前記領域50,51,及び60の重心位置を頂点とする第５図
に例示した三角形80の面積Stを算出した後、第４図
（Ａ）に例示した肌色領域画像ｈ（x,y）の穴を含めた
面積をＳとしたとき、適当に定めた定数s0,s1を用いた
条件 s1＞St/S＞s0 （８） が満たされるまで、前記第１段階から第４段階までの処
理をくり返し、第５段階として例えば第１成分が右目の
領域番号、第２成分が左目の領域番号、第３成分が右眉
の領域番号、第４成分が左眉の領域番号、第５成分が口
の領域番号、第６成分が得点を意味する６次元ベクトル Ｍ＝（m1,m2,m3,m4,m5,m6） （９） を用意し、上記ベクトルの第３成分と第４成分と第６成
分を初期化した後例えば第５図に示す領域の番号50,51,
60をそれぞれ式（８）に示すベクトルＭの成分 m1,m2,m5 （10） に代入し、第６段階として前記領域50,51,60に対して刊
行物（“Digital Picture Processing",Second Editio
n,Volume2,ACADEMIC PRESS,PP.286−290,1982.）に記載
されている手法で求まる長軸方向と短軸方向の例えば各
標準偏差の比 ζ50,ζ51,ζ60 （11） が例えば適当に定めた定数a1,a2,a3,a4を用いた条件 を満たす場合には前記目候補群記憶手段11が記憶する領
域群のうち、例えば重心位置を第８図（Ａ）に示す点P
ERとPBLに対応づけた場合に前記顔構造記憶手段15が記
憶する式（１−１）を満たす例えば第４図（Ｂ）に例示
した領域53を式（９）の第４成分に、領域54を式（９）
の第５成分にそれぞれ代入した後、式（９）の成分とし
て代入されている領域50,51,53,54,60の各主軸方向に関
する第８図（Ｂ）に示したパラメータΘ1,Θ2,Θ3,Θ4,
Θ５を算出し、上記パラメータが前記顔構造記憶手段15
が記憶する式（１−２）を満たさない場合には式（９）
の第６成分から例えば１を減算し、第７段階として第１
段階から第６段階の処理を前記目候補群記憶手段11が記
憶する領域のすべての組み合わせについて実行して式
（９）に示すベクトルを複数個合成した後、上記ベクト
ルの第６成分が最大であるベクトルに対して前記顔構造
記憶手段15が記憶する式（１−１）と式（１−２）の条
件として示されている区間を狭くして第６段階と同様の
処理を行い、以上の処理を、式（９）に示すベクトルの
第６成分が最大であるベクトルの個数が１つになるまで
続け、第８段階として以上の処理で１つになった式
（９）のベクトルを表示手段13に出力した後、上記表示
手段13を起動して処理を終了する。
御手段10は顔構造照合手段12を起動する。起動された上
記顔構造照合手段12は第１段階として前記目候補群記憶
手段11が記憶する群領域から例えば第３図（Ｃ）に例示
した領域50と領域51を選択した後、上記領域50の例えば
重心位置を第８図（Ａ）の点PERに、上記領域51の例え
ば重心位置を第８図（Ａ）の点PELにそれぞれ対応づ
け、第２段階として前記領域50と51の例えば重心間距離 （７） を算出して第８図（Ａ）に示すパラメータＬの値を定
め、第３段階として前記口候補群記憶手段16が記憶する
領域群のうち例えば重心の位置を第８図（Ａ）に示す点
PMに対応づけた場合に前記顔構造記憶手段15が記憶する
式（１−１）を満たす例えば第４図（Ｂ）に例示した領
域60を選択し、第４図として、例えば第２の原理に従っ
て前記領域50,51,及び60の重心位置を頂点とする第５図
に例示した三角形80の面積Stを算出した後、第４図
（Ａ）に例示した肌色領域画像ｈ（x,y）の穴を含めた
面積をＳとしたとき、適当に定めた定数s0,s1を用いた
条件 s1＞St/S＞s0 （８） が満たされるまで、前記第１段階から第４段階までの処
理をくり返し、第５段階として例えば第１成分が右目の
領域番号、第２成分が左目の領域番号、第３成分が右眉
の領域番号、第４成分が左眉の領域番号、第５成分が口
の領域番号、第６成分が得点を意味する６次元ベクトル Ｍ＝（m1,m2,m3,m4,m5,m6） （９） を用意し、上記ベクトルの第３成分と第４成分と第６成
分を初期化した後例えば第５図に示す領域の番号50,51,
60をそれぞれ式（８）に示すベクトルＭの成分 m1,m2,m5 （10） に代入し、第６段階として前記領域50,51,60に対して刊
行物（“Digital Picture Processing",Second Editio
n,Volume2,ACADEMIC PRESS,PP.286−290,1982.）に記載
されている手法で求まる長軸方向と短軸方向の例えば各
標準偏差の比 ζ50,ζ51,ζ60 （11） が例えば適当に定めた定数a1,a2,a3,a4を用いた条件 を満たす場合には前記目候補群記憶手段11が記憶する領
域群のうち、例えば重心位置を第８図（Ａ）に示す点P
ERとPBLに対応づけた場合に前記顔構造記憶手段15が記
憶する式（１−１）を満たす例えば第４図（Ｂ）に例示
した領域53を式（９）の第４成分に、領域54を式（９）
の第５成分にそれぞれ代入した後、式（９）の成分とし
て代入されている領域50,51,53,54,60の各主軸方向に関
する第８図（Ｂ）に示したパラメータΘ1,Θ2,Θ3,Θ4,
Θ５を算出し、上記パラメータが前記顔構造記憶手段15
が記憶する式（１−２）を満たさない場合には式（９）
の第６成分から例えば１を減算し、第７段階として第１
段階から第６段階の処理を前記目候補群記憶手段11が記
憶する領域のすべての組み合わせについて実行して式
（９）に示すベクトルを複数個合成した後、上記ベクト
ルの第６成分が最大であるベクトルに対して前記顔構造
記憶手段15が記憶する式（１−１）と式（１−２）の条
件として示されている区間を狭くして第６段階と同様の
処理を行い、以上の処理を、式（９）に示すベクトルの
第６成分が最大であるベクトルの個数が１つになるまで
続け、第８段階として以上の処理で１つになった式
（９）のベクトルを表示手段13に出力した後、上記表示
手段13を起動して処理を終了する。
起動された上記表示手段13は前記顔構造照合手段12が
出力するベクトルの第１成分、第２成分、第３成分、第
４成分、及び第５成分はそれぞれ右目領域、左目領域、
右眉領域、左眉領域及び口領域であると判断して前記目
候補群記憶手段11が記憶する領域のうち、上記ベクトル
の第１成分と第２成分と第３成分と第４成分が示す番号
の例えば第６図（Ａ）に例示する画像90と、前記口候補
群記憶手段17が記憶する領域のうち、上記ベクトルの第
５成分が示す番号の例えば第６図（Ｂ）に示す画像91を
例えばCRTに表示し、以上ですべての処理を終了する。
出力するベクトルの第１成分、第２成分、第３成分、第
４成分、及び第５成分はそれぞれ右目領域、左目領域、
右眉領域、左眉領域及び口領域であると判断して前記目
候補群記憶手段11が記憶する領域のうち、上記ベクトル
の第１成分と第２成分と第３成分と第４成分が示す番号
の例えば第６図（Ａ）に例示する画像90と、前記口候補
群記憶手段17が記憶する領域のうち、上記ベクトルの第
５成分が示す番号の例えば第６図（Ｂ）に示す画像91を
例えばCRTに表示し、以上ですべての処理を終了する。
以上の処理において、目候補群記憶手段11と顔画像記
憶手段14と口候補群記憶手段17と顔構造記憶手段15は例
えばメモリで構成でき、表示手段13は例えばメモリとCR
Tと現在のディスプレイ技術で構成でき、制御手段18は
例えばメモリとマイクロプロセサで構成できる。
憶手段14と口候補群記憶手段17と顔構造記憶手段15は例
えばメモリで構成でき、表示手段13は例えばメモリとCR
Tと現在のディスプレイ技術で構成でき、制御手段18は
例えばメモリとマイクロプロセサで構成できる。
（実施例２） 以下、本発明について図面を用いて第２の実施例を詳
細に説明する。第７図は、例えば第２図（Ａ）に例示す
る入力画像を構成する領域のうち、目、眉、及び口に対
応する領域を出力する第２の実施例を示すブロック図で
ある。
細に説明する。第７図は、例えば第２図（Ａ）に例示す
る入力画像を構成する領域のうち、目、眉、及び口に対
応する領域を出力する第２の実施例を示すブロック図で
ある。
第７図において、14は例えばTVカメラの出力のうち、
第２図（Ａ）に例示する顔画像40を記憶する顔画像記憶
手段、15は第８図（Ａ）と第８図（Ｂ）に例示した顔構
造のモデルをそれぞれ式（１−１）と（１−２）の表現
で記憶する顔構造記憶手段である。
第２図（Ａ）に例示する顔画像40を記憶する顔画像記憶
手段、15は第８図（Ａ）と第８図（Ｂ）に例示した顔構
造のモデルをそれぞれ式（１−１）と（１−２）の表現
で記憶する顔構造記憶手段である。
動作は、例えば制御手段18が閾値決定手段19を起動し
て始まる。起動された上記閾値決定手段19は第１段階と
して例えば前記顔画像40を処理して第２図（Ｂ）に例示
する画素値のヒストグラム41を作成し、第２段階として
上記ヒストグラム41において例えば予め与えておいた黒
色の画素値42に最も近いピークを与える画素値43を求
め、第３段階として前記ヒストグラム41において例えば
上記画素値43よりも画素値が大きくかつ最小である上記
ヒストグラム41の極小点を示す画素値44をみつけ、第４
段階として前記ヒストグラム41において例えば予め与え
ておいた肌色領域の画素値45に最も近いピークを与える
画素値46を求め、第５段階として前記ヒストグラム41に
おいて例えば上記画素値46よりも画素値が小くさくかつ
最大である前記ヒストグラム41の極小点を示す画素値40
をみつけ、第６段階として前記ヒストグラム41において
例えば上記画素値46よりも画素値が大きくかつ最小であ
る前記ヒストグラム41の極小点を示す画素値47をみつ
け、第７段階として前記画素値44と40と47をそれぞれ変
数 TL,TSO＜TSI （13） として閾値記憶手段９に記憶して処理を終了する。
て始まる。起動された上記閾値決定手段19は第１段階と
して例えば前記顔画像40を処理して第２図（Ｂ）に例示
する画素値のヒストグラム41を作成し、第２段階として
上記ヒストグラム41において例えば予め与えておいた黒
色の画素値42に最も近いピークを与える画素値43を求
め、第３段階として前記ヒストグラム41において例えば
上記画素値43よりも画素値が大きくかつ最小である上記
ヒストグラム41の極小点を示す画素値44をみつけ、第４
段階として前記ヒストグラム41において例えば予め与え
ておいた肌色領域の画素値45に最も近いピークを与える
画素値46を求め、第５段階として前記ヒストグラム41に
おいて例えば上記画素値46よりも画素値が小くさくかつ
最大である前記ヒストグラム41の極小点を示す画素値40
をみつけ、第６段階として前記ヒストグラム41において
例えば上記画素値46よりも画素値が大きくかつ最小であ
る前記ヒストグラム41の極小点を示す画素値47をみつ
け、第７段階として前記画素値44と40と47をそれぞれ変
数 TL,TSO＜TSI （13） として閾値記憶手段９に記憶して処理を終了する。
上記閾値決定手段19が処理を終了すると、前記制御手
段18は目候補群発見手段10を起動する。起動された上記
目候補群発見手段10は前記閾値記憶手段９が記憶する式
（13）に示すTLを式（３）に示すTLの値として用いて前
記第１の実施例で説明した手順と同様に動作して処理を
終了する。
段18は目候補群発見手段10を起動する。起動された上記
目候補群発見手段10は前記閾値記憶手段９が記憶する式
（13）に示すTLを式（３）に示すTLの値として用いて前
記第１の実施例で説明した手順と同様に動作して処理を
終了する。
上記目候補群発見手段10が処理を終了すると、前記制
御手段18は口候補群発見手段16を起動する。起動された
上記口候補群発見手段16は前記閾値記憶手段９が記憶す
る式（13）に示すTSOとTSIを式（５）に示すTSOとTSIの
値としてそれぞれ用いて前記第１の実施例で説明した手
順と同様に動作して処理を終了する。
御手段18は口候補群発見手段16を起動する。起動された
上記口候補群発見手段16は前記閾値記憶手段９が記憶す
る式（13）に示すTSOとTSIを式（５）に示すTSOとTSIの
値としてそれぞれ用いて前記第１の実施例で説明した手
順と同様に動作して処理を終了する。
上記口候補群発見手段16が処理を終了した後の動作は
前記第１実施例で説明した手順と同様に進み、以上です
べての処理を終了する。
前記第１実施例で説明した手順と同様に進み、以上です
べての処理を終了する。
以上の説明において、閾値記憶手段19と目候補群記憶
手段11と顔画像記憶手段14と口候補群発見手段17と顔構
造記憶手段15は例えばメモリで構成でき、表示手段13は
例えばメモリCRTと現在のディスプレイ技術で構成で
き、制御手段18は例えばメモリとマイクロプロセサで構
成できる。
手段11と顔画像記憶手段14と口候補群発見手段17と顔構
造記憶手段15は例えばメモリで構成でき、表示手段13は
例えばメモリCRTと現在のディスプレイ技術で構成で
き、制御手段18は例えばメモリとマイクロプロセサで構
成できる。
（発明の効果） 以上で説明した第１の発明は写っている顔の方向に関
係なく目、眉、及び口領域を検出できる効果があり、第
２の発明は上記第１の発明の効果に加えて多くの入力画
像に対して第１の発明より適切に目、眉、及び口に対応
する領域を選択できるので、その結果、処理の精度を改
善できる効果がある。
係なく目、眉、及び口領域を検出できる効果があり、第
２の発明は上記第１の発明の効果に加えて多くの入力画
像に対して第１の発明より適切に目、眉、及び口に対応
する領域を選択できるので、その結果、処理の精度を改
善できる効果がある。
第１図は本発明の第１の実施例を示すブロック図、第２
図（Ａ），（Ｂ）、第３図（Ａ），（Ｂ），（Ｃ）、第
４図（Ａ），（Ｂ）、第５図、第６図（Ａ），（Ｂ）は
第１の実施例の動作を説明するための図、第７図は第２
の実施例を示すブロック図、第８図（Ａ），（Ｂ）は本
発明の原理を説明するための図、第９図、第10図は従来
技術を説明するための図である。 図において、10は目候補群発見手段、11は目候補群記憶
手段、14は顔画像記憶手段、12は顔構造記憶手段、16は
口候補群発見手段、17は口候補群記憶手段、19は閾値決
定手段、39は実施例で用いた入力画像、41は実施例で用
いた入力画像のヒストグラムである。
図（Ａ），（Ｂ）、第３図（Ａ），（Ｂ），（Ｃ）、第
４図（Ａ），（Ｂ）、第５図、第６図（Ａ），（Ｂ）は
第１の実施例の動作を説明するための図、第７図は第２
の実施例を示すブロック図、第８図（Ａ），（Ｂ）は本
発明の原理を説明するための図、第９図、第10図は従来
技術を説明するための図である。 図において、10は目候補群発見手段、11は目候補群記憶
手段、14は顔画像記憶手段、12は顔構造記憶手段、16は
口候補群発見手段、17は口候補群記憶手段、19は閾値決
定手段、39は実施例で用いた入力画像、41は実施例で用
いた入力画像のヒストグラムである。
Claims (3)
- 【請求項１】顔画像を検出する際に、顔の特徴の候補の
組を、顔面に対する上記候補の位置を頂点とする図形の
面積比で選別する顔画像検出方法。 - 【請求項２】顔の構造を記憶する顔構造記憶手段と、顔
画像を記憶する顔画像記憶手段と、上記顔画像記憶手段
が記憶する画像から目に対応する領域の候補を検出する
目候補群発見手段と、上記目候補群発見手段が検出した
領域群を記憶する目候補群記憶手段と、前記顔画像記憶
手段が記憶する画像から、肌に該当する領域を検出し、
前記肌に該当する領域に囲まれた領域を口に対応する領
域の候補として検出する口候補群発見手段と、上記口候
補群発見手段が検出した領域群を記憶する口候補群記憶
手段と、前記目候補群記憶手段が記憶する領域と前記口
候補群記憶手段が記憶する領域を組み合わせた顔候補群
を前記顔構造記憶手段が記憶する顔の構造と照合する顔
構造照合手段を具備し、前記顔画像の目と口に対応する
領域を発見する顔画像検出装置。 - 【請求項３】顔面に対する顔の特徴の位置を頂点とする
図形の面積比を、顔の構造として少なくとも記憶する顔
構造記憶手段と、顔画像を記憶する顔画像記憶手段と、
上記顔画像記憶手段が記憶する画像から目に対応する領
域の候補を検出する目候補群発見手段と、上記目候補群
発見手段が検出した領域群を記憶する目候補群記憶手段
と、前記顔画像記憶手段が記憶する画像から口に対応す
る領域の候補を検出する口候補群発見手段と、上記口候
補群発見手段から検出した領域群を記憶する口候補群記
憶手段と、前記目候補群記憶手段が記憶する領域と前記
口候補群記憶手段が記憶する領域を組み合わせた顔候補
群を作成し、少なくとも２つの目候補領域と口候補領域
について領域内に代表点を設定して各領域の代表点を頂
点とする図形の面積と顔面の面積の比を求め、前記顔構
造記憶手段が記憶する顔の構造と照合する顔構造照合手
段を具備し、前記顔画像の目と口に対応する領域を発見
する顔画像検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63147256A JP2767814B2 (ja) | 1988-06-14 | 1988-06-14 | 顔画像検出方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63147256A JP2767814B2 (ja) | 1988-06-14 | 1988-06-14 | 顔画像検出方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH01314385A JPH01314385A (ja) | 1989-12-19 |
| JP2767814B2 true JP2767814B2 (ja) | 1998-06-18 |
Family
ID=15426119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63147256A Expired - Fee Related JP2767814B2 (ja) | 1988-06-14 | 1988-06-14 | 顔画像検出方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2767814B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005008593A1 (ja) | 2003-07-18 | 2005-01-27 | Canon Kabushiki Kaisha | 画像処理装置、撮像装置、画像処理方法 |
| US7577297B2 (en) | 2002-12-16 | 2009-08-18 | Canon Kabushiki Kaisha | Pattern identification method, device thereof, and program thereof |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07311833A (ja) * | 1994-05-17 | 1995-11-28 | Nec Corp | 人物の顔の検出装置 |
| JP4204336B2 (ja) | 2003-01-30 | 2009-01-07 | 富士通株式会社 | 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム |
| WO2007074844A1 (ja) * | 2005-12-28 | 2007-07-05 | Kao Corporation | 顔パーツの位置の検出方法及び検出システム |
| JP4530173B2 (ja) * | 2006-04-17 | 2010-08-25 | 花王株式会社 | 顔パーツの位置の検出方法及び検出システム |
| JP4725900B2 (ja) * | 2008-03-28 | 2011-07-13 | Ｎｅｃインフロンティア株式会社 | 顔画像特徴抽出方法、その装置及びそのプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61100872A (ja) * | 1984-10-23 | 1986-05-19 | Sony Corp | 個体判別方法 |
| JPS61145690A (ja) * | 1984-12-19 | 1986-07-03 | Matsushita Electric Ind Co Ltd | 顔の特徴部分の認識装置 |
| JPS6322397A (ja) * | 1986-07-04 | 1988-01-29 | エムケ−精工株式会社 | オイル交換装置 |
-
1988
- 1988-06-14 JP JP63147256A patent/JP2767814B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61100872A (ja) * | 1984-10-23 | 1986-05-19 | Sony Corp | 個体判別方法 |
| JPS61145690A (ja) * | 1984-12-19 | 1986-07-03 | Matsushita Electric Ind Co Ltd | 顔の特徴部分の認識装置 |
| JPS6322397A (ja) * | 1986-07-04 | 1988-01-29 | エムケ−精工株式会社 | オイル交換装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7577297B2 (en) | 2002-12-16 | 2009-08-18 | Canon Kabushiki Kaisha | Pattern identification method, device thereof, and program thereof |
| WO2005008593A1 (ja) | 2003-07-18 | 2005-01-27 | Canon Kabushiki Kaisha | 画像処理装置、撮像装置、画像処理方法 |
| US8942436B2 (en) | 2003-07-18 | 2015-01-27 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
| EP2955662A1 (en) | 2003-07-18 | 2015-12-16 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
| EP3358501A1 (en) | 2003-07-18 | 2018-08-08 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH01314385A (ja) | 1989-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4723834B2 (ja) | 映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置 | |
| EP1650711B1 (en) | Image processing device, imaging device, image processing method | |
| CN109952594B (zh) | 图像处理方法、装置、终端及存储介质 | |
| US7095879B2 (en) | System and method for face recognition using synthesized images | |
| EP1953675B1 (en) | Image processing for face and face expression recognition | |
| KR0158038B1 (ko) | 개인식별장치 | |
| WO2022095721A1 (zh) | 参数估算模型的训练方法、装置、设备和存储介质 | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| JP2005056388A (ja) | 画像処理装置、画像処理方法、撮像装置 | |
| CN111783511A (zh) | 美妆处理方法、装置、终端以及存储介质 | |
| US6975763B2 (en) | Shade component removing apparatus and shade component removing method for removing shade in image | |
| JP2007272435A (ja) | 顔特徴抽出装置及び顔特徴抽出方法 | |
| JP3993029B2 (ja) | 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体 | |
| JP2000311248A (ja) | 画像処理装置 | |
| JP2005165984A (ja) | 人物顔の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラム | |
| WO2024001095A1 (zh) | 面部表情识别方法、终端设备及存储介质 | |
| JP2767814B2 (ja) | 顔画像検出方法及び装置 | |
| CN113344837B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| JP2009205283A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP3577908B2 (ja) | 顔画像認識システム | |
| Sheu et al. | Automatic generation of facial expression using triangular geometric deformation | |
| CN112990047B (zh) | 一种结合面部角度信息的多姿态人脸验证方法 | |
| WO2024051593A1 (en) | Systems and methods for image processing | |
| US11080920B2 (en) | Method of displaying an object | |
| KR20010084996A (ko) | 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |