JP3454726B2 - 顔向き検出方法及びその装置 - Google Patents
顔向き検出方法及びその装置Info
- Publication number
- JP3454726B2 JP3454726B2 JP26960098A JP26960098A JP3454726B2 JP 3454726 B2 JP3454726 B2 JP 3454726B2 JP 26960098 A JP26960098 A JP 26960098A JP 26960098 A JP26960098 A JP 26960098A JP 3454726 B2 JP3454726 B2 JP 3454726B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- skin color
- information
- feature points
- color area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、カメラにより顔の
向きを検出する方法及びその装置に関する。
向きを検出する方法及びその装置に関する。
【０００２】
【従来の技術】従来より、カメラを用いて顔の向きを検
出する技術、例えば、顔の特徴点である両目の目尻及び
口にマーカを貼り付け、両目間距離及び目と口間距離の
実測値を検出装置に登録することにより、この値を用い
て顔の向きを検出する技術（電子情報通信学会論文誌D-
II Vol.J72-D-II No.9 pp.1441-1447 1989年9月）等が
提案されている。
出する技術、例えば、顔の特徴点である両目の目尻及び
口にマーカを貼り付け、両目間距離及び目と口間距離の
実測値を検出装置に登録することにより、この値を用い
て顔の向きを検出する技術（電子情報通信学会論文誌D-
II Vol.J72-D-II No.9 pp.1441-1447 1989年9月）等が
提案されている。
【０００３】
【発明が解決しようとする課題】しかし、従来の技術で
は、測定するユーザの顔にマーカを貼り付ける等の行為
や、実際に両目間距離及び目口間距離を実測しなければ
ならず、ユーザに負担をかけ実用化には不向きであると
いう問題点を有していた。本発明は、ユーザに負担をか
けず、人間の自然な動きである傾きを含む顔の向きを検
出する方法及びその装置を提供する。
は、測定するユーザの顔にマーカを貼り付ける等の行為
や、実際に両目間距離及び目口間距離を実測しなければ
ならず、ユーザに負担をかけ実用化には不向きであると
いう問題点を有していた。本発明は、ユーザに負担をか
けず、人間の自然な動きである傾きを含む顔の向きを検
出する方法及びその装置を提供する。
【０００４】
【課題を解決するための手段】本発明の請求項１では、
予め顔の肌色領域の重心点と顔の特徴点とから参照パラ
メータを生成し、該参照パラメータから推定された回転
位置を中心として予め定めた３軸方向の回転幅とピッチ
に基いて座標位置情報を生成し、前記肌色領域の重心点
と顔の特徴点との相対位置関係の基準となる情報を記憶
し、顔を撮像し、該撮像された顔画像から肌色領域の重
心点と顔の特徴点との相対位置関係の情報を算出し、該
算出した情報と前記基準となる情報とに基づいて顔の傾
きを含む向きを検出することを特徴とする。
予め顔の肌色領域の重心点と顔の特徴点とから参照パラ
メータを生成し、該参照パラメータから推定された回転
位置を中心として予め定めた３軸方向の回転幅とピッチ
に基いて座標位置情報を生成し、前記肌色領域の重心点
と顔の特徴点との相対位置関係の基準となる情報を記憶
し、顔を撮像し、該撮像された顔画像から肌色領域の重
心点と顔の特徴点との相対位置関係の情報を算出し、該
算出した情報と前記基準となる情報とに基づいて顔の傾
きを含む向きを検出することを特徴とする。
【０００５】請求項２では、予め顔の肌色領域の重心点
と顔の特徴点とから参照パラメータを生成し、該参照パ
ラメータから推定された回転位置を中心として予め定め
た３軸方向の回転幅とピッチに基いて座標位置情報を生
成し、前記肌色領域の重心点と顔の特徴点との相対位置
関係の基準となる情報を記憶し、顔を撮像し、該撮像さ
れた顔画像から肌色領域を抽出し、該肌色領域から肌色
重心点及び顔の特徴点の領域を抽出し、該肌色領域から
肌色重心点及び顔の特徴点の相対位置関係の情報を算出
し、該算出した情報と前記基準となる情報とに基づいて
顔の傾きを含む向きを検出することを特徴とする。
と顔の特徴点とから参照パラメータを生成し、該参照パ
ラメータから推定された回転位置を中心として予め定め
た３軸方向の回転幅とピッチに基いて座標位置情報を生
成し、前記肌色領域の重心点と顔の特徴点との相対位置
関係の基準となる情報を記憶し、顔を撮像し、該撮像さ
れた顔画像から肌色領域を抽出し、該肌色領域から肌色
重心点及び顔の特徴点の領域を抽出し、該肌色領域から
肌色重心点及び顔の特徴点の相対位置関係の情報を算出
し、該算出した情報と前記基準となる情報とに基づいて
顔の傾きを含む向きを検出することを特徴とする。
【０００６】請求項３乃至請求項６では、請求項１又は
請求項２のいずれかに於いて、前記顔の特徴点は、目又
は眉、及び口又は鼻であることを特徴とする。請求項７
では、顔を撮像する撮像手段と、該撮像手段により撮像
された顔画像から肌色領域の重心点と顔の特徴点との相
対位置関係の情報を算出する算出手段と、予め顔の肌色
領域の重心点と顔の特徴点とから生成された参照パラメ
ータに従って推定された回転位置を中心として定めた３
軸方向の回転幅とピッチに基いて座標位置情報を生成
し、前記肌色領域の重心点と顔の特徴点との相対位置関
係の基準となる情報を記憶する基準値記憶手段とを備
え、前記算出した情報と前記基準となる情報とに基づい
て顔の傾きを含む向きを検出することを特徴とする。
請求項２のいずれかに於いて、前記顔の特徴点は、目又
は眉、及び口又は鼻であることを特徴とする。請求項７
では、顔を撮像する撮像手段と、該撮像手段により撮像
された顔画像から肌色領域の重心点と顔の特徴点との相
対位置関係の情報を算出する算出手段と、予め顔の肌色
領域の重心点と顔の特徴点とから生成された参照パラメ
ータに従って推定された回転位置を中心として定めた３
軸方向の回転幅とピッチに基いて座標位置情報を生成
し、前記肌色領域の重心点と顔の特徴点との相対位置関
係の基準となる情報を記憶する基準値記憶手段とを備
え、前記算出した情報と前記基準となる情報とに基づい
て顔の傾きを含む向きを検出することを特徴とする。
【０００７】請求項８では、顔を撮像する撮像手段と、
該撮像手段により撮像された顔画像から肌色領域を抽出
する肌色領域抽出手段と、該肌色領域抽出手段により抽
出された肌色領域から肌色領域の重心点と顔の特徴点の
領域を抽出する顔特徴点抽出手段と、前記肌色領域抽出
手段及び顔特徴点抽出手段により抽出された肌色領域の
重心点と顔の特徴点との相対位置関係の情報を算出する
算出手段と、予め顔の肌色領域の重心点と顔の特徴点と
から生成された参照パラメータに従って推定された回転
位置を中心として定めた３軸方向の回転幅とピッチに基
いて座標位置情報を生成し、前記肌色領域の重心点と顔
の特徴点との相対位置関係の基準となる情報を記憶する
基準値記憶手段とを備え、前記算出した情報と前記基準
となる情報とに基づいて顔の傾きを含む向きを検出する
ことを特徴とする。
該撮像手段により撮像された顔画像から肌色領域を抽出
する肌色領域抽出手段と、該肌色領域抽出手段により抽
出された肌色領域から肌色領域の重心点と顔の特徴点の
領域を抽出する顔特徴点抽出手段と、前記肌色領域抽出
手段及び顔特徴点抽出手段により抽出された肌色領域の
重心点と顔の特徴点との相対位置関係の情報を算出する
算出手段と、予め顔の肌色領域の重心点と顔の特徴点と
から生成された参照パラメータに従って推定された回転
位置を中心として定めた３軸方向の回転幅とピッチに基
いて座標位置情報を生成し、前記肌色領域の重心点と顔
の特徴点との相対位置関係の基準となる情報を記憶する
基準値記憶手段とを備え、前記算出した情報と前記基準
となる情報とに基づいて顔の傾きを含む向きを検出する
ことを特徴とする。
【０００８】請求項９乃至請求項１２では、請求項７又
は請求項８のいずれかに於いて、前記顔の特徴点は、目
又は眉、及び口又は鼻であることを特徴とする。
は請求項８のいずれかに於いて、前記顔の特徴点は、目
又は眉、及び口又は鼻であることを特徴とする。
【０００９】
【発明の実施の形態】本発明の顔向き検出方法を用いた
検出装置を図に従って説明する。図１は顔向き検出を行
う検出の機能ブロック図であり、１はレンズやカラーＣ
ＣＤ等により構成され撮像画像をカラー情報として出力
するカメラ、３はカメラ１から供給される撮像画像情報
から肌色領域を抽出する肌色抽出部、５は肌色抽出部３
により抽出された肌色領域から目・口・眉・鼻等の顔を
形成する部分（特徴点）を抽出する顔特徴点抽出部、７
は顔特徴点抽出部５により抽出された目・口・眉・鼻等
の特徴点の情報に基づき、顔の向きを推定する顔向抽出
部、９は肌色抽出部３及び顔特徴点抽出部５及び顔向抽
出部７の情報を記憶するパラメータ記憶部である。この
肌色抽出部３及び顔特徴点抽出部５及び顔向抽出部７
は、実際には、夫々の処理を行うプログラム等の各種デ
ータを格納したメモリ（図示せず）と、該プログラムに
従い所定の処理を行うＣＰＵ（図示せず）等から構成さ
れている。図２は顔向き検出を行う検出装置システムの
一例であり、コンピュータ端末Ｐに、前述構成の顔向き
検出処理が搭載されているものとする。
検出装置を図に従って説明する。図１は顔向き検出を行
う検出の機能ブロック図であり、１はレンズやカラーＣ
ＣＤ等により構成され撮像画像をカラー情報として出力
するカメラ、３はカメラ１から供給される撮像画像情報
から肌色領域を抽出する肌色抽出部、５は肌色抽出部３
により抽出された肌色領域から目・口・眉・鼻等の顔を
形成する部分（特徴点）を抽出する顔特徴点抽出部、７
は顔特徴点抽出部５により抽出された目・口・眉・鼻等
の特徴点の情報に基づき、顔の向きを推定する顔向抽出
部、９は肌色抽出部３及び顔特徴点抽出部５及び顔向抽
出部７の情報を記憶するパラメータ記憶部である。この
肌色抽出部３及び顔特徴点抽出部５及び顔向抽出部７
は、実際には、夫々の処理を行うプログラム等の各種デ
ータを格納したメモリ（図示せず）と、該プログラムに
従い所定の処理を行うＣＰＵ（図示せず）等から構成さ
れている。図２は顔向き検出を行う検出装置システムの
一例であり、コンピュータ端末Ｐに、前述構成の顔向き
検出処理が搭載されているものとする。
【００１０】以上の様な構成の顔向き検出の動作につい
て、図３のフローチャートに従い説明する。まず、ステ
ップＳ１に於いて、パラメータ記憶部９に参照用パラメ
ータ（基準値パラメータ）が登録されているか否かを判
断する。登録されている場合、ステップＳ２に進み、登
録されていない場合、ステップＳ１０に進み、参照用パ
ラメータの登録を行う。
て、図３のフローチャートに従い説明する。まず、ステ
ップＳ１に於いて、パラメータ記憶部９に参照用パラメ
ータ（基準値パラメータ）が登録されているか否かを判
断する。登録されている場合、ステップＳ２に進み、登
録されていない場合、ステップＳ１０に進み、参照用パ
ラメータの登録を行う。
【００１１】ステップＳ１０では、参照用パラメータを
登録する際、キャリブレーションを行う。つまり、ユー
ザ甲に対して、ＣＲＴ画面上２０の所定の位置に注視用
マーカを表示し、その表示した時のユーザ甲の正面顔画
像をカメラ１で撮像し、後述するステップＳ２乃至ステ
ップＳ８の処理と同様の処理を行い、今後の処理の基準
となる参照用のパラメータデータとしてパラメータ記憶
部９に登録しておく。登録するパラメータデータは、図
４（ｂ）に表す様な、ユーザ甲の顔の肌色領域の重心位
置ＳＧ(Xsg,Ysg)、顔の幅である肌色領域の横幅Ｈｗ、
肌色領域重心位置ＳＧ(Xsg,Ysg)からの相対位置で表さ
れる顔の特徴点である右目ＲＥ(Xre,Yre)、左目ＬＥ(Xl
e,Yle)、口Ｍ(Xm,Ym)の座標位置である。
登録する際、キャリブレーションを行う。つまり、ユー
ザ甲に対して、ＣＲＴ画面上２０の所定の位置に注視用
マーカを表示し、その表示した時のユーザ甲の正面顔画
像をカメラ１で撮像し、後述するステップＳ２乃至ステ
ップＳ８の処理と同様の処理を行い、今後の処理の基準
となる参照用のパラメータデータとしてパラメータ記憶
部９に登録しておく。登録するパラメータデータは、図
４（ｂ）に表す様な、ユーザ甲の顔の肌色領域の重心位
置ＳＧ(Xsg,Ysg)、顔の幅である肌色領域の横幅Ｈｗ、
肌色領域重心位置ＳＧ(Xsg,Ysg)からの相対位置で表さ
れる顔の特徴点である右目ＲＥ(Xre,Yre)、左目ＬＥ(Xl
e,Yle)、口Ｍ(Xm,Ym)の座標位置である。
【００１２】更に、正面顔画像に基づき、顔の奥行き
（Ｚ軸方向の値）を推定し、任意の回転位置であるＯ’
(Xo',Yo',Zo')を中心として顔画像をα方向、β方向、
γ方向に回転処理した時の特徴点の空間座標位置、右目
ＲＥ(Xre,Yre,Zre)、左目ＬＥ(Xle,Yle,Zle)、口Ｍ(Xm,
Ym,Zm)を求める（図４（ａ）参照）。そして、その特徴
点の空間座標位置をＸＹ平面上に透視変換して図４
（ｂ）のＸＹ座標位置にし、特徴点の肌色領域重心位置
ＳＧ(Xsg,Ysg)からの相対位置を算出する。つまり、顔
が色々な方向に向いた場合に予測される特徴点の相対位
置を求めるのである。尚、顔の奥行きは、ステレオ手法
やレンジファインダーを用いるとＺ軸方向の座標が正確
に求められる。又、顔の動きから顔の立体モデルを復元
し奥行きを求めてもよい。尚、任意の回転位置Ｏ’(X
o',Yo',Zo')は、首の位置であり、顔の肌色領域の重心
位置ＳＧ(Xsg,Ysg)、顔の幅である肌色領域の横幅Ｈ
ｗ、顔の特徴点である肌色領域の重心位置ＳＧ(Xsg,Ys
g)からの相対位置で表される右目ＲＥ(Xre,Yre)、左目
ＬＥ(Xle,Yle)、口Ｍ(Xm,Ym)の座標位置、顔の奥行き等
から推定することができる。
（Ｚ軸方向の値）を推定し、任意の回転位置であるＯ’
(Xo',Yo',Zo')を中心として顔画像をα方向、β方向、
γ方向に回転処理した時の特徴点の空間座標位置、右目
ＲＥ(Xre,Yre,Zre)、左目ＬＥ(Xle,Yle,Zle)、口Ｍ(Xm,
Ym,Zm)を求める（図４（ａ）参照）。そして、その特徴
点の空間座標位置をＸＹ平面上に透視変換して図４
（ｂ）のＸＹ座標位置にし、特徴点の肌色領域重心位置
ＳＧ(Xsg,Ysg)からの相対位置を算出する。つまり、顔
が色々な方向に向いた場合に予測される特徴点の相対位
置を求めるのである。尚、顔の奥行きは、ステレオ手法
やレンジファインダーを用いるとＺ軸方向の座標が正確
に求められる。又、顔の動きから顔の立体モデルを復元
し奥行きを求めてもよい。尚、任意の回転位置Ｏ’(X
o',Yo',Zo')は、首の位置であり、顔の肌色領域の重心
位置ＳＧ(Xsg,Ysg)、顔の幅である肌色領域の横幅Ｈ
ｗ、顔の特徴点である肌色領域の重心位置ＳＧ(Xsg,Ys
g)からの相対位置で表される右目ＲＥ(Xre,Yre)、左目
ＬＥ(Xle,Yle)、口Ｍ(Xm,Ym)の座標位置、顔の奥行き等
から推定することができる。
【００１３】算出された、特徴点（右目ＲＥ、左目Ｌ
Ｅ、口Ｍ）の肌色領域重心位置ＳＧからの相対位置情報
は、図５に示す様に、回転位置Ｏ’を中心としてα方
向、β方向、γ方向に何度向くと、特徴点である右目Ｒ
Ｅ、左目ＬＥ、口Ｍが（肌色領域重心位置ＳＧからの相
対位置として）どの座標に位置するかを、今後の処理の
基準となるルックアップテーブルデータとしてパラメー
タ記憶部９に登録する。
Ｅ、口Ｍ）の肌色領域重心位置ＳＧからの相対位置情報
は、図５に示す様に、回転位置Ｏ’を中心としてα方
向、β方向、γ方向に何度向くと、特徴点である右目Ｒ
Ｅ、左目ＬＥ、口Ｍが（肌色領域重心位置ＳＧからの相
対位置として）どの座標に位置するかを、今後の処理の
基準となるルックアップテーブルデータとしてパラメー
タ記憶部９に登録する。
【００１４】尚、本実施の形態では、ルックアップテー
ブルデータは、α方向、β方向、γ方向の夫々に−２０
゜〜＋２０゜まで１゜毎に方向を変えた場合の特徴点の
座標位置情報が登録されている。このα方向は、顔の上
下の向きを示し、＋値なら顔が上方向を向き、−値なら
顔が下方向を向いている。又、β方向は、顔の左右の向
きを示し、＋値なら顔が左方向を向き、−値なら顔が右
方向を向いている。又、γ方向は、顔の左右の傾きを示
し、＋値なら顔が右方向に傾き、−値なら顔が左方向に
傾いている。つまり、α方向、β方向、γ方向の値が夫
々０ならば、顔は正面を向いていることになる。又、参
照用パラメータ及びルックアップテーブルデータは、ユ
ーザ甲の特徴点である右目、左目、口の肌色領域重心位
置ＳＧからの相対位置の情報を登録しているが、特徴点
を目の代わりに眉、口の代わりに鼻を特徴点として登録
する様にしてもよい。
ブルデータは、α方向、β方向、γ方向の夫々に−２０
゜〜＋２０゜まで１゜毎に方向を変えた場合の特徴点の
座標位置情報が登録されている。このα方向は、顔の上
下の向きを示し、＋値なら顔が上方向を向き、−値なら
顔が下方向を向いている。又、β方向は、顔の左右の向
きを示し、＋値なら顔が左方向を向き、−値なら顔が右
方向を向いている。又、γ方向は、顔の左右の傾きを示
し、＋値なら顔が右方向に傾き、−値なら顔が左方向に
傾いている。つまり、α方向、β方向、γ方向の値が夫
々０ならば、顔は正面を向いていることになる。又、参
照用パラメータ及びルックアップテーブルデータは、ユ
ーザ甲の特徴点である右目、左目、口の肌色領域重心位
置ＳＧからの相対位置の情報を登録しているが、特徴点
を目の代わりに眉、口の代わりに鼻を特徴点として登録
する様にしてもよい。
【００１５】ステップＳ２に於いて、カメラ１からユー
ザ甲を撮像する。撮像されたカラー画像は図示しないメ
モリに記憶しステップＳ３に進む。尚、撮像する部分と
してユーザ甲の顔部を中心に撮像されるものとする。ス
テップＳ３に於いて、肌色抽出部３は、ステップＳ２に
て記憶したユーザ甲のカラー画像から肌色領域を抽出
し、ステップＳ４に進む。本実施の形態では、人間の色
覚に比較的近い表色系として定義されているＨＳＶ表色
系を用いて入力画像をヒストグラム化し、肌色領域内の
ピーク値を基準肌色色相値とする。この基準肌色色相値
からの差を求め、ヒストグラムを作成し、閾値により２
値化を行い肌色領域を決定する。このＨＳＶ表色系は、
Ｈ（色相）、Ｓ（彩度）、Ｖ（明度）の３要素により構
成されている。尚、本実施の形態では、ＨＳＶ表色系を
用いているが、Ｌ＊ｕ＊ｖ＊表色系、又はＬ＊ａ＊ｂ＊
表色系を用いてもよい。
ザ甲を撮像する。撮像されたカラー画像は図示しないメ
モリに記憶しステップＳ３に進む。尚、撮像する部分と
してユーザ甲の顔部を中心に撮像されるものとする。ス
テップＳ３に於いて、肌色抽出部３は、ステップＳ２に
て記憶したユーザ甲のカラー画像から肌色領域を抽出
し、ステップＳ４に進む。本実施の形態では、人間の色
覚に比較的近い表色系として定義されているＨＳＶ表色
系を用いて入力画像をヒストグラム化し、肌色領域内の
ピーク値を基準肌色色相値とする。この基準肌色色相値
からの差を求め、ヒストグラムを作成し、閾値により２
値化を行い肌色領域を決定する。このＨＳＶ表色系は、
Ｈ（色相）、Ｓ（彩度）、Ｖ（明度）の３要素により構
成されている。尚、本実施の形態では、ＨＳＶ表色系を
用いているが、Ｌ＊ｕ＊ｖ＊表色系、又はＬ＊ａ＊ｂ＊
表色系を用いてもよい。
【００１６】ステップＳ４に於いて、ステップＳ３にて
肌色領域を抽出できたか否かを判断し、肌色領域がある
場合はステップＳ５に進み、肌色領域が無い場合、ユー
ザ甲の顔画像が撮像されていないと判断し、ステップＳ
２に戻り再度撮像する。ステップＳ５に於いて、顔特徴
点抽出部５は、ステップＳ３（肌色抽出部３）により求
めた肌色領域から目及び口領域（特徴点）を抽出する。
本実施の形態では、４方向面特徴によるテンプレートマ
ッチング法を用いて目及び口領域を決定する。
肌色領域を抽出できたか否かを判断し、肌色領域がある
場合はステップＳ５に進み、肌色領域が無い場合、ユー
ザ甲の顔画像が撮像されていないと判断し、ステップＳ
２に戻り再度撮像する。ステップＳ５に於いて、顔特徴
点抽出部５は、ステップＳ３（肌色抽出部３）により求
めた肌色領域から目及び口領域（特徴点）を抽出する。
本実施の形態では、４方向面特徴によるテンプレートマ
ッチング法を用いて目及び口領域を決定する。
【００１７】４方向面特徴によるテンプレートマッチン
グ法とは、画像のエッジ方向から各画素での４方向
（縦、横、右斜め、左斜め）のベクトル場を求め、夫々
の方向に応じて画像を４面に分割した画像を、右目、左
目、口の夫々に対応して形成し、ステップＳ３にて抽出
した肌色領域から、右目、左目、口夫々の分割画像とマ
ッチングさせ、閾値以上でマッチングした箇所を目及び
口領域として決定し、ステップＳ６に進む。
グ法とは、画像のエッジ方向から各画素での４方向
（縦、横、右斜め、左斜め）のベクトル場を求め、夫々
の方向に応じて画像を４面に分割した画像を、右目、左
目、口の夫々に対応して形成し、ステップＳ３にて抽出
した肌色領域から、右目、左目、口夫々の分割画像とマ
ッチングさせ、閾値以上でマッチングした箇所を目及び
口領域として決定し、ステップＳ６に進む。
【００１８】ステップＳ６に於いて、ステップＳ５にて
目及び口領域を正しく抽出できたか否か、即ち、顔と認
識できるか否かを判断し、目及び口領域が抽出できた場
合はステップＳ９に進み、目及び口領域が抽出できない
場合は、目を瞑った場合や手による遮蔽が生じた可能性
があるためステップＳ７に進み、目及び口以外の特徴点
を抽出する。この時の目及び口領域を正しく抽出できた
か否かの判断方法としては、周知の方法を用い、撮像画
像である目及び口のデータとテンプレートデータとの内
積を求め予め定められた閾値以上若しくは閾値未満であ
るかにより決定される。内積の値が予め定められた閾値
以上であれば、目及び口領域が抽出できたと判断し、内
積の値が予め定められた閾値未満であれば、目及び口領
域が抽出できなかったと判断する。
目及び口領域を正しく抽出できたか否か、即ち、顔と認
識できるか否かを判断し、目及び口領域が抽出できた場
合はステップＳ９に進み、目及び口領域が抽出できない
場合は、目を瞑った場合や手による遮蔽が生じた可能性
があるためステップＳ７に進み、目及び口以外の特徴点
を抽出する。この時の目及び口領域を正しく抽出できた
か否かの判断方法としては、周知の方法を用い、撮像画
像である目及び口のデータとテンプレートデータとの内
積を求め予め定められた閾値以上若しくは閾値未満であ
るかにより決定される。内積の値が予め定められた閾値
以上であれば、目及び口領域が抽出できたと判断し、内
積の値が予め定められた閾値未満であれば、目及び口領
域が抽出できなかったと判断する。
【００１９】ステップＳ７に於いて、顔特徴点抽出部５
は、ステップＳ３（肌色抽出部３）により求めた肌色領
域から目及び口領域以外の特徴点である、眉及び鼻を特
徴点として抽出する。本実施の形態では、前述した４方
向面特徴によるテンプレートマッチング法を用いて眉及
び鼻領域を決定し、ステップＳ８に進む。ステップＳ８
に於いて、ステップＳ５にて眉及び鼻領域を正しく抽出
できたか否か、即ち、顔と認識できるか否かを判断し、
眉及び鼻領域が抽出できた場合はステップＳ９に進み、
眉及び鼻領域が抽出できない場合はユーザ甲の顔画像が
撮像されていないと判断し、ステップＳ２に戻り再度撮
像する。この時の眉及び鼻領域を正しく抽出できたか否
かの判断方法としては、前述した周知の方法と同様の方
法を用い、撮像画像である眉及び鼻のデータとテンプレ
ートデータとの内積を求め予め定められた閾値以上若し
くは閾値未満であるかにより決定される。
は、ステップＳ３（肌色抽出部３）により求めた肌色領
域から目及び口領域以外の特徴点である、眉及び鼻を特
徴点として抽出する。本実施の形態では、前述した４方
向面特徴によるテンプレートマッチング法を用いて眉及
び鼻領域を決定し、ステップＳ８に進む。ステップＳ８
に於いて、ステップＳ５にて眉及び鼻領域を正しく抽出
できたか否か、即ち、顔と認識できるか否かを判断し、
眉及び鼻領域が抽出できた場合はステップＳ９に進み、
眉及び鼻領域が抽出できない場合はユーザ甲の顔画像が
撮像されていないと判断し、ステップＳ２に戻り再度撮
像する。この時の眉及び鼻領域を正しく抽出できたか否
かの判断方法としては、前述した周知の方法と同様の方
法を用い、撮像画像である眉及び鼻のデータとテンプレ
ートデータとの内積を求め予め定められた閾値以上若し
くは閾値未満であるかにより決定される。
【００２０】ステップＳ９に於いて、顔向抽出部７は、
ステップＳ３にて抽出した肌色領域と、ステップＳ５若
しくはステップＳ７にて抽出した特徴点を用いて顔の向
きを検出する。本実施の形態では、ステップＳ５にて目
及び口領域が抽出できたものとして説明する。ステップ
Ｓ９では、ステップＳ３及びステップＳ５にて抽出し
た、肌色領域と目及び口領域から顔の向きを検出する。
まず、撮像したユーザ甲の顔の幅である肌色領域の横幅
Ｈｗを求め、撮像された顔画像情報に正規化処理を施
す。この時の正規化処理とは、パラメータ記憶部９に登
録されている顔の幅である肌色領域の横幅の情報と、撮
像された際のユーザ甲の肌色領域の横幅Ｈｗとを比較
し、同じ横幅となる様に撮像した顔画像を拡大若しくは
縮小処理する。
ステップＳ３にて抽出した肌色領域と、ステップＳ５若
しくはステップＳ７にて抽出した特徴点を用いて顔の向
きを検出する。本実施の形態では、ステップＳ５にて目
及び口領域が抽出できたものとして説明する。ステップ
Ｓ９では、ステップＳ３及びステップＳ５にて抽出し
た、肌色領域と目及び口領域から顔の向きを検出する。
まず、撮像したユーザ甲の顔の幅である肌色領域の横幅
Ｈｗを求め、撮像された顔画像情報に正規化処理を施
す。この時の正規化処理とは、パラメータ記憶部９に登
録されている顔の幅である肌色領域の横幅の情報と、撮
像された際のユーザ甲の肌色領域の横幅Ｈｗとを比較
し、同じ横幅となる様に撮像した顔画像を拡大若しくは
縮小処理する。
【００２１】次に、正規化処理が施された顔画像から、
肌色領域重心位置ＳＧ、肌色領域重心位置ＳＧからの相
対位置で表される顔の特徴点である右目ＲＥ(Xre,Yr
e)、左目ＬＥ(Xle,Yle)、口Ｍ(Xm,Ym)の座標位置を求
め、パラメータ記憶部９に登録されているルックアップ
テーブルデータに基づき、同じ座標位置情報を有するα
方向、β方向、γ方向の夫々の向きを抽出し、顔の向き
を判断できる。もし、同じ座標位置情報がルックアップ
テーブルデータに存在しない場合には、各座標位置の誤
差和が最小となる値を示す座標位置情報を有するα方
向、β方向、γ方向の夫々の向きを抽出し、顔の向きを
判断する。例えば、撮像した顔画像では、右目の座標位
置が(-48,11)、左目の座標位置が(34,12)、口の座標位
置が(0,86)とすると、図５のルックアップテーブルデー
タを参照すると、α方向に−１７゜、β方向に０゜、γ
方向に０゜の方向に顔が向いていると判断できる。つま
り、顔が−１７゜下を向いていると判断できる。
肌色領域重心位置ＳＧ、肌色領域重心位置ＳＧからの相
対位置で表される顔の特徴点である右目ＲＥ(Xre,Yr
e)、左目ＬＥ(Xle,Yle)、口Ｍ(Xm,Ym)の座標位置を求
め、パラメータ記憶部９に登録されているルックアップ
テーブルデータに基づき、同じ座標位置情報を有するα
方向、β方向、γ方向の夫々の向きを抽出し、顔の向き
を判断できる。もし、同じ座標位置情報がルックアップ
テーブルデータに存在しない場合には、各座標位置の誤
差和が最小となる値を示す座標位置情報を有するα方
向、β方向、γ方向の夫々の向きを抽出し、顔の向きを
判断する。例えば、撮像した顔画像では、右目の座標位
置が(-48,11)、左目の座標位置が(34,12)、口の座標位
置が(0,86)とすると、図５のルックアップテーブルデー
タを参照すると、α方向に−１７゜、β方向に０゜、γ
方向に０゜の方向に顔が向いていると判断できる。つま
り、顔が−１７゜下を向いていると判断できる。
【００２２】尚、本実施の形態では特徴点として右目、
左目、口を用いて顔の向きを検出しているが、目の代わ
りに眉を特徴点として用いることにより顔の向きを検出
しても同様の結果が得られる。これにより、目を瞑って
いる場合にでも、眉を特徴点とすることにより検出でき
る。又、口の代わりに鼻を特徴点として用いることによ
り顔の向きを検出しても同様の結果が得られる。これに
より、口を手で遮蔽している場合にでも、鼻を特徴点と
することにより検出できる。
左目、口を用いて顔の向きを検出しているが、目の代わ
りに眉を特徴点として用いることにより顔の向きを検出
しても同様の結果が得られる。これにより、目を瞑って
いる場合にでも、眉を特徴点とすることにより検出でき
る。又、口の代わりに鼻を特徴点として用いることによ
り顔の向きを検出しても同様の結果が得られる。これに
より、口を手で遮蔽している場合にでも、鼻を特徴点と
することにより検出できる。
【００２３】以上の様な構成により、ユーザに負担をか
けず人間の自然な顔向きを検出できるため、顔の向きに
よるオペレーション等の手を使わないユーザインタフェ
ースを実現できる。
けず人間の自然な顔向きを検出できるため、顔の向きに
よるオペレーション等の手を使わないユーザインタフェ
ースを実現できる。
【００２４】
【発明の効果】本発明を用いると、オペレータの煩雑な
操作を不要とした顔向き検出が可能となり、顔の向きに
よるオペレーション等の手を使わないユーザインタフェ
ースを実現できる。
操作を不要とした顔向き検出が可能となり、顔の向きに
よるオペレーション等の手を使わないユーザインタフェ
ースを実現できる。
【図１】本発明の顔向き検出を行う機能ブロックの一実
施例を示す図である。
施例を示す図である。
【図２】本発明の顔向き検出を行う検出装置システムの
一実施例を示す図である。
一実施例を示す図である。
【図３】本発明の顔向き検出処理の一実施例を示すフロ
ーチャートである。
ーチャートである。
【図４】本発明の顔向き検出に用いる顔の相対位置の一
実施例を示す模式図である。
実施例を示す模式図である。
【図５】本実施の形態の顔向き検出をするためのルック
アップテーブルの一実施例を示す模式図である。
アップテーブルの一実施例を示す模式図である。
１ カメラ
３ 肌色抽出部
５ 顔特徴点抽出部
７ 顔向抽出部
９ パラメータ記憶部
ＲＥ 右目位置
ＬＥ 左目位置
Ｍ 口位置
Ｈｗ 肌色領域幅
ＳＧ 肌色重心点
Claims (12)
- 【請求項１】 予め顔の肌色領域の重心点と顔の特徴点
とから参照パラメータを生成し、該参照パラメータから
推定された回転位置を中心として予め定めた３軸方向の
回転幅とピッチに基いて座標位置情報を生成し、前記肌
色領域の重心点と顔の特徴点との相対位置関係の基準と
なる情報を記憶し、顔を撮像し、該撮像された顔画像か
ら肌色領域の重心点と顔の特徴点との相対位置関係の情
報を算出し、該算出した情報と前記基準となる情報とに
基づいて顔の傾きを含む向きを検出することを特徴とす
る顔向き検出方法。 - 【請求項２】 予め顔の肌色領域の重心点と顔の特徴点
とから参照パラメータを生成し、該参照パラメータから
推定された回転位置を中心として予め定めた３軸方向の
回転幅とピッチに基いて座標位置情報を生成し、前記肌
色領域の重心点と顔の特徴点との相対位置関係の基準と
なる情報を記憶し、顔を撮像し、該撮像された顔画像か
ら肌色領域を抽出し、該肌色領域から肌色重心点及び顔
の特徴点の領域を抽出し、該肌色領域から肌色重心点及
び顔の特徴点の相対位置関係の情報を算出し、該算出し
た情報と前記基準となる情報とに基づいて顔の傾きを含
む向きを検出することを特徴とする顔向き検出方法。 - 【請求項３】 請求項１又は請求項２のいずれかに於い
て、前記顔の特徴点は、目及び口であることを特徴とす
る顔向き検出方法。 - 【請求項４】 請求項１又は請求項２のいずれかに於い
て、前記顔の特徴点は、眉及び口であることを特徴とす
る顔向き検出方法。 - 【請求項５】 請求項１又は請求項２のいずれかに於い
て、前記顔の特徴点は、目及び鼻であることを特徴とす
る顔向き検出方法。 - 【請求項６】 請求項１又は請求項２のいずれかに於い
て、前記顔の特徴点は、眉及び鼻であることを特徴とす
る顔向き検出方法。 - 【請求項７】 顔を撮像する撮像手段と、該撮像手段に
より撮像された顔画像から肌色領域の重心点と顔の特徴
点との相対位置関係の情報を算出する算出手段と、予め
顔の肌色領域の重心点と顔の特徴点とから生成された参
照パラメータに従って推定された回転位置を中心として
定めた３軸方向の回転幅とピッチに基いて座標位置情報
を生成し、前記肌色領域の重心点と顔の特徴点との相対
位置関係の基準となる情報を記憶する基準値記憶手段と
を備え、前記算出した情報と前記基準となる情報とに基
づいて顔の傾きを含む向きを検出することを特徴とする
顔向き検出装置。 - 【請求項８】 顔を撮像する撮像手段と、該撮像手段に
より撮像された顔画像から肌色領域を抽出する肌色領域
抽出手段と、該肌色領域抽出手段により抽出された肌色
領域から肌色領域の重心点と顔の特徴点の領域を抽出す
る顔特徴点抽出手段と、前記肌色領域抽出手段及び顔特
徴点抽出手段により抽出された肌色領域の重心点と顔の
特徴点との相対位置関係の情報を算出する算出手段と、
予め顔の肌色領域の重心点と顔の特徴点とから生成され
た参照パラメータに従って推定された回転位置を中心と
して定めた３軸方向の回転幅とピッチに基いて座標位置
情報を生成し、前記肌色領域の重心点と顔の特徴点との
相対位置関係の基準となる情報を記憶する基準値記憶手
段とを備え、前記算出した情報と前記基準となる情報と
に基づいて顔の傾きを含む向きを検出することを特徴と
する顔向き検出装置。 - 【請求項９】 請求項７又は請求項８のいずれかに於い
て、前記顔の特徴点は、目及び口であることを特徴とす
る顔向き検出装置。 - 【請求項１０】 請求項７又は請求項８のいずれかに於
いて、前記顔の特徴点は、眉及び口であることを特徴と
する顔向き検出装置。 - 【請求項１１】 請求項７又は請求項８のいずれかに於
いて、前記顔の特徴点は、目及び鼻であることを特徴と
する顔向き検出装置。 - 【請求項１２】 請求項７又は請求項８のいずれかに於
いて、前記顔の特徴点は、眉及び鼻であることを特徴と
する顔向き検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26960098A JP3454726B2 (ja) | 1998-09-24 | 1998-09-24 | 顔向き検出方法及びその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26960098A JP3454726B2 (ja) | 1998-09-24 | 1998-09-24 | 顔向き検出方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000097676A JP2000097676A (ja) | 2000-04-07 |
| JP3454726B2 true JP3454726B2 (ja) | 2003-10-06 |
Family
ID=17474631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26960098A Expired - Fee Related JP3454726B2 (ja) | 1998-09-24 | 1998-09-24 | 顔向き検出方法及びその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3454726B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8510156B2 (en) | 2009-12-03 | 2013-08-13 | Panasonic Corporation | Viewing terminal apparatus, viewing statistics-gathering apparatus, viewing statistics-processing system, and viewing statistics-processing method |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003090714A (ja) * | 2001-09-18 | 2003-03-28 | Shigenori Tanaka | 画像処理装置、及び画像処理プログラム |
| GB0200954D0 (en) * | 2002-01-16 | 2002-03-06 | Autoliv Dev | Improvements in or relating to a camera arrangement |
| KR100464079B1 (ko) * | 2002-01-16 | 2004-12-30 | 엘지전자 주식회사 | 화상 통신에서의 얼굴 검출 및 추적 시스템 |
| JP4204336B2 (ja) | 2003-01-30 | 2009-01-07 | 富士通株式会社 | 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム |
| JP4231320B2 (ja) * | 2003-03-31 | 2009-02-25 | 本田技研工業株式会社 | 移動体の検出装置 |
| JP4367010B2 (ja) * | 2003-05-30 | 2009-11-18 | セイコーエプソン株式会社 | システム、プログラムおよび方法 |
| US7197186B2 (en) * | 2003-06-17 | 2007-03-27 | Mitsubishi Electric Research Laboratories, Inc. | Detecting arbitrarily oriented objects in images |
| US7508979B2 (en) * | 2003-11-21 | 2009-03-24 | Siemens Corporate Research, Inc. | System and method for detecting an occupant and head pose using stereo detectors |
| JP4501937B2 (ja) | 2004-11-12 | 2010-07-14 | オムロン株式会社 | 顔特徴点検出装置、特徴点検出装置 |
| JP4956967B2 (ja) * | 2005-11-17 | 2012-06-20 | コニカミノルタホールディングス株式会社 | 認証システム、認証方法およびプログラム |
| JP4093273B2 (ja) | 2006-03-13 | 2008-06-04 | オムロン株式会社 | 特徴点検出装置、特徴点検出方法および特徴点検出プログラム |
| KR100863882B1 (ko) * | 2006-09-27 | 2008-10-15 | 김종헌 | 얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치 |
| JP4951498B2 (ja) * | 2007-12-27 | 2012-06-13 | 日本電信電話株式会社 | 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体 |
| JP5178441B2 (ja) | 2008-10-14 | 2013-04-10 | 三洋電機株式会社 | 電子カメラ |
| JP4927808B2 (ja) | 2008-11-26 | 2012-05-09 | 京セラ株式会社 | カメラ付き機器 |
| JP4998637B1 (ja) * | 2011-06-07 | 2012-08-15 | オムロン株式会社 | 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体 |
| US8711091B2 (en) | 2011-10-14 | 2014-04-29 | Lenovo (Singapore) Pte. Ltd. | Automatic logical position adjustment of multiple screens |
| US11216968B2 (en) | 2017-03-10 | 2022-01-04 | Mitsubishi Electric Corporation | Face direction estimation device and face direction estimation method |
-
1998
- 1998-09-24 JP JP26960098A patent/JP3454726B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8510156B2 (en) | 2009-12-03 | 2013-08-13 | Panasonic Corporation | Viewing terminal apparatus, viewing statistics-gathering apparatus, viewing statistics-processing system, and viewing statistics-processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000097676A (ja) | 2000-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3454726B2 (ja) | 顔向き検出方法及びその装置 | |
| Wang et al. | Frontal-view face detection and facial feature extraction using color and morphological operations | |
| US8086027B2 (en) | Image processing apparatus and method | |
| US6445810B2 (en) | Method and apparatus for personnel detection and tracking | |
| KR0158038B1 (ko) | 개인식별장치 | |
| CN109684951A (zh) | 人脸识别方法、底库录入方法、装置及电子设备 | |
| JPH11288259A (ja) | 省電力制御方法及びその装置 | |
| JP4936491B2 (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
| JP2008102902A (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
| JP2005086682A (ja) | 対象決定装置 | |
| JP2000251078A (ja) | 人物の３次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置 | |
| JPH08287216A (ja) | 顔面内部位認識方法 | |
| JP3144400B2 (ja) | ジェスチャ認識装置及び方法 | |
| JP3970573B2 (ja) | 顔画像認識装置および方法 | |
| JP2002282210A (ja) | 視線検出方法及びその装置 | |
| JP2001291108A (ja) | 画像処理装置およびその方法ならびにプログラム記録媒体 | |
| JP2004062393A (ja) | 注目判定方法及び注目判定装置 | |
| JP2002366958A (ja) | 画像認識方法および画像認識装置 | |
| KR20100121817A (ko) | 눈의 영역을 추적하는 방법 | |
| JP3355068B2 (ja) | 顔画像処理装置 | |
| JP7107380B2 (ja) | 推定装置、推定方法、およびプログラム | |
| JPH06168317A (ja) | 個人識別装置 | |
| JPH08106519A (ja) | 顔方向判定装置及びそれを用いた画像表示装置 | |
| TWI819439B (zh) | 視線追蹤方法及應用其之視線追蹤裝置 | |
| JPH11281661A (ja) | 顔向き検出方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080725 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080725 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090725 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090725 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100725 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100725 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |