JPH10307923A - 顔部品抽出装置および顔の向き検出装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 検出対象者が顔を傾けている場合も、そうで
ない場合も、顔部品を精度よく抽出する。 【解決手段】 カメラ１０より入力した顔画像より顔部
品、例えば鼻孔対を抽出する鼻孔抽出回路２１、及び鼻
孔対の位置に応じて画素の投影方法を決めて画素を投影
し、投影データを作成する投影回路２２を備え、投影デ
ータに基づいて他の顔部品、例えば２つの目を画像より
抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人物の顔面の特
徴、例えば、目、眉、鼻孔、口などの顔部品を抽出する
顔部品抽出装置と、抽出した顔部品を用いて顔の向きを
検出する顔の向き検出装置に関するものである。

【０００２】

【従来の技術】図１８は、例えば、特開平６−１２９８
３４号公報や特開平７−２７１９６４号公報などに示さ
れている従来の顔部品抽出装置の構成を示すブロック図
である。図１８において、１は検出対象者の顔、１０は
検出対象者の顔１を撮影するＣＣＤカメラ、２０はＣＣ
Ｄカメラ１０から出力される画像信号を一時記憶する画
像メモリ、１１は顔画像の画素を投影し、投影データを
作成する投影回路、１２は投影回路１１で作成した投影
データに応じて顔部品を抽出する顔部品抽出回路であ
る。

【０００３】以下、図１９のフロチャートを用いて、従
来の顔部品抽出装置の動作を説明する。まず、Ｓ２にお
いてＣＣＤカメラ１０で検出対象者の顔１の顔画像を取
り込み、画像メモリ２０に記憶する。次に、Ｓ３におい
て顔画像の水平方向に、画素を投影し、投影回路１１で
投影データを作成する。

【０００４】具体的には、画素の濃度値を加算したり、
ある閾値以上（以下）の濃度値を持つ画素の個数を数え
たりする。例として、ある閾値以下の濃度値をもつ黒画
素を数えた例を図２０に示す。次に、Ｓ４において、投
影データに基づき、目などの顔部品を抽出する。図２０
の例では、投影データの上から１番目の山を眉、２番目
の山を目、３番目の山を鼻孔、４番目の山を口とみなし
ている。

【０００５】

【発明が解決しようとする課題】従来の顔部品抽出装置
は以上のように構成されていたので、検出対象者が顔を
傾けていない場合には、図２０のように、投影データに
眉、目、鼻孔、口が分離した山として現れ、顔部品を容
易に抽出することができた。しかし、検出対象者が顔を
傾けている場合や横を向いた場合には、特に眉や目が、
図２１のように分離した山として現れず、それらを分け
て抽出することができなかった。

【０００６】本発明は、上記のような問題点を解消する
ためになされたもので、検出対象者が顔を傾けている場
合もそうでない場合も、目などの顔部品を精度よく抽出
できる顔部品抽出装置と、抽出した顔部品に基づいて顔
の向きを検出する顔の向き検出装置を得ることを目的と
する。

【０００７】

【課題を解決するための手段】この発明の請求項１に係
る顔部品抽出装置は、顔を撮影する撮影手段と、この撮
影手段から出力される画像信号をもとに顔画像を一時記
憶する画像記憶手段と、この画像記憶手段に記憶された
顔画像より１対の顔部品を１組または複数組の候補とし
て抽出する第１の特徴抽出手段と、上記候補ごとに、１
対の顔部品の位置に応じて画素の投影方法を決め、画素
を投影し、投影データを作成する投影手段と、上記候補
ごとに、１対の顔部品の位置と作成した投影データに基
づいて他の顔部品を１つまたは複数の候補として抽出す
る第２の特徴抽出手段と、上記第１および第２の特徴抽
出手段で抽出した候補から顔部品を特定する候補特定手
段とを備えたものである。

【０００８】また、この発明の請求項２に係る顔部品抽
出装置は、上記投影手段が、上記第１の特徴抽出手段で
抽出した１対の顔部品の中心どうしを結ぶ方向に、画素
を投影するものである。また、この発明の請求項３に係
る顔部品抽出装置は、上記投影手段が、上記第１の特徴
抽出手段で抽出した１対の顔部品の中心どうしを結ぶ方
向に対して垂直方向に、画素を投影するものである。

【０００９】また、この発明の請求項４に係る顔部品抽
出装置は、上記投影手段が、上記第１の特徴抽出手段で
抽出した１対の顔部品の位置に応じて顔画像上に所定領
域を設定し、所定領域内の画素だけを投影するものであ
る。

【００１０】また、この発明の請求項５に係る顔部品抽
出装置は、上記第１および第２の特徴抽出手段の抽出結
果に基づいて、顔の状態に関する特徴量を算出する顔特
徴量算出手段を備え、上記候補特定手段が、上記顔特徴
量算出手段の算出結果に応じて、上記顔部品の候補を特
定することを特徴とするものである。

【００１１】また、この発明の請求項６に係る顔部品抽
出装置は、上記顔特徴量算出手段が、上記第１および第
２の特徴抽出手段で抽出した顔部品の候補の組み合わせ
ごとに、顔部品の画像上の絶対位置を用いて、撮影手段
に対する顔の向きを算出し、上記候補特定手段が、上記
顔の向きの算出結果に応じて、上記顔部品の候補を特定
するものである。

【００１２】また、この発明の請求項７に係る顔部品抽
出装置は、上記顔特徴量算出手段が、上記第１および第
２の特徴抽出手段で抽出した顔部品の候補の組み合わせ
ごとに、顔部品の画像上の絶対位置を用いて、顔部品の
撮影手段に対する三次元相対位置を算出し、上記候補特
定手段が、上記三次元相対位置の算出結果に応じて、上
記顔部品の候補を特定するものである。

【００１３】また、この発明の請求項８に係る顔部品抽
出装置は、上記候補特定手段において、上記第１および
第２の特徴抽出手段で抽出した顔部品の候補から顔部品
を特定することができなかった場合には、上記候補特定
手段が、上記第１および第２の特徴抽出手段に対して、
再度顔部品候補を抽出し直すように指示するものであ
る。

【００１４】また、この発明の請求項９に係る顔部品抽
出装置は、上記第１の特徴抽出手段が、上記１対の顔部
品として２つの鼻孔、２つの目、２つの瞳孔、または２
つの眉を抽出するものである。

【００１５】また、この発明の請求項１０に係る顔部品
抽出装置は、上記第１の特徴抽出手段が、頭髪、また
は、顔輪郭に応じて所定領域を設定し、所定領域内より
上記１対の顔部品を抽出するものである。

【００１６】また、この発明の請求項１１に係る顔部品
抽出装置は、上記顔画像を補正する画像補正手段と、顔
画像よりエッジ画像を生成するエッジ検出手段と、を備
え、上記第１および第２の特徴抽出手段および投影手段
が、補正後の顔画像またはエッジ画像より顔部品の抽出
および画素の投影を行うとともに、上記画像補正手段
が、上記候補特定手段が過去に特定した顔部品近傍のエ
ッジ画像内に所定領域を設定し、所定領域内の画素の濃
度値の平均値または分散値の時系列データに応じて補正
方法を変更し、画像を補正するものである。

【００１７】また、この発明の請求項１２に係る顔部品
抽出装置は、上記顔画像を補正する画像補正手段と、顔
画像より二値画像を生成する二値化処理手段と、を備
え、上記第１および第２の特徴抽出手段および投影手段
が、補正後の顔画像または二値画像より顔部品の抽出お
よび画素の投影を行うとともに、上記画像補正手段が、
上記候補特定手段が過去に特定した顔部品近傍の二値画
像内に所定領域を設定し、所定領域内の白画素領域また
は黒画素領域の大きさ、形状、数、相対位置に応じて、
補正方法を変更し、画像を補正するものである。

【００１８】また、この発明の請求項１３に係る顔部品
抽出装置は、上記画像補正手段が、上記撮影手段のゲイ
ン制御により画像を補正するものである。

【００１９】また、この発明の請求項１４に係る顔部品
抽出装置は、上記画像補正手段が、上記画像の濃度値を
補正するものである。

【００２０】また、この発明の請求項１５に係る顔の向
き検出装置は、顔を撮影する撮影手段と、この撮影手段
から出力される画像信号をもとに顔画像を一時記憶する
画像記憶手段と、この画像記憶手段に記憶された顔画像
より１対の顔部品を１組または複数組の候補として抽出
する第１の特徴抽出手段と、上記候補ごとに、１対の顔
部品の位置に応じて画素の投影方法を決め、画素を投影
し、投影データを作成する投影手段と、上記候補ごと
に、１対の顔部品の位置と作成した投影データに基づい
て他の顔部品を１つまたは複数の候補として抽出する第
２の特徴抽出手段と、上記第１および第２の特徴抽出手
段で抽出した候補から顔部品を特定する候補特定手段
と、上記候補特定手段で特定した顔部品の画像上の絶対
位置を用いて、撮影手段に対する顔の向きを算出する顔
の向き算出手段とを備えたものである。

【００２１】また、この発明の請求項１６に係る顔の向
き検出装置は、上記候補特定手段において顔部品が特定
できなかったときには、顔の向き算出手段は、過去に特
定された顔部品の位置および顔の向きの時系列データに
基づいて顔の向きを決定するものである。

【００２２】

【発明の実施の形態】

実施の形態１．図１は、この発明の実施の形態１におけ
る顔部品抽出装置の構成を示すブロック図である。図１
において、１は検出対象者の顔、１０は検出対象者の顔
１を撮影する撮像手段としてのＣＣＤカメラ、２０はＣ
ＣＤカメラ１０から出力される画像信号を一時記憶する
画像メモリ、２１は画像メモリ２０に記憶された顔画像
から画像処理により２つの鼻孔を抽出する第１の特徴抽
出手段としての鼻孔抽出回路、２２は鼻孔抽出回路２１
で抽出した２つの鼻孔の位置に応じて、画素の投影方法
を決め、画像メモリ２０に記憶された顔画像の画素を投
影し、投影データを作成する投影手段としての投影回
路、２３は投影回路２２で作成した投影データと鼻孔抽
出回路２１で抽出した２つの鼻孔の位置に応じて、２つ
の目を抽出する第２の特徴抽出手段としての目抽出回路
である。なお、以下では、２つの鼻孔を鼻孔対と呼ぶこ
とにする。

【００２３】図２は、この発明の実施の形態１における
顔部品抽出装置の処理を示すフローチャートである。ま
ず、Ｓ１１においてＣＣＤカメラ１０で濃淡顔画像を取
り込み、画像メモリ２０に記憶する。次に、鼻孔抽出回
路２１は、Ｓ１２で顔画像から画像処理により鼻孔対を
抽出する。

【００２４】鼻孔対の抽出は、例えば、顔画像を二値化
処理したときの各黒（白）画素領域の形状、密度、相対
位置に基づいて行う。形状は、各黒画素領域を外接する
四角形がほぼ正方形であることを条件とする。また、密
度は、外接四角形の面積に対する黒画素領域の面積があ
る閾値以上であることを条件とする。相対位置に関して
は、黒画素領域が互いに近接していることを条件とす
る。

【００２５】次に、Ｓ１３において鼻孔対の抽出結果を
判定し、鼻孔対が抽出できた場合には、投影回路２２
は、Ｓ１４において鼻孔抽出回路２１より鼻孔対の位置
データを受取り、画素の投影方向を設定する。ここで
は、図３に示すように、鼻孔の中心どうしを結ぶ方向を
投影方向とする。また、投影回路２２は、同時に、鼻孔
の中心どうしを結ぶ方向に対して垂直な方向にも、画素
の投影を行うように設定する。

【００２６】さらに、投影回路２２は、Ｓ１５におい
て、投影する画素を限定するために、鼻孔対の位置デー
タに応じて顔画像上に所定の領域を設定する。Ｓ１６で
は、投影回路２２は、投影方法に基づいて、所定領域内
の画素だけを投影し、投影データを作成する。

【００２７】例えば、鼻孔対の位置データが（Ｘ１，Ｙ
１）および（Ｘ２，Ｙ２）であるときには、以下のよう
に画素を投影する（図４参照）。ただし、以下に説明す
るのは、鼻孔の中心どうしを結ぶ方向への投影方法であ
り、鼻孔の中心どうしを結ぶ方向に対して垂直な方向へ
の投影方法については、同様であるので省略する。

【００２８】まず、投影データを蓄積する一次元配列
ｐ［０］〜ｐ［５００］を用意し、初期値として０を与
える。配列の数５００は、投影範囲に応じて決めればよ
く、これにこだわるものではない。次に、所定領域内の
全ての画素について濃度値を調べ、画素（ｘ，ｙ）の濃
度値が、ある閾値（例えば１００）以下であれば、下式
（１）を満足する一次元配列の要素ｂ、つまり、ｐ
［ｂ］の値に１を加算することにより行う。

【００２９】 ｂ＝［（Ｘ２ − Ｘ１） × ｙ − （Ｙ２ − Ｙ１） × ｘ］ ……（１） ただし、［ ］はガウス記号とする。

【００３０】次に、Ｓ１７において、目抽出回路２３
は、投影データと鼻孔対の位置をもとに、目を抽出す
る。目の抽出は、投影データを記憶している一次元配列
を調べ、ある閾値以上の値をもつ要素の範囲を目として
抽出する（図５参照）。ただし、抽出した２つの目と鼻
孔対（中心）が鋭角三角形を構成し、また、鼻孔を結ぶ
方向と両目を結ぶ方向がほぼ並行となることが条件であ
る。なお、Ｓ１３において鼻孔対が抽出できなかった場
合は、すぐに終了する。

【００３１】以上のように、この実施の形態１では、鼻
孔対の位置をもとに投影方向を変えて設定するので、例
え、顔が傾いていても、目領域を構成する画素からの投
影が分散することなく、投影データに正しく反映され、
安定した目の抽出が行える。また、鼻孔対の位置をもと
に所定領域を設定し、投影する画素を限定するため、他
の顔部品の影響が低減し、安定した目の抽出が行える。

【００３２】なお、この実施の形態１では、まず鼻孔対
を抽出しているが、鼻孔にこだわるものではなく、最終
的に抽出する顔部品によっては、鼻孔の代わりに左右１
対となった顔部品である２つの目、または２つの瞳孔、
または２つの眉を抽出してもよい。また、鼻孔と口
（唇）という組合せでもよい。また、逆に、最終的に抽
出する目の代わりに、瞳孔、眉、口、髪、眼鏡レンズ、
眼鏡フレームを抽出してもよい。

【００３３】また、この実施の形態１では、（１）式を
用いて画素の投影を行っているが、これにこだわるもの
ではなく、ハフ変換の公式等を用いて行ってもよい。ま
た、この実施の形態１では、鼻孔対の位置に応じて投影
方向を変更するが、これにこだわるものではなく、鼻孔
対の位置に応じて画像自体を回転し、回転後の画像にお
ける画素を特定の方向、例えば、水平方向、垂直方向に
投影してもよい。

【００３４】また、この実施の形態１では、投影データ
の作成方法として、ある閾値以上（以下）の濃度値をも
つ画素の個数を数えているが、これにこだわるものでは
なく、投影先の一次元配列の値に画素の濃度値を加算す
るものであってもよい。

【００３５】実施の形態２．図６は、この発明の実施の
形態２における顔部品抽出装置の構成を示すブロック図
である。図６において、２４は画像メモリ２０に記憶さ
れた顔画像から画像処理により鼻孔対の候補を１組また
は複数組抽出する第１の特徴抽出手段としての鼻孔候補
抽出回路、２５は鼻孔候補抽出回路２４で抽出した各鼻
孔対の候補ごとに、それらの位置に応じて画素の投影方
法を決め、画像メモリ２０に記憶された顔画像の画素を
投影し、投影データを作成する投影手段としての投影回
路、２６は投影回路２５で作成した投影データと鼻孔候
補抽出回路２４で抽出した鼻孔対候補の位置に応じて、
各組の鼻孔対候補ごとに目候補を抽出する第２の特徴抽
出手段としての目候補抽出回路、２７は鼻孔候補抽出回
路２４で抽出した鼻孔対候補と目候補抽出回路２６で抽
出した目候補の画像上の絶対位置を用いて、鼻孔対候補
および目候補のカメラに対する三次元相対位置を算出す
る顔特徴量算出手段としての三次元位置算出回路、２８
は三次元位置算出回路２７の算出結果をもとに複数組の
鼻孔対候補と目候補から１組の鼻孔対と目を特定する候
補特定手段としての目・鼻孔特定回路である。その他
は、実施の形態１と同様の働きをする。

【００３６】図７は、この発明の実施の形態２における
顔部品抽出装置の処理を示すフローチャートである。以
下、この装置の動作に関して、図７のフローチャートを
用いて説明する。まず、Ｓ１１においてＣＣＤカメラ１
０で濃淡顔画像を取り込み、画像メモリに記憶する。次
に、鼻孔候補抽出回路２４は、Ｓ２１で顔画像から画像
処理により鼻孔対の候補を１組または複数組抽出する。
抽出の方法は、実施の形態１と同様である。

【００３７】次に、Ｓ２２において鼻孔対候補の抽出結
果を判定し、少なくとも１組の鼻孔対候補がある場合に
は、Ｓ２４で１組ずつ選択して、各候補ごとにＳ２５か
らＳ２９までの処理を行う。

【００３８】まず、投影回路２５は、Ｓ２５において鼻
孔候補抽出回路２４より鼻孔対候補の位置データを受取
り、画素の投影方向を設定する。さらに、投影回路２５
は、Ｓ２６において、投影する画素を限定するために、
鼻孔対候補の位置データに応じて顔画像上に所定の領域
を設定する。Ｓ２７では、投影回路２５は、投影方法に
基づいて、所定領域内の画素だけを投影し、投影データ
を作成する。

【００３９】そして、Ｓ２８において、目候補抽出回路
２６は、投影データと鼻孔対候補の位置をもとに、目候
補を抽出する。Ｓ２９では、三次元位置算出回路２７に
よって、抽出した目候補と鼻孔対候補の画像上の絶対位
置より、目候補と鼻孔対候補のカメラに対する三次元相
対位置を算出する。なお、投影方向や投影範囲の設定方
法、投影データの作成方法、目候補の抽出方法は実施の
形態１と同様である。

【００４０】また、三次元相対位置の算出方法として
は、例えば、電子情報通信学会論文誌Ｄ−ＩＩ （Ｖｏ
ｌ．Ｊ７２−Ｄ−ＩＩ，Ｎｏ．９，ｐｐ．１４４１−１
４４７）の「単眼視画像による顔の向き検出法の指示入
力への応用」などに述べられている方法を用いればよ
い。上記文献の方法を以下に簡単に説明する。上記文献
では、図８に示すように、カメラのレンズの中心を原点
とする三次元の（Ｘ，Ｙ，Ｚ）座標系を用いており、Ｚ
軸はカメラの光軸に等しく、レンズから二次元画像平面
（ＣＣＤ面）までの焦点距離を既知情報ｆとしている。

【００４１】また、画像平面は ＸＹ平面に平行であ
る。このとき、三次元空間における特徴点はカメラレン
ズの中心に対して中心投影されていると仮定できるの
で、逆に、画像上の目候補、鼻孔対候補の絶対位置、す
なわち座標値Ｑ１，Ｑ２，Ｑ３より、三次元空間中の位
置Ｐ１，Ｐ２，Ｐ３への三次元方向ｕ１，ｕ２，ｕ３
（尚、電子出願の書式の制約上、ｕ１，ｕ２，ｕ３上の
各ベクトル記号→は省略する）が分かる。また、Ｐ１，
Ｐ２，Ｐ３の各特徴点間の三次元のユークリッド距離を
既知情報として与えてやれば、三次元空間中の位置、す
なわちカメラに対する三次元相対位置Ｐ１，Ｐ２，Ｐ３
を算出することができる。

【００４２】最後に、Ｓ３０において、目・鼻孔特定回
路２８が、各々の候補の組に対する三次元相対位置の算
出結果をもとに、複数の候補から目と鼻孔を特定する。
具体的には、基準とする一般的な三次元の顔モデルを用
意しておき、相関の最も高いものを選択することによ
り、目と鼻孔を特定する。なお、Ｓ２２において鼻孔対
の候補が抽出できなかった場合は、すぐに終了する。

【００４３】以上のように、この実施の形態２では、実
施の形態１の効果に加え、最初に鼻孔対を１組に絞り込
まないので、鼻孔対と目の未抽出や誤抽出が少ない。ま
た、目候補と鼻孔候補の三次元相対位置を評価して目と
鼻孔を特定（抽出）するので、抽出精度が非常によい。

【００４４】なお、この実施の形態２では、１枚の静止
画像を入力とした場合について述べているが、それにこ
だわるものではなく、時系列顔画像を入力とした場合に
は、Ｓ３０において、過去の目および鼻孔の三次元相対
位置、あるいは過去からの三次元の動きも考慮して特定
してもよい。例えば、過去の三次元相対位置からの総変
移の最も小さい組を選択する。

【００４５】また、この実施の形態２では、三次元相対
位置を算出して候補を特定しているが、三次元相対位置
にこだわるものではなく、目候補と鼻孔候補の画像上の
絶対位置を用いて、カメラに対する顔の向きを算出し、
候補を特定してもよい。また、三次元相対位置を算出し
ないで、単に、画像上の二次元相対位置を算出し、候補
を特定してもよい。

【００４６】また、この実施の形態２では、Ｓ３０で目
・鼻孔特定回路２８が目と鼻孔を特定した後、終了する
ことになっているが、もし、候補から目と鼻孔を特定す
ることができなかった場合は、Ｓ２１に戻るようにし
て、再度鼻孔と目の候補を抽出し直すようにしてもよ
い。

【００４７】実施の形態３．図９は、この発明の実施の
形態３における顔部品抽出装置の構成を示すブロック図
である。図９において、２９は２０に記憶された顔画像
から画像処理により顔の輪郭を抽出する顔輪郭抽出回路
である。その他は、実施の形態１や実施の形態２と同様
の働きをする。

【００４８】図１０は、この発明の実施の形態３におけ
る顔部品抽出装置の処理を示すフローチャートである。
以下、この装置の動作に関して、図１０のフローチャー
トを用いて説明する。まず、Ｓ１１においてＣＣＤカメ
ラ１０で濃淡顔画像を取り込み、画像メモリ２０に記憶
する。次に、顔輪郭抽出回路２９は、Ｓ３１で顔画像か
ら画像処理により顔の輪郭を抽出する。顔の輪郭の抽出
は、例えば、顔画像に対し、微分フィルタを施してエッ
ジを検出したときのエッジの状態に基づいて行う。

【００４９】次に、Ｓ３２において、鼻孔候補抽出回路
２４は、Ｓ３１で抽出した顔輪郭をもとに、顔画像上に
所定の領域を設定する。例えば、図１１に示すように、
顔輪郭の左右端点より所定画素数だけ内側の点、および
上下端点より所定画素数だけ内側の点を通る長方形を所
定領域として設定する。この所定画素数は、例えば、左
右端点より１０画素、上下端点より５０画素とする。あ
るいは、例えば、左右端点間の幅の１０％、上下端点間
の幅の３０％に相当する画素数とする。Ｓ３３では、鼻
孔候補抽出回路２４は、所定領域内より鼻孔対の候補を
１組または複数組抽出する。それ以降の処理は、実施の
形態１や実施の形態２と同様である。

【００５０】以上のように、この実施の形態３では、実
施の形態１や実施の形態２の効果に加え、顔の輪郭とい
う大域的な情報をもとに鼻孔対候補を抽出するので、信
頼性の高い鼻孔対候補だけが抽出されるようになり、さ
らに誤抽出が少なくなる。なお、この実施の形態３で
は、顔の輪郭をもとに鼻孔対候補を抽出しているが、顔
の輪郭にこだわるものではなく、頭髪などの大域的な情
報を用いて鼻孔対の候補を抽出してもよい。

【００５１】実施の形態４．図１２は、この発明の実施
の形態４における顔部品抽出装置の構成を示すブロック
図である。図１２において、３０はＣＣＤカメラ１０か
ら出力される顔画像よりエッジ画像を生成するエッジ検
出手段としてのエッジ検出回路、３１はＣＣＤカメラ１
０のゲインパラメータを制御することにより画像を補正
する画像補正手段としての画像補正回路３１であり、エ
ッジ検出回路３０から出力されるエッジ画像は、画像メ
モリ２０に一時記憶され、鼻孔対候補の抽出や投影デー
タ作成に用いられる。その他は、実施の形態１から３と
同様の働きをする。

【００５２】図１３は、この発明の実施の形態４におけ
る顔部品抽出装置の処理を示すフローチャートである。
以下、この装置の動作に関して、図１３のフローチャー
トを用いて説明する。まず、Ｓ１１においてＣＣＤカメ
ラ１０で濃淡顔画像を取り込み、Ｓ４１で、エッジ検出
回路３０は微分フィルタを施してエッジ画像を生成し、
画像メモリ２０に記憶する。これより以下、Ｓ３０で目
・鼻孔を特定するまでは、実施の形態１から３と同様で
ある。

【００５３】次に、Ｓ４２で、画像補正回路３１は、Ｓ
３０で抽出した目および鼻孔の位置に応じてエッジ画像
に所定領域を設定する。そして、Ｓ４３において、所定
領域内の画素の濃度値の平均値または分散値に応じてＣ
ＣＤカメラ２０のゲインパラメータを変更する。具体的
には、目および鼻孔のエッジが際だつようにパラメータ
を変更する。以上Ｓ１１からＳ４３までの処理を、時系
列画像に対して繰り返し行う。

【００５４】以上のように、この実施の形態４では、実
施の形態１から３の効果に加え、ＣＣＤカメラ１０のゲ
インパラメータを制御し、目および鼻孔のエッジが際だ
つように画像のコントラストを最適化するため、目候補
および鼻孔候補の抽出が容易となる。その結果、信頼性
の高い鼻孔対候補だけが抽出されるようになり、さらに
誤抽出が少なくなる。なお、この実施の形態４では、エ
ッジ画像を用いて鼻孔対候補の抽出や投影データを作成
しているが、エッジ画像にこだわるものではなく、濃淡
顔画像でもよい。

【００５５】実施の形態５．図１４は、この発明の実施
の形態５における顔部品抽出装置の構成を示すブロック
図である。図１４において、３２はＣＣＤカメラ１０か
ら出力される顔画像の濃度値を補正する画像補正手段と
しての画像補正回路であり、３３は補正された顔画像よ
り二値画像を生成する二値化処理手段としての二値化処
理回路である。二値化処理回路３３から出力される二値
画像は、画像メモリ２０に一時記憶され、鼻孔対候補の
抽出や投影データ作成に用いられる。その他は、実施の
形態１から４と同様の働きをする。

【００５６】図１５は、この発明の実施の形態５におけ
る顔部品抽出装置の処理を示すフローチャートである。
以下、この装置の動作に関して、図１５のフローチャー
トを用いて説明する。まず、Ｓ１１においてＣＣＤカメ
ラ１０で濃淡顔画像を取り込み、Ｓ５１で、画像補正回
路３２は、顔画像の濃度値を補正する。補正方法は後に
述べる。そして、Ｓ５２において、二値化処理回路３３
は、補正後の画像より二値画像を生成し、画像メモリ２
０に記憶する。これより以下Ｓ３０までは、実施の形態
１から４と同様である。

【００５７】次に、Ｓ５３で、画像補正回路３２は、Ｓ
３０で抽出した目および鼻孔の位置に応じて二値画像内
に所定領域を設定する。そして、Ｓ５４において、所定
領域内の白画素領域または黒画素領域の大きさ、形状、
数、相対位置に応じて濃度値の補正方法を変更する。例
えば、濃度ヒストグラムが平坦になるように変更するこ
とで画像のコントラストを最適化する。つまり、Ｓ５１
では、この補正方法に基づいて画像の濃度値を補正する
ことになる。以上Ｓ１１からＳ５４までの処理を、時系
列画像に対して繰り返し行う。

【００５８】以上のように、この実施の形態５では、実
施の形態３の効果に加え、コントラストが最適になるよ
うに顔画像の濃度値を補正するため、目候補および鼻孔
候補の抽出が容易となる。その結果、信頼性の高い鼻孔
対候補だけが抽出されるようになり、さらに誤抽出が少
なくなる。なお、この実施の形態５では、二値画像を用
いて鼻孔対候補の抽出や投影データを作成しているが、
二値画像にこだわるものではなく、濃淡顔画像でもよ
い。

【００５９】実施の形態６．図１６は、この発明の実施
の形態６における顔の向き検出装置の構成を示すブロッ
ク図である。図１６において、３２はＣＣＤカメラ１０
から出力される顔画像の濃度値を補正する画像補正手段
としての画像補正回路であり、３４は補正された顔画像
よりエッジ画像を生成するエッジ検出手段としてのエッ
ジ検出回路である。エッジ検出回路３４から出力される
エッジ画像は、画像メモリ２０に一時記憶され、鼻孔対
候補の抽出や投影データ作成に用いられる。

【００６０】また、３５は目・鼻孔特定回路２８で特定
した目および鼻孔対の三次元相対位置より顔の向きを算
出する顔の向き算出回路、３６は算出した顔の向きの時
系列データを基に顔の向きを補正する顔の向き補正回路
である。その他は、実施の形態１から５で説明した顔部
品抽出装置の回路と同様の働きをする。

【００６１】図１７は、この発明の実施の形態６におけ
る顔の向き検出装置の処理を示すフローチャートであ
る。以下、この装置の動作に関して、図１７のフローチ
ャートを用いて説明する。まず、Ｓ１１においてＣＣＤ
カメラ１０で濃淡顔画像を取り込み、Ｓ６１で、画像補
正回路３２は、顔画像の濃度値を補正する。補正方法は
後に述べる。

【００６２】そして、Ｓ６２において、エッジ検出回路
３４は、補正後の画像よりエッジ画像を生成して画像メ
モリ２０に記憶する。これより以下Ｓ３０までは、実施
の形態１から５と同様である。

【００６３】次に、Ｓ６３で顔の向き算出手段としての
顔の向き算出回路３５は、Ｓ３０で特定した目および鼻
孔対の三次元相対位置を用いて、ＣＣＤカメラ１０に対
する顔の向きを算出する。ただし、顔の向きは、目およ
び鼻孔対を含む平面の法線方向とする。また、Ｓ６４で
は、顔の向きの出力データを滑らかにするため、過去の
顔の向きの時系列データを用いて、出力データを平滑化
し、顔の向きを補正する。

【００６４】続いて、時系列的に次の画像のために、Ｓ
６５で、画像補正回路３２は、Ｓ３０で抽出した目およ
び鼻孔の位置に応じてエッジ画像内に所定領域を設定す
る。そして、Ｓ５４において、所定領域内の画素の濃度
値の平均値または分散値に応じて濃度値の補正方法を変
更する。例えば、濃度ヒストグラムが平坦になるように
変更することで画像のコントラストを最適化する。つま
り、Ｓ６１では、この補正方法に基づいて画像の濃度値
を補正することになる。以上Ｓ１１からＳ６６までの処
理を、時系列画像に対して繰り返し行う。

【００６５】以上のように、この実施の形態６では、実
施の形態５と同様に、コントラストが最適になるように
顔画像の濃度値を補正するため、目や鼻孔の誤抽出、未
抽出が非常に少ない。その結果、顔の向きを精度よく算
出することができる。

【００６６】なお、この実施の形態６では、目や鼻孔対
の三次元相対位置より顔の向きを算出しているが、目や
鼻孔対が抽出できなかった場合にも、過去に抽出された
位置、および顔の向きの時系列データに基づいて顔の向
きを決定してもよい。

【００６７】あるいは、抽出できた顔部品だけを用い
て、例えば、顔の左右方向だけの２次元的な向きを求め
てもよい。これらの場合には、上記効果に加え、常に、
顔の向きの検出信号が出力できるという効果がある。

【００６８】

【発明の効果】以上のように、請求項１記載の発明によ
れば、顔を撮影する撮影手段と、この撮影手段から出力
される画像信号をもとに顔画像を一時記憶する画像記憶
手段と、この画像記憶手段に記憶された顔画像より１対
の顔部品を１組または複数組の候補として抽出する第１
の特徴抽出手段と、上記候補ごとに、１対の顔部品の位
置に応じて画素の投影方法を決め、画素を投影し、投影
データを作成する投影手段と、上記候補ごとに、１対の
顔部品の位置と作成した投影データに基づいて他の顔部
品を１つまたは複数の候補として抽出する第２の特徴抽
出手段と、上記第１および第２の特徴抽出手段で抽出し
た候補から顔部品を特定する候補特定手段とを備えるよ
うに構成したので、顔部品の位置関係や大きさなどの特
徴が投影データに反映されやすく、顔部品を安定して抽
出することができるという効果がある。

【００６９】また、請求項２記載の発明によれば、上記
投影手段が、上記第１の特徴抽出手段で抽出した１対の
顔部品の中心どうしを結ぶ方向に、画素を投影するよう
に構成したので、顔部品の位置関係や大きさなどの特徴
が投影データに反映されやすく、投影データにおいて各
顔部品が分離した山となって現れ、顔部品を安定して抽
出することができるという効果がある。

【００７０】また、請求項３記載の発明によれば、上記
投影手段が、上記第１の特徴抽出手段で抽出した１対の
顔部品の中心どうしを結ぶ方向に対して垂直方向に、画
素を投影するように構成したので、顔部品の位置関係や
大きさなどの特徴が投影データに反映されやすく、投影
データにおいて各顔部品が分離した山となって現れ、顔
部品を安定して抽出することができるという効果があ
る。

【００７１】また、請求項４記載の発明によれば、上記
投影手段が、上記第１の特徴抽出手段で抽出した１対の
顔部品の位置に応じて顔画像上に所定領域を設定し、所
定領域内の画素だけを投影するように構成したので、投
影データにおいて周囲の関係のない顔部品や背景などの
影響が低減し、顔部品を安定して抽出することができる
という効果がある。

【００７２】また、請求項５記載の発明によれば、上記
第１および第２の特徴抽出手段の抽出結果に基づいて、
顔の状態に関する特徴量を算出する顔特徴量算出手段を
備え、上記候補特定手段が、上記顔特徴量算出手段の算
出結果に応じて、上記顔部品の候補を特定するように構
成したので、実際の顔の特徴に基づいた抽出が行え、顔
部品の誤抽出や未抽出が少ないという効果がある。

【００７３】また、請求項６記載の発明によれば、上記
顔特徴量算出手段が、上記第１および第２の特徴抽出手
段で抽出した顔部品の候補の組み合わせごとに、顔部品
の画像上の絶対位置を用いて、撮影手段に対する顔の向
きを算出し、上記候補特定手段が、上記顔の向きの算出
結果に応じて、上記顔部品の候補を特定するように構成
したので、実際の顔の特徴に基づいた抽出が行え、顔部
品の誤抽出や未抽出が少ないという効果がある。

【００７４】また、請求項７記載の発明によれば、上記
顔特徴量算出手段が、上記第１および第２の特徴抽出手
段で抽出した顔部品の候補の組み合わせごとに、顔部品
の画像上の絶対位置を用いて、顔部品の撮影手段に対す
る三次元相対位置を算出し、上記候補特定手段が、上記
三次元相対位置の算出結果に応じて、上記顔部品の候補
を特定するように構成したので、実際の顔の特徴に基づ
いた抽出が行え、顔部品の誤抽出や未抽出が少ないとい
う効果がある。

【００７５】また、請求項８記載の発明によれば、上記
候補特定手段において、上記第１および第２の特徴抽出
手段で抽出した顔部品の候補から顔部品を特定すること
ができなかった場合には、上記候補特定手段が、上記第
１および第２の特徴抽出手段に対して、再度顔部品候補
を抽出し直すように指示するように構成したので、顔部
品の誤抽出や未抽出が少ないという効果がある。

【００７６】また、請求項９記載の発明によれば、上記
第１の特徴抽出手段は、上記１対の顔部品として２つの
鼻孔、２つの目、２つの瞳孔、または２つの眉を抽出す
るように構成したので、顔部品の位置関係や大きさなど
の特徴が投影データに反映されやすく、投影データにお
いて各顔部品が分離した山となって現れ、顔部品を安定
して抽出することができるという効果がある。

【００７７】また、請求項１０記載の発明によれば、上
記第１の特徴抽出手段は、頭髪、または、顔輪郭に応じ
て所定領域を設定し、所定領域内より上記１対の顔部品
を抽出するように構成したので、周りの関係のない顔部
品や背景などの影響が低減し、安定した顔部品の抽出が
行えるという効果がある。

【００７８】また、請求項１１記載の発明によれば、上
記顔画像を補正する画像補正手段と、顔画像よりエッジ
画像を生成するエッジ検出手段と、を備え、上記第１お
よび第２の特徴抽出手段および投影手段は、補正後の顔
画像またはエッジ画像より顔部品の抽出および画素の投
影を行うとともに、上記画像補正手段は、上記候補特定
手段が過去に特定した顔部品近傍のエッジ画像内に所定
領域を設定し、所定領域内の画素の濃度値の平均値また
は分散値の時系列データに応じて補正方法を変更し、画
像を補正するように構成したので、画像のコントラスト
を最適にすることができ、顔部品の特徴が投影データに
反映されやすくなり、安定した顔部品の抽出が行えると
いう効果がある。

【００７９】また、請求項１２記載の発明によれば、上
記顔画像を補正する画像補正手段と、顔画像より二値画
像を生成する二値化処理手段と、を備え、上記第１およ
び第２の特徴抽出手段および投影手段は、補正後の顔画
像または二値画像より顔部品の抽出および画素の投影を
行うとともに、上記画像補正手段は、上記候補特定手段
が過去に特定した顔部品近傍の二値画像内に所定領域を
設定し、所定領域内の白画素領域または黒画素領域の大
きさ、形状、数、相対位置に応じて、補正方法を変更
し、画像を補正するように構成したので、画像のコント
ラストを最適にすることができ、顔部品の特徴が投影デ
ータに反映されやすくなり、安定した顔部品の抽出が行
えるという効果がある。

【００８０】また、請求項１３記載の発明によれば、上
記画像補正手段は、上記撮影手段のゲイン制御により画
像を補正するように構成したので、容易に画像のコント
ラストを最適にすることができ、顔部品の特徴が投影デ
ータに反映されやすくなり、安定した顔部品の抽出が行
えるという効果がある。

【００８１】また、請求項１４記載の発明によれば、上
記画像補正手段は、上記画像の濃度値を補正するように
構成したので、容易に画像のコントラストを最適にする
ことができ、顔部品の特徴が投影データに反映されやす
くなり、安定した顔部品の抽出が行えるという効果があ
る。

【００８２】また、請求項１５記載の発明によれば、顔
を撮影する撮影手段と、この撮影手段から出力される画
像信号をもとに顔画像を一時記憶する画像記憶手段と、
この画像記憶手段に記憶された顔画像より１対の顔部品
を１組または複数組の候補として抽出する第１の特徴抽
出手段と、上記候補ごとに、１対の顔部品の位置に応じ
て画素の投影方法を決め、画素を投影し、投影データを
作成する投影手段と、上記候補ごとに、１対の顔部品の
位置と作成した投影データに基づいて他の顔部品を１つ
または複数の候補として抽出する第２の特徴抽出手段
と、上記第１および第２の特徴抽出手段で抽出した候補
から顔部品を特定する候補特定手段と、上記候補特定手
段で特定した顔部品の画像上の絶対位置を用いて、撮影
手段に対する顔の向きを算出する顔の向き算出手段と、
を備えるように構成したので、顔部品の特徴が投影デー
タに反映されやすく、顔部品を安定して抽出することが
でき、さらに顔の向きも安定して検出することができる
という効果がある。

【００８３】また、請求項１６記載の発明によれば、上
記候補特定手段において顔部品が特定できなかったとき
には、顔の向き算出手段が、過去に特定された顔部品の
位置、および、顔の向きの時系列データに基づいて顔の
向きを決定するように構成したので、常に、顔の向きの
検出信号が出力できるという効果がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による顔部品抽出装
置の構成を示すブロック図である。

【図２】 この発明の実施の形態１による顔部品抽出装
置の動作を説明するフローチャートである。

【図３】 この発明の実施の形態１による顔部品抽出装
置における投影方法を説明する図である。

【図４】 この発明の実施の形態１による顔部品抽出装
置における投影データを示す説明図である。

【図５】 この発明の実施の形態１による顔部品抽出装
置における目の抽出方法を説明する図である。

【図６】 この発明の実施の形態２による顔部品抽出装
置の構成を示すブロック図である。

【図７】 この発明の実施の形態２による顔部品抽出装
置の動作を説明するフローチャートである。

【図８】 この発明の実施の形態２による顔部品抽出装
置における三次元位置算出方法を説明する図である。

【図９】 この発明の実施の形態３による顔部品抽出装
置の構成を示すブロック図である。

【図１０】 この発明の実施の形態３による顔部品抽出
装置の動作を説明するフローチャートである。

【図１１】 この発明の実施の形態３による顔部品抽出
装置における所定領域の設定方法を示す説明図である。

【図１２】 この発明の実施の形態４による顔部品抽出
装置の構成を示すブロック図である。

【図１３】 この発明の実施の形態４による顔部品抽出
装置の動作を説明するフローチャートである。

【図１４】 この発明の実施の形態５による顔部品抽出
装置の構成を示すブロック図である。

【図１５】 この発明の実施の形態５による顔部品抽出
装置の動作を説明するフローチャートである。

【図１６】 この発明の実施の形態６による顔の向き検
出装置の構成を示すブロック図である。

【図１７】 この発明の実施の形態６による顔の向き検
出装置の動作を説明するフローチャートである。

【図１８】 従来の顔部品抽出装置の構成を示すブロッ
ク図である。

【図１９】 従来の顔部品抽出装置の動作を説明するフ
ローチャートである。

【図２０】 従来の顔部品抽出装置における投影データ
を示す説明図である。

【図２１】 従来の顔部品抽出装置における投影データ
を示す説明図である。

【符号の説明】

１ 検出対象者の顔、１０ ＣＣＤカメラ、１１ 投影
回路、１２ 顔部品抽出回路、２０ 画像メモリ、２１
鼻孔抽出回路、２２ 投影回路、２３ 目抽出回路、
２４ 鼻孔候補抽出回路、２５ 投影回路、２６ 目候
補抽出回路、２７ 三次元位置算出回路、２８ 目・鼻
孔特定回路、２９ 顔輪郭抽出回路、３０ エッジ検出
回路、３１ 画像補正回路、３２ 画像補正回路、３３
二値化処理回路、３４ エッジ検出回路、３５ 顔の
向き算出回路、３６ 顔の向き補正回路。

フロントページの続き (72)発明者 佐竹 敏英 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内

Claims (16)

【特許請求の範囲】
1. 【請求項１】 顔を撮影する撮影手段と、 上記撮影手段から出力される画像信号をもとに顔画像を
   一時記憶する画像記憶手段と、 上記画像記憶手段に記憶された顔画像より１対の顔部品
   を１組または複数組の候補として抽出する第１の特徴抽
   出手段と、 上記候補ごとに、１対の顔部品の位置に応じて画素の投
   影方法を決めて画素を投影し、投影データを作成する投
   影手段と、 上記候補ごとに、１対の顔部品の位置と上記作成した投
   影データに基づいて他の顔部品を１つまたは複数の候補
   として抽出する第２の特徴抽出手段と、 上記第１および第２の特徴抽出手段で抽出した候補から
   顔部品を特定する候補特定手段とを備えたことを特徴と
   する顔部品抽出装置。
2. 【請求項２】 上記投影手段は、上記第１の特徴抽出手
   段で抽出した１対の顔部品の中心どうしを結ぶ方向に、
   画素を投影することを特徴とする請求項１に記載の顔部
   品抽出装置。
3. 【請求項３】 上記投影手段は、上記第１の特徴抽出手
   段で抽出した１対の顔部品の中心どうしを結ぶ方向に対
   して垂直方向に、画素を投影することを特徴とする請求
   項１に記載の顔部品抽出装置。
4. 【請求項４】 上記投影手段は、上記第１の特徴抽出手
   段で抽出した１対の顔部品の位置に応じて顔画像上に所
   定領域を設定し、所定領域内の画素だけを投影すること
   を特徴とする請求項１から３のいずれかにか記載の顔部
   品抽出装置。
5. 【請求項５】 上記第１および第２の特徴抽出手段の抽
   出結果に基づいて、顔の状態に関する特徴量を算出する
   顔特徴量算出手段を備え、上記候補特定手段は、上記顔
   特徴量算出手段の算出結果に応じて、上記顔部品の候補
   を特定することを特徴とする請求項１から４のいずれか
   に記載の顔部品抽出装置。
6. 【請求項６】 上記顔特徴量算出手段は、上記第１およ
   び第２の特徴抽出手段で抽出した顔部品の候補の組み合
   わせごとに、顔部品の画像上の絶対位置を用いて、撮影
   手段に対する顔の向きを算出し、上記候補特定手段は、
   上記顔の向きの算出結果に応じて、上記顔部品の候補を
   特定することを特徴とする請求項５に記載の顔部品抽出
   装置。
7. 【請求項７】 上記顔特徴量算出手段は、上記第１およ
   び第２の特徴抽出手段で抽出した顔部品の候補の組み合
   わせごとに、顔部品の画像上の絶対位置を用いて、顔部
   品の撮像手段に対する三次元相対位置を算出し、上記候
   補特定手段は、上記三次元相対位置の算出結果に応じ
   て、上記顔部品の候補を特定することを特徴とする請求
   項５に記載の顔部品抽出装置。
8. 【請求項８】 上記候補特定手段において上記第１およ
   び第２の特徴抽出手段で抽出した顔部品の候補から顔部
   品を特定することができなかった場合には、上記候補特
   定手段は、上記第１および第２の特徴抽出手段に対し
   て、再度顔部品候補を抽出し直すように指示することを
   特徴とする請求項１から７のいずれかに記載の顔部品抽
   出装置。
9. 【請求項９】 上記第１の特徴抽出手段は、上記１対の
   顔部品として２つの鼻孔、２つの目、２つの瞳孔、また
   は２つの眉を抽出することを特徴とする請求項１から８
   のいずれかに記載の顔部品抽出装置。
10. 【請求項１０】 上記第１の特徴抽出手段は、頭髪、ま
    たは、顔輪郭に応じて所定領域を設定し、所定領域内よ
    り上記１対の顔部品を抽出することを特徴とする請求項
    １から９のいずれかに記載の顔部品抽出装置。
11. 【請求項１１】 上記顔画像を補正する画像補正手段
    と、 上記顔画像よりエッジ画像を生成するエッジ検出手段と
    を備え、上記第１および第２の特徴抽出手段および投影
    手段は、補正後の顔画像またはエッジ画像より顔部品の
    抽出および画素の投影を行うとともに、上記画像補正手
    段は、上記候補特定手段が過去に特定した顔部品近傍の
    エッジ画像内に所定領域を設定し、所定領域内の画素の
    濃度値の平均値または分散値の時系列データに応じて補
    正方法を変更し、画像を補正することを特徴とする請求
    項１から１０のいずれかに記載の顔部品抽出装置。
12. 【請求項１２】 上記顔画像を補正する画像補正手段
    と、顔画像より二値画像を生成する二値化処理手段とを
    備え、上記第１および第２の特徴抽出手段および投影手
    段は、補正後の顔画像または二値画像より顔部品の抽出
    および画素の投影を行うとともに、上記画像補正手段
    は、上記候補特定手段が過去に特定した顔部品近傍の二
    値画像内に所定領域を設定し、所定領域内の白画素領域
    または黒画素領域の大きさ、形状、数、相対位置に応じ
    て、補正方法を変更し、画像を補正することを特徴とす
    る請求項１から１０のいずれかに記載の顔部品抽出装
    置。
13. 【請求項１３】 上記画像補正手段は、上記撮影手段の
    ゲイン制御により画像を補正することを特徴とする請求
    項１１または１２に記載の顔部品抽出装置。
14. 【請求項１４】 上記画像補正手段は、上記画像の濃度
    値を補正することを特徴とする請求項１１または１２に
    記載の顔部品抽出装置。
15. 【請求項１５】 顔を撮影する撮影手段と、 上記撮影手段から出力される画像信号をもとに顔画像を
    一時記憶する画像記憶手段と、 上記画像記憶手段に記憶された顔画像より１対の顔部品
    を１組または複数組の候補として抽出する第１の特徴抽
    出手段と、 上記候補ごとに１対の顔部品の位置に応じて画素の投影
    方法を決めて画素を投影し、投影データを作成する投影
    手段と、 上記候補ごとに、１対の顔部品の位置と作成した投影デ
    ータに基づいて他の顔部品を１つまたは複数の候補とし
    て抽出する第２の特徴抽出手段と、 上記第１および第２の特徴抽出手段で抽出した候補から
    顔部品を特定する候補特定手段と、 上記候補特定手段で特定した顔部品の画像上の絶対位置
    を用いて、上記撮影手段に対する顔の向きを算出する顔
    の向き算出手段とを備えたことを特徴とする顔の向き検
    出装置。
16. 【請求項１６】 上記候補特定手段において顔部品が特
    定できなかったときには、顔の向き算出手段は、過去に
    特定された顔部品の位置および顔の向きの時系列データ
    に基づいて顔の向きを決定することを特徴とする請求項
    １５に記載の顔の向き検出装置。