JP4660534B2 - 顔画像による顔領域追跡方法及びその装置 - Google Patents

Description

本発明は、画像中における人物の顔領域を、高頑健性且つ高精度且つ高速に顔領域追跡を行う、顔画像による顔領域追跡方法及びその装置に関する。

手が不自由な場合や、荷物などで手がふさがっている場合などに、顔の動きを用いた能動的なインタフェースが有用となる。通常の生活における人間のコミュニケーション手段として、言葉や身振り手振りに加えて、顔を縦に振ることで肯定を表現したり、何かを指し示す意味でその方向に顔を向けて合図を送ることがある。このことは、計算機の入力インタフェースの場合にもこのような顔を動かすしぐさによる入力支援方法が有用であることを示している。

顔の動きを捉えることができれば、能動的な操作方法として用いられるだけでなく、その人の興味／注意の対象、嗜好（市場調査）、精神状態を把握するためにも使用可能である。

ここで、顔の動きを認識するには、まず画像から顔を検出し、検出された顔を追跡しなければならない。これまでは、顔の位置の制約やカメラの個数、スピードが遅い、検出精度が低いなどの問題点があり、速い顔の動きを精密に追跡することが難しかった。

一方、顔を追跡せずに頭部動作を検出する方法がある。顔と髪のコントラストに基づいて頭の３次元的な動きを検出する方法である（非特許文献１参照）。しかしながら、この方法は、画像の濃淡を利用しているため照明条件の変化の影響を受け易く、また、変化しない背景画像が必要である。さらに、頭髪が耳付近に掛かっているかどうかの影響を受けてしまう。

また、ステレオカメラを用い、顔の特徴点を手入力で登録して、正規化相関マッチングで特徴点を追跡して顔向きと視線方向を求める手法がある（非特許文献２参照）。しかしながら、カメラが複数必要であり、また、顔向き変化による特徴点パターンの変形の影響を考慮していなかった。

顔向き角度毎に顔のテンプレートを用意して、様々な顔向きに対応して顔を検出させる手法がある（非特許文献３参照）。しかしながら、顔向き角度は予め設定された角度で撮影した顔画像を用いなければならず、顔画像そのものから顔向き角度毎に分類してテンプレートを作成することはできない。

追跡する対象をテンプレートを用いて追跡する手法は、主として画像上を左上から右下に順次全走査するラスタスキャン型のパターンサーチに基づく（例えば、非特許文献４参照）。さらに、テンプレートを対象画像に対応させる際の拡大倍率（縮小倍率）を変化させながらパターンを追跡したり、探索したりする手法は確立されていない。このことは、顔領域の追跡を行う際に非常に計算時間を要する一因となっている。
「ヘッドリーダ：画像による頭部動作の実時間検出」 電子情報通信学会論文誌、Vol.J74-D-II, No.3, pp.398-406, 1991年3月 「An algorithm for real-time stereo vision implementation of head pose and gaze direction measurement」. In Proc. of the Int'l Conf. on Automatic Face andGesture Recognition, 2000 「View-based and modular eigenspaces for face recognition」. In Proc. IEEE Conf. on Computer Vision and Pattern Recognition,p.84, 1994） 岡崎彰夫著、「はじめての画像処理技術」, 工業調査会, 2000

そこで本発明は、上記事情を考慮してなされたもので、高速で精密な顔領域追跡方法及びその装置を提供することにある。

本発明は、所定の画素数のテンプレートと入力画像とを比較して、前記入力画像と前記テンプレートとの一致度合いを検出する顔画像による顔領域追跡方法であって、前記テンプレートを対応させる前記入力画像上の位置を（ｘ，ｙ）とし、前記入力画像上の任意の大きさの領域に対して前記テンプレートを対応させるための前記テンプレートの拡大または縮小の倍率をｒとし、前記入力画像上で回転した対象領域に対して前記テンプレートを対応させるための前記テンプレートの回転角をφとし、前回の追跡結果における（ｘ，ｙ，ｒ，φ）の値を中心として、位置の探索に関して、第０探索では前記入力画像の（ｘ，ｙ）を探索し、次に第１探索では前記入力画像の（ｘ±１，ｙ）、（ｘ，ｙ±１）、（ｘ＋１，ｙ±１）、（ｘ−１，ｙ±１）を探索し、次に第２探索では前記入力画像の（ｘ±３，ｙ）、（ｘ，ｙ±３）、（ｘ＋３，ｙ±３）、（ｘ−３，ｙ±３）を探索し、以下探索の段階が上がる毎に（ｘ，ｙ）からの遠ざかる距離が大きくなるように探索し、倍率の探索に関して、第０探索ではｒ倍の大きさの前記テンプレートを利用して前記入力画像を探索し、第１探索ではｒ＊（１±ａ）の倍率の前記テンプレートを利用して前記入力画像を探索し（但し、０＜ａ＜１である）、次に第２探索ではｒ＊（１±３ａ）で前記入力画像を探索し、以下探索の段階が上がる毎に倍率ｒの大きくなる度合いが大きくなるように前記入力画像を探索し、回転の探索に関して、第０探索ではφの回転処理を施された前記テンプレートを用いて前記入力画像を探索し、次に第１探索ではφ（１±ａ）の回転を施した前記テンプレートを用いて前記入力画像を探索し、次に第２探索ではφ（１±３ａ）の回転を施した前記テンプレートを用いて前記入力画像を探索し、以下探索の段階が上がる毎に回転角φの大きくなる度合いが大きくなるように前記入力画像を探索し、対象領域を追跡する、ことを特徴とする顔画像による顔領域追跡方法である。

本発明によれば、前回位置を中心とする、中心が密な分布に従って追跡を行うことで、高速で精密な顔領域追跡を行える。

以下、図面を参照しながら本発明の一実施形態を説明する。

本実施形態では、顔画像による顔領域追跡方法を説明する。図１は本実施形態に係る顔画像を用いた顔領域追跡方法及びこれを実現するためのシステムの一例を示す構成図である。図２は同実施形態に係る顔テンプレートマップを説明する概念図である。図３は同実施形態に係る顔領域追跡処理の流れを説明する流れ図である。

図１に示す顔領域追跡システム１は、システム内部に、顔テンプレートマップ格納部６を有し、逐次、顔テンプレートマップを学習・更新する機能を持つことが大きな特徴である。顔領域追跡システム１は、画像入力部２と、正面顔検出部３と、正面顔辞書格納部４と、正面顔評価部５と、顔テンプレートマップ格納部６と、テンプレート設定部７と、追跡テンプレート情報格納部８と、テンプレート追跡部９から構成されている。このような構成要素を具備することにより、顔領域追跡システム１は、画像が入力されると、顔領域の位置、顔向き情報、顔領域追跡計算の結果などの情報を出力するとともに、学習・更新によりシステム内部に顔テンプレートマップを構築する。

画像入力部２は、システム外部からビデオカメラ等で撮影された被験者の画像を受け取り、画像処理し易いようにデジタル形式の電子データに変換して、その電子データを正面顔検出部３とテンプレート追跡部９へ送る。

正面顔検出部３は、人物の正面画像検出のためのテンプレートが格納された正面顔辞書格納部４から正面顔検出の為のテンプレートを受け取り、画像入力部２から入力された画像とそのテンプレートとを比較することにより、入力画像中から人物の顔画像を検出する。例えば、人物画像の目、鼻孔領域の画像をパターン照合と円形分離度フィルタで検出し、それと顔全体パターン照合との併用による顔検出を行わせる方法を用いることができる。この場合、テンプレートとは、顔と目と鼻それぞれに対応した部分空間法の辞書パターンのことである。

正面顔評価部５は、正面顔検出部３から人物の顔画像と検出された顔領域の位置情報を受け取り、顔テンプレートマップ格納部６から正面顔テンプレート１３を受け取り、検出された顔領域のデータが正面顔テンプレート１３としてより適しているときには、顔テンプレートマップ格納部６の中の正面顔テンプレート１３を更新する。また、検出された顔領域の位置情報をテンプレート設定部７へ送る。

正面顔テンプレートとしてより適してかどうかの判断は、例えば、テンプレートマッチングの類似度の値、目と鼻孔の座標の配置等に基づいて判断することができる。

顔テンプレートマップ格納部６は、図２に示されるように、顔向き角度によって異なる大小の顔テンプレートが、上向き、横向きの角度と対応づけて格納されており、全体として顔テンプレートマップを構成している。ここで大の顔テンプレートとは、両眼、口等の顔の特徴部分を含む顔全体の画像テンプレートであり、小の顔テンプレートとは、立体的に検出可能な顔の特徴部分（例えば鼻など）を含む画像のテンプレートである。

顔テンプレートマップ格納部６に格納される顔テンプレートマップは、例えば初期状態では、顔向き角度毎の各テンプレートがそれぞれブランク（空欄）となっているが、まず正面顔評価部５で正面顔画像に適すると判定された画像を利用して、大小の顔テンプレートが作成され、正面顔テンプレート１３が生成される。次に、テンプレート設定部７の働きにより、様々な顔向きの顔画像が入力されるにつれて、正面顔以外の顔テンプレートが学習され、更新される。

テンプレート設定部７は、正面顔評価部５から検出された正面顔の情報を受け取り、次回の顔領域追跡に利用する追跡テンプレート２２を決定し、追跡テンプレート情報格納部８に格納する。

ここでテンプレート設定部７は、大小の顔テンプレートの相対位置情報に基づき、検出された顔領域を新たに顔テンプレートとして登録するかどうかを判断する。これは例えば、被験者が横を向く等、顔向きが変化すると、それに伴い小さい顔テンプレートのマッチング位置が顔向き方向（例えば横方向）にシフトし、顔向きの角度が大きい程、そのシフトの度合い（正面位置からの相対位置）が大きくなるという性質を利用するものである。そしてあるしきい値よりもシフト量が大きくなった場合には、必要に応じて、この検出された顔領域を、左右、上下向き等の顔テンプレートとして顔テンプレートマップ格納部６に登録する。

３種類以上の大きさの複数のテンプレートを用いて顔テンプレートマップを構築したり、顔領域追跡を行わせることもできる。図９、１０、１１に示されるように３種類の大きさ（大中小）のテンプレートを利用する場合は、例えば顔テンプレート（大）に対する顔テンプレート（中）の位置と、顔テンプレート（中）に対する顔テンプレート（小）の位置が、顔向き角度の大きさに関係しており、これらの値による総合判断に基づいて、検出された顔領域を、左右、上下向き等の顔テンプレートとして顔テンプレートマップ格納部６に登録する。総合判断する方法には、相対位置のシフトの大きさの加算和などを用いることができる。このようにテンプレートの個数を増やすことにより、より安定した頑健性の高い登録処理及び顔領域追跡を行わせることができる。

追跡テンプレート情報格納部８は、テンプレート設定部から追跡用の顔テンプレートを受け取り、逐次更新される顔向きの追跡処理に用いる追跡テンプレート２２を格納し、必要に応じて、テンプレート設定部７とテンプレート追跡部へ追跡テンプレート２２を送る。

テンプレート追跡部９は、画像入力部２から入力画像を受け取り、追跡テンプレート情報格納部８から追跡テンプレート２２を受け取り、入力画像と追跡テンプレートとを比較することにより、顔領域の追跡処理を行なう。追跡の処理結果（顔領域追跡の成功／失敗、顔領域の大きさ、位置、顔向き（角度）など）を出力するとともに、テンプレート設定部７へ顔領域の情報を送る。

追跡処理は、図４で示されるように、例えば９画素×９画素＝８１画素からなる追跡テンプレート２２を入力画像領域２１上のある位置に対応させ、テンプレートマッチング処理によって類似度を計算することを、複数の探索位置と倍率とを変更することにより達成する。そして、最大類似度が所定の閾値を越えたときに、その位置と倍率のところに顔領域が検出されたと判断する。

倍率とは画像の拡大、縮小率を示し、テンプレートが対応する画像領域の画素数が９×９画素ならちょうど１倍となるが、ｎ×ｎ画素ならば倍率はｎ／９倍となる。倍率が１でないときは、画像を拡大または縮小することで追跡テンプレートの一つ一つの画素と対応させることができる。ここでは、追跡テンプレートの画素数は９×９としたが、いくつでもよく、問題に応じて適切に設定すれば良い。

追跡処理における画像位置と倍率の探索は、計算時間の制約が有り、現実的にはある程度の間隔をおいてまばらに行わざるを得ないが、本実施例では、位置に関しては図５、７、８に示すような値について行い、倍率に関しては図６に示すような値について行うと、より効率よく探索処理を行なうことができる。

具体的には、前回位置が（ｘ，ｙ）のとき、前回位置を基準として、その位置近傍を詳細に探索し、探索位置が遠ざかるにつれて探索処理を粗く行なう。例えば、追跡テンプレートを利用して入力画像の（ｘ，ｙ）を探索し（第０探索）、次に（ｘ±１，ｙ）、（ｘ，ｙ±１）、（ｘ＋１，ｙ±１）、（ｘ−１，ｙ±１）を探索し（第１探索）、次に（ｘ±３，ｙ）、（ｘ，ｙ±３）、（ｘ＋３，ｙ±３）、（ｘ−３，ｙ±３）を探索し（第２探索）ということを第ｎ探索まで続ける。

倍率の探索に関しても、具体的には前回倍率がｒのとき、前回の探索倍率を基準として、その倍率近傍の画像を生成して詳細に探索する。例えば、ある小さな定数ａ（０＜ａ＜１）を用いて、まずｒ倍の大きさの追跡テンプレートを利用して入力画像を探索し（第０探索）、次にｒ＊（１±ａ）の倍率の追跡テンプレートを利用して探索し（第１探索）、次にｒ＊（１±３ａ）を探索し（第２探索）ということを第ｍ探索まで続ける。

また回転の探索に関しても、前回の回転角を基準として、その回転角近傍の回転を施したテンプレートで詳細に探索し、その回転角からの回転変位が大きくなるに従って粗い探索を行なう。例えば前回のテンプレートの回転角がαであったとすると、αの回転処理を施された追跡テンプレートを用いて入力画像を探索し（０次探索）、次にα（１±ａ）の回転を施した追跡テンプレートを用いて探索し（１次探索）、更にα（１±３ａ）の回転を施した追跡テンプレートを用いて探索（２次探索）を続ける。

以上のように、前回パラメタ値を中心とし、中心が密となるような探索を行うことで、顔の速い動きに対しては荒いが高速な追跡を行い、顔のゆっくりした動きに対しては精密な追跡を行わせることができる。

図３は本実施形態における顔領域追跡方法の追跡手順を示す流れ図である。

最初に、被験者またはシステムからの入力等により、顔領域追跡を行うかどうかを判断し（ＳＴ１）、行わない場合には処理を終了する。顔領域追跡を行う場合は画像入力部からの入力画像を処理して正面顔検出とテンプレート追跡を行なう（ＳＴ２）。次に、前回の顔領域追跡処理が成功したか否か判断し（ＳＴ３）、前回成功のときはステップＳＴ８へ進み、前回失敗のときはステップＳＴ４へ進む。

ステップＳＴ４では正面顔検出部３が正面顔の検出処理を行い、正面顔が発見されたかどうか判断し（ＳＴ５）、発見された場合はステップＳＴ６へ進み、発見されなかった場合はステップＳＴ１へ戻る。

ステップＳＴ６では、正面顔評価部５が正面テンプレート更新処理を行い、正面テンプレートを追跡テンプレート２２へコピーし（ＳＴ７）、テンプレート追跡部が大小テンプレートの追跡処理を行う（ＳＴ８）。次に、テンプレート追跡が成功したかどうかを判断し（ＳＴ９）、失敗したときはステップＳＴ１へ戻るが、成功したときには顔位置情報を出力し（ＳＴ１０）、大小テンプレートの相対位置変化の大きさに応じて（ＳＴ１１）、大きいときには追跡テンプレート２２の更新を行い、いずれの場合もステップＳＴ１に戻る。

本発明の一実施形態に係る一例を示す構成図である。 同実施形態に係る顔テンプレートマップを説明する概念図である。 同実施形態に係る顔領域追跡方法の処理の一例を示す流れ図である。 同実施形態に係る追跡テンプレートを利用した顔領域追跡を説明する概念図である。 同実施形態に係る中心が密な分布に従った顔領域位置探索を説明する概念図である。 同実施形態に係る中心が密な分布に従った顔テンプレート倍率探索を説明する概念図である。 同実施形態に係る中心が密な分布に従った顔領域位置探索を説明する概念図である。 同実施形態に係る中心が密な分布に従った顔領域位置探索を説明する概念図である。 同実施形態に係る顔テンプレートマップを説明する概念図である。 同実施形態に係る顔テンプレートマップを説明する概念図である。 同実施形態に係る顔テンプレートマップを説明する概念図である。

符号の説明

１ 顔領域追跡システム
２ 画像入力部
３ 正面顔検出部
４ 正面顔辞書格納部
５ 正面顔評価部
６ 顔テンプレートマップ格納部
７ テンプレート設定部
８ 追跡テンプレート情報格納部
９ テンプレート追跡部
１１ 顔テンプレート（大）
１２ 顔テンプレート（小）
１３ 正面顔テンプレート
１４ 顔テンプレート（中）
２１ 入力画像領域
２２ 追跡テンプレート

Claims (2)

1. 所定の画素数のテンプレートと入力画像とを比較して、前記入力画像と前記テンプレートとの一致度合いを検出する顔画像による顔領域追跡方法であって、
   前記テンプレートを対応させる前記入力画像上の位置を（ｘ，ｙ）とし、前記入力画像上の任意の大きさの領域に対して前記テンプレートを対応させるための前記テンプレートの拡大または縮小の倍率をｒとし、前記入力画像上で回転した対象領域に対して前記テンプレートを対応させるための前記テンプレートの回転角をφとし、前回の追跡結果における（ｘ，ｙ，ｒ，φ）の値を中心として、
   位置の探索に関して、第０探索では前記入力画像の（ｘ，ｙ）を探索し、次に第１探索では前記入力画像の（ｘ±１，ｙ）、（ｘ，ｙ±１）、（ｘ＋１，ｙ±１）、（ｘ−１，ｙ±１）を探索し、次に第２探索では前記入力画像の（ｘ±３，ｙ）、（ｘ，ｙ±３）、（ｘ＋３，ｙ±３）、（ｘ−３，ｙ±３）を探索し、以下探索の段階が上がる毎に（ｘ，ｙ）からの遠ざかる距離が大きくなるように探索し、
   倍率の探索に関して、第０探索ではｒ倍の大きさの前記テンプレートを利用して前記入力画像を探索し、第１探索ではｒ＊（１±ａ）の倍率の前記テンプレートを利用して前記入力画像を探索し（但し、０＜ａ＜１である）、次に第２探索ではｒ＊（１±３ａ）で前記入力画像を探索し、以下探索の段階が上がる毎に倍率ｒの大きくなる度合いが大きくなるように前記入力画像を探索し、
   回転の探索に関して、第０探索ではφの回転処理を施された前記テンプレートを用いて前記入力画像を探索し、次に第１探索ではφ（１±ａ）の回転を施した前記テンプレートを用いて前記入力画像を探索し、次に第２探索ではφ（１±３ａ）の回転を施した前記テンプレートを用いて前記入力画像を探索し、以下探索の段階が上がる毎に回転角φの大きくなる度合いが大きくなるように前記入力画像を探索し、
   対象領域を追跡する、
   ことを特徴とする顔画像による顔領域追跡方法。
2. 所定の画素数のテンプレートと入力画像とを比較して、前記入力画像と前記テンプレートとの一致度合いを検出する顔画像による顔領域追跡装置であって、
   前記テンプレートを対応させる前記入力画像上の位置を（ｘ，ｙ）とし、前記入力画像上の任意の大きさの領域に対して前記テンプレートを対応させるための前記テンプレートの拡大または縮小の倍率をｒとし、前記入力画像上で回転した対象領域に対して前記テンプレートを対応させるための前記テンプレートの回転角をφとし、前回の追跡結果における（ｘ，ｙ，ｒ，φ）の値を中心として、
   位置の探索に関して、第０探索では前記入力画像の（ｘ，ｙ）を探索し、次に第１探索では前記入力画像の（ｘ±１，ｙ）、（ｘ，ｙ±１）、（ｘ＋１，ｙ±１）、（ｘ−１，ｙ±１）を探索し、次に第２探索では前記入力画像の（ｘ±３，ｙ）、（ｘ，ｙ±３）、（ｘ＋３，ｙ±３）、（ｘ−３，ｙ±３）を探索し、以下探索が上がる毎に（ｘ，ｙ）からの遠ざかる距離が大きくなるように探索し、
   倍率の探索に関して、第０探索ではｒ倍の大きさの前記テンプレートを利用して前記入力画像を探索し、第１探索ではｒ＊（１±ａ）の倍率の前記テンプレートを利用して前記入力画像を探索し（但し、０＜ａ＜１である）、次に第２探索ではｒ＊（１±３ａ）で前記入力画像を探索し、以下探索の段階が上がる毎に倍率ｒの大きくなる度合いが大きくなるように前記入力画像を探索し、
   回転の探索に関して、第０探索ではφの回転処理を施された前記テンプレートを用いて前記入力画像を探索し、次に第１探索ではφ（１±ａ）の回転を施した前記テンプレートを用いて前記入力画像を探索し、次に第２探索ではφ（１±３ａ）の回転を施した前記テンプレートを用いて前記入力画像を探索し、以下探索の段階が上がる毎に回転角φの大きくなる度合いが大きくなるように前記入力画像を探索し、
   対象領域を追跡する、
   ことを特徴とする顔画像による顔領域追跡装置。

Images