JP6187817B2 - 顔検出装置、方法およびプログラム - Google Patents

Description

本発明は、撮像された画像から顔の状態を検出する顔検出装置、方法およびプログラムに関するものである。

近年、撮像された静止画像または動画像に含まれる顔の位置および向き、ならびに目および口等の顔部品の状態を検出する顔検出技術の開発が進められている。例えば、車両においては、運転者の顔検出を行うことによって、脇見運転や居眠り運転を検知し、警報等の所定のアクションを行うことができる。このような検知を行うためには実時間で顔検出を続ける必要があるが、車両の内部では光の強さおよび方向が変化しやすく、また車体の揺れにより運転者の顔が動きやすい。そのため、特に車両における顔検出においては、実時間での処理が可能であるとともに、光および顔の状態の変化等に起因するノイズに強いことが求められる。

非特許文献１には、最急降下法等を用いて統計的顔形状モデルを画像中の顔に合わせる、すなわちモデルフィッティングを行うことによって、画像中の顔のモデルを生成する顔検出技術（ＡＳＭ：Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ、ＡＡＭ：Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）が開示されている。この技術を用いて画像中の顔のモデルを生成し、継続して該モデルを画像中の顔に適合させる、すなわちトラッキングを行うことによって、経時的に顔の位置および向き、ならびに各顔部品の状態を特定することができる。

また、特許文献１には、フレーム間の差分画像を用いて瞬目に起因する画像の変化を動領域として検出し、面積が最大の動領域を目の位置として特定する顔部品検出技術が開示されている。目位置検出のための一般的な方法では眼鏡の縁または眉毛を目位置として誤検出することが多いが、特許文献１の技術を用いることによって眼鏡の縁または眉毛を目位置として誤検出することを抑え、精度よく目位置検出を行うことができる。

特開２００８−１９２１００号公報

Stan Z. Li, Anil K. Jain、「Handbook of Face Recognition」、Springer、2011年、p.124-133

非特許文献１に記載の技術において、モデルフィッティングの精度は、モデルの初期状態、すなわちモデルを最初に画像のどこに配置し、どのような角度、形状に設定するかによって大きな影響を受ける。モデルの初期状態が実際の顔の状態と大きく離れていると、実際の顔に合わせてモデルを生成するためのモデルフィッティングの計算が局所最適解に陥り、モデルが実際の顔からずれて収束してしまう場合がある。これを誤フィッティングといい、誤フィッティングが発生すると顔のモデルの精度が低下する。特に、モデルの目の位置が眼鏡の縁または眉毛の位置に誤って収束してしまうことが起こりやすい。また、モデルのトラッキングを行っている間に、モデルと実際の顔との間にずれが発生し、モデルの精度が低下する場合がある。非特許文献１には、これらの場合においてモデルを修正する方法は教示されていない。

また、特許文献１に記載の技術において、差分画像は光の強さおよび方向の変化ならびに顔の動きに起因するノイズによる影響を受けやすいため、差分画像のみで目位置を常に検出し続けることは難しい。そのため、特許文献１に記載の技術では、ノイズが多い画像が続いている間は目位置検出を行うことができず、モデルの経時的な精度が維持できないおそれがある。

本発明は、上述の問題点を解決するためになされたものであって、顔のモデルの精度を経時的に維持することが可能な顔検出装置、方法およびプログラムを提供することを目的とする。

本発明の一態様は、撮像部が撮像する顔を含む画像から顔検出を行うための顔検出装置であって、前記撮像部からの第１の画像に基づいて前記顔の第１のモデルを生成するモデルフィッティング部と、前記第１のモデルを前記撮像部からの第２の画像に適合させるトラッキング部と、前記第２の画像に基づいて前記顔の顔部品の位置を検出する位置検出部と、前記トラッキング部により適合される前記第１のモデルにおける前記顔部品の位置と、前記位置検出部により検出される前記顔部品の位置との間にずれが発生しているか否かを判定する比較部と、を備え、前記モデルフィッティング部は、前記ずれが発生していると前記比較部が判定する場合に、前記第２の画像に基づいて前記顔の第２のモデルを生成することを特徴とする。

本発明の一態様は、顔検出方法であって、撮像手段から顔を含む第１の画像を取得するステップと、モデルフィッティング手段が、前記第１の画像に基づいて前記顔の第１のモデルを生成するステップと、前記撮像手段から前記顔を含む第２の画像を取得するステップと、トラッキング手段が、前記第１のモデルを前記第２の画像に適合させるステップと、前記適合させるステップに並行して、位置検出手段が、前記第２の画像に基づいて前記顔の顔部品の位置を検出するステップと、比較手段が、前記適合させるステップにおいて適合される前記第１のモデルにおける前記顔部品の位置と、前記検出するステップにおいて検出される前記顔部品の位置との間にずれが発生しているか否かを判定するステップと、前記判定するステップにおいて前記ずれが発生していると前記比較手段が判定する場合に、前記モデルフィッティング手段が前記第２の画像に基づいて前記顔の第２のモデルを生成するステップと、を備えることを特徴とする。

本発明の一態様は、撮像手段が撮像する顔を含む画像から顔検出を行うためのプログラムであって、コンピュータを、前記撮像手段からの第１の画像に基づいて前記顔の第１のモデルを生成するモデルフィッティング手段、前記第１のモデルを前記撮像手段からの第２の画像に適合させるトラッキング手段、前記トラッキング手段による前記第１のモデルの適合に並行して、前記第２の画像に基づいて前記顔の顔部品の位置を検出する位置検出手段、および前記トラッキング手段により適合される前記第１のモデルにおける前記顔部品の位置と、前記位置検出手段により検出される前記顔部品の位置との間にずれが発生しているか否かを判定する比較手段、として機能させ、前記ずれが発生していると前記比較手段が判定する場合に、前記モデルフィッティング手段は前記第２の画像に基づいて前記顔の第２のモデルを生成する、ことを特徴とする。

本発明によれば、モデルの目の位置と、画像から検出される目の位置との間にずれが発生している場合に再モデルフィッティングを行うため、モデルの実際の顔からのずれを低減して精度の高い状態に維持することができる。

本発明の一実施形態に係る車両の車室の模式図である。 本発明の一実施形態に係る顔検出装置の概略ブロック図である。 本発明の一実施形態に係る顔検出装置の機能ブロック図である。 モデルおよびテンプレートを説明するための模式図である。 本発明の一実施形態に係る顔検出処理を示す模式図である。 本発明の一実施形態に係る顔検出処理のフローチャートを示す図である。 本発明の一実施形態に係る初期モデルフィッティング処理のフローチャートを示す図である。 本発明の一実施形態に係るトラッキング処理のフローチャートを示す図である。 本発明の一実施形態に係る目位置検出処理のフローチャートを示す図である。 本発明の一実施形態に係る目位置検出方法を示す模式図である。 本発明の一実施形態に係る目位置比較方法を示す模式図である。 本発明の一実施形態に係る再モデルフィッティング処理のフローチャートを示す図である。

以下、図面を参照して、本発明の実施の形態を説明するが、本発明は本実施形態に限定されるものではない。なお、以下で説明する図面で、同機能を有するものは同一符号を付け、その繰り返しの説明は省略することもある。

図１は本実施形態に係る顔検出装置１を有する車両１００の車室を示す模式図である。車両１００は、撮像部２を有する顔検出装置１を備える。顔検出装置１は車両１００内の任意の場所に設けられてよい。顔検出装置１は単独の装置でもよく、また車両１００内の他のシステム（例えば、カーナビゲーションシステム）に組み込まれてもよい。

撮像部２は、車室内において運転席１０１の前方（すなわち、車両１００の進行方向側）に設けられている。撮像部２は、少なくとも運転席１０１に着座している運転者の顔を含む領域を撮像可能に構成されている。本実施形態において撮像部２はダッシュボード上に設けられているが、運転者の顔が正面方向から撮影可能であればハンドル、天井、またはルームミラーに設けられてもよい。

図２は、本発明の実施形態に係る顔検出装置１の概略ブロック図である。顔検出装置１は、運転者の顔を撮像するための撮像部２を備える。撮像部２はレンズ２３を有するカメラ２１と制御部２２とを備える。カメラ２１は通常の可視光線用ＣＣＤカメラまたはＣＭＯＳカメラであってもよく、また、近赤外線用ＣＣＤカメラであってもよい。近赤外線用ＣＣＤカメラは可視光線用ＣＣＤカメラと比較して、人間の個別の肌の色に左右されない。また、可視光線用ＣＣＤカメラよりも近赤外線用ＣＣＤカメラの方がシャッター速度を速くすることが可能である。

制御部２２は、カメラ２１の制御を行う。制御部２２は、所定の時間ごとに、またはＣＰＵ８からの信号に応答してカメラ２１のシャッターを開閉する制御を行い、撮像された画像データをフレームとしてＲＡＭ６のフレーム・メモリ６１に記録する。すなわち、ある時点において撮像された画像をフレームという。

さらに、顔検出装置１は、演算部（ＣＰＵ）８、格納部９、ＲＯＭ５、ＲＡＭ６、出力部７、インターフェース（Ｉ／Ｆ）４、およびバス４１を備える。また、顔検出装置１はＡ／Ｄ変換部３をさらに備える。それぞれはバス４１を介して信号を送受信可能に接続される。

演算部８はＣＰＵを含み、プログラムにしたがって、撮像部２からのデジタル変換された画像データを処理し解析するとともに、眼部の検出と瞬目動作の判定等の処理を行う機能を有している。格納部９はＲＡＭ等から構成され、画像データを保存するとともに、画像データの処理結果、解析結果、および判定結果を格納可能である。

出力部７は、例えば、スピーカ、ディスプレイ、およびランプを含む。出力部７は、本実施形態に係る顔検出処理の結果に基づき、スピーカから注意や警告のための音声を発し、もしくはディスプレイまたはランプから注意や警告のためのメッセージまたは光を出力することができる。また、出力部７は、本実施形態に係る顔検出処理の結果に基づいて、例えば、車両２が有する自動ブレーキシステムに対して、自動ブレーキを作動させるための信号を送出することも可能である。

出力部７に含まれるスピーカとしては車両２に装備されるスピーカを利用することも可能である。また、出力部７に含まれるディスプレイとしては車両２に装備されるカーナビゲーションシステムのディスプレイを利用することも可能である。

Ａ／Ｄ変換部３は、撮像部２からの画像信号をデジタル信号の画像データへ変換する機能を有している。画像データは、インターフェース（Ｉ／Ｆ）４へ出力される。Ｉ／Ｆ４は制御部２２とデータおよびコマンドの送受信を行うとともに、画像データを受信する。ＲＯＭ５は読み取り専用メモリであって、顔検出装置１を起動させるためのブートプログラムを格納しており、また実行される処理、解析、および判定のためのプログラム（例えば、後述する図６〜９、１２に示す処理を行うプログラム）を格納するプログラム・メモリ５１を備える。プログラムは、ＲＯＭ５ではなく格納部９に格納されてもよい。

ＲＡＭ６は、ＣＰＵ８のキャッシュメモリとして使用されるとともに、ＣＰＵ８による画像データに対するプログラム実行時のワークエリアとして使用される。ＲＡＭ６は、画像データをフレーム毎に格納するフレーム・メモリ６１と、テンプレートを格納するテンプレート・メモリ６２とを備える。

図３は、顔検出装置１の機能ブロック図である。顔検出装置１は、撮像部（撮像手段）２からの画像を用いて顔のモデルを生成するモデルフィッティング部（モデルフィッティング手段）１１と、モデルフィッティング部１１により生成されるモデルを撮像部２からの画像に適合させる、すなわちトラッキングするトラッキング部（トラッキング手段）１２と、画像を用いて目位置の検出を行う位置検出部（位置検出手段）１３と、トラッキング部１２により適合されるモデルの目位置と位置検出部１３により検出される目位置との比較を行う目位置比較部（比較手段）１４と、を備える。モデルフィッティング部は、顔検出処理の開始時と、トラッキング部１２により適合されるモデルの目位置と位置検出部により検出される目位置との間にずれが発生した時に、モデルフィッティングを行う。さらに、顔検出装置１は、トラッキング部１２から出力されるモデルの状態に応じて所定のアクションを行うアクション部（アクション手段）１５を備える。

本実施形態に係る顔検出装置１においては、モデルフィッティング部１１、トラッキング部１２、位置検出部１３、目位置比較部１４、およびアクション部１５は、それぞれコンピュータである顔検出装置１を作動させるためのプログラムとして顔検出装置１のＲＯＭ５または格納部９に記憶されている。すなわち、本実施形態に係る顔検出のためのプログラムは、実行時にＣＰＵ８によってＲＯＭ５または格納部９からＲＡＭ６に読み出され、コンピュータである顔検出装置１を、モデルフィッティング部１１、トラッキング部１２、位置検出部１３、目位置比較部１４、およびアクション部１５として機能させる。モデルフィッティング部１１、トラッキング部１２、位置検出部１３、目位置比較部１４、およびアクション部１５の少なくとも一部を、プログラムでなく電気回路として実装してもよい。また、モデルフィッティング部１１、トラッキング部１２、位置検出部１３、目位置比較部１４、およびアクション部１５を、単一の装置でなく複数の装置に別々に実装し、複数の装置が共同して本実施形態に係る顔検出装置１として作動するように構成してもよい。

図４は、本実施形態で用いる顔のモデルおよびテンプレートを説明するための模式図である。図４（ａ）は、例示的な顔のモデルＭを示す模式図である。モデルＭは、それぞれ所定の顔部品を表す複数の特徴点Ｐを含んでいる。特徴点Ｐは、任意の点を原点とした座標により表される。図４（ａ）では眉、目、鼻、口および輪郭を表す特徴点Ｐを示しているが、モデルＭはより図４（ａ）に示したものは異なる特徴点Ｐを含んでもよい。本実施形態において、モデルフィッティングには、統計的顔形状モデル、すなわち予め作成した平均的な顔の仮モデルを初期状態として用い、該仮モデルの特徴点Ｐを画像中の顔の各部分に位置させることによって、該顔に近似したモデルＭを生成することが含まれる。

また、本実施形態において、モデルのトラッキングには、モデルフィッティングにおいてモデルＭが生成された後に、周期的に撮像される画像中の顔に合うようにモデルＭを継続的に適合させることが含まれる。本実施形態では、テンプレートを用いることによってモデルのトラッキングを行っている。図４（ｂ）は、顔のモデルＭについて作成されるテンプレートＴを示す模式図である。テンプレートＴは、画像中のモデルＭの特徴点Ｐを含む所定範囲の領域を有する。例えば、テンプレートＴは、眉を表す特徴点Ｐを含む領域、目を表す特徴点Ｐを含む領域、鼻を表す特徴点Ｐを含む領域、口を表す特徴点Ｐを含む領域および輪郭を表す特徴点Ｐを含む領域を有する。テンプレートＴの各領域は、１または２以上の特徴点と対応しており、該特徴点の座標と紐付けられている。すなわち、テンプレートＴが有する領域の画像中の位置が決まれば、該領域に対応する特徴点Ｐの座標を算出することができる。本実施形態に係るモデルのトラッキングでは、テンプレートＴが有する各領域の画像中の位置を決定し、該各領域の位置を用いてモデルＭの該画像中の角度、位置および大きさを決定する。そして、モデルＭに対してこれらの決定された角度、位置および大きさを適用することによって、モデルＭを該画像に適合させることができる。テンプレートＴが有する領域の位置および数は、モデルのトラッキングが可能である限り任意に選択され得る。

図５は、本実施形態に係る顔検出処理を示す模式図である。図５（ａ）は、正面から見た運転者の顔を含む画像を示す。図５（ｂ）、（ｃ）においては、運転者の画像の上に、トラッキング部１２により適合されているモデルの特徴点Ｐが示されているとともに、位置検出部１３により検出されている目位置Ｅが示されている。図５（ｂ）では、運転者の目の目頭および目尻にモデルの目を表す特徴点Ｐが位置しているため、モデルの目位置は位置検出部１３により検出されている目位置Ｅと一致している。一方、図５（ｃ）では、モデルの目を表す特徴点Ｐが運転者の目よりも上に位置しているため、モデルの目位置は位置検出部１３により検出されている目位置Ｅと一致していない。すなわち、図５（ｃ）の状態ではモデルの目位置と位置検出部１３により検出されている目位置との間にずれが生じている。

顔検出装置１においては、モデルフィッティング部１１が第１の画像（すなわち、撮像部２が最初に取得する画像）に基づいて第１のモデルを生成し、その後、トラッキング部１２が第２の画像（すなわち、第１のモデルの生成後に撮像部２が取得する画像）に第１のモデルを適合させ、それと並行して位置検出部１３が第２の画像に基づいて目位置を検出する。目位置比較部１４は、トラッキング部１２により適合される第１のモデルの目位置と、位置検出部１３により第２の画像に基づいて検出される目位置とを比較し、比較結果を出力する。目位置比較部１４による比較結果に基づいて、トラッキング部１２により適合されるモデルの目位置と位置検出部１３により第２の画像に基づいて検出される目位置との間にずれがある場合、すなわち図５（ｃ）の状態の場合に、モデルフィッティング部１１は位置検出部１３により検出される目位置を用いて新たに第２のモデルの生成を行う。このような構成により、最初に誤フィッティングが行われる場合、またはモデルのトラッキングの最中にモデルと実際の顔との間にずれが生じる場合に、モデルを修正し、モデルと実際の顔とのずれを低減することが可能である。

図６は、本実施形態に係る顔検出処理のフローチャートを示す図である。顔検出装置１は、所定の開始条件（例えば、運転者の着座、運転者によるイグニッション・キーまたは特定のスイッチのオン等）が満たされたことを検知すると、図６のフローチャートの顔検出処理の実行を開始する。顔検出処理の各ステップで使用される画像（すなわち、運転者の顔を含む画像）は、各ステップの実行時にＣＰＵ８から撮像部２に信号を送ることにより撮像するものでもよく、または撮像部２が自発的に所定周期で撮像するものでもよい。いずれの場合においても、撮像部２により撮像される画像はＲＡＭ６のフレーム・メモリ６１に格納され、各ステップにおいてＲＡＭ６のフレーム・メモリ６１から読み出される。ＲＡＭ６のフレーム・メモリ６１には、少なくとも処理対象のフレームおよび処理対象のフレームの１つ前のフレームの画像が保持される。

まず、顔検出装置１は、撮像部２により撮像される画像に基づいて、モデルフィッティング部１１を用いて初期モデルフィッティング処理を行い、モデルを生成する（ステップＳ１）。その後、次のフレームを処理対象のフレームとして、画像および初期モデルフィッティング処理により生成されるモデルに基づいて、トラッキング部１２を用いてトラッキング処理を行い、該モデルを該画像に適合させる（ステップＳ２）。トラッキング処理と並行して、顔検出装置１は、トラッキング処理で用いられるものと同一の処理対象のフレームの画像に基づいて、位置検出部１３を用いて目位置検出処理を行い、該画像中の目位置を検出する（ステップＳ３）。本実施形態ではトラッキング処理と目位置検出処理とは同一の周期で繰り返し行っているが、トラッキング処理の周期が目位置検出処理の周期よりも短くてもよい。例えば、トラッキング処理の周期は目位置検出処理の周期の１／２または１／３でよい。この場合には、トラッキング処理が２回または３回行われる度に、目位置検出処理が１回行われる。

目位置検出処理（ステップＳ３）において処理対象のフレームで目位置が検出されなかった場合、すなわち瞬目が検出されなかった場合には（ステップＳ４のＮＯ）、顔検出装置１は、次のフレームを処理対象のフレームとしてトラッキング処理（ステップＳ２）および目位置検出処理（ステップＳ３）を行う。

目位置検出処理（ステップＳ３）において処理対象のフレームで目位置が検出される場合には（ステップＳ４のＹＥＳ）、顔検出装置１は、目位置比較部１４を用いて目位置比較処理を行い、モデルの目位置と画像の目位置との間にずれが発生しているか否かを判定する（ステップＳ５）。

目位置比較処理（ステップＳ５）においてモデルの目位置と画像の目位置との間にずれが発生していないと判定される場合には（ステップＳ６のＮＯ）、顔検出装置１は、次のフレームを処理対象のフレームとしてトラッキング処理（ステップＳ２）および目位置検出処理（ステップＳ３）を行う。ここで、初期モデルフィッティング処理によりモデルが仮検出状態に設定されている場合には、仮検出状態を解除する。目位置比較処理によってモデルの精度が十分高いことが確認されるためである。

目位置比較処理（ステップＳ５）においてモデルの目位置と画像の目位置との間にずれが発生していると判定される場合には（ステップＳ６のＹＥＳ）、顔検出装置１は、位置検出部１３により検出される目位置に基づいて、モデルフィッティング部１１を用いて再モデルフィッティング処理を行い、新たにモデルを生成する、すなわちモデルを更新する（ステップＳ７）。その後、顔検出装置１は、次のフレームを処理対象のフレームとしてトラッキング処理（ステップＳ２）および目位置検出処理（ステップＳ３）を行う。ここで、初期モデルフィッティング処理によりモデルが仮検出状態に設定されている場合には、仮検出状態を解除する。再モデルフィッティング処理によってモデルが修正され、モデルの精度が確保されるためである。

目位置検出処理（ステップＳ３）から再モデルフィッティング処理（ステップＳ７）の流れとは独立して、トラッキング処理（ステップＳ２）において適合されるモデルに基づいて、顔検出装置１は、アクション部１５を用いて所定アクションの実行を行う（ステップＳ８）。例えば、アクション部１５は、トラッキング処理において適合されるモデルが正面を向いていない場合に運転者が脇見状態であることを判定し、警告のために出力部７から音声の出力、もしくはメッセージまたは光の出力を行ってもよい。また、アクション部１５は、トラッキング処理において適合されるモデルが所定の時間以上閉眼状態にある場合に運転者が居眠り状態であることを判定し、警告のために出力部７から音声の出力、もしくはメッセージまたは光の出力を行ってもよい。また、アクション部１５は、脇見状態または居眠り状態の判定に基づいて、自動ブレーキシステムの作動を行ってもよい。

ここで、初期モデルフィッティング処理によりモデルが仮検出状態に設定されている場合には、アクション部１５は前述の所定アクションを行わなくてもよく、または前述の所定アクションとは異なるアクションを行ってもよい。仮検出状態ではモデルフィッティングの精度が低く、必ずしもモデルが実際の顔に近い状態であるとは限らないためである。例えば、アクション部１５は、モデルが仮検出状態に設定されている場合には、音声および光の出力は行うが、自動ブレーキの作動は行わなくてもよい。

最後に、顔検出装置１は、所定の終了条件（例えば、運転者の離席、運転者によるイグニッション・キーまたは特定のスイッチのオフ等）が満たされたことを検知すると、顔検出処理の実行を終了する（ステップＳ９のＹＥＳ）。終了条件が満たされていなければ、顔検出装置１は、次のフレームを処理対象のフレームとしてトラッキング処理（ステップＳ２）および目位置検出処理（ステップＳ３）を行う（ステップＳ９のＮＯ）。

図７は、本実施形態に係る初期モデルフィッティング処理の詳細なフローチャートを示す図である。初期モデルフィッティング処理では、モデルフィッティング部１１は、ＲＡＭ６のフレーム・メモリ６１から顔検出処理開始時のフレームの画像を取得し（ステップＳ１１）、画像に基づいてモデルの初期状態を決定する（ステップＳ１２）。モデルの初期状態の決定には、モデルフィッティングを実行する前の時点におけるモデルの位置、角度等の決定が含まれる。本実施形態におけるモデルの初期状態の決定は特定の方法に限定されるものではなく、ニューラルネットワーク法、ＡｄａＢｏｏｓｔ法等の、任意の顔および顔部品の検出方法を用いてよい。

本実施形態によれば、再モデルフィッティング処理（ステップＳ７）においてより正確な再モデルフィッティングを行うことができる。そのため、初期モデルフィッティング処理においては、モデルの初期状態の精度は必ずしも高いものでなくてもよく、処理負荷の小さい、すなわち処理が速いモデルの初期状態を用いることができる。これにより、モデルのトラッキングをより早いタイミングで開始することが可能となる。

モデルフィッティング部１１は、ステップＳ１２で決定されたモデルの初期状態を用いて、ステップＳ１１で取得された画像に対してモデルフィッティングを行い、モデルを生成する（ステップＳ１３）。本実施形態におけるモデルフィッティングは特定の方法に限定されるものではなく、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）法、ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）法等の、任意のモデルフィッティング法を用いてよい。モデルフィッティング部１１は、モデルフィッティングにより生成されたモデルをＲＡＭ６に格納する。

上述のように、本実施形態に係る初期モデルフィッティング処理におけるモデルの初期状態の精度は高くないため、誤フィッティングが起こりやすい。そのため、初期モデルフィッティング処理により生成されたモデルは仮検出状態とする。モデルが仮検出状態か否かは、アクションの実行（ステップＳ８）の判断に利用される。

モデルフィッティング部１１は、ステップＳ１１で取得された画像およびステップＳ１３において生成されたモデルを用いて、トラッキング処理に用いるためのモデルおよびテンプレートの保存を行う（ステップＳ１４）。例えば、モデルフィッティング部１１は、図４（ｂ）に示す眉を表す特徴点Ｐを含む領域、目を表す特徴点を含む領域、鼻を表す特徴点を含む領域、口を表す特徴点を含む領域および輪郭を表す特徴点Ｐを含む領域を有するテンプレートＴをＲＡＭ６のテンプレート・メモリ６２に保存し、モデルをＲＡＭ６に保存する。テンプレートＴが有する領域の位置および数は、モデルのトラッキングが可能である限り任意に選択してよい。

図８は、本実施形態に係るトラッキング処理（ステップＳ２）の詳細なフローチャートを示す図である。トラッキング処理では、トラッキング部１２は、ＲＡＭ６から処理対象のフレームの画像、モデルおよびテンプレートを取得し（ステップＳ２１）、画像とテンプレートとの比較を行う（ステップＳ２２）。具体的には、トラッキング部１２は、ＲＡＭ６のフレーム・メモリ６１から読み出された処理対象のフレームの画像と、ＲＡＭ６のテンプレート・メモリ６２から読み出されたテンプレートとに基づいて、テンプレートが有する各領域を画像上で走査して各位置における該領域と該画像とを比較する。トラッキング部１２は、比較の結果、最も近似している位置を用いてテンプレートが有する各領域の位置を決定し、該位置が適用されたテンプレートをＲＡＭ６のテンプレート・メモリ６２に保存する。その後、トラッキング部１２は、ＲＯＭ６から読み出されたモデルと、ステップＳ２２で保存されたテンプレートとに基づいて、テンプレートが有する各領域に紐付けられたモデルの角度、位置および大きさを決定し、該角度、位置および大きさが適用されたモデルをＲＡＭ６に格納する（ステップＳ２３）。その結果、モデルが処理対象のフレームの画像に適合（トラッキング）される。

本実施形態ではテンプレートを用いてトラッキング処理を行っているため、テンプレートと画像とを比較するだけの低い処理負荷でトラッキングを行うことができる。また、テンプレートを用いない方法によりトラッキング処理を行ってもよい。例えば、処理負荷は高くなるが、モデルをそのまま用いてトラッキング処理を行ってもよい。その場合には、テンプレートの取得（ステップＳ１４、Ｓ７４）は不要となる。その他、求める精度と処理負荷とのバランスに応じて任意のトラッキング方法を用いてよい。

図９は、本実施形態に係る目位置検出処理（ステップＳ３）の詳細なフローチャートを示す図である。位置検出部１３は、ＲＡＭ６のフレーム・メモリ６１から処理対象のフレームの画像と処理対象のフレームの１つ前のフレームの画像とを取得する（ステップＳ３１）。目位置検出処理の処理対象のフレームは、並行して行われているトラッキング処理の処理対象のフレームと同一である。

位置検出部１３は、トラッキング処理（ステップＳ２）により適合されたモデルをＲＡＭ６から読み出し、ステップＳ３１で取得された画像内の探索領域の決定を行う（ステップＳ３２）。位置検出部１３は、モデルの目（すなわち、目頭、目尻等）を表す特徴点の位置に基づいて、該特徴点の周辺領域を探索領域として決定する。探索領域は、例えば、目を表す特徴点を基準に上下左右にそれぞれ所定の距離離れた地点を含む領域である。なお、目を表す特徴点の誤フィッティングは眼鏡の縁または眉毛等の目の近傍の部分にされていることが多いため、探索領域の決定に用いられるモデルと実際の顔との間にずれがあるとしても探索領域内に実際の顔の目が位置する蓋然性が高い。探索領域は、その中に目が位置する蓋然性が十分に高い形状および大きさを有する必要があり、その形状および大きさは統計的に決定可能である。

その後、位置検出部１３は、ステップＳ３１で取得された画像を用いて、ステップＳ３２で決定された探索領域の差分画像を作成する（ステップＳ３３）。具体的には、位置検出部１３は、１つ前のフレームの画像中の探索領域と、処理対象のフレームの画像中の探索領域との間で、輝度成分の差分を算出する。これによって、例えば図１０に示される探索領域の差分画像を作成する。

図１０は、本実施形態に係る目位置検出方法を示す模式図である。図１０（ａ）は、運転者が閉眼状態にある場合における画像中の探索領域Ａを表している。図１０（ｂ）は、運転者が開眼状態にある場合における画像中の探索領域Ａを表している。図１０（ｃ）は、図１０（ｂ）の探索領域Ａの輝度成分から図１０（ａ）の探索領域Ａの輝度成分を減じて作成される差分画像を表している。差分画像においては、輝度が低下した領域（黒領域Ｂ）と、輝度が上昇した領域（白領域Ｃ）と、輝度がほぼ変化しない領域とが表れる。瞬目によって閉眼状態から開眼状態に遷移すると、差分画像中に瞼に対応する位置に大きな黒領域Ｂが表れる。そのため、位置検出部１３は、ステップＳ３３において作成された差分画像中の所定の面積より大きい黒領域Ｂを目位置として決定し、該目位置をＲＡＭ６に格納する（ステップＳ３４）。目位置は、例えば黒領域Ｂの重心の座標である。また、位置検出部１３は、差分画像中に所定の面積より大きい黒領域Ｂがない場合には、そのフレームでは瞬目は行われていないと判定し、目位置を検出しない。目位置検出のために開眼状態から閉眼状態への遷移を用いてもよく、その場合には所定の面積より大きい白領域Ｃを目位置として決定することができる。

なお、図１０（ｃ）は模式的な差分画像を表しているが、実際の差分画像には目以外の部分にも黒領域Ｂが複数表れることがある。その場合には、位置検出部１３は最も大きい面積を有する黒領域を目と推定する。さらに、推定された左右の目の大きさの違いまたは間隔が異常である、例えば所定の許容範囲から外れている場合には、位置検出部１３は次に大きい面積を有する黒領域を目と推定する。

本実施形態に係る目位置検出処理（ステップＳ３）では、瞬目に起因する目の変化を差分画像によって検出している。このため、眉毛または眼鏡の縁を目位置として誤検出することを抑制し、高精度に目位置を推定することができる。また、トラッキングされたモデルに基づいて探索領域を限定し、該探索範囲内でのみ目位置検出処理を行っているため、処理負荷を低減することができるとともに、目以外の顔部品によるノイズを低減して目位置の検出精度をさらに向上させることができる。本実施形態で用いる目位置の検出方法はこれに限られるものではなく、検出精度と処理負荷とを考慮して画像から鼻位置を特定可能な任意の顔部品検出方法を用いてもよい。

フレームの取得周期は人間の瞬目を検出可能な長さ、すなわち１つ前のフレームと処理対象のフレームとの間で閉眼状態と開眼状態とが切り替わる程度の長さである。フレームの取得周期の具体的な数値は統計または実験に基づいて定めることが可能であり、また顔検出装置１が運転手の瞬目頻度に基づいてフレームの取得周期を決定してもよい。

図１１は、本実施形態に係る目位置比較処理（ステップＳ５）における目位置比較方法を示す模式図である。目位置比較部１４は、ＲＡＭ６からトラッキング処理（ステップＳ２）により適合されたモデルを取得する。また、目位置比較部１４は、ＲＡＭ６から目位置検出処理（ステップＳ３）により検出された目位置を取得する。図１１に示すように、目位置比較部１４は、トラッキング処理により適合されたモデルの目頭および目尻を表す特徴点Ｐに基づき、目頭および目尻を表す特徴点Ｐの中点をモデルの目位置Ｐ’であると推定する。そして、目位置比較部１４は、トラッキングされたモデルの目位置Ｐ’と、目位置検出処理により検出された目位置Ｅとの間の距離Ｄを算出する。目位置比較部１４は、この距離Ｄが所定の閾値Ｄ０より大きい場合に、トラッキングされたモデルの目位置と目位置検出処理により検出された目位置との間にずれが発生していると判定し、そうでない場合に、トラッキングされたモデルの目位置と目位置検出処理により検出された目位置との間にずれが発生していないと判定する。所定の閾値Ｄ０は、必要とする再モデルフィッティングの頻度と処理負担を考慮して任意に設定してよい。

図１２は、本実施形態に係る再モデルフィッティング処理（ステップＳ７）の詳細なフローチャートを示す図である。再モデルフィッティング処理では、モデルフィッティング部１１は、ＲＡＭ６のフレーム・メモリ６１から画像を取得する（ステップＳ７１）。再モデルフィッティング処理の処理対象のフレームは、トラッキング処理および目位置検出処理の処理対象のフレームと同一である。

次に、モデルフィッティング部１１は、ＲＡＭ６から目位置検出処理（ステップＳ３）で検出された目位置を取得する（ステップＳ７２）。その後、モデルフィッティング部１１は、ステップＳ７２で取得された目位置をモデルの初期状態として用いて、ステップＳ７１で取得された画像に対してモデルフィッティングを行い、モデルを新たに生成する、すなわちモデルを更新する（ステップＳ７３）。モデルフィッティング部１１は、モデルフィッティングにより新たに生成されたモデルをＲＡＭ６に格納する。ここでは、モデルの初期状態として、目位置検出処理で検出された目位置を用いる。目位置検出処理では、上述のように、瞬目に起因する目の変化を差分画像によって検出しているため、高精度に目位置を特定することができる。この目位置をモデルの初期状態として用いることによって、再モデルフィッティング処理におけるモデルの初期状態を実際の顔の状態に近く設定することができるため、モデルフィッティングの精度が向上する。

再モデルフィッティング処理におけるモデルフィッティングについても、初期モデルフィッティング処理と同様に、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）法、ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）法等の、任意のモデルフィッティング法を用いてよい。モデルの初期状態として、目位置検出処理により検出された目位置に加えて、初期モデルフィッティング処理と同様のニューラルネットワーク法、ＡｄａＢｏｏｓｔ法等の任意の顔および顔部品の検出方法により決定されたモデルの初期状態を組み合わせて用いてもよい。これにより、モデルフィッティングの精度をさらに向上させることが可能になる。

再モデルフィッティング処理で用いる情報は、差分画像により推定した目位置に限らない。本発明の本質は、画像から生成されたモデルのトラッキングに並行して画像から顔部品の位置検出を行い、該顔部品の位置に基づいて該モデルを修正することにある。すなわち、１つの撮像部からの画像に基づいて２つの異なる情報を生成し、それらの情報を相補的に用いることによって顔検出の精度を向上させることを実現している。その結果、２つの異なる情報により推定結果のダブルチェックを行うことになるため、顔検出の精度が改善される。画像から位置を特定できる顔部品であれば、目以外にも、鼻、口、耳、輪郭等、任意のものを用いることができ、それらのうち複数を組み合わせて用いることもできる。

ステップＳ７３においてモデルが修正された後、モデルフィッティング部１１は、ステップＳ７１で取得された画像およびステップＳ７３において生成されたモデルを用いて、ステップＳ１４と同様に、トラッキング処理に用いるためのテンプレートをＲＡＭ６のテンプレート・メモリ６２に保存し、モデルをＲＡＭ６に保存する（ステップＳ７４）。

本実施形態に係る顔検出処理では、モデルのトラッキングに並行して画像から目位置検出を行い、推定された目位置を用いて再度モデルフィッティングを行うため、誤フィッティングおよびトラッキングのずれを修正し、モデルの経時的な精度を向上させることができる。しかも、視線検出機（アイトラッカー）のような追加の機構を必要とせずに、１つの撮像部からの画像を用いてモデルのトラッキングと目位置検出との両方を行っているため、精度を向上させるために掛かるコストの増加を抑制することができる。

また、本実施形態に係る顔検出処理では、トラッキングされているモデルの目位置と画像から検出される目位置とがずれている場合にのみ再モデルフィッティング処理を行うため、無駄な処理を省いて処理負荷の上昇を抑えることができる。

また、本実施形態に係る顔検出処理では、瞬目を待つ必要があるため時間を要する目位置検出が完了する前に、大まかな初期モデルフィッティング処理を行うので、モデルのトラッキングを早いタイミングで開始することができ、待ち時間を短縮することができる。

また、本実施形態に係る顔検出処理は、フレーム間の差分画像を作成することによって瞬目に起因する目の変化を検出することにより目位置の検出を行っているため、眉毛または眼鏡の縁を目位置として誤検出することを抑制し、高精度に目位置を推定することができる。このとき、トラッキングされているモデルの目位置に基づいて差分画像作成時の画像の探索領域を限定しているため、処理負荷を低減することができる。

本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラム（例えば、図６〜９、１２に示す処理を行うプログラム）を記憶媒体に記憶させ、該記憶媒体に記憶されたプログラムをコンピュータ中に読み出し、コンピュータにおいて実行する処理方法も前述の実施形態の範疇に含まれる。すなわち、コンピュータ読み取り可能な記憶媒体も本発明に係る実施形態の範囲に含まれる。また、前述のプログラムが記憶された記憶媒体はもちろん、そのプログラム自体も前述の実施形態に含まれる。かかる記憶媒体としてはたとえばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ―ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また前述の記憶媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウエア、拡張ボードの機能と共同して、ＯＳ上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。

前述した実施形態は、さらに以下の付記を含む。
（付記１）
撮像手段から顔を含む第１の画像を取得するステップと、
モデルフィッティング手段が、前記第１の画像に基づいて前記顔の第１のモデルを生成するステップと、
前記撮像手段から前記顔を含む第２の画像を取得するステップと、
トラッキング手段が、前記第１のモデルを前記第２の画像に適合させるステップと、
前記適合させるステップに並行して、位置検出手段が、前記第２の画像に基づいて前記顔の顔部品の位置を検出するステップと、
比較手段が、前記適合させるステップにおいて適合される前記第１のモデルにおける前記顔部品の位置と、前記検出するステップにおいて検出される前記顔部品の位置との間にずれが発生しているか否かを判定するステップと、
前記判定するステップにおいて前記ずれが発生していると前記比較手段が判定する場合に、前記モデルフィッティング手段が前記第２の画像に基づいて前記顔の第２のモデルを生成するステップと、
を備えることを特徴とする顔検出方法。
（付記２）
前記顔部品は目を含み、
前記位置検出手段は、あるフレームの前記撮像手段からの画像と１つ前のフレームの前記撮像手段からの画像との間で差分画像を作成し、前記差分画像に基づいて前記目の位置を検出する
ことを特徴とする付記１に記載の顔検出方法。
（付記３）
前記位置検出手段は、前記トラッキング手段により適合される前記第１のモデルの前記目の位置に基づいて探索領域を決定し、前記探索領域内で前記差分画像を作成する
ことを特徴とする付記２に記載の顔検出方法。
（付記４）
前記第１のモデルは顔部品を表す特徴点を含んでおり、
前記モデルフィッティング手段は、前記第１の画像内の前記特徴点を含む領域をテンプレートとして保存し、
前記トラッキング手段は、前記第２の画像に基づいて前記テンプレートの位置を決定し、前記テンプレートの前記決定される位置に基づいて前記第１のモデルを前記第２の画像に適合させる
ことを特徴とする付記１に記載の顔検出方法。
（付記５）
撮像手段が撮像する顔を含む画像から顔検出を行うためのプログラムであって、
コンピュータを、
前記撮像手段からの第１の画像に基づいて前記顔の第１のモデルを生成するモデルフィッティング手段、
前記第１のモデルを前記撮像手段からの第２の画像に適合させるトラッキング手段、
前記トラッキング手段による前記第１のモデルの適合に並行して、前記第２の画像に基づいて前記顔の顔部品の位置を検出する位置検出手段、および
前記トラッキング手段により適合される前記第１のモデルにおける前記顔部品の位置と、前記位置検出手段により検出される前記顔部品の位置との間にずれが発生しているか否かを判定する比較手段、
として機能させ、
前記ずれが発生していると前記比較手段が判定する場合に、前記モデルフィッティング手段は前記第２の画像に基づいて前記顔の第２のモデルを生成する、
ことを特徴とするプログラム。
（付記６）
前記顔部品は目を含み、
前記位置検出手段は、あるフレームの前記撮像手段からの画像と１つ前のフレームの前記撮像手段からの画像との間で差分画像を作成し、前記差分画像に基づいて前記目の位置を検出する
ことを特徴とする付記５に記載のプログラム。
（付記７）
前記位置検出手段は、前記トラッキング手段により適合される前記第１のモデルの前記目の位置に基づいて探索領域を決定し、前記探索領域内で前記差分画像を作成する
ことを特徴とする付記６に記載のプログラム。
（付記８）
前記第１のモデルは顔部品を表す特徴点を含んでおり、
前記モデルフィッティング手段は、前記第１の画像内の前記特徴点を含む領域をテンプレートとして保存し、
前記トラッキング手段は、前記第２の画像に基づいて前記テンプレートの位置を決定し、前記テンプレートの前記決定される位置に基づいて前記第１のモデルを前記第２の画像に適合させる
ことを特徴とする付記５に記載のプログラム。
（付記９）
付記５から８のいずれか一項に記載のプログラムを記憶したコンピュータ読み取り可能記憶媒体。

１ 顔検出装置
２ 撮像部
３ Ａ／Ｄ変換部
４ インターフェース（Ｉ／Ｆ）
５ ＲＯＭ
６ ＲＡＭ
７ 出力部
８ 演算部（ＣＰＵ）
９ 格納部
１１ モデルフィッティング部
１２ トラッキング部
１３ 位置検出部
１４ 目位置比較部
１５ アクション部
１００ 車両
１０１ 運転席

Claims (6)

1. 撮像部が撮像する顔を含む画像から顔検出を行うための顔検出装置であって、
   前記撮像部からの第１の画像に基づいて前記顔の第１のモデルを生成するモデルフィッティング部と、
   前記第１のモデルを前記撮像部からの第２の画像に適合させるトラッキング部と、
   前記第２の画像に基づいて前記顔の顔部品の位置を検出する位置検出部と、
   前記トラッキング部により適合される前記第１のモデルにおける前記顔部品の位置と、前記位置検出部により検出される前記顔部品の位置との間にずれが発生しているか否かを判定する比較部と、
   を備え、
   前記モデルフィッティング部は、前記ずれが発生していると前記比較部が判定する場合に、前記第２の画像に基づいて前記顔の第２のモデルを生成する
   ことを特徴とする顔検出装置。
2. 前記顔部品は目を含み、
   前記位置検出部は、あるフレームの前記撮像部からの画像と１つ前のフレームの前記撮像部からの画像との間で差分画像を作成し、前記差分画像に基づいて前記目の位置を検出する
   ことを特徴とする請求項１に記載の顔検出装置。
3. 前記位置検出部は、前記トラッキング部により適合される前記第１のモデルの前記目の位置に基づいて探索領域を決定し、前記探索領域内で前記差分画像を作成する
   ことを特徴とする請求項２に記載の顔検出装置。
4. 前記第１のモデルは顔部品を表す特徴点を含んでおり、
   前記モデルフィッティング部は、前記第１の画像内の前記特徴点を含む領域をテンプレートとして保存し、
   前記トラッキング部は、前記第２の画像に基づいて前記テンプレートの位置を決定し、前記テンプレートの前記決定される位置に基づいて前記第１のモデルを前記第２の画像に適合させる
   ことを特徴とする請求項１に記載の顔検出装置。
5. 撮像手段から顔を含む第１の画像を取得するステップと、
   モデルフィッティング手段が、前記第１の画像に基づいて前記顔の第１のモデルを生成するステップと、
   前記撮像手段から前記顔を含む第２の画像を取得するステップと、
   トラッキング手段が、前記第１のモデルを前記第２の画像に適合させるステップと、
   前記適合させるステップに並行して、位置検出手段が、前記第２の画像に基づいて前記顔の顔部品の位置を検出するステップと、
   比較手段が、前記適合させるステップにおいて適合される前記第１のモデルにおける前記顔部品の位置と、前記検出するステップにおいて検出される前記顔部品の位置との間にずれが発生しているか否かを判定するステップと、
   前記判定するステップにおいて前記ずれが発生していると前記比較手段が判定する場合に、前記モデルフィッティング手段が前記第２の画像に基づいて前記顔の第２のモデルを生成するステップと、
   を備えることを特徴とする顔検出方法。
6. 撮像手段が撮像する顔を含む画像から顔検出を行うためのプログラムであって、
   コンピュータを、
   前記撮像手段からの第１の画像に基づいて前記顔の第１のモデルを生成するモデルフィッティング手段、
   前記第１のモデルを前記撮像手段からの第２の画像に適合させるトラッキング手段、
   前記トラッキング手段による前記第１のモデルの適合に並行して、前記第２の画像に基づいて前記顔の顔部品の位置を検出する位置検出手段、および
   前記トラッキング手段により適合される前記第１のモデルにおける前記顔部品の位置と、前記位置検出手段により検出される前記顔部品の位置との間にずれが発生しているか否かを判定する比較手段、
   として機能させ、
   前記ずれが発生していると前記比較手段が判定する場合に、前記モデルフィッティング手段は前記第２の画像に基づいて前記顔の第２のモデルを生成する、
   ことを特徴とするプログラム。