JP6922821B2 - 画像解析装置、方法およびプログラム - Google Patents

Description

この発明の実施形態は、例えば撮像された画像から人の顔等の検出対象物を検出するために使用される画像解析装置、方法およびプログラムに関する。

例えば、ドライバモニタリング等の監視分野において、カメラにより撮像された画像から人の顔が含まれる画像領域を検出し、検出された顔画像領域から目や鼻、口などの複数の器官の位置や顔の向き等を推定する技術が提案されている。

このうち、撮像画像から人の顔が含まれる画像領域を検出する手法としては、例えばテンプレートマッチング等の公知の画像処理技術が知られている。この技術は、例えば、撮像画像に対し予め用意された顔の基準テンプレートの位置を所定数の画素間隔でステップ的に移動させながら、上記撮像画像からテンプレートの画像との一致の度合いが閾値を超える画像領域を検出し、この検出された画像領域を例えば矩形の枠により抽出することにより、人の顔を検出するものである。

ところで、この顔検出技術では、閾値を厳しい条件に設定すると、検出対象の顔を高精度に検出することができるが、撮像された画像の品質等によっては本来検出すべき顔画像の検出漏れを起こし易くなる。これに対し、閾値を緩い条件に設定すると、検出漏れを減らすことができる一方、検出対象外の画像を顔画像として誤検出するケースが多発する。

そこで従来では、顔検出処理によって検出された顔画像が検出対象の顔かどうかを判定する際に、顔の検出結果の信頼度が予め設定されたフレーム数又は時間だけ連続して検出された場合に、このとき検出された領域を検出対象の顔画像の領域と判定する技術が提案されている（例えば特許文献１を参照）。

特許第５１４７６７０号公報

ところが、特許文献１に記載された技術では、前フレームで検出された顔画像と同一の顔画像が現フレームで検出できない場合、前フレームで検出された顔画像領域を削除して、検出対象の顔画像領域の探索を最初からやり直すようにしている。このため、例えば被写体の顔が手や髪の毛等により一時的に隠れたり、被写体の動きに伴い顔の一部が顔画像領域から外れた場合にも、前フレームで検出された顔画像領域は削除され、顔画像領域の検出が最初からやり直される。このため、顔画像領域の検出処理が頻発し、装置の処理負荷量の増大を招いていた。

この発明は上記事情に着目してなされたもので、検出対象物が検出されている状態で、当該検出対象物が一時的に検出されなくなった場合でも、検出対象物の検出状態を継続できるようにした技術を提供しようとするものである。

上記課題を解決するためにこの発明の第１の態様は、時系的に入力される画像からフレーム単位で検出対象物が含まれる画像領域を検出する処理を行う探索部と、前記フレームごとに、前記探索部により検出された前記検出対象物が含まれる画像領域の確からしさを表す信頼度を検出する信頼度検出部と、前記信頼度検出部により検出された信頼度に基づいて、前記探索部の動作を制御する探索制御部とを具備する。そして、前記探索制御部により、第１フレームにおいて前記信頼度検出部により検出された第１の信頼度が、予め設定された第１の判定条件を満たすか否かを判定し、前記第１の信頼度が前記第１の判定条件を満たすと判定された場合に、前記第１フレームにおいて前記探索部により検出された画像領域の位置情報を保持し、当該保持された画像領域の位置情報を後続の第２フレームにおける検出対象領域として前記検出処理が行われるように前記探索部を制御する。また、前記第２フレームにおいて前記信頼度検出部により検出された第２の信頼度が、前記第１の判定条件を満たさないと判定された場合に、当該第２の信頼度が前記第１の判定条件より緩和された第２の判定条件を満たすか否かを判定し、前記第２の信頼度が前記第２の判定条件を満たすと判定された場合に、前記第１フレームにおいて検出された前記画像領域の位置情報の保持を継続し、前記保持された画像領域の位置情報を後続のフレームにおいて前記検出対象物が含まれる画像領域を検出するための位置情報として使用するように前記探索部に対し指示する。これに対し、前記第２の信頼度が前記第２の判定条件を満たさないと判定された場合には、前記画像領域の位置情報の保持を解除し、前記検出対象物が含まれる画像領域を検出する処理が新たに行われるように前記探索部を制御する。

第１の態様によれば、例えば、検出対象物が含まれる画像領域の位置情報が保存されている状態で、あるフレームにおける上記検出対象物の探索結果の信頼度が、例えば検出対象物の変化や移動等により一時的に第１の判定条件を満たさなくなっても、上記信頼度が、第１の判定条件より緩和された第２の条件を満たせば、上記画像領域の位置情報の保存は維持される。従って、例えば検出対象物の変化や移動等による信頼度の一時的な低下が発生するごとに、検出対象物が存在する画像領域を最初から検出し直す必要はなくなり、これにより検出対象物が含まれる画像領域の検出処理を安定に効率良く行うことが可能となる。

この発明に係る第２の態様は、前記第１の態様において、前記探索部が、第１の探索精度で前記検出対象物が存在する画像領域を検出する粗探索処理と、当該粗探索処理により検出された画像領域の位置情報をもとに当該画像領域と周辺の所定範囲を含む領域を検出対象として前記第１の探索精度より高い第２の探索精度で前記検出対象物が存在する画像領域を検出する詳細探索処理をそれぞれ行い、前記信頼度検出部が、前記粗探索処理により検出された前記検出対象物を含む画像領域の確からしさを表す粗探索信頼度と、前記詳細探索処理により検出された前記検出対象物を含む画像領域の確からしさを表す詳細探索信頼度をそれぞれ検出する。そして、前記第１の判定部が、前記詳細探索信頼度が詳細探索用の判定条件を満たすか否かを判定し、前記第１の制御部が、前記詳細探索信頼度が前記詳細探索用の判定条件を満たすと判定された場合に、前記第１フレームにおいて前記探索部により検出された画像領域の位置情報を保持するようにしたものである。

第２の態様によれば、例えば、検出対象物が存在する画像領域を検出する際に、粗探索と詳細探索が行われ、これらの探索の各々について探索結果の信頼度が検出される。そして、検出対象物が存在する画像領域を特定する際には、上記詳細探索の信頼度が判定条件を満たすことが条件となる。このため、検出対象物が存在する領域を精度良く特定することが可能となる。

この発明に係る第３の態様は、前記第２の態様において、前記第２の判定部が、前記第２フレームに対する前記粗探索処理において検出された粗探索信頼度が前記粗探索用の第１の判定条件を満たさないと判定された場合に、当該第２フレームに対する前記粗探索処理において検出された前記粗探索信頼度が、前記第１の判定条件より緩和された第２の判定条件を満たすか否かを判定する。そして、前記第２フレームに対する前記粗探索処理において検出された前記粗探索信頼度が、前記第２の判定条件を満たすと判定された場合に、前記第２の制御部により前記画像領域の位置情報の保持を継続する。これに対し、前記第２フレームに対する前記粗探索処理において検出された前記粗探索信頼度が、前記第２の判定条件を満たさないと判定された場合には、前記第３の制御部により、前記画像領域の位置情報の保持を解除するようにしたものである。

第３の態様によれば、信頼度の低下が一時的なものか否かが、粗探索において検出された信頼度に基づいて判定される。ここで、粗探索による信頼度が判定条件を満たさない状態が一定フレーム数以上続くと、詳細探索による信頼度が保持されない可能性がある。しかし、上記したように、信頼度の低下が一時的なものか否かを粗探索において検出された信頼度に基づいて判定することで、上記判定を確実に行うことが可能となる。

この発明に係る第４の態様は、前記第２の態様において、前記第２の判定部が、前記第２フレームに対する前記詳細探索処理において検出された詳細探索信頼度が詳細探索用の第３の判定条件を満たさないと判定された場合に、当該第２フレームに対する前記粗探索処理において検出された前記粗探索信頼度が、粗探索用の第１の判定条件より緩和された第２の判定条件を満たすか否かを判定する。そして、前記第２フレームに対する前記粗探索処理において検出された前記粗探索信頼度が、前記第２の判定条件を満たすと判定された場合に、前記第２の制御部により前記画像領域の位置情報の保持を継続する。これに対し、前記第２フレームに対する前記粗探索処理において検出された前記粗探索信頼度が、前記第２の判定条件を満たさないと判定された場合には、前記第３の制御部により、前記画像領域の位置情報の保持を解除するようにしたものである。

第４の態様によれば、第２フレームに対する前記詳細探索処理において検出された詳細探索信頼度が詳細探索用の第３の判定条件を満たさないと判定された場合にも、信頼度の低下が一時的なものか否かが、粗探索において検出された信頼度に基づいて判定される。従って、例えば、第２フレームにおける粗探索信頼度が良好で、詳細探索信頼度が低下した場合にも、粗探索信頼度が、前記第１の判定条件より緩和された第２の判定条件を満たすか否かが判定され、その判定結果に基づいて、第１フレームにおいて検出された画像領域の位置情報を保持するか否かを制御することが可能となる。

この発明に係る第４の態様は、前記第２または第３の態様において、前記第２の判定部が、前記第１フレームにおいて前記信頼度検出部により検出された粗探索信頼度を所定値だけ低下させた信頼度を、前記第２の判定条件として使用するようにしたものである。

第４の態様によれば、信頼度の低下が一時的なものか否かを判定するための第２の判定条件は、例えば前フレームにおける粗探索結果の第１の信頼度に基づいて設定される。このため、信頼度の低下が一時的なものか否かの判定は、常に前フレームにおける信頼度を基準に行われることになる。従って、第２の判定条件として固定値を使用する場合に比べ、検出対象物の一時的な変化の形態を考慮したより適切な判定を行うことが可能となる。

すなわちこの発明の各態様によれば、検出対象物が検出されている状態で、当該検出対象物が一時的に検出されなくなった場合でも、検出対象物の検出状態を保持できるようにした技術を提供することができる。

図１は、この発明の一実施形態に係る画像解析装置の１つの適用例を示すブロック図である。 図２は、この発明の一実施形態に係る画像解析装置のハードウェアの構成の一例を示すブロック図である。 図３は、この発明の一実施形態に係る画像解析装置のソフトウェアの構成の一例を示すブロック図である。 図４は、図３に示した画像解析装置による画像解析処理の全体の処理手順と処理内容の一例を示すフローチャートである。 図５は、図４に示した画像解析処理のサブルーチンの１つを示すフローチャートである。 図６は、図４に示した画像解析処理のサブルーチンの１つを示すフローチャートである。 図７は、図４に示した画像解析処理のうち粗探索処理の一例を説明するための図である。 図８は、図４に示した画像解析処理のうち詳細探索処理の一例を説明するための図である。 図９は、図７に示した粗探索処理により検出された顔画像領域の一例を示す図である。 図１０は、粗探索処理および詳細探索処理の方法として、顔の特徴点を探索する方法を用いる場合の探索動作の一例を説明するための図である。 図１１は、顔画像領域の一部が手により隠された例を示す図である。 図１２は、顔の特徴点の他の例を示す図である。 図１３は、顔の特徴点を三次元表示した例を示す図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。

［適用例］
先ず、この発明の実施形態に係る画像解析装置の一適用例について説明する。
この発明の実施形態に係る画像解析装置は、例えば、ドライバの顔の状態（例えば顔の表情や顔の向き、視線の方向）を監視するドライバモニタリング装置に使用されるもので、例えば図１に示すように構成される。

画像解析装置２はカメラ１に接続される。カメラ１は、例えば運転席と対向する位置に設置され、運転席に着座しているドライバの顔を含む所定の範囲を一定のフレーム周期で撮像し、その画像信号を出力する。

画像解析装置２は、画像取得部３と、顔検出部として機能する探索部４と、信頼度検出部５と、探索制御部６と、トラッキング情報記憶部７とを備えている。

画像取得部３は、例えば、上記カメラ１から出力される画像信号を順次受信し、受信した画像信号をフレームごとにデジタル信号からなる画像データに変換して画像メモリに保存する。

探索部４は、上記画像取得部３により取得された画像データをフレームごとに上記画像メモリから読み出し、当該画像データからドライバの顔を含む画像領域を検出する。例えば、探索部４はテンプレートマッチング法を採用し、画像データに対し顔の基準テンプレートの位置を所定数の画素間隔でステップ的に移動させながら、上記画像データから基準テンプレートの画像との一致の度合いが閾値を超える画像領域を検出し、この検出された画像領域を抽出する。この顔画像領域の抽出には、例えば矩形枠が使用される。

探索部４は、粗探索部４ａと、詳細探索部４ｂとを有する。このうち粗探索部４ａは、例えば、画像データに対する顔基準テンプレートの位置を、予め設定した複数画素（例えば８画素）間隔でステップ的に移動させる。そして、ステップ移動した位置ごとに、画像データと顔基準テンプレートとの相関値を検出してこの相関値を第１の閾値と比較し、相関値が第１の閾値を超えたときの顔基準テンプレートの位置に対応する画像領域を例えば矩形枠により検出する。すなわち、粗探索部４ａはラフな探索間隔で顔画像が存在する領域を検出するもので、顔画像の高速度の探索を可能にする。

一方、詳細探索部４ｂは、例えば、上記粗探索部４ａにより検出された画像領域（粗検出領域）に基づいて、当該粗検出領域とその近傍の所定範囲（例えば上下左右にそれぞれ２画素分拡げた範囲）を探索範囲とし、この探索範囲に対し上記粗探索で用いたラフな探索間隔より密に設定された画素間隔（例えば１画素間隔）でステップ的に顔基準テンプレートを移動させる。そして、ステップ移動した位置ごとに、画像データと顔基準テンプレートとの相関値を検出して、この相関値を、上記第１の閾値よりも高い値に設定された第２の閾値と比較し、相関値が第２の閾値を超えたときの顔基準テンプレートの位置に対応する画像領域を例えば矩形枠により検出する。すなわち、詳細探索部４ｂは密な探索間隔で顔画像が存在する領域を検出するもので、顔画像の詳細な探索を可能にする。

なお、粗探索部４ａおよび詳細探索部４ｂにおける探索方法としては、テンプレートマッチング法に限らず、例えば、一般的な顔の複数の器官（例えば目や鼻、口）の位置に対応して設定された複数の特徴点を、学習等により予め作成された三次元顔形状モデルを用いた探索方法が使用されてもよい。この三次元顔形状モデルを使用した探索方法は、例えば、画像データに対し三次元顔形状モデルを射影することにより、上記画像データから上記各器官の特徴量を取得する。そして、取得された特徴量の正解値に対する誤差量と、当該誤差量が閾値以内となるときの三次元顔形状モデルに基づいて、上記画像データにおける各特徴点の三次元位置を推定する。

信頼度検出部５は、上記粗探索部４ａによる顔画像領域（粗検出領域）の検出結果と、上記詳細探索部４ｂによる顔画像領域（詳細検出領域）の検出結果のそれぞれについて、その確からしさを表す信頼度を検出する。信頼度の検出方法としては、例えば、予め記憶された顔画像の特徴と、各探索部４ａ，４ｂにより検出された顔画像領域の画像の特徴とを比較して、検出した顔画像領域の画像が被写体の画像である確率を求め、この確率から信頼度を算出する方法が用いられる。また、別の検出方法として、予め記憶された顔画像の特徴と、各探索部４ａ，４ｂにより検出された顔画像領域の画像の特徴との差を算出し、その差の大きさから信頼度を算出する方法を使用することもできる。

探索制御部６は、上記信頼度検出部５により検出された、粗探索の信頼度および詳細探索の信頼度に基づいて、上記探索部４による顔画像領域の検出動作を制御する。
例えば、探索制御部６は、顔画像領域が検出されたフレームにおいて、上記詳細探索の信頼度が閾値を超えた場合に、トラッキングフラグをオンに設定し、このとき検出された顔画像領域の位置情報をトラッキング情報記憶部７に保存する。そして、この保存した顔画像領域の位置情報を、画像データの後続フレームにおいて顔画像領域を検出するための基準位置とするように上記粗探索部４ａに指示を与える。

また探索制御部６は、上記トラッキングフラグがオンに設定されている状態で、現フレームにおいて検出された粗探索の信頼度が閾値以下の場合に、前フレームで検出された粗探索の信頼度を所定値だけ低下させた値を新たな閾値として設定し、上記現フレームにおいて検出された粗探索の信頼度が、上記新たな閾値を超えているか否かを判定する。

そして、上記判定の結果、現フレームにおいて検出された粗探索の信頼度が上記新たな閾値を超えていると、探索制御部６は、トラッキングフラグをオンのまま維持して、上記トラッキング情報記憶部７に保存されている顔画像領域の位置情報の保持も継続する。そして、粗探索部４ａに対し、上記保存された顔画像領域の位置情報を、後続フレームにおいても顔画像領域を検出するための基準位置として使用するように指示を与える。

これに対し、現フレームにおいて検出された粗探索の信頼度が上記新たな閾値以下であると判定されると、探索制御部６は、トラッキングフラグをオフにリセットし、上記トラッキング情報記憶部７に保存されている顔画像領域の位置情報を消去する。そして、粗探索部１１２に対し、後続フレームにおいては顔画像領域の検出処理を初期状態からやり直すように指示を与える。

以上のような構成であるから、あるフレームにおいて顔画像が含まれる領域を検出する際に、詳細探索の信頼度が閾値を超えると、信頼度の高い顔画像が検出されたと判断されてトラッキングフラグがオンになり、当該フレームにおいて検出された顔画像領域の位置情報がトラッキング情報記憶部７に保存される。そして、次フレームでは、上記トラッキング情報記憶部７に保存された顔画像領域の位置情報を基準位置として顔画像領域の検出が行われる。このため、各フレームにおいて常に初期状態から顔画像領域を検出する場合に比べ、顔画像領域の検出を効率良く行うことができる。

一方、上記トラッキングフラグがオンになっている状態では、フレームごとに粗探索の信頼度が閾値を超えているか否かが判定される。そして、粗探索の信頼度が閾値以下に低下すると、前フレームにおける粗探索の信頼度を所定値だけ低下させた値が新たな閾値として生成され、現フレームにおける粗探索の信頼度が上記新たな閾値を超えているか否かが判定される。

この判定の結果、現フレームにおける粗探索の信頼度が上記新たな閾値を超えていれば、現フレームにおいて検出された顔画像の信頼度の低下は許容範囲内であると見なされ、後続フレームにおいても引き続き上記トラッキング情報記憶部７に保存された顔画像領域の位置情報を基準位置として顔画像の検出処理が行われる。従って、例えば、ドライバの顔が手や髪の毛等により一時的に隠れたり、ドライバの体動に伴い顔の一部が顔画像領域の基準位置から一時的に外れた場合には、トラッキング状態を解消せずに継続することが可能となり、顔画像の検出能率および安定性を高く保持することができる。

これに対し現フレームにおける粗探索の信頼度が上記新たな閾値を超えなければ、現フレームにおいて検出された顔画像の信頼度の低下は許容範囲を超えたものと見なされる。そして、トラッキングフラグはオフにリセットされ、かつトラッキング情報記憶部７に保存されている顔画像領域の位置情報も消去される。この結果、探索部４では顔画像領域の検出処理が初期状態から行われる。従って、例えばドライバが姿勢を変えたり、自動運転中に席を移動するなどして顔を検出不能になった場合には、次フレームにおいて即時初期状態から顔画像の検出処理が行われる。このため、ドライバの顔をいち早く検出し直すことが可能となる。

［一実施形態］
（構成例）
（１）システム
この発明の一実施形態に係る画像解析装置は、例えば、ドライバの顔の状態を監視するドライバモニタリングシステムにおいて使用される。この例では、ドライバモニタリングシステムは、カメラ１と、画像解析装置２とを備える。

カメラ１は、例えば、ダッシュボードの運転者と正対する位置に配置される。カメラ１は、撮像デバイスとして例えば近赤外光を受光可能なＣＭＯＳ（Complementary MOS）イメージセンサを使用する。カメラ１は、ドライバの顔を含む所定の範囲を撮像してその画像信号を、例えば信号ケーブルを介して画像解析装置２へ送出する。なお、撮像デバイスとしては、ＣＣＤ（Charge Coupled Device）等の他の固体撮像素子を用いてもよい。またカメラ１の設置位置は、フロントガラスやルームミラー等のようにドライバと正対する場所であれば、どこに設定されてもよい。

（２）画像解析装置
画像解析装置２は、上記カメラ１により得られた画像信号からドライバの顔画像領域を検出し、この顔画像領域をもとにドライバの顔の状態、例えば顔の表情、顔の向き、視線の方向を推定するものである。なお、この例では、一実施形態の主たる構成要素である顔画像領域の検出機能についてのみ説明を行い、顔の状態の推定機能については説明を省略する。

（２−１）ハードウェア構成
図２は、画像解析装置２のハードウェア構成の一例を示すブロック図である。
画像解析装置２は、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ１１Ａを有する。そして、このハードウェアプロセッサ１１Ａに対し、プログラムメモリ１１Ｂ、データメモリ１２、カメラインタフェース（カメラＩ／Ｆ）１３、外部インタフェース（外部Ｉ／Ｆ）１４を、バス１５を介して接続したものとなっている。

カメラＩ／Ｆ１３は、上記カメラ１から出力された画像信号を、信号ケーブルを介して受信する。外部Ｉ／Ｆ１４は、顔の状態の検出結果を表す情報を、例えば脇見や眠気を判定するドライバ状態判定装置や、車両の動作を制御する自動運転制御装置等の外部装置へ出力する。

なお、車内にＬＡＮ（Local Area Network）等の車内有線ネットワークや、Bluetooth（登録商標）等の小電力無線データ通信規格を採用した車内無線ネットワークが備えられている場合には、上記カメラ１とカメラＩ／Ｆ１３との間、および外部Ｉ／Ｆ１４と外部装置との間の信号伝送を、上記ネットワークを用いて行ってもよい。

プログラムメモリ１１Ｂは、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ等の不揮発性メモリとを使用したもので、一実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。

データメモリ１２は、例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ等の揮発性メモリとを組み合わせたものを記憶媒体として備え、一実施形態に係る各種処理を実行する過程で取得、検出および算出された各種データや、テンプレートデータ等を記憶するために用いられる。

（２−２）ソフトウェア構成
図３は、この発明の一実施形態に係る画像解析装置２のソフトウェア構成を示したブロック図である。
データメモリ１２の記憶領域には、画像記憶部１２１と、テンプレート記憶部１２２と、検出結果記憶部１２３と、トラッキング情報記憶部１２４が設けられている。画像記憶部１２１は、カメラ１から取得した画像データを一旦記憶するために用いられる。テンプレート記憶部１２２には、画像データから顔が映っている画像領域を検出するための顔の基準テンプレートが記憶される。検出結果記憶部１２３は、後述する粗探索部および詳細探索部によりそれぞれ得られる顔画像領域の検出結果を記憶するために用いられる。

制御ユニット１１は、上記ハードウェアプロセッサ１１Ａと、上記プログラムメモリ１１Ｂとから構成され、ソフトウェアによる処理機能部として、画像取得制御部１１１と、粗探索部１１２と、詳細探索部１１４と、信頼度検出部１１５と、探索制御部１１６と、出力制御部１１７とを備えている。これらの処理機能部は、いずれもプログラムメモリ１１Ｂに格納されたプログラムを、上記ハードウェアプロセッサ１１Ａに実行させることにより実現される。

上記カメラ１から出力された画像信号は、フレームごとにカメラＩ／Ｆ１３で受信されて、デジタル信号からなる画像データに変換される。画像取得制御部１１１は、上記カメラＩ／Ｆ１３から、上記画像データをフレームごとに取り込んでデータメモリ１２の画像記憶部１２１に記憶する処理を行う。

粗探索部１１２は、上記画像記憶部１２１から画像データをフレームごとに読み出し、テンプレート記憶部１２２に記憶されている顔の基準テンプレートを用いて、上記読み出した画像データからドライバの顔が映っている画像領域を粗探索処理により検出する。

例えば、粗探索部１１２は、画像データに対し顔の基準テンプレートを予め設定した複数の画素間隔（例えば図７に示すように８画素間隔）でステップ的に移動させ、移動した位置ごとに上記基準テンプレートと画像データとの輝度の相関値を算出する。そして、算出された相関値を予め設定されている閾値と比較し、算出された相関値が閾値を超えるステップ位置に対応する画像領域を、ドライバの顔が映っている顔領域として、矩形枠により抽出する処理を行う。矩形枠のサイズは、撮像画像に写るドライバの顔のサイズに応じて予め設定されている。

なお、上記顔の基準テンプレート画像としては、例えば、顔全体の輪郭に対応した基準テンプレートや、顔の各器官（目、鼻、口等）に対応して設定された複数の特徴点を探索するための三次元顔形状モデルを用いることができる。図１２は顔の検出対象の特徴点の位置を二次元平面で例示した図、図１３は上記特徴点を三次元座標として示した図である。図１２および図１３の例では、目の両端（目頭と目尻）および中心、左右のほお骨部分（眼窩底部分）、鼻の頂点と左右の端点、左右の口角、口の中心、鼻の左右端点と左右の口角との中間点が、特徴点としてそれぞれ設定された場合を示している。

また、テンプレートマッチングによる顔検出の方法としては、例えば、クロマキー処理によって頭部などの頂点を検出しこの頂点に基づいて顔を検出する方法や、肌の色に近い領域を検出してその領域を顔として検出する方法等も用いることができる。さらに粗探索部１１２は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されてもよい。また、粗探索部１１２による顔画像領域の検出処理は、その他、既存のどのような技術を適用することによって実現されてもよい。

詳細探索部１１４は、例えば、上記粗探索部１１２により検出された顔画像領域の位置情報に基づいて、当該顔画像領域と、その近隣の所定範囲とを含む範囲を詳細探索範囲として設定する。そして、上記粗探索を行ったフレームの画像データを画像記憶部１２１から再度読み出し、当該画像データの上記詳細探索範囲から、顔の基準テンプレートを用いて、ドライバの顔が映っている画像領域を詳細探索処理により検出する。

例えば、詳細探索部１１４は、図８に例示するように、上記粗探索処理により検出された顔画像領域３１を上下左右方向にそれぞれ２画素分拡大した範囲を、詳細探索範囲３２として設定する。そして、この詳細探索範囲３２に対し顔の基準テンプレートを１画素ずつステップ的に移動させ、移動ごとに上記詳細探索範囲３２内の画像と顔の基準テンプレートとの輝度の相関値を求め、この相関値が閾値を超えかつ最大となるときの上記ステップ位置に対応する画像領域を、矩形枠により抽出する。

信頼度検出部１１５は、上記粗探索部１１２により検出された顔画像領域の信頼度αと、上記詳細探索部１１４により検出された顔画像領域の信頼度βをそれぞれ算出する。信頼度の検出方法としては、例えば、予め記憶された被写体の顔画像の特徴と、各探索部１１２，１１４により検出された顔画像領域の画像の特徴とを比較して、検出した顔領域の画像が被写体の画像である確率を求め、この確率から信頼度を算出する方法が用いられる。

探索制御部１１６は、上記信頼度検出部１１５により検出された、粗探索の信頼度αおよび詳細探索の信頼度βに基づいて、以下のような制御を実行する。

(1) 顔画像データのあるフレームにおいて、上記詳細探索の信頼度βが予め設定された詳細探索用の閾値を超えた場合にトラッキングフラグをオンに設定し、このとき上記詳細探索部１１４により検出された顔画像領域の位置情報をトラッキング情報記憶部１２４に保存する。そして、この保存した顔画像領域の位置情報を、画像データの後続フレームにおいて顔画像領域を検出するための基準位置とするように粗探索部１１２に指示を与える。

(2) 上記トラッキングフラグがオンに設定されている状態で、現フレームにおいて検出された粗探索結果の信頼度α(n) が閾値以下の場合に、前フレームで検出された粗探索結果の信頼度α(n-1) に所定の係数ａ（１＞ａ＞０）を掛けた値を新たな閾値とし、上記現フレームにおいて検出された粗探索結果の信頼度α(n) が上記新たな閾値を超えているか否かを判定する。また、この判定処理は、上記粗探索結果の信頼度α(n) が閾値を超えていても、詳細探索の信頼度β(n) が閾値以下の場合にも、同様に実行される。

(3) (2) において、現フレームにおいて検出された粗探索結果の信頼度α(n) が上記新たな閾値を超えていると判定された場合には、トラッキングフラグをオンのまま維持し、かつ上記トラッキング情報記憶部１２４に保存されている顔画像領域の位置情報を保持する。そして、粗探索部１１２に対し、上記保存された顔画像領域の位置情報を、後続フレームにおいても顔画像領域を検出するための基準位置として継続するように指示を与える。

(4) (2) において、現フレームにおいて検出された粗探索結果の信頼度α(n) が上記新たな閾値以下であると判定された場合には、トラッキングフラグをオフにリセットし、上記トラッキング情報記憶部１２４に保存されている顔画像領域の位置情報を消去する。そして、粗探索部１１２に対し後続フレームにおいては顔画像領域の検出処理を初期状態からやり直すように指示を与える。

(5) 上記トラッキングフラグがオンに設定されている状態で、現フレームにおいて検出された粗探索結果の信頼度α(n) 、および詳細探索の信頼度β(n) がいずれも閾値を超えている場合には、上記トラッキング情報記憶部１２４に保存されている顔画像領域の位置情報を、現フレームにおいて詳細探索部１１４により検出された最新の顔画像領域の位置情報に更新する。

出力制御部１１７は、上記粗探索および詳細探索により検出された顔画像領域の画像データを、検出結果記憶部１２３から読み出して、外部Ｉ／Ｆ１４から外部装置に向け送信する。送信対象となる外部装置としては、例えば脇見警報装置や自動運転制御装置などが考えられる。

なお、画像解析装置２内において、上記検出結果記憶部１２３に記憶された顔画像領域の画像データに基づいて、顔の複数の器官に設定された特徴点の位置や、顔の向き、視線の方向を推定し、その推定結果を出力制御部１１７から外部装置へ送信することも可能である。

（動作例）
次に、以上のように構成された画像解析装置２の動作例を説明する。
なお、この例では、撮像された画像データから顔が含まれる画像領域を検出する処理に使用する顔の基準テンプレートが、予めテンプレート記憶部１２２に記憶されているものとして説明を行う。顔の基準テンプレートは、粗探索用と詳細探索用の２種類が用意される。

（２）ドライバの顔の検出
画像解析装置２は、テンプレート記憶部１２２に記憶されている顔の基準テンプレートを使用して、ドライバの顔を検出するための処理を以下のように実行する。
図４乃至図６は、上記顔を検出する際に制御ユニット１１において実行される処理の手順と処理内容の一例を示すフローチャートである。

（２−１）画像データの取得
例えば、運転中のドライバの姿はカメラ１により正面から撮像され、これにより得られた画像信号はカメラ１から画像解析装置２へ送られる。画像解析装置２は、上記画像信号をカメラＩ／Ｆ１３により受信し、フレームごとにデジタル信号からなる画像データに変換する。

画像解析装置２は、画像取得制御部１１１の制御の下、上記画像データをフレームごとに取り込み、データメモリ１２の画像記憶部１２１に順次記憶させる。なお、画像記憶部１２１に記憶する画像データのフレーム周期は任意に設定可能である。

（２−２）顔の検出（未トラッキング時）
（２−２−１）粗探索処理
画像解析装置２は、次に粗探索部１１２の制御の下、ステップＳ２１でフレーム番号ｎを１にセットした後、ステップＳ２２により上記画像記憶部１２１から画像データの第１フレームを読み込む。そして、ステップＳ２３において、テンプレート記憶部１２２に予め記憶されている粗探索用の顔の基準テンプレートを用いて、上記読み込んだ画像データからドライバの顔が映っている画像領域を粗探索処理により検出し、当該顔画像領域の画像を矩形枠を用いて抽出する。

図７は、粗探索部１１２による粗探索処理の処理動作の一例を説明するための図である。同図に示すように、粗探索部１１２は、画像データに対し粗探索用の顔の基準テンプレートを予め設定した複数の画素間隔（例えば８画素）でステップ的に移動させる。そして粗探索部１１２は、顔の基準テンプレートを１ステップ移動させるごとに、当該基準テンプレートと画像データとの輝度の相関値を算出し、算出された相関値を予め設定されている粗探索用の閾値と比較して、相関値が閾値を超えたときのステップ移動位置に対応する領域を、顔が含まれる顔画像領域として矩形枠を用いて抽出する。図９は上記粗探索処理により検出された顔画像領域の一例を示す。

（２−２−２）詳細探索処理
画像解析装置２は、次に詳細探索部１１４の制御の下、ステップＳ２４において、上記粗探索により検出された顔画像領域に基づいて、さらに詳細な顔画像領域を検出する処理を実行する。

例えば、詳細探索部１１４は、図８に例示するように、上記粗探索処理により検出された顔画像領域３１を上下左右方向にそれぞれ２画素分拡大した範囲を詳細探索範囲３２として設定する。そして、この詳細探索範囲３２に対し顔の基準テンプレートを１画素ずつステップ的に移動させ、移動ごとに上記詳細探索範囲３２内の画像と、詳細探索用の顔の基準テンプレートとの輝度の相関値を求め、この相関値が閾値を超えかつ最大となるときの上記ステップ位置に対応する画像領域を、矩形枠により抽出する。なお、この詳細探索処理においても、粗探索処理で使用した顔の基準テンプレートをそのまま使用してもよい。

（２−２−３）トラッキング状態への移行
上記粗探索処理および詳細探索処理により、画像データの第１フレームから顔画像領域が検出されると、続いて画像解析装置２は、探索制御部１１６の制御の下、ステップＳ２５においてトラッキング中か否かを判定する。この判定は、トラッキングフラグがオンになっているか否かにより行われる。現在の第１フレームでは、まだトラッキング状態になっていないので、探索制御部１１６は図５に示すステップＳ４０に移行する。

画像解析装置２は、信頼度検出部１１５の制御の下、ステップＳ４０，Ｓ４１により、それぞれ上記粗探索部１１２により検出された顔画像領域の信頼度α(n) （ここでは第１フレームなのでｎ＝１）と、上記詳細探索部１１４により検出された顔画像領域の信頼度β(n) （ｎ＝１）が算出される。これらの信頼度α(n) ，β(n) の算出方法としては、例えば、予め記憶された被写体の顔画像の特徴と、各探索部１１２，１１４により検出された顔画像領域の画像の特徴とを比較して、検出した顔領域の画像が被写体の画像である確率を求め、この確率から信頼度を算出する方法が用いられる。

上記粗探索結果の信頼度α(n) および詳細探索の信頼度β(n) が算出されると、画像解析装置２は、探索制御部１１６の制御の下、ステップＳ４２において、上記算出された詳細探索結果の信頼度β(n) を閾値と比較する。この閾値は、例えば上記粗探索のときの閾値より高い値に設定されるが、同一値であってもよい。

上記比較の結果、詳細探索結果の信頼度β(n) が閾値を超えていれば、探索制御部１１６は、ドライバの顔画像を確実に検出できたものと見なし、ステップＳ４３に移行してここでトラッキングフラグをオンにすると共に、上記詳細探索部１１４により検出された顔画像領域の位置情報をトラッキング情報記憶部１２４に保存する。

なお、上記ステップＳ４２による比較の結果、詳細探索結果の信頼度β(n) が閾値以下であれば、第１フレームではドライバの顔を検出できなかったと判断し、ステップＳ４４において顔領域の検出処理を継続する。すなわち、画像解析装置２はステップＳ３１によりフレーム番号ｎをインクリメントした後、図４のステップＳ２１に戻り、後続の第２フレームに対し上記したステップＳ２１〜Ｓ３１による一連の顔検出処理を実行する。

（２−３）顔の検出（トラッキング中）
（２−３−１）粗探索処理
トラッキング状態になると、画像解析装置２は次のように顔検出処理を実行する。すなわち、画像解析装置２は、粗探索部１１２の制御の下、ステップＳ２３において、画像データの次のフレームからドライバの顔領域を検出する際に、探索制御部１１６から通知されたトラッキング情報に従い、前フレームで検出された顔画像領域の位置を基準位置として、当該領域に含まれる画像を矩形枠により抽出する。

（２−３−２）詳細探索処理
画像解析装置２は、続いて詳細探索部１１４の制御の下、ステップＳ２４において、上記粗探索処理により検出された顔画像領域３１を上下左右方向にそれぞれ２画素分拡大した範囲を、詳細探索範囲３２として設定する。そして、この詳細探索範囲３２に対し顔の基準テンプレートを１画素ずつステップ的に移動させ、移動ごとに上記詳細探索範囲３２内の画像と顔の基準テンプレートとの輝度の相関値を求め、この相関値が閾値を超えかつ最大となるときの上記ステップ位置に対応する画像領域を、矩形枠により抽出する。

（２−３−３）粗探索および詳細探索の各信頼度の判定
画像解析装置２は、上記粗探索および詳細探索の処理が終了すると、探索制御部１１６の制御の下、ステップＳ２５においてトラッキング中か否かを判定する。この判定の結果、トラッキング中であれば、ステップＳ２６に移行する。

画像解析装置２は、信頼度検出部１１５の制御の下、ステップＳ２６において上記粗探索の結果の信頼度α(n) （例えば第２フレームについて顔検出が行われているとすれば、ｎ＝２）を算出する。そして画像解析装置２は、探索制御部１１６の制御の下、ステップＳ２７において、上記算出された粗探索結果の信頼度α(n) を閾値と比較し、粗探索結果の信頼度α(n) が閾値を超えているか否かを判定する。この判定の結果、粗探索結果の信頼度α(n) が閾値を超えていれば、ステップＳ２８に移行する。

また画像解析装置２は、信頼度検出部１１５の制御の下、ステップＳ２８において上記詳細探索の結果の信頼度β(n) （例えば第２フレームについて顔検出が行われているとすれば、ｎ＝２）を算出する。そして画像解析装置２は、探索制御部１１６の制御の下、ステップＳ２９において、上記算出された詳細探索結果の信頼度β(n) を閾値と比較し、詳細探索結果の信頼度β(n) が閾値を超えているか否かを判定する。この判定の結果、詳細探索結果の信頼度β(n) が閾値を超えていれば、ステップＳ３０に移行する。

（２−３−４）トラッキング更新処理
続いて画像解析装置２は、探索制御部１１６の制御の下、ステップＳ３０において、現フレームで検出された最新の顔画像領域の位置情報をトラッキング情報としてトラッキング情報記憶部１２４に格納する。すなわち、トラッキング情報を更新する。そして画像解析装置２は、ステップＳ３１によりフレーム番号をインクリメントした後、ステップＳ２１に戻って上記したステップＳ２１〜Ｓ３１による処理を繰り返す。

（２−３−５）トラッキング状態の継続
一方、上記ステップＳ２７における判定処理で粗探索結果の信頼度α(n) が閾値以下であると判定されるか、または上記ステップＳ２９における判定処理で詳細探索の結果の信頼度β(n) が閾値以下であると判定されたとする。この場合画像解析装置２は、探索制御部１１６の制御の下、図６に示すステップＳ５０に移行する。そして、前フレームｎ−１において検出された粗探索結果の信頼度α(n-1)に対し、所定の係数ａ（ａは１＞ａ＞０）を掛けた値を新たな閾値として設定し、上記現フレームにおいて検出された粗探索結果の信頼度α(n) が上記新たに設定された閾値を超えているか否かを判定する。

この判定の結果、粗探索結果の信頼度α(n) が新たな閾値を超えていれば、粗探索結果の信頼度α(n) の低下は許容範囲内と見なし、ステップＳ５１においてトラッキングフラグをオンのまま維持すると共に、トラッキング情報記憶部１２４に記憶されているトラッキング情報（先のフレームで検出された顔画像領域の位置情報）も保留（維持）する。従って、後続のフレームに対する顔領域の検出処理では、上記トラッキング情報を基準位置として行われる。

図１０および図１１は、このトラッキング状態を継続する場合の一例を示したものである。いま、前フレームにおいて図１０に示すような顔画像が検出され、この顔画像領域の位置情報がトラッキング情報として保存されている状態で、現フレームにおいて検出された顔画像が、図１１に示すようにドライバの顔ＦＣの一部が手ＨＤにより一時的に隠れたとする。この場合、現フレームにおいて粗探索により検出された顔画像領域の信頼度α(n) は前フレームにおいて粗探索により検出された顔画像領域の信頼度α(n-1)より低下するが、α(n)が閾値α(n-1)×ａより高ければ、このときの信頼度の低下は許容範囲と見なされ、トラッキング状態は継続される。このため、図１１に例示したようにドライバの顔ＦＣの一部が手ＨＤにより一時的に隠れたり、また例えば顔ＦＣの一部が髪の毛により一時的に隠れたり、さらにはドライバの姿勢の変化に応じて顔の一部がトラッキング中の顔画像領域から一時的に外れたとしても、トラッキング状態は継続される。

（２−３−６）トラッキング状態の解除
これに対し、上記ステップＳ５０において、上記粗探索結果の信頼度α(n) が上記新たに設定された閾値α(n-1)×ａ以下であれば、探索制御部１１６は粗探索結果の信頼度α(n) が大きく低下したためトラッキング状態を継続することは困難と判断する。そして探索制御部１１６は、ステップＳ５２において、トラッキングフラグをオフにリセットすると共に、トラッキング情報記憶部１２４に記憶されているトラッキング情報を削除する。従って粗探索部１１２は、後続フレームにおいて、トラッキング情報を用いずに初期状態から顔領域を検出する処理を実行する。

（効果）
以上詳述したように一実施形態では、トラッキング中において、現フレームにおいて粗探索処理により検出された顔画像領域の信頼度α(n)と、詳細探索処理により検出された顔画像領域の信頼度β(n) をそれぞれ閾値と比較する。そして、信頼度α(n) またはβ(n) の少なくとも一方が閾値以下だった場合に、１つ前のフレームｎ−１において検出された粗探索結果の信頼度α(n-1)に対し、所定の係数ａ（ａは１＞ａ＞０）を掛けた値を新たな閾値として設定し、上記現フレームにおいて検出された粗探索結果の信頼度α(n) が上記新たに設定された閾値α(n-1)×ａを超えているか否かを判定する。この判定の結果、粗探索結果の信頼度α(n) が新たな閾値α(n-1)×ａを超えていれば、粗探索結果の信頼度α(n) の低下は一時的なものと見なし、トラッキングフラグをオンのまま維持すると共に、トラッキング情報記憶部１２４に記憶されているトラッキング情報も保留（維持）するようにしている。

従って、あるフレームにおける顔の領域の粗探索結果の信頼度α(n) または詳細探索結果の信頼度β(n) が一時的に閾値以下になっても、粗探索結果の信頼度α(n)の低下量が許容範囲であればトラッキング状態が維持される。従って、例えば顔の一部が手や髪の毛により一時的に隠れたり、ドライバの姿勢の変化により顔の一部がトラッキング中の顔画像領域から一時的に外れても、トラッキング状態を維持することができる。その結果、顔の粗探索結果の信頼度の一時的な低下が発生するごとに、顔の画像領域を最初から検出し直す必要がなくなり、これにより顔の検出処理を安定かつ効率良く行うことが可能となる。

なお、粗探索による信頼度が判定条件を満たさない状態が一定フレーム数以上続くと、詳細探索による信頼度が保持されない可能性がある。しかし、信頼度の低下が一時的なものか否かを、粗探索において検出された信頼度に基づいて判定することで、上記判定を確実に行うことが可能となる。

［変形例］
（１）一実施形態では、一旦トラッキング状態に移行すると、以後顔の領域の検出結果の信頼度が大幅に変化しない限りトラッキング状態が維持される。しかし、装置が、例えばポスタの顔画像やシートの模様等の静止模様を誤って検出してしまうと、以後半永久的にトラッキング状態が解除されなくなる心配がある。そこで、例えばトラッキング状態に移行してから一定のフレーム数に相当する時間が経過してもトラッキング状態が継続されている場合には、上記時間経過後にトラッキング状態を強制的に解除する。このようにすると、誤った対象物にトラッキングされても、この誤ったトラッキング状態から確実に離脱することができる。

（２）一実施形態では、入力された画像データから、ドライバの顔を検出する場合を例にとって説明した。しかし、それに限らず、検出対象物は基準テンプレートまたは形状モデルを設定できるものであればどのような対象物であってもよい。例えば、検出対象物としては、人の全身像や、レントゲン画像またはＣＴ（Computed Tomography）等の断層像撮像装置により得られた臓器画像等であってもよい。言い換えれば、大きさの個人差がある対象物や基本的な形が変わらずに変形する検出対象物について本技術は適用可能である。また、車両、電気製品、電子機器、回路基板などの工業製品のように変形しない剛体の検出対象物であっても、形状モデルを設定することができるため本技術を適用することができる。

（３）一実施形態では画像データのフレームごとに顔を検出する場合を例にとって説明したが、予め設定された複数フレームおきに顔を検出するようにしてもよい。その他、画像解析装置の構成や検出対象物の特徴点の粗探索および詳細探索それぞれの処理手順と処理内容、抽出枠の形状とサイズ等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

［付記］
上記各実施形態の一部または全部は、特許請求の範囲のほか以下の付記に示すように記載することも可能であるが、これに限られない。
（付記１）
ハードウェアプロセッサ（１１Ａ）とメモリ（１１Ｂ）とを有する画像解析装置であって、
前記ハードウェアプロセッサ（１１Ａ）が、前記メモリ（１１Ｂ）に記憶されたプログラムを実行することにより、
時系的に入力される画像からフレーム単位で検出対象物が含まれる画像領域を検出する処理を行い、
前記フレームごとに、前記探索部により検出された前記検出対象物が含まれる画像領域の確からしさを表す信頼度を検出し、
前記信頼度検出部により検出された信頼度に基づいて前記探索部の動作を制御し、
さらに前記探索動作を制御する処理として、
第１フレームにおいて前記信頼度検出部により検出された第１の信頼度が、予め設定された第１の判定条件を満たすか否かを判定し、
前記第１の信頼度が前記第１の判定条件を満たすと判定された場合に、前記第１フレームにおいて前記探索部により検出された画像領域の位置情報を保持し、当該保持された画像領域の位置情報を後続の第２フレームにおける検出対象領域として前記検出処理が行われるように前記探索部を制御し、
前記第２フレームにおいて前記信頼度検出部により検出された第２の信頼度が、前記第１の判定条件を満たさないと判定された場合に、当該第２の信頼度が前記第１の判定条件より緩和された第２の判定条件を満たすか否かを判定し、
前記第２の信頼度が前記第２の判定条件を満たすと判定された場合に、前記第１フレームにおいて検出された前記画像領域の位置情報の保持を継続し、当該画像領域の位置情報を後続の第３フレームにおける検出対象領域として前記検出処理が行われるように前記探索部を制御し、
前記第２の信頼度が前記第２の判定条件を満たさないと判定された場合には、前記画像領域の位置情報の保持を解除し、前記検出対象物が含まれる画像領域を検出する処理が新たに行われるように前記探索部を制御する処理を行わせる
ように構成された画像解析装置。

（付記２）
ハードウェアプロセッサ（１１Ａ）と、当該ハードウェアプロセッサ（１１Ａ）を実行させるプログラムを格納したメモリ（１１Ｂ）とを有する装置が実行する画像解析方法であって、
前記ハードウェアプロセッサ（１１Ａ）が、時系的に入力される画像からフレーム単位で検出対象物が含まれる画像領域を検出する処理を行う探索過程と、
前記ハードウェアプロセッサ（１１Ａ）が、前記フレームごとに、前記探索過程において検出された前記検出対象物が含まれる画像領域の確からしさを表す信頼度を検出する信頼度検出過程と、
前記ハードウェアプロセッサ（１１Ａ）が、前記信頼度検出過程により検出された信頼度に基づいて、前記探索過程における処理を制御する探索制御過程と、
を具備し、
さらに前記探索制御過程において、
前記ハードウェアプロセッサ（１１Ａ）が、第１フレームにおいて前記信頼度検出過程により検出された第１の信頼度が、予め設定された第１の判定条件を満たすか否かを判定し、
前記第１の信頼度が前記第１の判定条件を満たすと判定された場合に、前記第１フレームにおいて前記探索過程により検出された画像領域の位置情報を保持し、当該保持された画像領域の位置情報を後続の第２フレームにおける検出対象領域として前記検出処理が行われるように前記探索過程を制御し、
前記第２フレームにおいて前記信頼度検出過程により検出された第２の信頼度が、前記第１の判定条件を満たさないと判定された場合に、当該第２の信頼度が前記第１の判定条件より緩和された第２の判定条件を満たすか否かを判定し、
前記第２の信頼度が前記第２の判定条件を満たすと判定された場合に、前記第１フレームにおいて検出された前記画像領域の位置情報の保持を継続し、当該画像領域の位置情報を後続の第３フレームにおける検出対象領域として前記検出処理が行われるように前記探索過程を制御し、
前記第２の信頼度が前記第２の判定条件を満たさないと判定された場合には、前記画像領域の位置情報の保持を解除し、前記検出対象物が含まれる画像領域を検出する処理が新たに行われるように前記探索過程を制御する、画像解析方法。

１…カメラ、２…画像解析装置、３…画像取得部、４…探索部、
４ａ…粗探索部、４ｂ…詳細探索部、５…信頼度検出部、
６…探索制御部、７…トラッキング情報記憶部、１１…制御ユニット、
１１Ａ…ハードウェアプロセッサ、１１Ｂ…プログラムメモリ、１２…データメモリ、
１３…カメラＩ／Ｆ、１４…外部Ｉ／Ｆ、１１１…画像取得制御部、
１１２…粗探索部、１１４…詳細探索部、
１１５…信頼度検出部、１１６…探索制御部、１１７…出力制御部、
１２１…画像記憶部、１２２…テンプレート記憶部、１２３…検出結果記憶部、
１２４…トラッキング情報記憶部。

Claims (7)

1. 時系的に入力される画像からフレーム単位で検出対象物が含まれる画像領域を検出する処理を行う探索部と、
   前記フレームごとに、前記探索部により検出された前記検出対象物が含まれる画像領域の確からしさを表す信頼度を検出する信頼度検出部と、
   前記信頼度検出部により検出された信頼度に基づいて、前記探索部の動作を制御する探索制御部と
   を具備し、
   前記探索制御部は、
   第１フレームにおいて前記信頼度検出部により検出された第１の信頼度が、予め設定された第１の判定条件を満たすか否かを判定する第１の判定部と、
   前記第１の信頼度が前記第１の判定条件を満たすと判定された場合に、前記第１フレームにおいて前記探索部により検出された画像領域の位置情報を保持し、当該保持された画像領域の位置情報を後続の第２フレームにおける検出対象領域として前記検出する処理が行われるように前記探索部を制御する第１の制御部と、
   前記第２フレームにおいて前記信頼度検出部により検出された第２の信頼度が、前記第１の判定条件を満たさないと判定された場合に、当該第２の信頼度が前記第１の判定条件より緩和された第２の判定条件を満たすか否かを判定する第２の判定部と、
   前記第２の信頼度が前記第２の判定条件を満たすと判定された場合に、前記第１フレームにおいて検出された前記画像領域の位置情報の保持を継続し、前記探索部に対し、前記保持された画像領域の位置情報を後続のフレームにおいて前記検出対象物が含まれる画像領域を検出するための位置情報として使用するように指示する第２の制御部と、
   前記第２の信頼度が前記第２の判定条件を満たさないと判定された場合には、前記画像領域の位置情報の保持を解除し、前記検出対象物が含まれる画像領域を検出する処理が新たに行われるように前記探索部を制御する第３の制御部とを備える画像解析装置。
2. 前記探索部は、第１の探索精度で前記検出対象物が存在する画像領域を検出する粗探索処理と、当該粗探索処理により検出された画像領域の位置情報をもとに当該画像領域と周辺の所定範囲を含む領域を検出対象として、前記第１の探索精度より高い第２の探索精度で前記検出対象物が存在する画像領域を検出する詳細探索処理をそれぞれ行い、
   前記信頼度検出部は、前記粗探索処理により検出された前記検出対象物を含む画像領域の確からしさを表す粗探索信頼度と、前記詳細探索処理により検出された前記検出対象物を含む画像領域の確からしさを表す詳細探索信頼度とをそれぞれ検出し、
   前記第１の判定部は、前記詳細探索信頼度が詳細探索用の判定条件を満たすか否かを判定し、
   前記第１の制御部は、前記詳細探索信頼度が前記詳細探索用の判定条件を満たすと判定された場合に、前記第１フレームにおいて前記探索部により検出された画像領域の位置情報を保持する、
   請求項１に記載の画像解析装置。
3. 前記第２の判定部は、前記第２フレームに対する前記粗探索処理において検出された粗探索信頼度が粗探索用の第１の判定条件を満たさないと判定された場合に、当該第２フレームに対する前記粗探索処理において検出された前記粗探索信頼度が、前記第１の判定条件より緩和された第２の判定条件を満たすか否かを判定し、
   前記第２の制御部は、前記第２フレームに対する前記粗探索処理において検出された前記粗探索信頼度が、前記第２の判定条件を満たすと判定された場合に、前記画像領域の位置情報の保持を継続し、
   前記第３の制御部は、前記第２フレームに対する前記粗探索処理において検出された前記粗探索信頼度が、前記第２の判定条件を満たさないと判定された場合に、前記画像領域の位置情報の保持を解除する、
   請求項２に記載の画像解析装置。
4. 前記第２の判定部は、前記第２フレームに対する前記詳細探索処理において検出された詳細探索信頼度が詳細探索用の第３の判定条件を満たさないと判定された場合に、当該第２フレームに対する前記粗探索処理において検出された前記粗探索信頼度が、当該粗探索用の第１の判定条件より緩和された第２の判定条件を満たすか否かを判定し、
   前記第２の制御部は、前記第２フレームに対する前記粗探索処理において検出された前記粗探索信頼度が、前記第２の判定条件を満たすと判定された場合に、前記画像領域の位置情報の保持を継続し、
   前記第３の制御部は、前記第２フレームに対する前記粗探索処理において検出された前記粗探索信頼度が、前記第２の判定条件を満たさないと判定された場合に、前記画像領域の位置情報の保持を解除する、
   請求項２に記載の画像解析装置。
5. 前記第２の判定部は、前記第１フレームにおいて前記信頼度検出部により検出された粗探索信頼度を所定値だけ低下させた信頼度を、前記第２の判定条件として使用する、請求項２乃至４のいずれかに記載の画像解析装置。
6. ハードウェアプロセッサおよびメモリを備えた画像解析装置が実行する画像解析方法であって、
   前記画像解析装置が、時系的に入力される画像からフレーム単位で検出対象物が含まれる画像領域を検出する処理を行う探索過程と、
   前記画像解析装置が、前記フレームごとに、前記探索過程において検出された前記検出対象物が含まれる画像領域の確からしさを表す信頼度を検出する信頼度検出過程と、
   前記画像解析装置が、前記信頼度検出過程により検出された信頼度に基づいて、前記探索過程における処理を制御する探索制御過程と、
   を具備し、
   前記探索制御過程は、
   第１フレームにおいて前記信頼度検出過程により検出された第１の信頼度が、予め設定された第１の判定条件を満たすか否かを判定し、
   前記第１の信頼度が前記第１の判定条件を満たすと判定された場合に、前記第１フレームにおいて前記探索過程により検出された画像領域の位置情報を保持し、当該保持された画像領域の位置情報を後続の第２フレームにおける検出対象領域として前記検出処理が行われるように前記探索過程を制御し、
   前記第２フレームにおいて前記信頼度検出過程により検出された第２の信頼度が、前記第１の判定条件を満たさないと判定された場合に、当該第２の信頼度が前記第１の判定条件より緩和された第２の判定条件を満たすか否かを判定し、
   前記第２の信頼度が前記第２の判定条件を満たすと判定された場合に、前記第１フレームにおいて検出された前記画像領域の位置情報の保持を継続し、前記探索過程に対し、前記保持された画像領域の位置情報を後続のフレームにおいて前記検出対象物が含まれる画像領域を検出するための位置情報として使用するように指示し、
   前記第２の信頼度が前記第２の判定条件を満たさないと判定された場合には、前記画像領域の位置情報の保持を解除し、前記検出対象物が含まれる画像領域を検出する処理が新たに行われるように前記探索過程を制御する、画像解析方法。
7. 請求項１乃至５のいずれかに記載の画像解析装置が備える前記各部の処理を、前記画像解析装置が備えるハードウェアプロセッサに実行させるプログラム。

Images