JP4107104B2 - 顔部位追跡装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、顔部位追跡装置に関する。
【０００２】
【従来の技術】
従来、被検出者の顔を撮像して得られた撮像画像から、追跡の対象となる顔の部位を検出し、顔部位を追跡していく顔部位追跡装置が知られている。この顔部位追跡装置は、まず、標準となるテンプレートを記憶し、この標準テンプレートにより撮影画像内から追跡対象となる顔の部位を抽出する。そして、抽出した画像を追跡用のテンプレートとして記憶し、追跡用テンプレートにより追跡対象である顔部位を追跡していく。（例えば特許文献１参照）。
【０００３】
また、他の顔部位追跡装置では、撮影画像の縦方向に配列された画素列に沿って、濃度の局所的な高まりごとに１個ずつ画素を定めて抽出点を決定する。そして、画像横方向に並ぶ抽出点を曲線群とし、この曲線群が追跡対象となる顔部位の所定の形状（例えば眼である場合には横方向に長いかなど）と合致するかを判断して、追跡対象の位置を検出する。その後、検出された追跡対象を基に存在領域を設定し、存在領域を２値化して追跡対象の位置を詳細に特定し、特定された追跡対象の位置を次回の処理における存在領域の設定位置とする。そして、以上の処理を繰り返し、所望する顔部位を追跡していく（例えば特許文献２参照）。
【０００４】
【特許文献１】
特開２０００−１６３５６４号公報
【０００５】
【特許文献２】
特開平１０−１４３６６９号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の装置では、１フレームの画像に対して顔の特定部位が見つかるまで、標準及び追跡用テンプレートにより繰り返しパターンマッチングを行っている。このため、追跡対象の顔部位をリアルタイムに追跡していくためには、非常に高い計算負荷が要求されることとなってしまう。
【０００７】
また、特許文献２に記載の装置では、存在領域内の対象物が追跡したい顔部位であるか否かの判断をしておらず、追跡したい顔部位でないものを誤って追跡してしまう可能性がある。
【０００８】
【課題を解決するための手段】
本発明によれば、被検出者の顔を撮像し入力した画像に基づいて、顔部位の動きを追跡する顔部位追跡装置において、顔部位検出手段は、入力した撮像画像の全体から、追跡の対象となる顔部位を検出し、顔部位探査領域設定手段は、検出後に入力した画像に対し、顔部位検出手段により検出された追跡対象の顔部位の画像上における位置に基づいて、顔部位探査領域を設定し、優先顔部位探査領域設定手段は、顔部位探査領域設定手段により設定された顔部位探査領域内に、優先顔部位探査領域を設定し、候補抽出手段は、顔部位探査領域内から、顔部位の候補を抽出し、第１顔部位判定手段は、候補抽出手段により抽出された候補が優先顔部位探査領域内にあるときに、その候補を追跡対象の顔部位と判定し、第２顔部位判定手段は、抽出された候補が優先顔部位探査領域内に無く顔部位探査領域内にあるときには、その候補の画像を画像処理することにより、抽出された候補が追跡対象の顔部位か否かを判定し、上記の顔部位探査領域設定手段は、被検出者が顔の向きを変えたときに、サンプリング時間中に移動する追跡対象の移動量に基づいて、顔部位探査領域を設定する。
【０００９】
【発明の効果】
本発明によれば、検出された追跡対象の画像上の位置に基づいて、全体画像よりも狭い顔部位探査領域を設定している。このため、画像全体から顔部位の候補を抽出することなく、顔部位が存在する可能性の高い領域から候補を抽出することができ、迅速な処理を行うことができる。
【００１０】
また、抽出された候補が顔部位探査領域内であって優先顔部位探査領域外にある場合に、その候補の画像を画像処理して候補が追跡対象であるか否かを判定している。これにより、追跡対象でない顔部位を誤って追跡してしまうことを防止することができる。
【００１１】
従って、追跡対象となる顔部位を判定するのに際し、精度及び処理速度の向上を図ることができる。
【００１２】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。
【００１３】
図１は、本発明の実施形態に係る顔部位追跡装置の構成を示す機能ブロック図である。同図に示すように、顔部位追跡装置１は、被検出者の顔を撮像し入力した画像に基づいて、顔部位の動きを追跡するものであって、顔画像撮像手段ＣＬ１と、顔部位検出手段ＣＬ２と、顔部位追跡手段ＣＬ３とを備えている。
【００１４】
顔画像撮像手段ＣＬ１は、被検出者の顔を撮像することにより、追跡対象となる顔部位を含む撮像画像を得るものである。また、顔画像撮像手段ＣＬ１は、入力した画像のデータを、顔部位検出手段ＣＬ２及び顔部位追跡手段ＣＬ３に送出する構成とされている。
【００１５】
顔部位検出手段ＣＬ２は、入力した撮像画像の全体から追跡の対象となる顔部位を検出するものである。また、顔部位追跡手段ＣＬ３は、顔画像撮像手段ＣＬ１及び顔部位検出手段ＣＬ２からの信号に基づいて、追跡対象となる顔部位の動きを追跡するものである。
【００１６】
上記顔部位追跡手段ＣＬ３は、顔部位探査領域設定手段ＣＬ３１と、優先顔部位探査領域設定手段ＣＬ３２とを備えている。また、顔部位追跡手段ＣＬ３は、顔部位候補抽出手段（候補抽出手段）ＣＬ３３と、顔部位判定手段（第１顔部位判定手段、第２顔部位判定手段）ＣＬ３４とを備えている。
【００１７】
顔部位探査領域設定手段ＣＬ３１は、顔部位検出手段ＣＬ２により追跡対象の顔部位が検出された場合に、検出後に入力した画像に対して処理を行うものである。行う処理としては、追跡対象の画像上の位置に基づいて、画像全体よりも狭い顔部位探査領域を設定する処理である。なお、顔部位探査領域は、例えば、被検出者が顔の向きを変えたときに、サンプリング時間中に移動する追跡対象の移動量に基づいて、設定されるものである。
【００１８】
また、優先顔部位探査領域設定手段ＣＬ３２は、上記の顔部位探査領域内に優先顔部位探査領域を設定するものである。この優先顔部位探査領域は、例えば、被検出者が一方向を視認しているときに、サンプリング時間中に移動する追跡対象の顔部位の移動量に基づいて、設定されるものである。
【００１９】
顔部位候補抽出手段ＣＬ３３は、顔部位探査領域内から追跡対象となる顔部位の候補を抽出するものである。すなわち、顔部位候補抽出手段ＣＬ３３は、顔部位検出手段ＣＬ２と異なり、撮像画像全体から追跡対象の顔部位を抽出せず、顔部位検出手段ＣＬ２よりも高速に処理を行うことができるものである。
【００２０】
顔部位判定手段ＣＬ３４は、顔部位候補抽出手段ＣＬ３３で抽出された追跡対象の候補が追跡対象であるか否かを判定するものである。具体的に、顔部位判定手段ＣＬ３４は、抽出された候補が優先顔部位探査領域内にあるとき、その候補を追跡対象であると判定する。また、顔部位判定手段ＣＬ３４は、抽出された候補が優先顔部位探査領域内に無く顔部位探査領域内にあるとき、その候補の画像を画像処理することにより、抽出された候補が追跡対象であるか否かを判定する。
【００２１】
このような顔部位追跡装置１においては、まず、顔画像撮像手段ＣＬ１が被検出者の顔を撮像して、得られた画像データを顔部位検出手段ＣＬ２に送信する。これを受けた顔部位検出手段ＣＬ２は、画像全体から追跡対象となる顔部位を検出する。
【００２２】
その後、顔画像撮像手段ＣＬ１により撮像画像が得られた場合、顔画像撮像手段ＣＬ１は、画像データを顔部位追跡手段ＣＬ３に送信する。これを受けた顔部位追跡手段ＣＬ３は、顔部位探査領域設定手段ＣＬ３１により顔部位探査領域を設定すると共に、優先顔部位探査領域設定手段ＣＬ３２により優先顔部位探査領域を設定する。
【００２３】
そして、顔部位候補抽出手段ＣＬ３３は、撮像画像のうち顔部位探査領域内から追跡対象となる顔部位の候補を抽出する。抽出後、顔部位判定手段ＣＬ３４は、候補がどの領域に属するかを判断し、その候補が追跡対象となる顔部位であるか否かを判定する。すなわち、顔部位判定手段ＣＬ３４は、候補が優先顔部位探査領域内にある場合には、その候補を追跡対象であると判定する。一方、候補が優先顔部位探査領域内に無く顔部位探査領域内にある場合には、その候補の画像を画像処理する。そして、画像処理により得られた結果に基づいて、追跡対象となる顔部位か否かを判定する。その後、本装置１は、この判定結果に基づいて、追跡対象の顔部位を追跡していく。
【００２４】
なお、本装置１は、候補が顔部位探査領域及び優先顔部位探査領域内にあるか否かの判断を高精度に行うべく、抽出された候補に対し候補点を定めている。すなわち、顔部位候補抽出手段ＣＬ３３は、追跡対象の候補を抽出し、その候補位置を特定するための候補点を定める。そして、顔部位判定手段ＣＬ３４は、顔部位候補抽出手段ＣＬ３３により定められた候補点が優先顔部位探査領域内にあるときに、その候補点を有する候補を追跡対象であると判定する。また、顔部位判定手段ＣＬ３４は、候補点が優先顔部位探査領域内に無く顔部位探査領域内にあるときに、その候補点を有する候補を含む画像を画像処理して、その候補が追跡対象であるか否かを判定する。
【００２５】
このように、点に基づく判断を行うことで、候補の一部が優先顔部位探査領域内であって、一部が優先顔部位探査領域外にあるという事態を無くすことができ、高精度に処理を行うことができる。
【００２６】
また、本装置１は、自動車、鉄道車両、船舶の運転者やプラントのオペレータ等の顔部位追跡に用いることができるが、以下の説明においては、自動車の運転者の顔部位のうち特に左眼に適用した場合で説明する。なお、本装置１は、眼だけの追跡に留まらず眉、鼻、口、耳なども同様の方法で追跡処理することができる。
【００２７】
図２は、本発明の実施形態に係る顔部位追跡装置の示すハード構成図である。同図に示すように、顔画像撮像手段ＣＬ１としてＴＶカメラ２が自動車のインストルメント上に設けられている。ＴＶカメラ２は、運転者を略正面から撮像できる位置に設置されており、少なくとも運転者の顔部分を撮影するようにされている。このＴＶカメラ２の入力画像は、本実施形態では、例えば横方向（Ｘ）６４０画素、縦方向（Ｙ）４８０画素からなる。前記ＴＶカメラ２で撮像された入力画像は、インストルメント裏側など車体内部に設置されたマイクロコンピュータ３に画像データとして入力される。
【００２８】
マイクロコンピュータ３には、顔部位検出手段ＣＬ２及び顔部位追跡手段ＣＬ３を構成するプログラムロジックがプログラミングされている。なお、顔部位追跡手段ＣＬ３のプログラムロジックは、顔部位探査領域設定手段ＣＬ３１、優先顔部位探査領域設定手段ＣＬ３２、顔部位候補抽出手段ＣＬ３３及び顔部位判定手段ＣＬ３４のそれぞれのロジックを含むものである。
【００２９】
次に、本実施形態に係る顔部位追跡装置１の動作について説明する。図３は、本実施形態に係る顔部位追跡装置１の動作の概略を示すメインフローチャートである。同図に示すように、まず、処理が開始されると、マイクロコンピュータ３は、初期値入力処理を実行する（ＳＴ１０）。この初期値入力の処理では、サンプリング時間などの各種定数が読み込まれる。
【００３０】
そして、マイクロコンピュータ３は、追跡対象の顔部位が見つかっているか否かを示す追跡対象検出フラグ「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定する（ＳＴ１１）。その後、マイクロコンピュータ３は、処理フレームカウンタ「ｉ」を「０」に初期化する（ＳＴ１２）。
【００３１】
初期化後、マイクロコンピュータ３は、終了判断処理を実行する（ＳＴ１３）。この際、マイクロコンピュータ３は、例えばエンジンが起動しているか等に基づいて判断を行う。
【００３２】
そして、マイクロコンピュータ３は、「ＳＴＯＰ」か否かを判断する（ＳＴ１４）。例えばエンジンが起動されていないと判断した場合、マイクロコンピュータ３は、「ＳＴＯＰ」であると判断し（ＳＴ１４：ＹＥＳ）、処理は終了することとなる。
【００３３】
一方、エンジンが起動され走行しているなどにより、「ＳＴＯＰ」でないと判断した場合（ＳＴ１４：ＮＯ）、マイクロコンピュータ３は、顔画像の撮像処理を実行する（ＳＴ１５）。これにより、ＴＶカメラ２は、運転者の顔を撮像する。
【００３４】
その後、マイクロコンピュータ３は、追跡対象検出フラグ「ＧｅｔＦｌａｇ」が「ＦＡＬＳＥ」か否かを判断する（ＳＴ１６）。すなわち、追跡対象となる顔部位が見つかっているか否かを判断する。
【００３５】
追跡対象検出フラグ「ＧｅｔＦｌａｇ」が「ＦＡＬＳＥ」であり、追跡対象となる顔部位が見つかっていないと判断した場合（ＳＴ１６：ＹＥＳ）、マイクロコンピュータ３は、追跡対象検出処理を実行する（ＳＴ１７）。このステップＳＴ１７の処理は、図１にて説明した顔部位検出手段ＣＬ２にて行われる処理である。すなわち、マイクロコンピュータ３は、顔部位検出手段ＣＬ２に相当するプログラムを実行することとなる。なお、この処理において、追跡対象となる顔部位が見つけられた場合には、後述するが、追跡対象検出フラグ「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」とされることとなる。
【００３６】
追跡対象検出処理の実行後、マイクロコンピュータ３は、処理フレームカウンタ「ｉ」をインクリメントする（ＳＴ１８）。そして、処理は、ステップＳＴ１３に戻る。
【００３７】
その後、上記したステップＳＴ１３〜１５を経て、ステップＳＴ１５に至る。このとき、前述の追跡対象検出処理（ＳＴ１７）において、追跡対象となる顔部位が見つけられていた場合には、追跡対象検出フラグ「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」となっている。このため、追跡対象検出フラグ「ＧｅｔＦｌａｇ」が「ＦＡＬＳＥ」でないと判断されて（ＳＴ１６：ＮＯ）、マイクロコンピュータ３は追跡処理を実行する（ＳＴ１９）。このステップＳＴ１９の処理は、図１にて説明した顔部位追跡手段ＣＬ３にて行われる処理である。すなわち、マイクロコンピュータ３は、顔部位追跡手段ＣＬ３に相当するプログラムを実行する。そして、顔部位の追跡が行われる。
【００３８】
その後、処理はステップＳＴ１８に移行し、処理フレームカウンタをインクリメント後、再度処理はステップＳＴ１３に戻る。以上の処理が、ステップＳＴ１４にて「ＹＥＳ」と判断されるまで繰り返されることとなる。
【００３９】
なお、図１を参照して説明したように、顔部位検出手段ＣＬ２は、撮像画像全体に対して処理を行い、追跡対象となる顔部位を検出する。一方、顔部位追跡手段ＣＬ３は、撮像画像に領域を設定し、その領域内から追跡対象となる顔部位を判定し追跡していくようにしている。このため、本装置１は、少なくとも一度は画像全体に対して処理を行うものの、その後は画像の一部に対して処理を行うこととなり、常に画像全体に処理を行う装置に比して、迅速な処理を行うことができる。
【００４０】
次に、追跡対象検出処理（ＳＴ１７）の詳細な動作について説明する。図４は、図３に示した追跡対象検出処理（ＳＴ１７）の詳細な動作を示すフローチャートである。
【００４１】
同図に示すように、ステップＳＴ１６にて「ＹＥＳ」と判断された場合、マイクロコンピュータ３は、追跡対象候補の位置の特定処理を実行する（ＳＴ２０）。この処理により、画像全体から追跡対象の候補の位置が特定される。なお、この処理では、追跡対象となる顔部位である可能性を有する候補の位置が１又は複数特定される。
【００４２】
そして、マイクロコンピュータ３は、追跡対象判定処理を実行する（ＳＴ２１）。追跡対象判定処理（ＳＴ２１）では、追跡対象候補位置の特定処理（ＳＴ２０）にて特定された１又は複数の追跡対象候補のうち１つを選別し、この選別した候補が追跡対象であるか否かを判断する。
【００４３】
その後、マイクロコンピュータ３は、追跡対象判定処理（ＳＴ２１）の結果に基づいて、選別された追跡対象の候補が追跡対象であると判定されたか否かを判断する（ＳＴ２２）。
【００４４】
追跡対象であると判定されていなかった場合（ＳＴ２２：ＮＯ）、マイクロコンピュータ３は、特定された１又は複数の追跡対象候補のすべてについて判定したか否かを判断する（ＳＴ２４）。
【００４５】
全てに対して判定した場合（ＳＴ２４：ＹＥＳ）、処理は図３のステップＳＴ１８に移行する。一方、全てに対して判定していない場合（ＳＴ２４：ＮＯ）、処理はステップＳＴ２１に戻る。
【００４６】
ところで、ステップＳＴ２２において、追跡対象であると判定されていた場合（ＳＴ２２：ＹＥＳ）、マイクロコンピュータ３は、追跡対象検出フラグ「ＧｅｔＦｌａｇ」を「ＴＲＵＥ」にする（ＳＴ２３）。そして、処理は図３のステップＳＴ１８に移行する。
【００４７】
以上のようにして、本装置１では、所望する顔部位である可能性を有する１又は複数の追跡対象候補を画像全体から特定し、特定された１又は複数の追跡対象候補を１つずつ判定して追跡対象を検出することとなる。なお、追跡対象である可能性を有する１又は複数の追跡対象候補を画像全体から特定する処理（ステップＳＴ２０の処理）は、以下のようにして行われる。
【００４８】
図５は、図４に示した追跡対象候補位置特定処理（ＳＴ２０）の詳細を示すフローチャートである。同図において、まず、マイクロコンピュータ３は、撮像した画像のデータ全体を、全体画像として画像メモリに保存する（ＳＴ３０）。
【００４９】
次に、マイクロコンピュータ３は、ステップＳＴ３１の判断を行う。この判断については後述する。ステップＳＴ３１において「ＮＯ」と判断された場合、マイクロコンピュータ３は、全体画像の縦方向（Ｙ軸方向）の画素列のうち１ラインのみに沿って濃度値の相加平均演算を行う（ＳＴ３２）。
【００５０】
この相加平均演算は、例えば縦方向に並ぶ所定数の画素について、濃度の平均値を求め、所定数の画素のうちの１画素の濃度値を前記平均値とする処理である。例えば、所定数が「５」である場合、画面上方から１〜５番目に位置する画素を選択して平均値を求め、この平均値を５番目の画素の濃度値とする。次に、画面上方から２〜６番目に位置する画素を選択して平均値を求め、この平均値を６番目の画素の濃度値とする。そして、これを順次繰り返し、１ラインすべての画素について濃度の平均値を求める。
【００５１】
このように相加平均演算することで、本装置１は、画像データ撮影時の濃度値の変化の小さなバラツキを無くすことができ、濃度値の大局的な変化を捉えることができる。
【００５２】
相加平均演算後、マイクロコンピュータ３は、縦方向に相加平均値の微分演算を行う（ＳＴ３３）。そして、マイクロコンピュータ３は、微分値に基づいてポイント抽出を行う（ＳＴ３４）。このポイント抽出とは、縦方向の画素列に沿って画素濃度の相加平均値の局所的な高まり毎に１個ずつの画素を定める処理であって、例えば相加平均値の微分値が負から正に変化する画素を定める処理である。
【００５３】
ポイントとなる画素を定めた後、マイクロコンピュータ３は、現在ポイント抽出していたラインを次ラインへ切り替える（ＳＴ３５）。
【００５４】
そして、マイクロコンピュータ３は、縦方向の全ラインでのポイント抽出が終了したか否かを判断する（ＳＴ３１）。全ラインでのポイント抽出が終了していないと判断した場合（ＳＴ３１：ＮＯ）、前述のステップＳＴ３２〜ＳＴ３５の処理を経て、再度ステップＳＴ３１に戻る。
【００５５】
一方、全ラインでのポイント抽出が終了したと判断した場合（ＳＴ３１：ＹＥＳ）、隣り合う各ラインの抽出ポイントのＹ座標値を比較する。そして、Ｙ座標値が所定値以内の場合、連続データとして、（i）連続データのグループ番号、（ii）連続開始ライン番号、（iii）連続データ数をメモリする。また、（iv）連続データを構成する各抽出ポイントの縦方向位置の平均値（その連続データの代表上下位置）、（v）連続開始ラインと終了ラインの横方向位置の平均値（その連続データの代表左右位置）をメモリする（ＳＴ３６）。
【００５６】
なお、本実施形態では、追跡対象を眼としているため、連続データは横方向比較的長く延びるものとなる。このため、マイクロコンピュータ３は、連続データ形成後、横方向に所定値以上続くことを条件に連続データを選択することができる。
【００５７】
その後、マイクロコンピュータ３は、各連続データについて代表座標値Ｃを定め、これを基準として存在領域ＥＡを設定する（ＳＴ３７）。この代表座標値Ｃとは、ステップＳＴ３６の処理において、メモリされたＸ座標値の平均値及びＹ座標値の平均値により決定するものである（上記iv，vに示す平均値）。なお、存在領域ＥＡについては、図６〜図１１を参照して後述する。
【００５８】
代表座標値Ｃを定めて存在領域ＥＡを設定した後、処理は、図４のステップＳＴ２１に移行する。以上が、追跡対象候補位置特定処理（ＳＴ２０）である。以上のようにして、求められた連続データが眼の候補となり、連続データの代表座標値Ｃが眼の候補点の位置となる。
【００５９】
次に、縦方向の画素列ごとに定められた抽出ポイントが画像横方向に隣接する場合に形成される連続データ、その連続データの代表座標値Ｃ及び存在領域ＥＡについて説明する。
【００６０】
図６は、図５に示したステップＳＴ３６の処理にて形成される連続データ、並びにステップＳＴ３７の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。なお、追跡対象候補位置特定処理（ＳＴ２０）は、１又は複数の追跡対象候補を特定するものであるが、図６では複数の追跡対象候補が特定された場合を例に説明する。
【００６１】
同図に示すように、マイクロコンピュータ３は、複数の連続データＧを形成している。これは、眼を検出対象としているため、眼と似た特徴量を示すもの（口、鼻、眉毛など）が検出されるためである。
【００６２】
連続データＧは、前述したように、縦方向の画素列ごとに定められた抽出ポイントが画像横方向に隣接する場合に形成されるものである。そして、この連続データを形成する横方向両端の画素のＸ座標値の平均値と、連続データを形成する各画素のＹ座標の平均値により、代表座標値Ｃが決定される。さらに、存在領域ＥＡは、この代表座標値Ｃを基準として設定される。
【００６３】
次に、存在領域ＥＡの設定方法を説明する。図７は、図６に示した存在領域ＥＡの大きさを示す説明図であり、図８及び図９は数人の眼の大きさを調べた横Ｘａ、縦Ｙａの長さの統計データを示す説明図であり、図１０は存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。
【００６４】
存在領域ＥＡの設定は、存在領域ＥＡの大きさが決定され、その後、存在領域ＥＡの画像上における位置が定められることでなされる。
【００６５】
存在領域ＥＡの大きさは、ノイズ（顔の皺や明暗などを抽出してしまう）の低減や処理速度を落とさないためにも、可能な限り小さい領域が良い。本実施形態では、数人の顔部位の大きさを調べ、それに余裕分（例えば×１．５倍）を加味して、存在領域ＥＡの大きさを決定している。すなわち、図８及び図９のように、顔部位の縦横寸法のデータを集め、その分布の例えば９５％をカバーする寸法に余裕分を考慮して決定する方法を採用している。
【００６６】
そして上記９５％をカバーする寸法、すなわち横寸法ｘａ、縦寸法ｙａに余裕分（×１．５）を加味して決定している（図７）。なお、存在領域ＥＡの大きさについては、画像処理により顔部位の幅や高さを推定し、縦横の大きさに余裕分を加える大きさとしてもよい。
【００６７】
このように存在領域ＥＡの大きさが決定された後、図１０に示すように、例えば眼の座標値（ｘ１，ｙ１）を基準に、基準点Ｐを決める。基準点Ｐは、眼の座標値（ｘ１，ｙ１）から距離ｘ２，ｙ２だけ離れた位置に定められるものである。
【００６８】
そして、マイクロコンピュータ３は、点Ｐを基準に存在領域ＥＡの寸法ｘ３，ｙ３を描画する。これにより、存在領域ＥＡの位置が決定される。その後、画像全体で見つかった連続データＧすべてについて存在領域ＥＡを設定する。
【００６９】
なお、上記のｘ２及びｙ２はｘ３，ｙ３の１／２であって、予め存在領域ＥＡが眼の中心にくるような長さとすることが望ましい。
【００７０】
以上の図５〜図１０の処理により、図４の追跡対象候補位置特定処理（ＳＴ２０）がなされる。
【００７１】
次に、図４の追跡対象判定処理（ＳＴ２１）について説明する。図１１は、図４に示した追跡対象判定処理（ＳＴ２１）の詳細を示すフローチャートである。
【００７２】
まず、マイクロコンピュータ３は、図５の処理にて求められた存在領域ＥＡの画像データを微少画像ＩＧとして画像メモリに保存する（ＳＴ４０）。全体画像と画像メモリに保存される微小画像ＩＧとの状態を図１２に示す。図１２は、微小画像を示す説明図である。図１２に示すように、マイクロコンピュータ３は、全体画像から存在領域ＥＡ内の画像を抽出し、微小画像ＩＧとしている。
【００７３】
再度、図１１を参照して説明する。マイクロコンピュータ３は、全体画像の代表座標値Ｃを微少画像ＩＧの代表座標値ＩＣとする。そして、マイクロコンピュータ３は、微少画像ＩＧの代表座標値ＩＣを基準とした範囲ＡＲを設定し、範囲ＡＲの濃度情報をもとに二値化閾値を設定する（ＳＴ４１）。
【００７４】
範囲ＡＲでの二値化閾値の算出方法の一例を、図１３を参照して説明する。図１３は、範囲ＡＲでの二値化閾値の算出方法の説明図である。まず、マイクロコンピュータ３は、範囲ＡＲにおいて縦方向に数ラインの濃度値の読み出しを行う。
【００７５】
そして、マイクロコンピュータ３は、各ラインにおいて濃度値の最も高い（明るい）濃度値と、最も低い（暗い）濃度値をメモリしていく。全ラインのメモリが終了したら、マイクロコンピュータ３は、各ラインの最も高い（明るい）濃度値の中で、一番低い濃度値（皮膚の部分）と、各ラインの最も低い（暗い）濃度値の中で、一番低い濃度値（眼の部分）とを求める。そして、その中央値を二値化閾値とする。
【００７６】
なお、上記した範囲ＡＲは、好適に二値化閾値を決定するため、眼の黒い部分と眼の周囲の皮膚の白い部分が入るように設定される。また、範囲ＡＲは、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさにされる。
【００７７】
さらに、二値化閾値は、範囲ＡＲ内の眼の一番低い（暗い）濃度値と、皮膚の部分の一番低い（暗い）濃度値の中央値とすることで、皮膚の部分から眼の部分を切り出すのに適した値になる。
【００７８】
ここで、二値化閾値を決定するのに皮膚部分における一番低い（暗い）濃度値を用いている理由は、次の通りである。例えば、範囲ＡＲの一部に直射光が当たっている場合、皮膚部分は、眼球の黒色部分に比して、光を強く反射する傾向にある。このため、本装置１は、多くのノイズとも言える光を入力してしまうこととなる。
【００７９】
この場合、濃度値を読み出す範囲ＡＲを極力小さくしても、画像がノイズ光による影響を受け、本装置１は正確な二値化閾値を決定できなくなってしまう。このため、本実施形態では、強く反射している可能性がある濃度値の高い部分を用いず、皮膚の部分の濃度値の一番低い（暗い）濃度値を用いることで、より適切な二値化閾値を決定できるようにしている。
【００８０】
再度、図１１を参照して説明する。二値化閾値の決定後、マイクロコンピュータ３は、決定した二値化閾値を用いて微少画像ＩＧを二値化処理し、二値画像ｂＧとして画像メモリに保存する（ＳＴ４２）。
【００８１】
次に、マイクロコンピュータ３は、全体画像の代表座標値Ｃを二値画像ｂＧの位置ｂＣとし、この位置ｂＣを初期位置として設定する（ＳＴ４３）。その後、マイクロコンピュータ３は、設定位置が黒画素か否かを判断する（ＳＴ４４）。ここでは、ステップＳＴ４３において設定された初期位置が黒画素か否か判断される。
【００８２】
そして、設定位置が黒画素でないと判断した場合（ＳＴ４４：ＮＯ）、マイクロコンピュータ３は、設定位置を上下左右に１画素ずつずらす（ＳＴ４５）。その後、マイクロコンピュータ３は、再度、設定位置が黒画素か否かを判断する。ここでは、ステップＳＴ４５においてずらされた設定位置が黒画素か否か判断される。そして、黒画素と判断されるまで、この処理が繰り返される。
【００８３】
一方、設定位置が黒画素であると判断した場合（ＳＴ４４：ＹＥＳ）、マイクロコンピュータ３は、その黒画素の連結成分を候補オブジェクトとして設定する（ＳＴ４６）。そして、マイクロコンピュータ３は、候補オブジェクトの幾何形状を算出する（ＳＴ４７）。
【００８４】
算出後、マイクロコンピュータ３は、予め記憶している追跡対象のテンプレートの幾何形状と候補オブジェクトの幾何形状とを比較する（ＳＴ４８）。候補オブジェクトと追跡対象のテンプレートとの幾何形状の比較方法の一例を、図１４を参照して説明する。
【００８５】
図１４は、候補オブジェクトと追跡対象である眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は眼の右側が欠けた状態を示し、（ｃ）は眼の左側が欠けた状態を示している。
【００８６】
眼の画像を二値化した形状は光環境が良く安定した画像であれば図１４（ａ）に示すようなものになる。ところが、車室内に直射日光が一側から当たる等して光環境が悪化したときには、図１４（ｂ）及び（ｃ）に示すように、一部が欠けた形状になることもある。
【００８７】
マイクロコンピュータ３は、上記のような候補オブジェクトを正確に判断するために、３つの条件により比較判断を行う。まず、条件（i）としては、横幅が眼の相場値の２／３以上あり、且つ上に凸の所定範囲の曲率を持っていることである。次に、条件（ii）としては、黒眼の左側の凹み形状があることである。また、条件（iii）としては、黒眼の右側の凹み形状があることである。
【００８８】
再度、図１１を参照して説明する。幾何形状の比較後、マイクロコンピュータ３は、上記３つの条件に基づき、比較判断を行い、候補オブジェクトと眼テンプレートとの幾何形状が一致するか否かを判断する（ＳＴ４９）。ここで、図１４（ｂ）及び（ｃ）のように眼の形状の一部が欠けている場合を考慮し、マイクロコンピュータ３は、条件（i）及び（ii）を満たすもの、並びに条件（ii）及び（iii）を満たすものを一致すると判断する。
【００８９】
一致しないと判断した場合（ＳＴ４９：ＮＯ）、マイクロコンピュータ３は、その候補オブジェクトが追跡対象となる顔部位でないと判定し（ＳＴ５０）、その後、処理は、図４のステップＳＴ２２に移行する。
【００９０】
一方、一致すると判断した場合（ＳＴ４９：ＹＥＳ）、マイクロコンピュータ３は、その候補オブジェクトが追跡対象となる顔部位であると判定する（ＳＴ５１）。そして、判定された候補オブジェクトの座標値（全体画像における代表座標値Ｃに相当する）を、画像上における眼の座標値としてメモリする（ＳＴ５２）。
【００９１】
その後、マイクロコンピュータ３は、一致と判断された候補オブジェクトを含む微小画像ＩＧを追跡対象画像ＭＧ_ｉとして、画像メモリに保存する（ＳＴ５３）。その後、処理は、図４のステップＳＴ２２に移行する。
【００９２】
なお、図１１の処理では、二値化閾値を用いて二値化した候補オブジェクトを検出している。このため、本実施形態では、眼の部分と他の部分（背景や眼以外の顔部分）とを明確に区別し、眼を正確に捉えることができる。さらには、候補オブジェクトの幾何形状を用いた判定をより正確に行うことができ、眼の位置検出精度をより向上させることができる。
【００９３】
以上、図４〜図１４を参照して説明したように、マイクロコンピュータ３（顔部位検出手段ＣＬ２）は、入力した画像全体から、追跡対象となる顔部位を検出することとなる。そして、前述したように、追跡対象となる顔部位が検出されると、追跡対象検出フラグ「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」とされる。そして、図３に示すように、追跡処理（ＳＴ１９）が実行されるようになる。
【００９４】
図１５は、図３に示した追跡処理（ＳＴ１９）の詳細を示すフローチャートである。同図に示すように、ステップＳＴ１６にて「ＮＯ」と判断された場合、マイクロコンピュータ３は、顔部位探査領域の設定処理を実行する（ＳＴ６０）。このステップＳＴ６０の処理は、図１に示した顔部位探査領域設定手段ＣＬ３１にて行われる処理である。すなわち、マイクロコンピュータ３は、顔部位探査領域設定手段ＣＬ３１に相当するプログラムを実行することとなる。図１６を参照して、顔部位探査領域の設定処理の概略を説明する。
【００９５】
図１６は、図１５に示した顔部位探査領域の設定処理（ＳＴ６０）の説明図であり、（ａ）は時刻ｔ０において撮像された画像を示し、（ｂ）は時刻ｔ１において撮像された画像を示し、（ｃ）は時刻ｔ２において撮像された画像を示し、（ｄ）は時刻ｔ３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【００９６】
被検出者が顔の向きを変える場合、まず、時刻ｔ０において図１６（ａ）に示す画像が撮像される。このとき、被検出者は、ほぼ正面を視認している。その後、時刻ｔ１において、図１６（ｂ）に示す画像が撮像される。このとき、被検出者は、サイドミラー等を確認すべく、顔を右（図１６においては左側）に向け始める。顔の向きを右に向け始めたことから、被検出者の左眼の位置は、右側へ移動することとなる。
【００９７】
そして、時刻ｔ２において、図１６（ｃ）に示す画像が撮像される。このとき、被検出者は、時刻ｔ１よりも、さらに顔を右に向けている。このため、左眼の位置は、さらに右側へ移動することとなる。
【００９８】
その後、時刻ｔ３において、図１６（ｄ）に示す画像が撮像される。このとき、被検出者は、サイドミラー等を確認しており、顔を最も右側に向けた状態となっている。故に、左眼の位置は、最も右側へ移動したこととなる。
【００９９】
そして、図１６（ｅ）に示すように、時刻ｔ０からｔ３に向かって、これら画像上の左眼の位置が徐々に移動していることがわかる。顔部位探査領域の設定処理（ＳＴ６０）においては、これら時刻ｔ０〜ｔ３までの各期間（ｔ０〜ｔ１，ｔ１〜ｔ２，ｔ２〜ｔ３）に移動する左眼位置が含まれるように設定される。
【０１００】
再度、図１５を参照して説明する。ステップＳＴ６０の後、マイクロコンピュータ３は、優先顔部位探査領域の設定処理を実行する（ＳＴ６１）。このステップＳＴ６１の処理は、図１に示した優先顔部位探査領域設定手段ＣＬ３２にて行われる処理である。すなわち、マイクロコンピュータ３は、優先顔部位探査領域設定手段ＣＬ３２に相当するプログラムを実行することとなる。図１７を参照して、優先顔部位探査領域の設定処理の概略を説明する。
【０１０１】
図１７は、図１５に示した優先顔部位探査領域の設定処理（ＳＴ６１）の説明図であり、（ａ）は時刻ｔ１０において撮像された画像を示し、（ｂ）は時刻ｔ１１において撮像された画像を示し、（ｃ）は時刻ｔ１２において撮像された画像を示し、（ｄ）は時刻ｔ１３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【０１０２】
被検出者が一方向を視認している場合、まず、時刻ｔ１０において図１７（ａ）の画像が撮像される。その後、時刻ｔ１１，時刻ｔ１２，時刻ｔ１３において、それぞれ図１７（ｂ）、（ｃ）、（ｄ）の画像が撮像される。
【０１０３】
これらの画像上における左眼位置は、被検出者が一方向を視認していることから、図１７（ｅ）からも明らかなように、ほぼ静止した状態となっている。
【０１０４】
優先顔部位探査領域の設定処理（ＳＴ６１）においては、これら時刻ｔ１０〜ｔ１３までの各期間（ｔ１０〜ｔ１１，ｔ１１〜ｔ１２，ｔ１２〜ｔ１３）に移動する左眼位置が含まれるように設定される。
【０１０５】
ここで、一方向を視認している場合と顔の向きを変えた場合との左眼位置の分布について説明する。図１８は、一方向を視認している場合と顔の向きを変えた場合との左眼位置の分布を示す説明図である。ここで、図１８の縦軸は画像におけるＸ軸方向の座標値であり、横軸は画像におけるＹ軸方向の座標値である。また、画像サイズ６４０×４８０であり、縦軸の最大値は４８０で、横軸の最大値は６８０である。さらに、図１８では３０フレーム/秒のビデオレートでサンプリングしたときの座標をプロットしたものを示している。
【０１０６】
同図に示すように、被検出者が一方向を視認している場合、左眼位置はほぼ１点に滞留している。このとき、軌跡ａに示すように、各時刻の座標値は、Ｘ軸において２００〜２３０で、Ｙ軸において３５０〜３９０でほぼ一定となっている。
【０１０７】
一方、被検出者が顔の向きを変えた場合、例えば、エアコン装置の操作パネル等が設置されている方向（左下方向）に、被検出者が顔を向けた場合、左眼位置は大きく移動する。このとき、軌跡ｂに示すように、各時刻の座標値は、Ｘ軸において３９０〜５２０で、Ｙ軸において２４０〜３５０であり、大きく移動している。
【０１０８】
この分布についての解析結果を図１９に示す。図１９は、図１８に示した分布から求まる左眼位置の移動量の解析結果を示す説明図である。なお、図１９では、被検出者が図１８の軌跡ａ及び軌跡ｂと同様の動きをした場合に、３０ｍｓ／フレーム及び６０ｍｓ／フレームにて、撮像したときの解析結果を示している。また、ここでの画像サイズは、６４０×４８０である。
【０１０９】
まず、軌跡ａと同様の動きを３０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「１．１３」Ｙ軸方向に「０．５２」である。また、このときの標準偏差はＸ軸方向に「０．９５」Ｙ軸方向に「０．５２」であり、３δ移動量はＸ軸方向に「３．９７」Ｙ軸方向に「２．０８」である。そして、最大移動量は、Ｘ軸方向に「４」Ｙ軸方向に「２」である。
【０１１０】
一方、軌跡ｂと同様の動きを３０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「３．３８」Ｙ軸方向に「２．３５」である。また、このときの標準偏差はＸ軸方向に「２．６３」Ｙ軸方向に「２．１２」であり、３δ移動量はＸ軸方向に「１１．２７」Ｙ軸方向に「８．７２」である。そして、最大移動量は、Ｘ軸方向に「１４」Ｙ軸方向に「９」である。
【０１１１】
また、軌跡ａと同様の動きを６０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「１．７６」Ｙ軸方向に「０．９１」である。また、このときの標準偏差はＸ軸方向に「１．４７」Ｙ軸方向に「０．６８」であり、３δ移動量はＸ軸方向に「６．１８」Ｙ軸方向に「２．９４」である。そして、最大移動量は、Ｘ軸方向に「６」Ｙ軸方向に「３」である。
【０１１２】
一方、軌跡ｂと同様の動きを６０ｍｓ／フレームにて撮像した場合、１フレーム当たりの移動量の平均はＸ軸方向に「５．７７」Ｙ軸方向に「４．２５」である。また、このときの標準偏差はＸ軸方向に「４．１０」Ｙ軸方向に「３．７０」であり、３δ移動量はＸ軸方向に「１８．０６」Ｙ軸方向に「１５．３５」である。そして、最大移動量は、Ｘ軸方向に「１５」Ｙ軸方向に「１４」である。
【０１１３】
このように、図１９から明らかなように、被検出者が一方向を視認しているときには、左眼位置の移動量が最大数画素程度であるが、顔の向きを変えた場合には、左眼位置の移動量が最大数十画素となっている。
【０１１４】
再度、図１５を参照して説明する。ステップＳＴ６１の後、マイクロコンピュータ３は、追跡対象候補位置の特定処理を行う（ＳＴ６２）。この処理は、図５に示す処理と同様である。この処理は、図１に示した顔部位候補抽出手段ＣＬ３３にて行われる処理である。すなわち、マイクロコンピュータ３は、顔部位候補抽出手段ＣＬ３３に相当するプログラムを実行することとなる。
【０１１５】
この処理の概略を説明すると、まず、マイクロコンピュータ３は、撮像画像の縦方向の画素列に沿って画素の濃度値を検出する。このとき、マイクロコンピュータ３は、相加平均演算を実行し、濃度の平均値を求める。そして、マイクロコンピュータ３は、検出された濃度平均値の局所的な高まり毎に１個ずつの画素を定めてポイント抽出する。これにより、抽出点が定まる。その後、マイクロコンピュータ３は、縦方向の画素列ごとに定められた抽出点が、画像横方向に隣接する場合に、横方向に延びる抽出点群の連続データＧを形成する。この連続データＧは、図５〜図９を参照して説明したものと同様である。そして、マイクロコンピュータ３は、形成された連続データＧの代表座標値Ｃを、追跡対象候補の候補点とする。
【０１１６】
ステップＳＴ６２の後、マイクロコンピュータ３は、追跡対象の候補が優先顔部位探査領域内にあるか否かを判断する（ＳＴ６３）。より詳細には、追跡対象候補の候補点である代表座表値Ｃが優先顔部位探査領域内にあるか否かを判断する。なお、この処理は、図１に示した顔部位判定手段ＣＬ３４にて行われる処理である。すなわち、マイクロコンピュータ３は、顔部位判定手段ＣＬ３４に相当するプログラムを実行することとなる。
【０１１７】
候補が優先顔部位探査領域内にあると判断した場合（ＳＴ６３：ＹＥＳ）、マイクロコンピュータ３は、追跡対象の候補が追跡対象であると判定する（ＳＴ６４）。そして、マイクロコンピュータ３は、追跡対象であると判定された顔部位を含む存在領域ＥＡを微小画像ＩＧとして画像メモリに保存する（ＳＴ６５）。
【０１１８】
その後、マイクロコンピュータ３は、追跡対象候補の代表座標値Ｃを追跡対象の座標値としてメモリし（ＳＴ６６）、さらに、微小画像ＩＧを追跡対象画像ＭＧ_ｉとして画像メモリに保存する（ＳＴ６７）。
【０１１９】
そして、マイクロコンピュータ３は、不検出カウンタを初期化する（ＳＴ６８）。その後、処理は図３に示したステップＳＴ１８に移行する。なお、不検出カウンタとは、追跡対象が特定できない連続処理数をカウントするものである。
【０１２０】
ところで、候補が優先顔部位探査領域内に無いと判断した場合（ＳＴ６３：ＮＯ）、処理は、図２０に示すステップＳＴ７０に移行する。
【０１２１】
図２０は、追跡対象の候補が優先顔部位探査領域内に無いと判断された場合に実行される処理を示すフローチャートである。
【０１２２】
マイクロコンピュータ３は、まず、微小画像ＩＧの濃度による追跡対象判定処理を行う（ＳＴ７０）。このステップＳＴ７０の処理は、図１にて説明した顔部位判定手段ＣＬ３４にて行われる処理である。すなわち、マイクロコンピュータ３は、顔部位判定手段ＣＬ３４に相当するプログラムを実行することとなる。
【０１２３】
詳細には、図２１に示す処理が実行される。図２１は、図２０に示した濃度による追跡対象判定処理（ＳＴ７０）の詳細を示すフローチャートである。
【０１２４】
同図に示すように、まず、マイクロコンピュータ３は、微小画像ＩＧを画像メモリに保存する（ＳＴ９０）。その後、マイクロコンピュータ３は、微小画像ＩＧの濃度データと追跡対象画像ＭＧ_ｉ−１の濃度データの類似度パラメータを求める（ＳＴ９１）。
【０１２５】
ここで、追跡対象画像ＭＧ_ｉ−１は、前回の追跡処理において画像メモリに記憶された追跡対象の画像である。また、図１５のステップＳＴ６７に示されるように、追跡対象画像ＭＧ_ｉ−１は、前回、追跡対象となる顔部位を含むと判定された微小画像ＩＧでもある。
【０１２６】
すなわち、マイクロコンピュータ３は、現在の画像フレームから抽出された追跡対象の候補を含む微小画像ＩＧと、過去の画像フレームにおいて特定された追跡対象を含む微小画像との双方から、濃度データの類似度パラメータを求めている。
【０１２７】
また、濃度値データの類似度パラメータは、次の式により求められる。
【０１２８】
【数１】

なお、Ｉ（ｍ，ｎ）は、微小画像ＩＧの画素の濃度を示し、Ｔ（ｍ，ｎ）は追跡対象画像ＭＧ_ｉ−１の画素の濃度を示し、Ｍ及びＮは画素サイズを示している。上記式に示されるように、類似度パラメータは残差和として表される。この残差和は２枚の画像の類似性が高いと値が小さくなり、類似性が低いと大きくなることから、閾値をもうけて、残差和が閾値よりも小さいと類似性が高いと判断できる。
【０１２９】
この処理の後、マイクロコンピュータ３は、類似度パラメータに基づいて、抽出された候補が追跡対象の顔部位か否かを判定する（ＳＴ９２）。すなわち、類似度が高い否かを判断して、微小画像ＩＧが追跡対象となる顔部位を含むものか否かを判断している。
【０１３０】
類似度が高くないと判断した場合（ＳＴ９２：ＮＯ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが追跡対象となる顔部位でないと判定する（ＳＴ９３）。その後、処理は、図２０のステップＳＴ７１に移行する。
【０１３１】
一方、類似度が高いと判断した場合（ＳＴ９２：ＹＥＳ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが追跡対象となる顔部位であると判定する（ＳＴ９４）。その後、処理は、図２０のステップＳＴ７１に移行する。
【０１３２】
再度、図２０を参照して説明する。ステップＳＴ７０の後、マイクロコンピュータ３は、図２１に示したステップＳＴ９３，９４の判定に基づいて、存在領域ＥＡが追跡対象となる顔部位を含むものか否かを判断する（ＳＴ７１）。
【０１３３】
追跡対象となる顔部位を含むものであると判断された場合（ＳＴ７１：ＹＥＳ）、処理は、図１５に示したステップＳＴ６６に移行する。一方、追跡対象となる顔部位を含むものでないと判断された場合（ＳＴ７１：ＮＯ）、マイクロコンピュータ３は、周波数画像による追跡対象判定処理を行う（ＳＴ７２）。このステップＳＴ７２の処理は、図１にて説明した顔部位判定手段ＣＬ３４にて行われる処理である。
【０１３４】
詳細には、図２２に示す処理が実行される。図２２は、図２０に示した周波数画像による追跡対象判定処理（ＳＴ７２）の詳細を示すフローチャートである。
【０１３５】
同図に示すように、まず、マイクロコンピュータ３は、存在領域ＥＡを微小画像ＩＧとして画像メモリに保存する（ＳＴ１００）。その後、マイクロコンピュータ３は、微小画像ＩＧを周波数処理して周波数画像ＩＦＧを生成し、これを画像メモリに保存する（ＳＴ１０１）。すなわち、マイクロコンピュータ３は、現在の画像フレームから抽出された追跡対象の候補を含む微小画像ＩＧを周波数処理して周波数画像ＩＦＧを生成している。
【０１３６】
ここでの周波数画像の生成は、フーリエ変換やウェーブレット変換などの一般的な方法により行われる。図２３は、図２２に示した周波数画像生成処理（ステップＳＴ１０１）の説明図であり、（ａ）は微小画像ＩＧを示しており、（ｂ）は周波数画像を示している。
【０１３７】
図２３（ａ）に示すような微小画像ＩＧを周波数処理した場合には、例えば、図２３（ｂ）に示す画像が得られる。マイクロコンピュータ３は、この周波数画像を画像メモリに保存することとなる。
【０１３８】
図２２を参照して説明する。ステップＳＴ１０１の後、マイクロコンピュータ３は、前回の追跡処理において画像メモリに記憶された追跡対象画像ＭＧ_ｉ−１を周波数処理して周波数画像ＢＩＦＧを求め、これを画像メモリに保存する（ＳＴ１０１）。すなわち、マイクロコンピュータ３は、過去の画像フレームにおいて特定された追跡対象の顔部位を含んだ追跡対象画像ＭＧ_ｉ−１を周波数処理して周波数画像ＢＩＦＧを求めている。なお、ここでの周波数処理は、図２３を参照して説明したものと同様である。
【０１３９】
次に、マイクロコンピュータ３は、周波数画像ＩＦＧ，ＢＩＦＧの類似度パラメータを算出する（ＳＴ１０３）。類似度パラメータの算出方法は、図２１に示したステップＳＴ９１と同様であり、濃度データの残差和を求めることによりなされる。
【０１４０】
この処理の後、マイクロコンピュータ３は、算出された類似度パラメータに基づいて、抽出された候補が追跡対象の顔部位か否かを判定する（ＳＴ１０４）。すなわち、類似度が高い否かを判断して、微小画像ＩＧが追跡対象となる顔部位を含むものか否かを判断している。
【０１４１】
類似度が高くないと判断した場合（ＳＴ１０４：ＮＯ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが追跡対象となる顔部位でないと判定する（ＳＴ１０５）。その後、処理は、図２０のステップＳＴ７３に移行する。
【０１４２】
一方、類似度が高いと判断した場合（ＳＴ１０４：ＹＥＳ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが追跡対象となる顔部位であると判定する（ＳＴ１０６）。その後、処理は、図２０のステップＳＴ７３に移行する。
【０１４３】
再度、図２０を参照して説明する。ステップＳＴ７２の後、マイクロコンピュータ３は、図２２に示したステップＳＴ１０５，１０６の判定に基づいて、存在領域ＥＡが追跡対象となる顔部位を含むものか否かを判断する（ＳＴ７３）。
【０１４４】
追跡対象となる顔部位を含むものであると判断された場合（ＳＴ７３：ＹＥＳ）、処理は、図１５に示したステップＳＴ６６に移行する。一方、追跡対象となる顔部位を含むものでないと判断された場合（ＳＴ７３：ＮＯ）、マイクロコンピュータ３は、候補オブジェクトの幾何形状による追跡対象判定処理を行う（ＳＴ７４）。このステップＳＴ７４の処理は、図１にて説明した顔部位判定手段ＣＬ３４にて行われる処理である。
【０１４５】
詳細には、図２４に示す処理が実行される。図２４は、図２０に示した候補オブジェクトの幾何形状による追跡対象判定処理（ＳＴ７４）の詳細を示すフローチャートである。同図に示すステップＳＴ１１０〜ＳＴ１１８については、図１１に示したステップＳＴ４０〜ＳＴ４８と同様であるため、説明を省略する。
【０１４６】
この処理の後、マイクロコンピュータ３は、算出された幾何形状のマッチング度合いに基づいて、抽出された候補が追跡対象の顔部位か否かを判定する（ＳＴ１１９）。すなわち、幾何形状が一致するかを判断して、微小画像ＩＧが追跡対象となる顔部位を含むものか否かを判断している。
【０１４７】
一致しないと判断した場合（ＳＴ１１９：ＮＯ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが追跡対象となる顔部位でないと判定する（ＳＴ１２０）。その後、処理は、図２０のステップＳＴ７５に移行する。
【０１４８】
一方、一致すると判断した場合（ＳＴ１１９：ＹＥＳ）、マイクロコンピュータ３は、微小画像ＩＧに含まれる候補オブジェクトが追跡対象となる顔部位であると判定する（ＳＴ１２１）。その後、処理は、図２０のステップＳＴ７５に移行する。
【０１４９】
再度、図２０を参照して説明する。ステップＳＴ７４の後、マイクロコンピュータ３は、図２４に示したステップＳＴ１２０，１２１の判定に基づいて、存在領域ＥＡが追跡対象となる顔部位を含むものか否かを判断する（ＳＴ７５）。
【０１５０】
追跡対象となる顔部位を含むものであると判断された場合（ＳＴ７５：ＹＥＳ）、処理は、図１５に示したステップＳＴ６６に移行する。一方、追跡対象となる顔部位を含むものでないと判断された場合（ＳＴ７５：ＮＯ）、マイクロコンピュータ３は、ステップＳＴ７６の処理を行う。
【０１５１】
図１５に示したステップＳＴ６２では、複数の追跡対象候補が抽出されている場合がある。例えば、被検出者が眼鏡を着用している場合などには、複数の追跡対象候補が抽出されることがある（後述する）。このため、マイクロコンピュータ３は、他の追跡対象の候補があるか、すなわち未だ判定していない追跡対象の候補があるか否かを判断する（ＳＴ７６）。他の追跡対象の候補があると判断した場合（ＳＴ７６：ＹＥＳ）、処理は図１５のステップＳＴ６３に移行する。
【０１５２】
一方、他の追跡対象の候補がないと判断した場合（ＳＴ７６：ＮＯ）、マイクロコンピュータ３は、不検出カウンタをインクリメントする（ＳＴ７７）。その後、マイクロコンピュータ３は、不検出カウンタの数値が顔部位再検出処理移行数を超えたか否かを判断する（ＳＴ７８）。顔部位再検出処理移行数は、追跡対象となる顔部位が特定できなかった場合であっても、図３のステップＳＴ１７の処理を行うことなく、ステップＳＴ１９の追跡処理を連続して何度実行するかを示す数である。この数は、システムの処理速度、処理精度等によって異なってくるものであり、本装置１の適用対象に合わせて適宜設定すればよいものである。
【０１５３】
顔部位再検出処理移行数を超えていないと判断した場合（ＳＴ７８：ＮＯ）、処理は、図３に示したステップＳＴ１８に移行する。そして、ステップＳＴ１３〜ＳＴ１５の処理が行われ、再度、追跡処理（ＳＴ１９）が行われることとなる。なお、再度ステップＳＴ１９の処理が実行され、再度、追跡対象の候補が追跡対象であると判定されなかった場合には、不検出カウンタがさらにインクリメントされることとなる。そして、ステップＳＴ１９の処理が繰り返され、不検出カウンタの値が顔部位再検出処理移行数を超えた場合（ＳＴ７８：ＹＥＳ）、マイクロコンピュータ３は、追跡対象検出フラグ「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定する（ＳＴ７９）。
【０１５４】
その後、マイクロコンピュータ３は、不検出カウンタを初期化し（ＳＴ８０）、処理は、図３に示したステップＳＴ１８に移行する。
【０１５５】
なお、不検出カウンタの数値が顔部位再検出処理移行数を超えた場合、追跡対象検出フラグ「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定されるため、図３に示す追跡対象検出処理（ＳＴ１７）が、再度実行されることとなる。すなわち、マイクロコンピュータ３は、追跡対象を特定できないため、ステップＳＴ１９の処理を繰り返したにもかかわらず、数回に渡って追跡対象を特定できない場合に、最終的に追跡対象を特定できなかったとする。そして、再度の追跡対象検出処理（ＳＴ１７）を実行することとなる。
【０１５６】
次に、図１５に示した顔部位探査領域の設定処理（ＳＴ６０）及び優先顔部位探査領域の設定処理（ＳＴ６１）をさらに詳細に説明する。
【０１５７】
図２５は、顔部位探査領域の設定処理（ＳＴ６０）の詳細を示すフローチャートであり、図２６は、優先顔部位探査領域の設定処理（ＳＴ６１）の詳細を示すフローチャートである。図２５に示すように、マイクロコンピュータ３は、顔部位探査領域の位置を設定する（ＳＴ１３０）。ここでは、前回の処理において検出又は判定された追跡対象の顔部位の代表座標値Ｃなどに基づいて、顔部位探査領域の中心位置が設定される。
【０１５８】
その後、顔部位探査領域の大きさを設定する（ＳＴ１３１）。この処理では、例えば、追跡対象が特定できずに何度追跡処理が実行されたか、すなわち不検出カウンタの数値などの情報に基づいて、大きさが決定される。そして、マイクロコンピュータ３は、顔部位探査領域の領域設定を行い（ＳＴ１３２）、処理は、図２６のステップＳＴ１４０に移行する。
【０１５９】
ステップＳＴ１４０において、マイクロコンピュータ３は、不検出カウンタが優先顔部位領域の非設定数を超えた否かを判断する（ＳＴ１４０）。優先顔部位領域の非設定数は、顔部位が追跡できていないと判断するのに必要な数である。この数も、顔部位再検出処理移行数と同様に、システムの処理速度、処理精度によって設定される値が異なってくるものである。なお、優先顔部位領域の非設定数は、ほぼビデオレートで処理ができ、顔部位の検出率（顔部位を顔部位として判定する率）が９０％程度であれば３〜５に設定できる。
【０１６０】
不検出カウンタが優先顔部位領域の非設定数を超えたと判断した場合（ＳＴ１４０：ＹＥＳ）、処理は図１５のステップＳＴ６２に移行する。一方、不検出カウンタが優先顔部位領域の非設定数を超えていないと判断した場合（ＳＴ１４０：ＮＯ）、優先顔部位探査領域の領域設定を行い（ＳＴ１４１）、処理は図１５のステップＳＴ６２に移行する。
【０１６１】
次に、図２７〜図３３を参照して、上記の図２５及び図２６に示した処理をさらに詳細に説明する。図２７は、顔部位探査領域及び優先顔部位探査領域の説明図である。同図に示すように、顔部位探査領域は、中心から片側幅Ｈ１、片側高Ｖ１となっている。また、優先顔部位探査領域は、中心から片側幅Ｈ２、片側高Ｖ２となっている。ここでの中心は、例えば、前回の処理において検出又は判定された追跡対象の代表座標値Ｃである。また、前回の処理とは、追跡対象検出処理（ＳＴ１７）及び追跡処理（ＳＴ１９）のいずれであってもよい。なお、図２５に示すステップＳＴ１３０では、この中心となる座標を定める処理を行っている。
【０１６２】
領域の大きさは、前述したように、検出対象等によって変わってくるものである。また、領域の大きさは、システムの処理速度、処理精度によっても変わってくるが、例えば、前述の例ではＨ１を３０〜５０画素、Ｖ１を２０〜３０画素とすればよい。また、Ｈ２を１０〜１５画素、Ｖ２を５から１０画素程度に設定すればよい。
【０１６３】
ところが、上記のような顔部位探査領域では、被検出者が顔の向きを大きく変えた場合などには、追跡対象の顔部位が領域外へ移動してしまい、追跡対象の顔部位を特定できないこともある。すなわち、前回の処理において検出又は判定された追跡対象の代表座標値Ｃを顔部位探査領域の中心としているため、移動中の追跡対象は、今回の処理時において既に領域外に位置しているということもありうる。
【０１６４】
そこで、本実施形態では、図２８に示すように、顔部位探査領域の大きさを可変としている。図２８は、顔部位探査領域の大きさを可変とする場合の一例を示す説明図である。同図に示すように、マイクロコンピュータ３は、追跡対象の顔部位が特定できなかった場合には、顔部位探査領域を広くする。
【０１６５】
本実施形態においては、例えば、一度追跡対象が特定されず不検出カウンタが「１」となった場合、追跡対象が存在するであろう領域を広げて、追跡対象の候補を見つけるようにしている。図２５に示すステップＳＴ１３１では、このようにして、顔部位探査領域の大きさを決定している。
【０１６６】
また、顔部位探査領域の大きさは次のようにして決定してもよい。図２９は、顔部位探査領域の大きさを可変とする場合の他の例を示す説明図である。同図に示すように、マイクロコンピュータ３は、顔部位探査領域を広くする際に不検出カウンタのカウント値に基づいて、顔部位探査領域の大きさを順次大きくするようにしてもよい。すなわち、不検出カウンタの数値が大きければ大きいほど、顔部位探査領域を広くするようにしている。このように、不検出カウンタの数値に基づいて領域の大きさを決定することで、追跡対象が特定できなかった連続回数に応じて領域の大きさを決定することとなる。
【０１６７】
通常、顔部位探査領域を大きくすると処理速度の低下を招くため、顔部位探査領域の大きさを前回処理のときの大きさに比して、突然に大きくしてしまうことは、急激な処理速度の低下を招いてしまう。ところが、この例のように大きさを不検出カウンタの数値に応じて決定することで、処理速度の急激な低下を防止しつつ顔部位探査領域を適切な大きさにすることができる。
【０１６８】
さらに、本実施形態では、マイクロコンピュータ３が優先顔部位探査領域を設定しない場合もある。図２６のステップＳＴ１４０の処理がこれに当たる。
【０１６９】
ステップＳＴ１４０では、不検出カウンタが優先顔部位領域非設定数を超えたか否かを判断している。すなわち、マイクロコンピュータ３は、追跡対象の候補のすべてについて追跡対象であるか否かの判断を行い、追跡対象を特定できなくとも、不検出カウンタが顔部位再検出移行数に達するまで、追跡対象の特定を試みる。そして、マイクロコンピュータ３は、不検出カウンタが顔部位再検出移行数に達した場合には、最終的に追跡対象が特定できなかったと判断し、図３のステップＳＴ１７の追跡対象検出処理を行うこととなる。
【０１７０】
ステップＳＴ１４０では、最終的に追跡対象が特定できなかったと判断するまでの間において、不検出カウンタが優先顔部位領域非設定数を超えた場合に、優先顔部位探査領域の設定を行わないようにしている。
【０１７１】
なお、本例では、優先顔部位探査領域の設定を行わないようにしているが、これに限らず、優先顔部位探査領域を狭くして設定するようにしてもよい。
【０１７２】
また、図２７にて説明した顔部位探査領域の中心は、前回の処理において検出又は判定された追跡対象の顔部位の代表座標値Ｃとしなくともよい。以下にその場合の例を示す。図３０は、顔部位探査領域の中心位置を設定する場合の一例を示す説明図である。
【０１７３】
同図には、前々回及び前回の眼の位置及び顔部位探査領域の中心位置が示されている。図３０に示す例の場合、まず、マイクロコンピュータ３は、前々回及び前回の顔部位探査領域について、中心位置のＸ軸方向での差分及びＹ軸方向での差分を求める。そして、前回の中心位置にこれらの差分値を加え、得られた座標値を今回の顔部位探査領域の中心位置とする。
【０１７４】
図３１は、眼の位置及び顔部位探査領域の中心位置を含む画像例を示す説明図であり、（ａ）は全体画像を示し、（ｂ）は拡大画像を示している。
【０１７５】
図３０を参照して説明した処理を実行した場合、図３１（ａ）に示すように、顔部位探査領域内に眼の位置が納まっている。また、図３１（ｂ）の拡大画像例からも明らかなように、前々回及び前回の中心位置に基づいて今回の顔部位探査領域を設定した結果、今回の顔部位探査領域内に眼の位置が納まっている。このように、本例では過去の画像フレームにおける追跡対象の移動量に基づいて顔部位探査領域を設定することで、被検出者の顔の動きに応じて適切処理を行うことができる。
【０１７６】
なお、本例においては、前回、前々回の追跡対称の位置から求まる移動量に応じて顔部位探査領域の中心位置を決定しているが、これに限らない。すなわち、前々回以前に特定された追跡対象の位置から移動量を求め、これに基づき、中心位置を決定するようにしてもよい。また、顔部位探査領域の中心位置を、まず、前回特定された追跡対象の位置とし、この位置にて追跡対象が特定されず不検出カウンタが「１」となった場合に、本例を用いるようにしてもよい。
【０１７７】
次に中心位置の設定の他の例について説明する。図３２は、顔部位探査領域の中心位置を設定する場合の他の例を示す説明図である。図３３は、眼の位置及び顔部位探査領域の中心位置を含む画像の他の例を示す説明図であり、（ａ）は全体画像を示し、（ｂ）は拡大画像を示している。
【０１７８】
図３０及び図３１を参照して説明した例は、中心位置のＸ軸方向での差分値及びＹ軸方向での差分値が大きい場合に有効な手段となる。本例では、Ｘ軸方向での差分値及びＹ軸方向での差分値が小さい場合に有効な手段となる。
【０１７９】
図３２及び図３３に示すように、Ｘ軸方向での差分値及びＹ軸方向での差分値が大きくない場合には、これらの図に示すように、被検出者の顔の動きに応じて顔部位探査領域を設定しなくともよい。なぜなら、被検出者の顔の動きに応じて設定しなくとも追跡対象が顔部位探査領域内に含まれるからである。
【０１８０】
そこで、本例では、Ｘ軸方向での差分値及びＹ軸方向での差分値が小さい場合、前回の処理において検出又は判定された追跡対象の顔部位の代表座標値Ｃを中心位置としている。
【０１８１】
このように、Ｘ軸方向での差分値及びＹ軸方向での差分値を考慮しつつも移動量が所定の閾値を超えない場合、通常通り、前回の処理における代表座標値Ｃを中心位置とする。これにより、図３０及び図３１に示した例に比して、詳細な計算等を不要とし迅速な処理を行うことができる。
【０１８２】
次に、画像例を参照しつつ本実施形態に係る顔部位追跡装置１の動作を再度説明する。なお、以下の説明においては、便宜上代表座標値Ｃを代表座標点Ｃと称する。図３４は、被検出者が一方向を視認しているときの画像例を示す図である。同図に示すように、本画像例では、連続データＧ４の代表座標点Ｃ４が優先顔部位探査領域内に納まっている。このため代表座標点Ｃ４が顔部位として判定される。すなわち、図１５のステップＳＴ６３において、「ＹＥＳ」と判断される。
【０１８３】
図３５は、被検出者が顔の向きを変えたときの画像例を示す図であり、（ａ）は全体画像例を示しており、（ｂ）は拡大画像例を示している。図３５（ａ）に示すように、連続データＧ４の代表座標点Ｃ４は、優先顔部位探査領域に無く顔部位探査領域内にある。このため、図１５のステップＳＴ６３において、「ＮＯ」と判断される。そして、代表座標点Ｃ４を中心にして設定した存在領域ＥＡが微小画像ＩＧ（図３５（ｂ））として画像メモリに保存される。その後、ステップＳＴ７０以下の追跡対象判定処理を順次行っていくこととなる。
【０１８４】
次に、被検出者が眼鏡を着用している場合の本装置１の動作を説明する。図３６は、被検出者が眼鏡を着用している場合の画像例を示す図であり、図３７は、被検出者が眼鏡を着用している場合に得られる複数の微小画像例を示す図である。
【０１８５】
被検出者が眼鏡を着用している場合には、図３６に示すように、顔部位探査領域内から複数の候補点が抽出されることがある。図３６によると、連続データＧ２の代表座標点Ｃ２、連続データＧ３の代表座標点Ｃ３、連続データＧ４の代表座標点Ｃ４がいずれもが優先顔部位探査領域ではない顔部位探査領域内にある。
【０１８６】
このため、図３７に示すように、代表座標点Ｃ２，Ｃ３，Ｃ４を中心にした存在領域ＥＡ１，ＥＡ２，ＥＡ３である微小画像ＩＧ１，ＩＧ２，ＩＧ３をそれぞれ画像メモリに保存し、ステップＳＴ７０以下の追跡対象判定処理を順次行っていく。
【０１８７】
なお、この例において、１つ目の微小画像ＩＧＡ１を判定した場合、追跡対象となる顔部位でないと判定されて、図２０のステップＳＴ７６の処理において、他の追跡対象候補があると判断される。そして、２つ目の微小画像ＩＧＡ２が判定の対象とされ、追跡対象となる顔部位が特定されることとなる。
【０１８８】
また、本実施形態では、顔部位探査領域を囲む領域を連続データ抽出領域として設定し、その領域内だけで連続データを抽出するようにしてもよい。図３８は、顔部位探査領域を囲む領域を連続データ抽出領域として設定したときの一例を示す図である。また、図３９は、連続データ抽出領域を設定したときに抽出される連続データの一例を示す図である。図３８及び図３９に示すように、顔部位探査領域を囲む連続データ抽出領域を設定し、この範囲内から候補を抽出するようにしても処理は可能である。なお、この例の場合、連続データＧ１の代表座標点Ｃ１が優先顔部位探査領域内にあるので、代表座標点Ｃ１を顔部位として判定することとなる。
【０１８９】
このようにして、本実施形態における顔部位追跡装置１は、顔部位探査領域を設定している。この顔部位探査領域は、検出された追跡対象の画像上の位置に基づくものであり且つ被検出者が顔の向きを変えたときにサンプリング時間中に移動する追跡対象の移動量に基づいているため、追跡対象となる顔部位が存在する可能性の高い領域であるといえる。そして、本装置１はこの領域から追跡対象の候補を抽出するようにしている。このため、追跡対象の検出後の撮像画像については、画像全体から追跡対象の候補を抽出することなく、追跡対象が存在する可能性の高い領域から候補を抽出することができ、精度良く且つ迅速な処理を行うことができる。
【０１９０】
また、顔部位探査領域内に優先顔部位探査領域を設定している。この優先顔部位探査領域は、顔部位探査領域内に設定されるものであるため、追跡対象となる顔部位が存在する可能性が一層高い領域といえる。そして、追跡対象の候補が優先顔部位探査領域内にある場合には、その候補は追跡対象の顔部位である可能性が一層高いものであるため、顔部位判定手段ＣＬ３４は、この候補を追跡対象の顔部位と判定する。
【０１９１】
一方、抽出された候補が顔部位探査領域内であって優先顔部位探査領域外にある場合、その候補は、追跡対象の顔部位である可能性が高いものの、優先顔部位探査領域内にある場合に比べ、追跡対象の顔部位である可能性が低い。このため、顔部位判定手段ＣＬ３４は、その候補の画像を画像処理して候補が追跡対象となる顔部位か否かを判定している。すなわち、顔部位探査領域内の候補は、追跡したい顔部位でない可能性が少なからずあり、追跡したい顔部位でない場合に、顔部位判定手段ＣＬ３４は、誤って追跡してしまうことを防止すべく、追跡対象となる顔部位であるか否かの判定している。これにより、誤った追跡をしてしまうことを防止している。
【０１９２】
以上から本発明では、追跡対象となる顔部位を判定するのに際し、精度及び処理速度の向上を図ることができる。
【０１９３】
また、被検出者が一方向を視認しているときに、サンプリング時間中に移動する追跡対象の顔部位の移動量に基づいて、優先顔部位探査領域を設定している。このため、追跡対処となる顔部位が位置する可能性が高い領域について、優先顔部位探査領域が設定することができる。
【０１９４】
また、顔部位判定手段ＣＬ３４により追跡対象の顔部位が特定された後には、この特定された位置に基づいて顔部位探査領域及び優先顔部位探査領域を設定している。このため、一度、顔部位検出手段ＣＬ２により顔部位を検出した後には、画像全体に対して顔部位の検出処理を行うことが少なくなり、迅速な処理を継続して行うことができる。
【０１９５】
また、過去の画像フレームにおいて追跡対象の顔部位が判定されたときの位置を中心位置として、顔部位探査領域を設定する。このため、例えば、過去の画像上における追跡対象位置に基づいて、追跡対象が存在する可能性が高い箇所に、顔部位探査領域を設定することができる。
【０１９６】
また、過去の画像フレームにおける追跡対象の移動量に基づいて補正した位置を中心として、顔部位探査領域を設定している。このため、例えば、過去の画像上において追跡対象の位置がＸ軸方向及びＹ軸方向に大きく移動している場合などには、過去のデータに基づき今回の処理時に追跡対象が存在する可能性が高い箇所に、顔部位探査領域を設定することができる。
【０１９７】
また、顔部位判定手段ＣＬ３４により追跡対象の顔部位が特定できなかった場合、顔部位探査領域の範囲を広くすることとしたので、追跡対象を見失ったとしても、すぐに追跡処理に復帰することができる。
【０１９８】
また、顔部位判定手段ＣＬ３４により追跡対象の顔部位が特定できなかった場合、優先顔部位探査領域の範囲を狭くするもしくは優先顔部位探査領域を設定しないこととしている。このため、偶然に優先顔部位探査領域内に追跡対象と近似した特徴量の追跡対象候補があったとしても、誤って追跡対象と判断することを防止又は軽減でき、好適に追跡処理に復帰することができる。
【０１９９】
また、候補の位置を特定するための候補点を定めいるので、候補の一部が優先顔部位探査領域内であって、一部が優先顔部位探査領域外にあるという事態を無くすことができ、高精度に処理を行うことができる。
【０２００】
また、画像縦方向について濃度値の局所的な高まり毎に１個ずつの画素を定めて抽出点とし、抽出点が画像横方向に隣接する場合に、横方向に延びる抽出点群の連続データを形成し、形成された連続データの代表座標値を顔部位の候補点とする。このため、得られる連続データが、追跡対象となる顔部位の特徴を有しているか否かなどの判断が行えるようになり、例えば、追跡対象となる顔部位の特徴を有するものだけを、選択することが可能となる。従って、本装置１の精度の向上を図ることができる。
【０２０１】
また、顔部位の候補を含んで、微小画像を抽出し、微小画像に基づいて、顔部位の追跡対象を判定する。すなわち、顔部位探査領域又は優先顔部位探査領域内から、画像を一部抽出して処理を行うので、処理負荷を軽減することができる。
【０２０２】
また、微小画像を抽出し、濃度、空間周波数、幾何形状のいずれかに基づいて、追跡対象の顔部位か否かを判定するので、処理負荷を軽減することができる上に、正確な判定を行うことができる。
【０２０３】
また、顔部位判定手段ＣＬ３４により追跡対象の顔部位が特定できなかった場合、再度、顔部位検出手段ＣＬ２により追跡対象の検出処理を行うため、追跡対象を見失っても追跡処理に復帰することができる。
【０２０４】
なお、本実施形態は上記の構成に限られず、本発明の趣旨を逸脱しない範囲において変更等が可能である。例えば、顔部位判定手段ＣＬ３４内に、それぞれ異なる判定精度とされた複数の顔部位判定部を有する構成としてもよい。すなわち、通常、判定等を行う手段は、判定精度が低くなると処理速度が速くなる傾向にある。これを利用して、本実施形態において追跡対象の顔部位か否かを判定する際に、判定精度が低く処理速度が速いものから順に判定処理を実行するようにしてもよい。これにより、処理速度を高めると共に、判定精度の低下を防ぐことができる。
【０２０５】
また、本実施形態における顔部位候補抽出手段ＣＬ３３は、上記構成に限らず、例えば以下のような構成であってもよい。すなわち、顔部位候補抽出手段ＣＬ３３は、画像横方向に延びる抽出点群である連続データＧを形成できなかった場合、候補抽出を行っている現在の画像フレーム以前の画像フレームにおける候補点を、現在の候補点とするようにしてもよい。また、顔部位候補抽出手段ＣＬ３３は、画像横方向に延びる抽出点群である連続データＧを形成できなかった場合に、候補抽出を行っている現在の画像フレーム以前の画像フレームにおける追跡対象の移動量に基づいて、現在の候補点を決定するようにしてもよい。
【０２０６】
このように顔部位候補抽出手段ＣＬ３３を構成した場合、連続データＧを形成できなかったときに、再度候補点を抽出する処理を実行しなくとも、候補点が定められるので、演算負荷を軽減することができる。また、画像横方向に延びる適切な連続データＧが形成されていないために、不適切な連続データＧに基づいて候補点を定めてしまうという事態を防止することができる。故に、追跡精度の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る顔部位追跡装置の構成を示す機能ブロック図である。
【図２】本発明の実施形態に係る顔部位追跡装置の示すハード構成図である。
【図３】本実施形態に係る顔部位追跡装置１の動作の概略を示すメインフローチャートである。
【図４】図３に示した追跡対象検出処理（ＳＴ１７）の詳細な動作を示すフローチャートである。
【図５】図４に示した追跡対象候補位置特定処理（ＳＴ２０）の詳細を示すフローチャートである。
【図６】図５に示したステップＳＴ３６の処理にて形成される連続データ、並びにステップＳＴ３７の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。
【図７】図６に示した存在領域ＥＡの大きさを示す説明図である。
【図８】数人の眼の大きさを調べた横Ｘａの長さの統計データを示す説明図である。
【図９】数人の眼の大きさを調べた縦Ｙａの長さの統計データを示す説明図である。
【図１０】存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。
【図１１】図４に示した追跡対象判定処理（ＳＴ２１）の詳細を示すフローチャートである。
【図１２】微小画像を示す説明図である。
【図１３】範囲ＡＲでの二値化閾値の算出方法の説明図である。
【図１４】候補オブジェクトと追跡対象である眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は眼の右側が欠けた状態を示し、（ｃ）は眼の左側が欠けた状態を示している。
【図１５】図３に示した追跡処理（ＳＴ１９）の詳細を示すフローチャートである。
【図１６】図１５に示した顔部位探査領域の設定処理（ＳＴ６０）の説明図であり、（ａ）は時刻ｔ０において撮像された画像を示し、（ｂ）は時刻ｔ１において撮像された画像を示し、（ｃ）は時刻ｔ２において撮像された画像を示し、（ｄ）は時刻ｔ３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【図１７】図１５に示した優先顔部位探査領域の設定処理（ＳＴ６１）の説明図であり、（ａ）は時刻ｔ１０において撮像された画像を示し、（ｂ）は時刻ｔ１１において撮像された画像を示し、（ｃ）は時刻ｔ１２において撮像された画像を示し、（ｄ）は時刻ｔ１３において撮像された画像を示し、（ｅ）はこれらの画像上の左眼位置を一画像上で表した場合を示している。
【図１８】一方向を視認している場合と顔の向きを変えた場合との左眼位置の分布を示す説明図である。
【図１９】図１８に示した分布から求まる左眼位置の移動量の解析結果を示す説明図である。
【図２０】顔部位の候補が優先顔部位探査領域内に無いと判断された場合に実行される処理を示すフローチャートである。
【図２１】図２０に示した濃度による追跡対象判定処理（ＳＴ７０）の詳細を示すフローチャートである。
【図２２】図２０に示した周波数画像による追跡対象判定処理（ＳＴ７２）の詳細を示すフローチャートである。
【図２３】図２２に示した周波数画像生成処理（ステップＳＴ１０１）の説明図であり、（ａ）は微小画像ＩＧを示しており、（ｂ）は周波数画像を示している。
【図２４】図２０に示した候補オブジェクトの幾何形状による追跡対象判定処理（ＳＴ７４）の詳細を示すフローチャートである。
【図２５】顔部位探査領域の設定処理（ＳＴ６０）の詳細を示すフローチャートである。
【図２６】優先顔部位探査領域の設定処理（ＳＴ６１）の詳細を示すフローチャートである。
【図２７】顔部位探査領域及び優先顔部位探査領域の説明図である。
【図２８】顔部位探査領域の大きさを可変とする場合の一例を示す説明図である。
【図２９】顔部位探査領域の大きさを可変とする場合の他の例を示す説明図である。
【図３０】顔部位探査領域の中心位置を設定する場合の一例を示す説明図である。
【図３１】眼の位置及び顔部位探査領域の中心位置を含む画像例を示す説明図であり、（ａ）は全体画像を示し、（ｂ）は拡大画像を示している。
【図３２】顔部位探査領域の中心位置を設定する場合の他の例を示す説明図である。
【図３３】眼の位置及び顔部位探査領域の中心位置を含む画像の他の例を示す説明図であり、（ａ）は全体画像を示し、（ｂ）は拡大画像を示している。
【図３４】被検出者が一方向を視認しているときの画像例を示す図である。
【図３５】被検出者が顔の向きを変えたときの画像例を示す図であり、（ａ）は全体画像例を示しており、（ｂ）は拡大画像例を示している。
【図３６】被検出者が眼鏡を着用している場合の画像例を示す図である。
【図３７】被検出者が眼鏡を着用している場合に得られる複数の微小画像例を示す図である。
【図３８】顔部位探査領域を囲む領域を連続データ抽出領域として設定したときの一例を示す図である。
【図３９】連続データ抽出領域を設定したときに抽出される連続データの一例を示す図である。
【符号の説明】
１…顔部位追跡装置
ＣＬ１…顔画像撮像手段
ＣＬ２…顔部位検出手段
ＣＬ３１…顔部位探査領域設定手段
ＣＬ３２…優先顔部位探査領域設定手段
ＣＬ３３…顔部位候補抽出手段（候補抽出手段）
ＣＬ３４…顔部位判定手段（第１顔部位判定手段、第２顔部位判定手段）
Ｇ…連続データ
ＩＧ…微少画像
ＩＦＧ，ＢＩＦＧ…周波数画像

Claims (16)

1. 被検出者の顔を撮像し入力した画像に基づいて、顔部位の動きを追跡する顔部位追跡装置において、
   入力した撮像画像の全体から、追跡の対象となる顔部位を検出する顔部位検出手段と、
   検出後に入力した画像に対し、前記顔部位検出手段により検出された追跡対象の画像上における位置に基づいて、画像全体よりも狭くされた顔部位探査領域を設定する顔部位探査領域設定手段と、
   前記顔部位探査領域設定手段により設定された顔部位探査領域内に、優先顔部位探査領域を設定する優先顔部位探査領域設定手段と、
   前記顔部位探査領域内から、追跡対象となる顔部位の候補を抽出する候補抽出手段と、
   前記候補抽出手段により抽出された候補が前記優先顔部位探査領域内にあるときに、その候補を追跡対象であると判定する第１顔部位判定手段と、
   抽出された候補が前記優先顔部位探査領域内に無く前記顔部位探査領域内にあるときには、その候補の画像を画像処理することにより、抽出された候補が追跡対象であるか否かを判定する第２顔部位判定手段と、を備え、
   前記顔部位探査領域設定手段は、被検出者が顔の向きを変えたときに、サンプリング時間中に移動する追跡対象の移動量に基づいて、前記顔部位探査領域を設定することを特徴とする顔部位追跡装置。
2. 前記優先顔部位探査領域設定手段は、被検出者が一方向を視認しているときに、サンプリング時間中に移動する追跡対象の移動量に基づいて、前記優先顔部位探査領域を設定することを特徴とする請求項１に記載の顔部位追跡装置。
3. 前記顔部位探査領域設定手段は、前記第１又は第２顔部位判定手段による判定結果により追跡対象が特定された後には、特定された追跡対象の画像上における位置に基づいて、前記顔部位探査領域を設定することを特徴とする請求項１又は請求項２のいずれかに記載の顔部位追跡装置。
4. 前記顔部位探査領域設定手段は、現在の画像フレーム以前の画像フレームにおいて追跡対象が特定されたときの位置を中心位置として、前記顔部位探査領域を設定することを特徴とする請求項３に記載の顔部位追跡装置。
5. 前記顔部位探査領域設定手段は、前記中心位置を、現在の画像フレーム以前の画像フレームにおいて追跡対象が移動した画像上の移動量により補正して、前記顔部位探査領域を設定することを特徴とする請求項４に記載の顔部位追跡装置。
6. 前記顔部位探査領域設定手段は、前記第１又は第２顔部位判定手段による判定結果により追跡対象が特定されなかった場合、前記顔部位探査領域を広くすることを特徴とする請求項１〜請求項５のいずれか１項に記載の顔部位追跡装置。
7. 前記優先顔部位探査領域設定手段は、前記第１又は第２顔部位判定手段による判定結果により追跡対象が特定されなかった場合、前記優先顔部位探査領域を狭くするか又は設定しないことを特徴とする請求項１〜請求項６のいずれか１項に記載の顔部位追跡装置。
8. 前記候補抽出手段は、追跡対象の候補を抽出する際に、候補位置を特定するための候補点を定め、
   前記第１顔部位判定手段は、前記候補抽出手段により定められた候補点が前記優先顔部位探査領域内にあるときに、その候補点を有する候補を追跡対象であると判定し、
   前記第２顔部位判定手段は、前記候補抽出手段により定められた候補点が前記優先顔部位探査領域内に無く前記顔部位探査領域内にあるときに、その候補点を有する候補を含む画像を画像処理することにより、その候補が追跡対象であるか否かを判定する
   ことを特徴とする請求項１〜請求項７のいずれか１項に記載の顔部位追跡装置。
9. 前記候補抽出手段は、
   撮像画像の縦方向の画素列に沿って画素の濃度値を検出し、
   検出された濃度値の局所的な高まり毎に１個ずつの画素を定めて抽出点とし、
   縦方向の画素列ごとに定められた抽出点が、画像横方向に隣接する場合に、横方向に延びる抽出点群の連続データを形成し、
   形成された連続データの代表座標値を、追跡対象候補の候補点とする
   ことを特徴とする請求項１〜請求項８に記載の顔部位追跡装置。
10. 前記第２顔部位判定手段は、
    前記候補抽出手段により抽出された追跡対象の候補を含んで、微小画像を抽出し、
    抽出された候補が前記優先顔部位探査領域内に無く前記顔部位探査領域内にあるときには、抽出された微小画像を画像処理することにより、抽出された候補が追跡対象であるか否かを判定する
    ことを特徴とする請求項１〜請求項９のいずれか１項に記載の顔部位追跡装置。
11. 前記第２顔部位判定手段は、
    現在の画像フレームから抽出された追跡対象の候補を含む第１微小画像の濃度データと、現在の画像フレーム以前の画像フレームにおいて特定された追跡対象を含む第２微小画像の濃度データとから、双方の微小画像の類似度を算出し、
    算出された類似度パラメータに基づいて、抽出された候補が追跡対象であるか否かを判定する
    ことを特徴とする請求項１０に記載の顔部位追跡装置。
12. 前記第２顔部位判定手段は、
    現在の画像フレームから抽出された追跡対象の候補を含む第１微小画像と、現在の画像フレーム以前の画像フレームにおいて特定された追跡対象を含む第２微小画像とを周波数処理して第１及び第２周波数画像を求め、
    周波数処理した第１及び第２周波数画像の濃度データから双方の周波数画像の類似度を算出し、
    算出された類似度パラメータに基づいて、抽出された候補が追跡対象であるか否かを判定する
    ことを特徴とする請求項１０に記載の顔部位追跡装置。
13. 前記第２顔部位判定手段は、
    現在の画像フレームから追跡対象の候補を含む微小画像を抽出し、
    この微小画像からの追跡対象の候補の幾何形状を求め、
    求められた候補の幾何形状と、予め記憶された幾何形状とのマッチング度合いに基づいて、その候補が追跡対象であるか否かを判定する
    ことを特徴とする請求項１０に記載の顔部位追跡装置。
14. 前記第２顔部位判定手段は、
    それぞれ異なる判定精度とされた複数の顔部位判定部を有し、
    前記複数の顔部位判定部は、判定精度が低いものから順に処理速度が速くなっており、追跡対象であるか否かを判定する際には、判定精度が低く処理速度が速いものから順に判定処理を実行していく
    ことを特徴とする請求項１〜請求項１３のいずれか１項に記載の顔部位追跡装置。
15. 前記第１又は第２顔部位判定手段による判定結果により追跡対象が最終的に特定されなかった場合、再度、前記顔部位検出手段により追跡対象となる顔部位の検出を行うことを特徴とする請求項１〜請求項１４のいずれか１項に記載の顔部位追跡装置。
16. 被検出者の顔を撮像し入力した画像に基づいて、顔部位の動きを追跡する顔部位追跡装置において、
    入力した撮像画像の全体から、追跡の対象となる顔部位を検出し、
    検出された追跡対象の画像上における位置に基づき且つ画像全体よりも狭い顔部位探査領域と、当該顔部位探査領域内の優先顔部位探査領域とを、検出後に入力した画像に対し設定し、
    前記顔部位探査領域内から追跡対象となる顔部位の候補を抽出して、抽出された候補が前記優先顔部位探査領域内にあるときに、その候補を追跡対象であると判定し、抽出された候補が前記優先顔部位探査領域内に無く前記顔部位探査領域内にあるときには、その候補の画像を画像処理することにより、抽出された候補が追跡対象であるか否かを判定する
    ことを特徴とする顔部位追跡装置。

Images