JP4826306B2 - 顔部位追跡方法及びその装置 - Google Patents

Description

この発明は、被検出者の顔の顔部位を監視するときに用いる顔部位追跡方法及びその装置に関するものである。

従来、被検出者の顔をテレビカメラ（顔部位撮像手段）で撮像して、撮像により得られた顔画像から追跡の対象となる顔部位（眼，眉、鼻、耳、口などの部位）を検出し、この顔部位を追跡していく顔部位追跡装置が知られている。

このような顔部位追跡装置には、基準顔部位とする顔部位を決定した後、基準顔部位に設定された過去フレームの顔部位位置から基準顔部位探査領域を設定し、基準顔部位探査領域内に基準顔部位を検出し、次いで基準顔部位の位置と過去フレームの顔部位位置の位置関係から他顔部位探査領域を設定し、他顔部位探査領域内に他顔部位の位置を検出するようにしたものも知られている（例えば、特許文献１参照）。
特開２００４−３４１９５３号公報

しかしながら、この顔部位追跡装置では、過去フレームで間違った顔部位を検出すると、その間違った顔部位の位置関係をメモリするため、誤追跡を始めると正常な顔部位の追跡に復帰するのに時間がかかるものであった。

そこで、この発明は、追跡中の顔部位の誤検出を未然に防ぐことができる顔部位追跡方法及びその装置を提供することを目的とするものである。

この目的を達成するため、この発明の顔部位追跡方法は、顔画像撮像手段で被検出者の顔を所定時間毎に連続的に撮像して前記被検出者の顔画像の現フレームを順次生成して、前記現フレームにおける顔画像の複数の所定領域の画像から追跡の対象としての顔部位を顔部位検出手段で検出し、検出される複数の顔部位の代表位置座標を顔部位追跡手段で求め、前記求めた複数の顔部位の代表位置座標を直線で結ぶことにより前記直線からなる複数の顔部位線を現顔部位線として求めると共に、順次生成される前記現フレームを順次過去フレームとしながら前記過去フレームの前記現顔部位線に対応する過去顔部位線と前記現顔部位線とを比較して、前記過去顔部位線に対する前記現顔部位線の変化から前記現フレームで検出される前記複数の顔部位が正しいか否かを顔部位追跡手段で追跡して判定する顔部位追跡方法であって、前記複数の顔部位線からなる形状又は前記複数の顔部位線の間隔や傾斜を前記過去フレームと前記現フレームとで比較して、前記形状が一致している場合又は前記間隔が平行である場合に前記現フレームで検出された前記顔部位が正しいと判定することを特徴とする。
また、この発明の顔部位追跡装置は、被検出者の顔を連続的に撮像して顔画像の現フレームを順次生成することにより現フレームを順次過去フレームとする顔画像撮像手段と、前記順次生成されるフレーム毎に前記顔画像から追跡の対象としての複数の顔部位を順次検出する顔部位検出手段と、前記顔部位検出手段によって順次検出される顔部位の代表位置座標を追跡していく顔部位追跡手段と、を備え、前記顔部位追跡手段は、前記過去フレームで特定された複数の顔部位の各所定領域における前記顔部位の代表位置座標をそれぞれ求めると共に、前記複数の顔部位の代表位置座標に基づいて追跡対象となる複数の顔部位探査領域を前記現フレームの顔画像に設定する顔部位探査領域設定手段、及び前記顔部位探査領域内で前記顔部位を探査し且つその顔部位の位置を検出する顔部位位置検出手段を備える顔部位追跡装置において、前記現フレームにおける前記複数の顔部位探査領域内の顔部位の代表位置座標を直線で結ぶことによりできる複数の現顔部位線を求めると共に、この求めた前記複数の顔部位線からなる形状又は前記複数の顔部位線の間隔や傾斜を前記過去フレームと前記現フレームとで比較して、前記過去顔部位線に対する前記現顔部位線の変化の状態から前記現フレームで検出される前記複数の顔部位が正しいか否かを検証し、前記形状が一致している場合又は前記間隔が平行である場合に前記現フレームで検出された前記顔部位が正しいと判定する顔部位位置検証手段を備えることを特徴とする。

このような顔部位追跡方法及びその装置によれば、追跡中の顔部位の誤検出を未然に防ぐことができる。

（第１実施例）
［システムブロック図］
図１は、本発明を適用した顔部位追跡装置の実施例の構成ブロック図である。この顔部位追跡装置は、顔画像撮像手段ＣＬ１と、顔部位検出手段ＣＬ２と、顔部位追跡手段ＣＬ３を備えている。

この顔画像撮像手段ＣＬ１は、乗員の顔を撮像して顔画像データを出力するようになっている。また、顔部位検出手段ＣＬ２は、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して顔画像全体の中から追跡対象となる顔部位の検出特定をするようになっている。更に、顔部位追跡手段ＣＬ３は顔部位検出手段ＣＬ２よって検出された顔部位を追跡するようになっている。

この顔部位追跡手段ＣＬ３は、顔部位探査領域設定手段ＣＬ３１と、顔部位位置検出手段ＣＬ３２と、顔部位位置検証手段ＣＬ３３と、不明顔部位探査領域設定手段ＣＬ３４を備えている。

この顔部位探査領域設定手段ＣＬ３１は過去フレームの顔部位位置を元に処理対象フレーム（以下、現フレーム）での顔部位の探査領域を設定するようになっている。また、顔部位位置検出手段ＣＬ３２は、顔部位探査領域設定手段ＣＬ３１で設定された顔部位探査領域の中に顔部位の候補を抽出し、その顔部位の候補について顔部位か否かの判定を行い、顔部位と判定されればその位置を顔部位位置として記録するようになっている。更に、顔部位位置検証手段ＣＬ３３は、過去フレームおける各々の顔部位位置の位置関係を元に現フレームで検出された顔部位の位置の検証を行うようになっている。また、不明顔部位探査領域設定手段ＣＬ３４は、顔部位位置検出手段ＣＬ３２で顔部位の位置が特定できなかった場合、もしくは顔部位位置検証手段ＣＬ３３で顔部位位置を検証をした結果、過去フレームの顔部位位置の位置関係と不整合を起こした場合に顔部位を再検出する領域を過去フレームにおける顔部位位置の位置関係から設定するようになっている。

このような顔部位追跡装置は、自動車、鉄道車両、船舶、プラントのオペレータ等の顔の向き検知に用いることができるが、以下に説明するすべての実施例で自動車の運転手の顔部位追跡について適用した場合で説明する。
［機器の配置］
図２は、この発明にかかる顔部位追跡装置の機器の配置図である。この図２において、１は自動車等の車両、２は車両１の車体、３は車両１の車室、４は車室３の車両前後方向の前端部に設けられたインストルメントパネル、５は運転席、６は運転席乗員（ドライバ）である。

インストルメントパネル４には、顔画像撮像手段ＣＬ１としてのカメラ７が設置されている。このカメラ７は、ＣＣＤやＭＯＳ等の撮像素子を用いた小型カメラで、運転者の顔を略正面から撮像できる位置に配置されている。

このカメラ７の入力画像は、本実施形態では、例えば横方向（Ｘ）６４０画素、縦方向（Ｙ）４８０画素からなる。このカメラ７で撮像された入力画像は、インストルメントパネル４の裏側など車体２の内部に設置されたマイクロコンピュータ８に画像データとして入力される。

このマイクロコンピュータ８の図示しないＲＯＭ等のメモリには、顔部位検出手段ＣＬ２及び顔部位追跡手段ＣＬ３を備えるプログラム（プログラムロジックがプログラミング）がインストールされている。尚、顔部位追跡手段ＣＬ３は、上述したように顔部位探査領域設定手段ＣＬ３１と、顔部位位置検出手段ＣＬ３２と、顔部位位置検証手段ＣＬ３３と、不明顔部位探査領域設定手段ＣＬ３４等のプログラムを備えている。
［システム全体の処理］
次に、マイクロコンピュータ８によるシステムの処理状況について説明する。
図３はシステムの全体の処理の流れを示すフローチャートである。まず、車両１のアクセサリースイッチ（図示せず）がＯＮさせられると、マイクロコンピュータ８による処理が開始される。このマイクロコンピュータ８は、処理が開始されると、ステップＳ１で、プログラムを動作させるために必要なパラメータの各種初期値を設定させる「初期値入力」の処理を実行して、ステップＳ２に移行する。

このステップＳ２では、顔部位の検出が行われていないので、顔部位が見つかっているか否かを表す顔部位検出フラグＧｅｔＦｌａｇを顔部位がまだ見つかっていないことを意味するＦＡＬＳＥに設定し、ステップＳ３に移行する。

このステップＳ３では、処理フレームカウンタｉを０に初期化して、ステップＳ４に移行する。

このステップＳ４では、「終了判断」の処理が実行され、例えばエンジンの起動判断などが行われ、ステップＳ５に移行する。

このステップＳ５では、「ＳＴＯＰか否か」の判断処理が実行される。そして、ステップＳ５において、エンジンが起動されておらず、車両が走行状態でないなどと判断された場合（ＹＥＳの場合）には判断処理が終了される（ＥＮＤ）。また、ステップＳ５において、エンジンが起動され走行しているなどと判断されればＮＯとなり、ステップＳ６に移行する。

このステップＳ６においてマイクロコンピュータ８は、運転席乗員６の顔６ａの画像（顔画像）をカメラ７で撮像させ、この撮像した顔画像をカメラ７から入力させ、入力された画像フレーム全体を全体画像として画像メモリ（図示せず）に保存し、ステップＳ７に移行する。

このステップＳ７では、顔部位検出フラグＧｅｔＦｌａｇがＦＡＬＳＥか否かを判断し、顔部位がまだ検出されていない場合、ＧｅｔＦｌａｇがＦＡＬＳＥ（ＹＥＳ）であるのでステップＳ８に移行して顔部位検出処理を実行し、ステップＳ９に移行する。また、ステップＳ７では、顔部位が既に検出されている場合、ＧｅｔＦｌａｇがＴＲＵＥ（ＮＯ）であるので、ステップＳ１０に移行して、顔部位追跡処理を行い、ステップＳ９に移行する。

このステップＳ９では処理フレームカウンタｉをインクリメントし、終了判断ステップＳ４に処理が戻る。
［顔部位検出処理］
次に、図３のステップＳ８における顔部位検出処理を図４のフローチャートを用いて説明する。

まず、図４のステップＳ８１では、顔部位の候補の位置の特定（顔部位候補の位置特定）の処理が実行され（図５で詳述）、ステップＳ８２に移行する。

このステップＳ８２では、ステップＳ８１で特定された顔部位候補のうち判定を行う顔部位の選定を行い、ステップＳ８３に移行する。尚、ステップＳ８において、顔部位検出処理を開始した直後は、判定された全ての顔部位候補（例えば、左眼、右眼、眉、鼻、口、耳）が判定対象となるが、顔部位の判定を行って顔部位と判定された顔部位候補は次の顔部位の判定では判定対象の顔部位候補点からはずされていく。

ステップＳ８３では、判定を行う顔部位を設定して、ステップＳ８４に移行する。例えば、判定を行う顔部位として左眼、右眼、眉、鼻、口、耳等の複数の部位があり、この複数の部位を順に判定を実行する場合、ステップＳ８の顔部位検出処理を開始した直後のステップＳ８３では先ず判定を行う顔部位として左眼のパラメータを設定して、ステップＳ８４に移行する。

そして、ステップＳ８４では、先ず顔部位として左眼の顔部位判定処理を行い（図１１で詳述）、ステップＳ８５に移行する。

ステップＳ８５では、ステップＳ８４の顔部位判定処理の結果、顔部位と判定されたか否かを判断し、顔部位と判定された場合はＹＥＳとなってステップＳ８６に移行し、ステップＳ８５で顔部位と判定されなかった場合はＮＯとなってステップＳ８９に移行する。

ステップＳ８６では判定対象の顔部位（左眼、右眼、眉、鼻、口、耳等）の全てを判定し終えたか否かを判断し、判定対象の顔部位の全てを判定し終えたと判定された場合はＹＥＳとなり、ステップＳ８７に移行する。また、判定対象の顔部位の全てを判定し終えていないと判定された場合はＮＯとなり、処理をステップＳ８２の「判定を行う顔部位候補点の選定処理」へ戻ってループして、まだ、判定を行っていない顔部位（右眼、眉、鼻、口、耳等）について顔部位判定を行っていく。

即ち、ステップＳ８３では、ステップＳ８２〜ステップＳ８６をループする毎に判定を行う顔部位として右眼のパラーメータ、眉のパラーメータ、鼻のパラーメータ、口のパラーメータ、耳のパラーメータを順に設定し、このステップＳ８３で設定された顔部位の判定処理をステップＳ８４で実行する。

そして、ステップＳ８７では、顔部位検出フラグＧｅｔＦｌａｇをＴＲＵＥに設定して、ステップＳ８８に移行する。このステップＳ８８では、各々の顔部位の位置関係の取得処理（後述）を行ってステップＳ９に処理を進める。

ステップＳ８９では、選定された顔部位（左眼、右眼、眉、鼻、口、耳等）の候補を全て判定したか否かを判断し、選定された顔部位の候補を全て判定したと判断した場合はＹＥＳとなりステップＳ９に処理を進める。また、選定された顔部位の候補を全て判定していないと判断した場合はＮＯとなり、処理を顔部位判定処理ステップＳ８４へ戻し、まだ判定していない顔部位の候補を判定する。
［顔部位の候補の位置の特定の処理］
上述した図３のステップＳ８の顔部位検出処理は図４のフローチャートに従って実行され、図４のステップＳ８１の顔部位の候補の位置の特定の処理は図５のフローチャートに従って実行される。

次に、この顔部位の候補の位置の特定の処理を、図５のフローチャートと図６〜図１０を用いて次に説明する。尚、この処理では、顔部位候補の重心を求め、存在領域ＥＡを設定する。

図５のステップＳ８１１では、図３のステップＳ６で画像メモリ（図示せず）に保存された顔部位の画像（左眼、右眼、眉、鼻、口、耳等のいずれかの画像、ここでは左眼の画像）のデータを読み出して、ステップＳ８１２に移行する。

ステップＳ８１２では、読み出した画像を複数の縦方向のラインで横方向（Ｘ方向）に等ピッチに分割し、分割された複数の縦方向のライン毎にポイント抽出を行い、分割された複数の縦方向の全ラインでのポイント抽出が終了したか否かを判断する。

このステップＳ８１２では、全ラインにおいてポイント抽出が行われていないと判断された場合、ステップＳ８１３に移行する。

このステップＳ８１３では、縦方向（Ｙ軸方向）の１ラインの濃度値の相加平均演算を行い、ステップＳ８１４に移行する。この処理は、画像データ撮影時の濃度値の変化の小さなバラツキを無くすことを目的としており、濃度値の大局的な変化を捉えるためである。

ステップＳ８１４では、ステップＳ８１３の演算結果である相加平均値における微分演算を行い、ステップＳ８１５に移行する。

このステップＳ８１５では、ステップＳ８１４の演算結果である微分値によりポイント抽出を行い、ステップＳ８１６に移行する。

この様なポイント抽出処理が１ラインについて終了した後、ステップＳ８１６で、次のラインの処理に切り替えて行く。（ステップＳ８１３〜Ｓ８１６の詳細については、特許第３３１２５６２号（特開平１０−０４０３６１）図６、図７参照。）
そして、ステップＳ８１２で全ラインのポイント抽出が終了したと判断されると、ステップＳ８１７へ移行する。

このステップＳ８１７では、隣合う各ラインの抽出ポイントのＹ座標値を比較し、Ｙ座標値が所定値以内の場合、連続データとして、
「（１）連続データのグループ番号、
（２）連続開始ライン番号、
（３）連続データ数、
（４）連続データを構成する各抽出ポイントの縦方向（Ｙ方向）位置の平均値（その連続データの代表上下位置）、
（５）連続開始ラインと終了ラインの横方向（Ｘ方向）位置の平均値（その連続データの代表左右位置）」等をメモリする。

ここでの検出対象は顔部位のうち左眼としているため、その特徴量は横に比較的長く続くデータであるといえるので、横方向に所定値以上続くことを条件に連続データを選択することができる。

このようにして選択した顔の特徴量を連続データＧとして表したものを図６に示す。なお、連続データＧの抽出方法をフローチャートの流れのみで簡単に説明したが、処理状態の詳細については、「特開平１０−４０３６１号」「特開平１０−１４３６６９号」などにも記載されている。

この連続データＧがいわば顔部位の候補となり、この連続データＧの代表座標Ｃ（例えば中心座標）の部分が顔部位の候補点（代表位置座標）となる。

次にステップＳ８１８において、図６に示すような各連続データＧの代表座標Ｃを基準に各連続データＧを含む存在領域ＥＡを設定する。この存在領域ＥＡは、次のようにして決定する。
（存在領域ＥＡの大きさの決め方）
この存在領域ＥＡの大きさは、図７〜図１０のようにして決めている。図７は存在領域ＥＡの大きさを示し、図８，図９は数人の顔部位の大きさを調べた横、縦の長さの統計データを示している。

ここで存在領域ＥＡの大きさはノイズ（顔の皺や明暗などを抽出してしまう）の低減や処理速度を落とさないためにも、可能な限り小さい領域が良い。現在の居眠り検出などの処理で使っている大きさは数人の顔部位の大きさを調べ、それに余裕分（例えば×１．５倍）を加味した大きさにしている。数人の顔部位の大きさを統計的に求める方法としては、図８，図９のように、顔部位の縦横寸法のデータを集め、その分布の例えば９５％をカバーする寸法に余裕分をみて決定する方法が考えられる。そしてこの９５％をカバーする寸法、すなわち横寸法ｘａ、縦寸法ｙａに図７のように余裕分（×１．５）をみて決定している。尚、画像処理により顔部位の幅や高さを推定し、縦横の大きさに余裕分を加える方法も考えられる。
（存在領域ＥＡの位置の決め方）
図１０は、例えば顔部位のうち左眼の存在領域ＥＡを位置決めする方法について示している。眼の座標値（ｘ１，ｙ１）を基準に、距離ｘ２，ｙ２の位置に存在領域ＥＡを描く基準点Ｐを決め、Ｐ点から予め決めておいた存在領域ＥＡの寸法ｘ３，ｙ３を描画し、位置を決める。ｘ２及びｙ２はｘ３，ｙ３の１／２で予め存在領域ＥＡが眼の中心にくるような長さとしている。尚、存在領域ＥＡを画像全体で見つかった連続データＧすべてについて設定する。
［顔部位判定処理（眼）］
図４のステップＳ８４の顔部位判定処理は、図１１のフローチャートに従って領域ＥＡ内で顔部位候補の特徴を抽出し、テンプレートと比較して顔部位候補が顔部位（眼）であるかどうかを判定する。

次に、この顔部位判定処理を、図１１のフローチャートと図１２〜図１４を用いて説明する。

まず、図１１のステップＳ８４０１では、ステップＳ８１８で求められた顔部位の候補点の存在領域ＥＡの画像データを微小画像ＩＧとして画像メモリ（図示せず）に保存し、ステップＳ８４０２に移行する。尚、全体画像と画像メモリ（図示せず）に保存される微小画像ＩＧの状態を図１２に示す。

次にステップＳ８４０２では、図１３の微小画像ＩＧの代表座標ＩＣを基準とした範囲ＡＲの濃度情報をもとに二値化閾値を設定し、ステップＳ４０３に移行する。

尚、図１３の連続データＧを基準とすれば図６のＣが代表座標になる。また、範囲ＡＲは、前記存在領域ＥＡより小さく、二値化閾値を正確に設定できるようにしている。

この範囲ＡＲでの二値化閾値の算出方法の一例を、図１３を用いて説明する。範囲ＡＲにおいて縦方向のラインを横方向に等ピッチで複数設定して、複数の縦方向のラインの濃度値の読み出しを行う。図１３では、この縦方向へのラインが横方向に等ピッチで４本あることを示している。この各ラインにおいて濃度値の最も高い（明るい）濃度値と、最も低い（暗い）濃度値をメモリして行き、全ラインのメモリが終了したら、各ラインの最も高い（明るい）濃度値の中で、一番低い濃度値（皮膚の部分）と、各ラインの最も低い（暗い）濃度値の中で、一番低い濃度値（眼の部分）とを求め、その中央値を二値化閾値とする。

この二値化閾値のための範囲ＡＲは、眼の黒い部分と眼の周囲の皮膚の白い部分が入るように設定し、また、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさにしている。また、二値化閾値は、その領域内の眼の一番低い（暗い）濃度値と、皮膚の部分の一番低い（暗い）濃度値の中央値とすることで、皮膚の部分から眼の部分を切り出すのに適した値になる。

さらに、二値化閾値を決定するのに皮膚の部分の濃度値の一番低い（暗い）濃度値を用いている理由は、次の通りである。前述したように眼の周囲の明るさのバラツキによる影響を少なくするために、濃度値を読み出す範囲ＡＲを極力小さくしていても、該範囲ＡＲの一部に直射光が当たっているような部分が外乱として入ることがあり、この部分を二値化閾値の決定に用いないようにするためである。

ステップＳ８４０３では、こうして決定した二値化閾値を用いて図１２の微小画像ＩＧを二値化処理して、図１４（ａ）に示したような二値画像ｂＧとして画像メモリ（図示せず）に保存し、ステップＳ８４０４に移行する。このような二値化閾値を用いて二値化した顔部位候補を設定することにより、顔部位候補の幾何形状を用いて顔部位の判定をより正確に行うことができ、顔部位の位置検出精度をより向上することができる。

次にステップＳ８４０４では、二値画像ｂＧの位置ｂＣ（図６の連続データＧの代表座標Ｃに相当）を初期位置に設定して、ステップＳ８４０５に移行する。

このステップＳ８４０５では、設定位置が黒画素か否かを判定し、設定位置が黒画素と判定されればＹＥＳとなり、処理をステップＳ８４０６に移行する。また、設定位置が黒画素と判定されなければＮＯとして、ステップＳ８４１３に移行する。このステップＳ８４１３では、設定位置を上下左右に１画素ずつずらして、ステップＳ８４０５に戻って再度、設定位置が黒画素か否かのを判定を行い、設定位置が黒画素になるまで、ループする。

そして、ステップＳ８４０６では、その黒画素を包括する連結成分を候補オブジェクトとして設定し、ステップＳ８４０７に移行する。

このステップＳ８４０７では、候補オブジェクトの幾何形状を算出し、ステップＳ８４０８に移行する。

このステップＳ８４０８では、特定したい顔部位テンプレートの幾何形状と候補オブジェクトの幾何形状を比較し、ステップＳ８４０９に移行する。尚、このステップＳ８４０８の候補オブジェクトと顔部位テンプレートの幾何形状の比較方法の一例を眼の場合について図１４を用いて説明する。

眼の二値化した形状は光環境が良く安定した画像であれば図１４の（ａ）に示すようなものになるが、車室内に直射日光が一側から当たる等して光環境が悪化した時は、図１４の（ｂ）や（ｃ）のような形状になることもある。

眼のテンプレートは、横幅が眼の相場値の２／３以上あり、且つ上に凸の所定範囲の曲率を持っていることの条件（１）と、黒眼の左側の凹み形状条件の（２）と、黒眼の右側の凹み形状条件の（３）とを組み合わせることにより設定し、図１４の（ｂ），（ｃ）の例を許容するために（１）と（２）、または（１）と（３）の条件を満たすものであっても良いものとする。

ステップＳ８４０９では、ステップＳ８４０８の結果、候補オブジェクトと顔部位テンプレートの幾何形状が一致するか否かを判定する。このステップＳ８４０９の判定において、候補オブジェクトと顔部位テンプレートの幾何形状が一致する場合はＹＥＳであるので、その候補オブジェクトをステップＳ８４１０で顔部位と判定してステップＳ８４１１に移行する。

また、ステップＳ８４０９の判定において、候補オブジェクトと顔部位テンプレートの幾何形状が一致しない場合はＮＯであるので、ステップＳ８４１４でその候補オブジェクトを顔部位ではないと判定し、図４のステップＳ８５に移行する。

ステップＳ８４１１では、顔部位と判定された候補オブジェクトの連続データＧでの代表座標Ｃをこの画像フレーム（図示せず）での顔部位の代表座標としてメモリし、ステップＳ８４１２に移行する。

ステップＳ８４１２では、顔部位だと判定された代表候補点の微小画像ＩＧを顔部位画像ＭＧｉとして画像メモリ（図示せず）に保存し、ステップＳ８５に移行する。

この様なステップＳ８４０１〜ステップＳ８４１４の処理は左眼および右眼について順に実行される。
［顔部位判定処理（眉）］
このような左眼および右眼処理が終了すると、領域ＥＡ内で顔部位候補を特徴として眉の部位を抽出し、テンプレートと比較して顔部位候補が顔部位の眉であるかどうかを判定する。

即ち、前処理で眼が検出された後、眉の検出を行う。この眉検出の方法を図１８を使って説明する。即ち、眼と判定された点より上側に存在する連続データを眉の候補とする。眼の上に存在する連続データとしては眼鏡のフレームや額のしわ、髪の毛などがある。「（１）画像上ほぼ同じ高さの左右に存在する。

従って、
「（２）左右でほぼ同じ横幅になる。

（３）眼の周りで閉じていない。」
といった条件をクリアした顔部位候補が眉であると判定される。
［顔部位判定処理（鼻）］
次に鼻の部位を領域ＥＡ内で顔部位候補として特徴を抽出し、テンプレートと比較して顔部位候補が顔部位の鼻であるかどうかを判定する。

この前処理で眼が検出された後、鼻の検出を行う。この鼻検出の方法を図１５を使って説明する。

先ず、検出された眼の眼間線分の垂直二等分線ｄｖを求める。その垂直二等分線上で眼より下側に存在する連続データを顔部位（鼻）候補とする。図１５では二カ所が顔部位（鼻）候補として設定される。顔部位候補となった連続データの代表座標点を中心にした領域を微小画像として抽出する。そして、抽出された微小画像を二値化する。二値化閾値は判別分析法などを用いて決定することができる。この二値化された微小画像の中から鼻孔ｎｈに相当するオブジェクトＮＨの抽出を行う。

そして、顔部位が鼻であるか否かの判定は、
「（１）微小画像内にオブジェクトＮＨが略水平位置に左右に並んで２つペアで存在する。

（２）一つの鼻孔ｎｈ（オブジェクトＮＨ）は縦長より横長の方が大きい。

（３）鼻孔ｎｈ（オブジェクトＮＨ）は左右ほぼ同サイズ。」
といった条件で判定していく。その結果、図１５の例では上側の顔部位（鼻）候補が鼻であると判定される。
［顔部位判定処理（口）］
次に、この処理では、存在領域ＥＡ内で顔部位候補の特徴を抽出し、テンプレートと比較して顔部位候補が顔部位（口）であるかどうかを判定する。

前処理で鼻が検出された後に口の検出を行う。この口検出の方法を図１６、図１７を使って説明する。鼻検出時に求めた眼間線分の垂直二等分線ｄｖ上にあり、前処理で鼻と判定された顔部位より下側に存在する連続データが顔部位（口）候補となる。

図１６においては鼻より下方には連続データが１つしか存在しないため、この連続データが口であると判定される。しかしながら、図１７に示すように鼻の下側にも複数の連続データが抽出されることが多々ある。

この抽出されるものとしては、
「・図１７（ａ）〜（図１７ｄ）に示した上唇上側の境界線（ＧＭ−１）、
・図１７（ａ）の閉口時の上唇と下唇の境界線（ＧＭ−２）、
・図１７（ｂ）〜（ｄ）の開口時の上唇の下側境界線（ＧＭ−２）、
・図１７（ｂ）〜（ｄ）の開口時の下唇の上側境界線（ＧＭ−３）、
・図１７（ａ）の下唇下側の境界線（ＧＭ−３）、
・図１７（ｂ）〜（ｄ）の下唇下側の境界線ＧＭ−４、
・図１７（ａ）の唇下のくぼみ（ＧＭ−５）、
・図１７（ｂ）〜（ｄ）の唇下のくぼみ（ＧＭ−５）」
などがある。

このうち、口として認識されたいのは閉口時の上唇と下唇の境界線、開口時の上唇の下側境界線または下唇の上側境界線である。これはいずれのケースも出てきた連続データの中でもっとも長い連続データが該当する。よって、図１７（ａ），図１７（ｂ）ではＧＭ−２、図１７（ｃ），図１７（ｄ）ではＧＭ−３が口と判定される。
［顔部位判定処理（耳）］
この顔部位判定処理では、存在領域ＥＡ内で顔部位候補の特徴を抽出し、テンプレートと比較して顔部位候補が顔部位が耳であるかどうかを判定する。

この場合、前処理で鼻および口が検出された後に耳の検出を行う。この耳検出の方法を図１９を使って説明する。

先ず、図１９に示したように鼻と口の顔部位位置を結んだ直線を顔中心線ｄｖｃとする。顔中心線ｄｖｃから左右に白ぽい画素から黒ぽい画素への変化点を抽出していく。そして、変化点を結んでいき縦方向に長さのある変化点の集合を顔の輪郭線ＯＬとする。この輪郭線ＯＬの最外部を耳Ｅの位置とする。
［各々の顔部位の位置関係の取得処理］
また、図４のステップＳ８８では、各々の顔部位の位置関係の取得処理を実行するために、ステップＳ８７までの処理で取得された各々の顔部位の位置から顔部位（左眼、右眼、眉、鼻、口、耳等の部位）同士の位置関係（距離と方向）を求める。

この顔部位同士の位置関係（距離と方向）を示す方法としては、お互いの顔部位の横方向距離と縦方向距離で表す方法と、顔部位間線分の長さと画像水平線に対する顔部位間線分の傾きで表す方法の２種類がある。

この２種類の位置関係を示す方法について図２０、図２１に左右の眼に適用したものを図示している。

図２０では、左右の眼の中心位置（視軸）から横方向距離（Ｇａｎｋａｎｋｙｏｒｉ．ｘ）と縦方向距離（Ｇａｎｋａｎｋｙｏｒｉ．ｙ）によって左右の眼の位置関係を表している。

図２１では、左右の眼の中心位置（視軸）から顔部位間（眼間）線分の長さ（Ｇａｎｋａｎｋｙｏｒｉすなわち瞳孔間距離ＰＤ）、と画像水平線に対する顔部位間（眼間）線分の傾き（ＧａｎｋａｎＳｌａｎｔ）よって左右の眼の位置関係を表している。
［顔部位追跡処理］
図３のステップＳ１０の顔部位追跡処理を図２２と図２３のフローチャートを用いて説明する。

図２２のステップＳ１００１では、図２２Ａに示したような顔部位探査領域の設定の処理が実行され、ステップＳ１００２に移行する。この顔部位探査領域は、眉，眼，鼻，耳，口等の顔部位Ｆに対して順に設定される。この際、顔部位探査領域は、眉，眼，鼻，耳，口等の顔部位Ｆ（図２２Ａ〜図２２Ｇでは眼を例とする。）の代表座標ＩＣを中心として所定の大きさを有するように設定される。尚、顔部位探査領域は、図６，図１２の存在領域ＥＡ（図７〜図１０）を求める場合と同じようにして求められる。

ステップＳ１００２では、ステップＳ１００１で設定された顔部位探査領域内に顔部位の候補の位置の特定の処理が実行され、ステップＳ１００３に移行する。この際、図２２Ｂに示したように顔部位探査領域を含む顔部位検出領域が設定される。

ステップＳ１００３では、顔部位探査領域（ステップＳ１００１で設定された領域）内に存在する顔部位候補の位置の処理について、顔部位の判定・位置検出処理が実行され、ステップＳ１００４に移行する。この際、図２２Ｃに示したように、顔部位検出領域内での顔部位候補Ｆ′の検出と、その代表位置座標ＩＣＤの算出が実行されると共に、代表位置座標ＩＣＤの位置に基づいて判定が行われる（後述）。

このステップＳ１００４では、追跡対象の顔部位の全てを判定し終えたか否かを判断し、追跡対象の顔部位の全てを判定し終えたと判定された場合はＹＥＳであるので、ステップＳ１００５に処理を進める。また、追跡対象の顔部位の全てを判定し終えていないと判定された場合はＮＯであるので、処理を顔部位探査領域の設定処理ステップＳ１００１へ戻し、まだ、判定を行っていない顔部位について顔部位探査領域の設定、顔部位の候補の位置の特定、顔部位候補顔部位判定を行っていく。

このステップＳ１００５では、追跡対象の顔部位の全てを検出できたか否かを判断し、追跡対象の顔部位の全てを検出できた場合はＹＥＳとなり、ステップＳ１００６に処理を進める。また、追跡対象の顔部位の一部もしくはすべて検出できなかった場合はＮＯとなり、図２３のステップＳ１０１０に処理を進める。

ステップＳ１００６では、検出された顔部位の位置関係と過去フレームで確定された顔部位の位置関係を比較して、現フレームで検出された顔部位位置が正しいか否かを検証する顔部位位置関係検証処理を実行し（後述）、ステップＳ１００７に移行する。

このステップＳ１００７では、ステップＳ１００６で検証された現フレームの検出された顔部位の位置関係と過去フレームにおいて確定された顔部位の位置関係とに不整合があるか否かを判断する。そして、不整合がない場合にはＹＥＳとなり、ステップＳ１００８に移行する。また、不整合がある場合には、ＮＯとなり、図２３のステップＳ１０１０に移行する。

ステップＳ１００８では、検出された各々の顔部位の位置関係を確定する処理を行って、その情報をメモリ（図示せず）に記録し、ステップＳ１００９に移行する。このステップＳ１００９では、不検出カウンタを０に初期化し、ステップＳ９へと処理を進める。尚、不検出カウンタは顔部位が検出できない連続処理数をカウントするものである。

また、図２３のステップＳ１０１０では、ステップＳ１００５のＮＯ，ステップＳ１００７のＮＯの処理を受けて、再検出を行う顔部位の組み合わせがあるか否かを判断する。そして、再検出を行う顔部位の組み合わせがある場合には、ＹＥＳとなり、処理を顔部位探査領域の設定処理ステップＳ１００１へ戻して、再検出する顔部位について顔部位探査領域の設定、顔部位の候補の位置の特定、顔部位候補顔部位判定を行っていく。また、再検出を行う顔部位の組み合わせがない場合には、ステップＳ１０１０のＮＯはステップＳ１０１１（図２３のステップＳ１０１０のＮＯの後）に処理を進める。
このステップＳ１０１１では、不検出カウンタをインクリメントし、ステップＳ１０１２に移行する。

このステップＳ１０１２では、不検出カウンタが顔部位再検出処理移行数を越えたか否かを判断する。この顔部位再検出処理移行数は、システムの処理速度，処理精度によって設定される値が異なってくる。しかし、ほぼビデオレートで処理ができ、顔部位の検出率（顔部位を顔部位として判定する率）が９０％程度であれば、顔部位再検出処理移行数を１５から３０程度に設定すると、顔部位を見失ったあと０．５秒から１秒程度で顔部位の再検出ができるようになる。

そして、ステップＳ１０１２において、不検出カウンタが顔部位再検出処理移行数を越えたと判断された場合には、ＹＥＳとなりステップＳ１０１３に移行する。また、不検出カウンタが顔部位再検出処理移行数を越えていないと判断された場合には、ＮＯとなりステップＳ９に処理を進める。

ステップＳ１０１３では、顔部位検出フラグＧｅｔＦｌａｇをＦＡＬＳＥに設定して、ステップＳ１０１４に移行する。

このステップＳ１０１４では、不検出カウンタを０に初期化し、ステップＳ９に処理を進める。
［顔部位探査領域の設定］
次に、顔部位探査領域の設定ステップＳ１００１を図２４のフローチャートを用いて説明する。

図２４のステップＳ１００１１では、顔部位の代表座標を顔部位探査領域の中心位置として設定して、ステップＳ１００１２に移行する。

このステップＳ１００１２では、顔部位探査領域の中心位置を中心に、所定の大きさの顔部位探査領域を設定して、ステップＳ１００１３に移行する。

このステップＳ１００１３では、ステップＳ１００１１で設定した中心位置およびステップＳ１００１２で設定した大きさに基づいて顔部位探査領域の領域設定を行い、ステップＳ１００２に移行する。
［顔部位探査領域、優先顔部位探査領域］
図２５には顔が正面を向いているときの各フレームの左眼の位置とその左眼の位置がどのように移動しているかを示している。即ち、運転席乗員の顔を図２５（ａ）の正面を向いている状態から図２５（ｂ），図２５（ｃ），図２５（ｄ）と右に少しずつ回して行ったとき、運転席乗員のアイポイントはＥｐ１からＥｐ４まで右側（図２５では左側）に大きく移動している。このアイポイントＥｐ１からＥｐ４のみを図示すると、図２５（ｅ）のようになる。

また、図２６には、顔が正面から左に向くときの各フレームの左眼の位置とその左眼の位置がどのように移動しているかを示している。即ち、運転席乗員の顔を図２６（ａ）の正面を向いている状態から図２６（ｂ），図２６（ｃ），図２６（ｄ）と右に少しずつ回して行ったとき、運転席乗員のアイポイントはＥｐ１からＥｐ４まで左側（図２６では右側）に僅かずつ移動している。このアイポイントＥｐ１からＥｐ４のみを図示すると、図２６（ｅ）のようになる。

これからも判るように顔が一方向を向いている時は顔の部位は狭い範囲で滞留し、ある方向から別の方向へ顔の向きを変える時に顔部位は大きく移動する。

図２７には、顔が正面を向いていて左眼がほぼ１点に滞留しているとき［軌跡（１）］と顔を左下に向けたとき［軌跡（２）］のビデオレート（３０フレーム／秒）でサンプリングした時の座標をプロットしたグラフを示してある。また、図２８には、軌跡（１），軌跡（２）についての１フレーム３０ｍｓ及び１フレーム６０ｍｓあたりの移動量の統計値を示してある。この統計値には、Ｘ，Ｙ方向における平均，標準偏差，３σ移動量，最大移動量等の値を示している。尚、画像サイズ６４０×４８０、顔の画像内のサイズは図２５、図２６と同サイズである。

この図２８に示した統計値によると、正面を向いているときのフレーム間の座標の移動量は最大数画素程度であり、顔が別方向を向くために動いている時は最大十数画素動くことがわかる。

このような顔の動きに基づいて、基準顔部位探査領域は、顔がある方向から別の方向へ顔の向きを変えるときのように大きく動いているときに、次の処理時に顔部位が入ってくるような領域とする。また、優先顔部位探査領域は、顔が一方向を向いているときに顔部位が画像上で滞留するような動きをするときに、次の処理時に顔部位が入ってくるような領域とする。

図２９は、顔部位探査領域、優先顔部位探査領域の構造の一例を図示したものである。まず、領域の大きさであるが、基準顔部位探査領域は中心から片側幅Ｈ１、片側高Ｖ１、優先顔部位探査領域は中心から片側幅Ｈ２、片側高Ｖ２、となっている。

領域の大きさはシステムの処理速度、処理精度によって設定される値が異なってくるが、前述の例ではＨ１は３０から５０画素、Ｖ１は２０から３０画素、Ｈ２は１０から１５画素、Ｖ２は５から１０画素程度に設定すればよい。

次に領域の中心、即ち、顔部位探査領域、優先顔部位探査領域の中心は原則として前処理時の顔部位位置としている。しかし、顔の動きが速い場合は顔部位の移動量に応じて補正しなければならない。

また、図３０に示すように前々処理の顔部位座標と前処理の顔部位座標の差ｄｘ、ｄｙが小さいときは前処理時の顔部位座標を領域の中心の座標とする。

しかし、図３１に示すように前々処理の顔部位座標と前処理の顔部位座標の差ｄｘ、ｄｙが大きいときは前処理の顔部位位置座標からｄｘ、ｄｙ分だけシフト補正した位置を領域の中心の座標とする。補正をするしないの判断はｄｘ、ｄｙの値が顔部位探査領域の片側幅、片側高の半分（Ｈ１／２、Ｖ１／２）程度より大きいか否かで判断できる。

図３２、図３３に実際の処理状況を示す。図３２は顔が正面を向いていて、ほとんど顔部位が動かないような状況を示し、図３３は顔が正面から左に向く動きをしているときの状況を示している。どちらの図とも上側が処理画像全体を表し、下側は上側の画像の左眼の周囲を拡大して詳細に表している。（画像処理として拡大しているわけではなく、説明上便宜的に拡大した画像を示しているにすぎない。）
［顔部位の候補の位置の特定の処理］
顔部位の代表座標Ｃ（例えば図１６参照）を中心に顔部位探査領域を囲む大きさを有する顔部位検出領域が設定され、顔部位検出領域内で顔部位の候補の位置の特定の処理が実行される。

そして、図３のステップＳ１０における顔部位追跡処理は図２２のフローチャートに従って実行され、図２２のステップＳ１００２においては基準顔部位の候補の位置の特定の処理が実行される。尚、ステップＳ１００２における基準顔部位の候補の位置の特定の処理は、ステップＳ８の顔部位検出処理の顔部位の候補の位置の特定の処理と画像処理する領域が異なるだけで、処理自体は図５のステップＳ８１の顔部位検出処理の顔部位の候補の位置の特定の処理と同等なので説明を省略する。
［顔部位の判定と位置検出処理］
次に、ステップＳ１００３の顔部位の判定と位置検出処理を図３６、図３７のフローチャートを用いて説明する。

まず、図３６のステップＳ１００３０１では、優先顔部位探査領域の設定の処理が実行され（後述）、ステップＳ１００３０２に移行する。

このステップＳ１００３０２では、顔部位候補の代表座標（代表位置座標）Ｃが優先顔部位探査領域内にあるか否かの判断処理が行われる。この際、図２２Ｃに示したように、顔部位検出領域内での顔部位候補Ｆ′の検出と、その代表位置座標ＩＣＤの算出が実行されると共に、代表位置座標ＩＣＤが優先顔探査領域内にあるか否かが判定される。そして、顔部位候補の代表座標Ｃが優先顔部位探査領域内にあると判断された場合は、ＹＥＳとなりそのステップＳ１００３０３で顔部位候補は顔部位と判定される。また、顔部位候補の代表座標Ｃが優先顔部位探査領域内にないと判断された場合は、ＮＯとなり図３７に示すステップＳ１００３０８の「微小画像の濃度による顔部位判定処理」へ処理を進める。

ステップＳ１００３０３で顔部位候補は顔部位と判定されたあと、ステップＳ１００３０４では顔部位と判定された顔部位候補の存在領域ＥＡを微小画像ＩＧとして画像メモリ（図示せず）に保存し、ステップＳ１００３０５に移行する。

このステップＳ１００３０５では、顔部位と判定された顔部位候補の代表座標Ｃを顔部位座標としてメモリし、ステップＳ１００３０６に移行する。

このステップＳ１００３０６では、微小画像ＩＧを顔部位画像ＭＧｉとして画像メモリ（図示せず）に保存し、ステップＳ１００４に処理を進める。

また、図３７のステップＳ１００３０８では微小画像の濃度による顔部位判定処理が実行され（後述）、ステップＳ１００３０９に移行する。この顔部位判定処理では微小画像ＩＧが図２２Ａの顔部位検出領域と対応する。

ステップＳ１００３０９では、ステップＳ１００３０８における微小画像の濃度による顔部位判定処理の結果、顔部位と判定されたか否かを判断する。そして、顔部位と判定された場合は、ＹＥＳとなり図３６に示すステップＳ１００３０５へ処理を進める。また、ステップＳ１００３０９で顔部位と判定されなかった場合は、ＮＯとなりステップＳ１００３１０の存在領域ＥＡの周波数画像による顔部位判定処理へ処理を進める。

このステップＳ１００３１０では、存在領域ＥＡの周波数画像による顔部位判定処理が実行され（後述）、ステップＳ１００３１１に移行する。

このステップＳ１００３１１では、ステップＳ１００３１０の存在領域ＥＡの周波数画像による顔部位判定処理の結果、顔部位と判定されたか否かを判断する。そして、顔部位と判定された場合は、ＹＥＳとなり図３６に示すステップＳ１００３０５へ処理を進める。また、ステップＳ１００３１１で顔部位と判定されなかった場合は、ＮＯとなりステップＳ１００３１２の候補オブジェクトの幾何パラメータによる顔部位判定処理へ処理を進める。

このステップＳ１００３１２では、候補オブジェクトの幾何パラメータによる顔部位判定処理が実行され（後述）、ステップＳ１００３１３に移行する。

このステップＳ１００３１３では、ステップＳ１００３１２の候補オブジェクトの幾何パラメータによる顔部位判定処理の結果、顔部位と判定されたか否かを判断する。そして、顔部位と判定された場合は、ＹＥＳとなり図３６に示すステップＳ１００３０５へ処理を進める。また、ステップＳ１００３１３で顔部位と判定されなかった場合は、ＮＯとなりステップＳ１００３１４へ処理を進める。

このステップＳ１００３１４では他に顔部位候補があるか否かの判断処理が行われる。そして、他に顔部位候補がある場合はＹＥＳとなり図３６に示すステップＳ１００３０２へ処理を戻し、まだ判定の行っていない顔部位候補について顔部位候補の代表座標Ｃが優先顔部位探査領域内にあるか否かの判断処理を行う。また、他に顔部位候補がない場合は、ＮＯとなりステップＳ１００４へ処理を進める。
［優先顔部位探査領域の設定］
次に、図３６の優先顔部位探査領域の設定ステップＳ１００３０１を、図３８のフローチャートを用いて説明する。

図３８のステップＳ１００３０１１では、不検出カウンタが優先顔部位探査領域非設定数を越えたか否かを判断する。この際、優先顔部位探査領域非設定数は顔部位が追跡できていないと判断するのに必要な数であり、システムの処理速度、処理精度によって設定される値が異なってくるが、ほぼビデオレートで処理ができ、顔部位の検出率（顔部位を顔部位として判定する率）が９０％程度であれば３〜５に設定できる。

そして、ステップＳ１００３０１１で不検出カウンタが優先顔部位探査領域非設定数を越えたと判断された場合、ＹＥＳとなり優先顔部位探査領域を設定せずにステップＳ１００３０２に処理を進める。また、ステップＳ１００３０１１で不検出カウンタが優先顔部位探査領域非設定数を越えていないと判断された場合、ＮＯとなりステップＳ１００３０１２へ処理を進める。このステップＳ１００３０１２では、優先顔部位探査領域の領域設定を行い、ステップＳ１００３０２に処理を進める。
［微小画像の濃度による顔部位判定処理］
図３７のステップＳ１００３０８における微小画像の濃度による顔部位判定処理（顔部位判定方法）を図３９のフローチャートを用いて説明する。（この微小画像の濃度による顔部位判定処理についての詳細は、特開２００４−３４１９５３を参照。）
まず、図３９のステップＳ１００３０８０１では、顔部位の候補点の存在領域ＥＡの画像データを微小画像ＩＧとして画像メモリ（図示せず）に保存し、ステップＳ１００３０８０２に移行する。

このステップＳ１００３０８０２では、微小画像ＩＧの濃度データと１フレーム前の顔部位画像ＭＧｉ−１の濃度データから類似度パラメータの算出を行い、ステップＳ１００３０８０３へ移行する。次に、この「微小画像ＩＧの濃度データと１フレーム前の顔部位画像ＭＧｉ−１の濃度データから類似度パラメータの算出方法」の一例を説明する。

ここで、微小画像ＩＧの画素の濃度をＩ（ｍ，ｎ）、１フレーム前の顔部位画像ＭＧｉ−１画素の濃度をＴ（ｍ，ｎ）、それぞれの画像サイズをＭ×Ｎとしたとき、
[数１]
Ｎ Ｍ
Ｒ＝ΣΣ｛Ｉ（ｍ，ｎ）−Ｔ（ｍ，ｎ）｝
ｎ＝０ ｍ＝０
で求められる残差和Ｒを類似度パラメータとする。この残差和Ｒは２枚の画像の類似性が高いと値が小さくなり、類似性が低いと大きくなることから、閾値をもうけて残差和Ｒが閾値よりも小さいと類似性が高いと判断できる。

ステップＳ１００３０８０３では、ステップＳ１００３０８０２の結果、微小画像ＩＧと顔部位画像ＭＧｉ−１の類似度は高いか否かを判定する。そして、微小画像ＩＧと顔部位画像ＭＧｉ−１の類似度が高い場合は、ＹＥＳとなりステップＳ１００３０８０４へ処理を進める。また、微小画像ＩＧと顔部位画像ＭＧｉ−１の類似度が高くない場合、ＮＯとなりステップＳ１００３０８０５に処理を進める。

ステップＳ１００３０８０４では、その存在領域ＥＡを顔部位と判定して、処理をステップＳ１００３０９へ進める。

また、ステップＳ１００３０８０５では、その存在領域ＥＡを顔部位ではないと判定し、処理をステップＳ１００３０９へ進める。
［微小画像の周波数画像による顔部位判定処理］
次に、図３７のステップＳ１００３１０の微小画像の周波数画像による顔部位判定処理（顔部位判定方法）を図４０のフローチャートを用いて説明する。

まず、図４０のステップＳ１００３１００１では、顔部位の候補点の存在領域ＥＡの画像データを微小画像ＩＧとして画像メモリ（図示せず）に保存し、ステップＳ１００３１００２に処理を進める。

このステップＳ１００３１００２では、微小画像ＩＧを周波数処理した周波数画像ＩＦＧを生成して画像メモリ（図示せず）に保存し、ステップＳ１００３１００３に処理を進める。

このステップＳ１００３１００３では、前処理での顔部位画像ＭＧｉ−１を周波数処理した顔部位周波数画像ＢＩＦＧを生成して画像メモリ（図示せず）に保存し、ステップＳ１００３１００４に処理を進める。この周波数画像ＢＩＦＧの生成はフーリエ変換やウェーブレット変換などを利用することができる。尚、詳細な変換処理は画像処理技術の一般的な手法なのでここでは省略する。

次にステップＳ１００３１００４では、周波数画像ＩＦＧの濃度データと顔部位周波数画像ＢＩＦＧの濃度データから類似度パラメータの算出を行い、ステップＳ１００３１００５に処理を進める。尚、ステップＳ１００３１００２の周波数画像ＩＦＧの濃度データと顔部位周波数画像ＢＩＦＧの濃度データから類似度パラメータの算出方法は、ステップＳ１００３０８の「微小画像の濃度による顔部位判定処理」の方法と同様である。

また、ステップＳ１００３１００５では、ステップＳ１００３１００４の結果、周波数画像ＩＦＧと顔部位周波数画像ＢＩＦＧの類似度が高いか否かを判定する。そして、周波数画像ＩＦＧと顔部位周波数画像ＢＩＦＧの類似度が高い場合は、ＹＥＳとなりステップＳ１００３１００６に処理を進める。また、周波数画像ＩＦＧと顔部位周波数画像ＢＩＦＧの類似度は高くない場合は、ＮＯとなりステップＳ１００３００７に処理を進める。

ステップＳ１００３１００６では、存在領域ＥＡを顔部位と判定し、処理をステップＳ１００３１１へ進める。また、ステップＳ１００３００７では、存在領域ＥＡを顔部位ではないと判定し、処理をステップＳ１００３１１へ進める。
［候補オブジェクトの幾何パラメータによる顔部位判定処理］
また、図３７のステップＳ１００３１２における候補オブジェクトの幾何パラメータによる顔部位判定処理（顔部位判定方法）を図４１のフローチャートを用いて説明する。

まず、図４１のステップＳ１００３１２０１では、顔部位の候補点の存在領域ＥＡの画像データを微小画像ＩＧとして画像メモリ（図示せず）に保存し、ステップＳ１００３１２０２に処理を進める。

このステップＳ１００３１２０２では、連続データＧの代表座標Ｃに相当する微小画像ＩＧの代表座標ＩＣを基準とした範囲ＡＲの濃度情報をもとに二値化閾値を設定し、ステップＳ１００３１２０３に処理を進める。尚、二値化閾値の算出方法は、図４のステップＳ８４における顔部位判定処理、即ち図１１のステップＳ８４０２の「連続データＧの代表座標Ｃに相当する微小画像ＩＧの代表座標ＩＣを基準とした範囲ＡＲの濃度情報をもとに二値化閾値を設定する」処理の場合と同様の方法を用いることができる。

ステップＳ１００３１２０３では、ステップＳ１００３１２０２の処理により決定した二値化閾値を用いて微小画像ＩＧを二値化処理し、二値画像ｂＧとして画像メモリ（図示せず）に保存し、ステップＳ１００３１２０４に処理を進める。尚、このような二値化閾値を用いて二値化した候補オブジェクトを検出することにより、眼を正確に捉えて候補オブジェクトの幾何形状を用いた判定をより正確に行うことができ、眼の位置検出精度をより向上することができる。

次にステップＳ１００３１２０４では、連続データＧの代表座標Ｃに相当する二値画像ｂＧの位置ｂＣを初期位置に設定して、ステップＳ１００３１２０５に処理を進める。

このステップＳ１００３１２０５では、設定位置が黒画素か否かを判定する。そして、設定位置が黒画素と判定されればＹＥＳとなり、処理をステップＳ１００３１２０６に移行する。また、設定位置が黒画素と判定されなければ、ＮＯとなり、設定位置を上下左右に１画素ずつずらして、再度ステップＳ１００３１２０５に戻り、ステップＳ１００３１２０５で設定位置が黒画素か否かの判定を行う。この処理は、設定位置が黒画素になるまで実行する。

ステップＳ１００３１２０６では、その黒画素を包括する連結成分を候補オブジェクトとして設定して、ステップＳ１００３１２０７に処理を進める。

このステップＳ１００３１２０７では、候補オブジェクトの幾何形状を算出し、ステップＳ１００３１２０８に処理を進める。

このステップＳ１００３１２０８では、特定したい顔部位テンプレートの幾何形状と候補オブジェクトの幾何形状を比較して、ステップＳ１００３１２０９に処理を進める。尚、ステップＳ１００３１２０８の候補オブジェクトと顔部位テンプレートの幾何形状の比較方法の例は、図４のステップＳ８４の顔部位判定処理、即ち図１１におけるステップＳ８４０８の「テンプレートの幾何形状と候補オブジェクトの幾何形状の比較をする」処理の場合と同様の方法を用いることができる。

ステップＳ１００３１２０９では、ステップＳ１００３１２０８の結果、候補オブジェクトと顔部位テンプレートの幾何形状が一致するか否かを判定する。そして、候補オブジェクトと顔部位テンプレートの幾何形状が一致する場合は、ＹＥＳとなりステップＳ１００３１２１０に処理を進める。また、候補オブジェクトと顔部位テンプレートの幾何形状が一致しない場合は、ＮＯとなりステップＳ１００３１２１２に処理を進める。

ステップＳ１００３１２１０では、その候補オブジェクトを顔部位と判定し、ステップＳ１００３１３に処理を進める。また、ステップＳ１００３１２１２では、その候補オブジェクトを顔部位ではないと判定し、ステップＳ１００３１３に処理を進める。
［顔部位位置関係検証処理］
＜基本三角形を用いた処理例＞
図４２Ａ〜図４２Ｆは、図２２のステップＳ１００６の「顔部位位置関係検証処理」を説明するために、両眼と鼻の３つの顔部位を使った検証方法および誤認識した場合の復帰方法の一例を示したものである。以下、図２２のステップＳ１００６の「顔部位位置関係検証処理」における検出方法及び復帰方法の具体例を図４６のフローチャートに基づいて説明する。

先ず、ステップＳ１００６０１では、例えば図４２Ａに示したような過去フレームにおいて確定された両眼と鼻の３つの顔部位を使ってできる基本三角形Ｂｔａを作成して、ステップＳ１００６０２に処理を進める。この場合、過去幾何学形状または過去多角形状の一つである基本三角形Ｂｔａ（三角形状）は、左眼ＥＬの代表座標（又は代表位置座標）ＴＡ，右眼ＥＲの代表座標（又は代表位置座標）ＴＢと鼻Ｎの代表座標（又は代表位置座標）ＴＣの３つを頂点として結ぶことで作成できる。尚、左眼ＥＬの代表座標ＴＡは通常左眼ＥＬのアイポイントであり、右眼ＥＲの代表座標ＴＢは通常右眼ＥＲのアイポイントであり、鼻Ｎの代表座標ＴＣは左右の鼻の穴の中心である。

ステップＳ１００６０２では、図４２Ｂに示したように現フレームにおける顔部位を過去フレームの顔部位位置から得られる顔部位探査領域（左眼ＥＬの探査領域Ｅａ，右眼ＥＲの探査領域Ｅｂ，鼻Ｎの探査領域Ｅｃ）内で検出させ、検出した顔部位の中心を検出点Ｐ１〜Ｐ３として、この検出点Ｐ１〜Ｐ３によってできる三角形Ｃｔａ（三角形状）を現幾何学形状または現多角形状の一つとして作成して、ステップＳ１００６０３に処理を進める。

ステップＳ１００６０３では、図４２Ｃに示したように過去フレームにおいて定義された基本三角形Ｂｔａと現フレームで定義された三角形Ｃｔａを比較し、正しく三つの顔部位が検出されているか否かを判定する。この判定において、正しく三つの顔部位が検出されているならば、過去フレームと現フレームの２つの三角形は略合同となり一致するので、ステップＳ１００６０４に処理を進める。

尚、この判定においては、図４２Ｄのように現フレームで眼として検出された２つの検出点Ｐ１，Ｐ２を使って過去フレームの基本三角形Ｂｔａを当てはめ、過去フレームの鼻Ｎの位置（座標位置）を中心に再検出のための探査領域Ｅｃを設定する。このとき、過去フレームにおいて顔部位が存在しえた場所に探査領域Ｅｃを設定するため、最初の検出時に設定した探査領域Ｅｃよりも小さくすることができる。しかし、顔が図４２Ａの様に正面を向いている状態から図４２Ｄのように大きく傾いた場合、探査領域Ｅａから鼻Ｎが外れるために、探査領域Ｅｃ内に鼻となる顔部位を検出することができない。

従って、ステップＳ１００６０３の判定において、図４２Ｄのように正しく三つの顔部位幾つか（図では一つ）が検出できていない場合は、合同とはならないので、ステップＳ１００６０５に処理を進める。尚、この判定において、図４２Ｅのように過去フレームの右眼位置（画像上の左の眉の位置）と鼻Ｎを使って過去フレームの基本三角形Ｂｔａを当てはめようとすると、顔部位間距離Ｌが基本三角形Ｂｔａの右眼位置と鼻位置までの一辺の長さに相当する長さよりも長くなるので、過去フレームの基本三角形Ｂｔａを当てはめることができない。

しかし、ステップＳ１００６０２において検出された現フレームの三つの顔部位の三角形Ｃｔａから、検出点Ｐ１と検出点Ｐ３との距離が過去フレームの基本三角形Ｂｔａの右眼ＥＲの代表座標ＴＢと鼻Ｎの代表座標ＴＣとの距離と略同じであるので、検出点Ｐ１が基本三角形Ｂｔａの右眼ＥＲの代表座標ＴＡであり、検出点Ｐ３が基本三角形Ｂｔａの鼻Ｎの代表座標ＴＣであることが分かる。

従って、ステップＳ１００６０５では、検出点Ｐ１を基本三角形Ｂｔａの左眼ＥＬの代表座標ＴＡと設定し、検出点Ｐ３を基本三角形Ｂｔａの鼻Ｎの代表座標ＴＣと設定して、基本三角形Ｂｔａの代表座標Ｂが基本三角形Ｂｔａの代表座標Ｃ（鼻Ｎ）の左側に位置するように当てはめるためにステップＳ１００６０６に処理を進める。

このステップＳ１００６０６では、図４２Ｆに示したように検出点Ｐ１，Ｐ３の座標と過去フレームの基本三角形Ｂｔａの大きさ，形状を用いて、右眼に相当する部分に再検出のための顔部位（右眼）探査領域Ｅｂ′を不明顔部位探査領域として設定し、ステップＳ１００６０７に処理を進める。

このステップＳ１００６０７では、顔部位探査領域Ｅｂ′内に現フレームで検出した顔部位（右眼）があるか否かを判定する。この判定において、顔部位探査領域Ｅｂ′内に顔部位（右眼）の代表位置座標である検出点Ｐ２′があれば、ＹＥＳとなりステップＳ１００６０８に処理を進める。また、ステップＳ１００６０７の判定において、顔部位探査領域Ｅｂ′内に顔部位（右眼）の代表位置座標である検出点Ｐ２′がなければ、ＮＯとなりステップＳ１００６０９に処理を進める。

ステップＳ１００６０８では、現フレームで検出した検出点Ｐ１（左眼ＥＬ）の座標，検出点Ｐ３（鼻Ｎ）の座標，顔部位探査領域Ｅｂ′内の顔部位（右眼）座標を、左眼ＥＬの代表座標ＴＡ，鼻Ｎの代表座標ＴＣ，右眼ＥＲの座標にそれぞれ設定して、ステップＳ１００７へ処理を進める。

このステップＳ１００６０５〜ステップＳ１００６０８の処理により、図４２Ｆの顔部位探査領域内Ｅｂ′に顔部位を検出することができるので検出できた顔部位を右眼とすることができ、これで３つの顔部位について位置を確定することができる。

また、ステップＳ１００６０９では、ステップＳ１００６０５，Ｓ１００６０６と同様にして、検出点Ｐ２を基本三角形Ｂｔａの右眼ＥＲの代表座標ＴＢと設定し、検出点Ｐ３を基本三角形Ｂｔａの鼻Ｎの代表座標ＴＣと設定して、基本三角形Ｂｔａの代表座標ＴＡが基本三角形Ｂｔａの代表座標ＴＣ（鼻Ｎ）の右側に位置するように当てはめて、左眼に相当する部分に再検出のための顔部位（左眼）探査領域（図示せず）を不明顔部位探査領域として設定し、ステップＳ１００６１０に処理を進める。

このステップＳ１００６１０では、顔部位（左眼）探査領域（図示せず）内に現フレームで検出した顔部位（左眼）があるか否かを判定する。この判定において、顔部位探査領域内に顔部位（左眼）があれば、ＹＥＳとなりステップＳ１００６１１に処理を進める。また、ステップＳ１００６１０の判定において、顔部位探査領域内に顔部位（左眼）がなければ、ＮＯとなりステップＳ１００７へ処理を進める。

ステップＳ１００６１１では、現フレームで検出した検出点Ｐ２（右眼ＥＲ）の座標，検出点Ｐ３（鼻Ｎ）の座標，顔部位探査領域Ｅｂ内の顔部位（左眼）座標を、左眼ＥＬの代表座標ＴＡ，鼻Ｎの代表座標ＴＣ，左眼ＥＬの座標にそれぞれ設定して、ステップＳ１００７へ処理を進める。

このステップＳ１００６０９〜ステップＳ１００６１１の処理により、探査領域内に顔部位を検出することができるので検出できた顔部位を左眼とすることができ、これで３つの顔部位について位置を確定することができる。

尚、図４２Ｆでは、３つの顔部位のうち二つが正確に検出できた場合を一例として示したが、１つしか正確に検出できない場合や３つとも誤検出してしまう場合も考えられる。

例えば、図４３に示すように４つ以上の顔部位（左眉ＥｂＬ，右眉ＥｂＲ，左眼ＥＬ，右眼ＥＲ，左耳ＥａＬ，右耳ＥａＲ，鼻Ｎ，口Ｍ等）の略中央部（三角形の代表座標Ｐ１０〜Ｐ１８とする部分）を追跡することによって複数の三角形を作ることによって、一連の処理を複数繰り返すことによって顔部位の位置を確定していくことができる。

それでも、確定できない場合は図２３にある不検出カウンタのインクリメントを行い、顔部位追跡処理が破綻した状態が続いていることを確定して、顔部位探査処理に処理を戻していく。

また、図４４には、三角形を作る顔部位の組み合わせの一例を示してある。図４４（ａ）は左眼，右眉，右耳の略中央を結んだ三角形を用いる例を示し、図４４（ｂ）は左眼，右眼，右眉の略中央を結んだ三角形を用いる例を示し、図４４（ｃ）は上述した左眼、右眼，鼻の略中央を結んだ三角形を用いる例を示したものである。
＜平行線を用いた処理例＞
図４５Ａ〜図４５Ｄは、図２２のステップＳ１００６の「顔部位位置関係検証処理」の他の例を説明するために、顔の中心線を挟んで左右に存在する顔部位の平行条件を使った場合の顔部位位置の検証をする例を示したものである。以下、図２２のステップＳ１００６の「顔部位位置関係検証処理」における検証例を図４５Ａ〜図４５Ｄ及び図４７のフローチャートに基づいて説明する。

図４５Ａに示したように、過去フレームにおいて確定された顔部位位置を通る直線を定義する。この場合、探査領域Ｅ１Ｒ，Ｅ１Ｌ内の両眉（ＥｂＬ，ＥｂＲ）の略中央部（検出点）の代表座標（又は代表位置座標）Ｐ１０，Ｐ１１を通る仮想直線をＬａとし、探査領域Ｅ２Ｌ，Ｅ２Ｒ内の両眼（ＥＬ，ＥＲ）の略中央部（検出点）の代表座標（又は代表位置座標）Ｐ１２，Ｐ１３を通る仮想直線をＬｂとし、探査領域Ｅ３Ｌ，Ｅ３Ｒ内の両耳（ＥａＬ，ＥａＲ）の略中央部（検出点）の代表座標（又は代表位置座標）Ｐ１４，Ｐ１５を通る仮想直線をＬｃとすると、仮想直線Ｌａ，Ｌｂ，Ｌｃはそれぞれ略平行になる。パラメータとして、この仮想直線Ｌａ，Ｌｂ，Ｌｃの画像上の傾きと仮想直線Ｌａ，Ｌｂ，Ｌｃの距離を用いる。現フレームでも、過去フレームから得られる仮想直線Ｌａ，Ｌｂ，Ｌｃに相当する仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′が得られる。

先ず、図４７のステップＳ１００６２０では、現フレームで検出した顔部位の内、両眉（ＥｂＬ，ＥｂＲ）の代表座標Ｐ１０，Ｐ１１を通る仮想直線Ｌａ′と、両眼（ＥＬ，ＥＲ）の代表座標Ｐ１２，Ｐ１３を通る仮想直線Ｌｂ′を作成して、ステップＳ１００６２１に処理を進める。

このステップＳ１００６２１では、２本の仮想直線Ｌａ′，Ｌｂ′が平行であるか否かを判定する。そして、この判定において、図４５Ｂのように現フレームで正確に検出できた場合は、現フレームから求められる仮想直線Ｌａ′，Ｌｂ′が互いに略平行になり、各仮想直線Ｌａ′，Ｌｂ′間の距離も過去フレームの仮想直線Ｌａ，Ｌｂ間の距離と略等しくなるので、ＹＥＳとなりステップＳ１００６２２に処理を進める。

また、図４５Ｃに示したように、例えば眼の片側が二重瞼のしわＷや眼鏡のフレーム（図示せず）の部分を眼と誤判定した場合、眼と判定された検出点（代表座標）Ｐａ，Ｐｂを結ぶ仮想直線Ｌｂ′が、両眉（ＥｂＬ，ＥｂＲ）の略中央部（検出点）の代表座標Ｐ１０，Ｐ１１を結んだ仮想直線Ｌａ′や、両耳（ＥａＬ，ＥａＲ）の略中央部（検出点）の代表座標Ｐ１４，Ｐ１５を結んだ仮想直線Ｌｃ′と平行にならない。この様な場合、ステップＳ１００６２１の判定では、仮想直線Ｌｂ′が仮想直線Ｌａ′や、仮想直線Ｌｃ′と平行にならないので、ステップＳ１００６２３に処理を進める。

ステップＳ１００６２２では、現フレームで検出した顔部位の座標、すなわち代表座標Ｐ１０，Ｐ１１及び代表座標Ｐ１２，Ｐ１３を両眉（ＥｂＬ，ＥｂＲ）及び両眼（ＥＬ，ＥＲ）の座標として設定して、ステップＳ１００７に処理を進める。

また、ステップＳ１００６２３では、図４５Ａの過去フレームで検出した顔部位［両眉（ＥｂＬ，ＥｂＲ）、両眼（ＥＬ，ＥＲ）］の座標を用いて、左眉（ＥｂＬ）の略中央部（検出点）の代表座標Ｐ１０と左眼（ＥＬ）の略中央部（検出点）の代表座標Ｐ１２との垂直距離（間隔）Ｍ１を算出すると共に、右眉（ＥｂＲ）の略中央部（検出点）の代表座標Ｐ１１と右眼（ＥＲ）の略中央部（検出点）の代表座標Ｐ１３との垂直距離（間隔）Ｍ２を算出して、ステップＳ１００６２４に処理を進める。

このステップＳ１００６２４では、図４５Ｃの左眉（ＥｂＬ）の略中央部（検出点）の代表座標Ｐ１０と検出点Ｐａとの垂直距離（間隔）ｍ１を算出すると共に、右眉（ＥｂＲ）の略中央部（検出点）の代表座標Ｐ１１と検出点Ｐｂとの垂直距離（間隔）ｍ２を算出して、ステップＳ１００６２５に処理を進める。

このステップＳ１００６２５では、垂直距離Ｍ１と垂直距離ｍ１とが略等しいか否かを判断する。この判断において、垂直距離Ｍ１と垂直距離ｍ１とが略等しくなければステップＳ１００６２６に処理を進め、垂直距離Ｍ１と垂直距離ｍ１とが略等しければ垂直距離Ｍ２と垂直距離ｍ２とが等しくないとしてステップＳ１００６２７に処理を進める。

ステップＳ１００６２６では、図４５Ｄに示したように、現フレームの両耳（ＥａＬ，ＥａＲ）の略中央部（検出点）の代表座標Ｐ１４，Ｐ１５を通る仮想直線をＬｃ′を求めて、現フレームにおいて右眉（ＥｂＲ）の略中央部（検出点）の代表座標Ｐ１１を通り且つ仮想直線をＬｃ′と平行な仮想直線Ｌａ′′を求めると共に、現フレームの右眼（ＥＲ）の略中央部（検出点）の代表座標Ｐ１３を通り且つ仮想直線をＬｃ′と平行な仮想直線Ｌｂ′′を求めて、この求めた仮想直線Ｌａ′′，Ｌｂ′′を上下位置の中心として、左眉（ＥｂＬ）と左眼（ＥＬ）近傍の領域を新たな不明顔部位探査領域Ｅ２Ｌ′に設定し、ステップＳ１００７に処理を進める。尚、左眉（ＥｂＬ）と左眼（ＥＬ）近傍の領域は、左眉の下方で且つ左眉（ＥｂＬ）の略中央部（検出点）の代表座標Ｐ１０からの垂線が仮想直線Ｌｂ′′と交差する点を中心とする領域となる。

ステップＳ１００６２７では、ステップＳ１００６２６と同様にして、現フレームの両耳（ＥａＬ，ＥａＲ）の略中央部（検出点）の代表座標Ｐ１４，Ｐ１５を通る仮想直線をＬｃ′を求めて、現フレームにおいて左眉（ＥｂＬ）の略中央部（検出点）の代表座標Ｐ１０を通り且つ仮想直線をＬｃ′と平行な仮想直線を求めると共に、現フレームの左眼（ＥＬ）の略中央部（検出点）の代表座標Ｐ１３を通り且つ仮想直線をＬｃ′と平行な仮想直線を求めて、この左眉（ＥｂＬ）の略中央部（検出点）の代表座標Ｐ１０及び左眼（ＥＬ）の略中央部（検出点）の代表座標Ｐ１３をそれぞれ通る二つの仮想直線を上下位置の中心として、右眉（ＥｂＲ）と右眼（ＥＲ）近傍の領域を新たな顔部位検出領域に設定し、ステップＳ１００７に処理を進める。

このように図４５Ｄの眉（耳）と判定された点と眼と判定された点の距離を左右で比較することによって正しく判定された方を特定できる。その点を通って両眉（両耳）を結んだ直線と平行な直線上に再探査領域を設定することで、再探査領域内に必要な顔部位を検出可能となる。
（その他）
尚、通常、顔部位が正常に追跡できているときは前述したような定義に基づいて基準顔部位、他顔部位とも顔部位探査領域の大きさを設定できるが、前フレームにおいて顔部位が見つからなかった場合（後術する顔部位判定位置検出処理でカウントされる不検出カウンタが０でないとき）はそれだけ顔部位が存在するであろう領域が広がるわけであるから顔部位探査領域を広くしなければならない。

図３４に示すように顔部位が追跡できていないと判断した（例えば３〜５回連続して顔部位を検出できなかった）場合には一気に基準顔部位検出領域を広くする方法や図３５に示すように顔部位を検出できなかった連続処理数に応じて顔部位検出領域を広くする方法がある。

以上説明したように、この発明の実施の形態の顔部位追跡方法は、所定領域の画像から顔部位を追跡する顔部位追跡方法であって、所定時間毎に顔部位（例えば、左眼ＥＬ，右眼ＥＲ，鼻Ｎ等）を検出し、前記各顔部位の代表位置（例えば、代表位置座表）を結んで線（三角形Ｂｔａ，Ｃｔａ、又は仮想直線Ｌａ，Ｌｂ，Ｌｃ，Ｌａ′，Ｌｂ′，Ｌｃ′）とし、過去と現在の前記線（三角形Ｂｔａと三角形Ｃｔａ、又は仮想直線Ｌａ，Ｌｂ，Ｌｃと仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）を比較して前記顔部位が正しいか否かを判定することを特徴とする。

この方法によれば、過去と現在の線（三角形Ｂｔａと三角形Ｃｔａ、又は仮想直線Ｌａ，Ｌｂ，Ｌｃと仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）を比較して、顔部位が正しいか否かを判定するので、追跡中の顔部位の誤検出を未然に防ぐことができる。

また、この発明の実施の形態の顔部位追跡方法は、顔画像撮像手段ＣＬ１（カメラ７）で被検出者の顔を連続的に撮像して顔画像の現フレームを順次生成することにより現フレームを順次過去フレームとしながら、前記過去フレームの顔画像の複数の顔部位（例えば、左眼ＥＬ，右眼ＥＲ，鼻Ｎ）の各所定領域において前記顔部位の代表位置座標（代表座標ＴＡ，ＴＢ，ＴＣ）を直線で結ぶことによりできる複数の過去顔部位線（直線からなる基本三角形Ｂｔａ、又は仮想直線Ｌａ，Ｌｂ，Ｌｃ）と、前記過去フレームの前記複数の顔部位に対応して得られる前記現フレームの前記複数の顔部位の代表位置座標を直線で結ぶことによりできる複数の現顔部位線（直線からなる三角形Ｃｔａ、又は仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）を求めて、前記現顔部位線（三角形Ｃｔａ、又は仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）を前記過去顔部位線（基本三角形Ｂｔａ、又は仮想直線Ｌａ，Ｌｂ，Ｌｃ）と比較することにより、前記現フレームで検出された顔部位が正しいか否かを検証するようになっている。

この方法によれば、現顔部位線（三角形Ｃｔａ、又は仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）を過去顔部位線（基本三角形Ｂｔａ、又は仮想直線Ｌａ，Ｌｂ，Ｌｃ）と比較することにより、現顔部位線の過去顔部位線に対する変化を検出して、現顔部位線の上に追跡対称である顔部位があるか否かを検出できるので、追跡中の顔部位の誤検出を未然に防ぐことができる。

また、この発明の実施の形態の顔部位追跡方法は、前記複数の顔部位（例えば、左眼ＥＬ，右眼ＥＲ，鼻Ｎ）は少なくとも３つ以上あり、前記過去顔部位線は多角形の過去幾何学形状（基本三角形Ｂｔａ）に形成され、前記現顔部位線は多角形の現幾何学形状（三角形Ｃｔａ）に形成されていると共に、前記現幾何学形状（三角形Ｃｔａ）を前記過去幾何学形状（基本三角形Ｂｔａ）と比較することにより、前記現フレームで検出された顔部位が正しいか否かを検証するようになっている。

この方法によれば、現幾何学形状（三角形Ｃｔａ）を過去幾何学形状（基本三角形Ｂｔａ）と比較することにより、現幾何学形状の過去幾何学形状に対する形状変化を検出して、現幾何学形状の上に追跡対称である顔部位があるか否かを検出できるので、追跡中の顔部位の誤検出を未然に防ぐことができる。

更に、この発明の実施の形態の顔部位追跡方法は、前記顔部位は顔の左右方向の中心線を挟んで左右の対称位置に設けられた同一顔部位組［眼（左眼ＥＬ，右眼ＥＲ）、耳（左耳ＥａＬ，右耳ＥａＲ）、眉（左眉ＥｂＬ，右眉ＥｂＲ）］であり、前記顔部位組は複数設けられていると共に、前記過去フレームの顔画像の左右対称の顔部位の代表位置座標を直線で結ぶことにより複数の過去顔部位線（仮想直線Ｌａ，Ｌｂ，Ｌｃ）を求める一方、前記現フレームの顔画像の左右対称の顔部位の代表位置座標を直線で結ぶことにより複数の現顔部位線（仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）を求めて、前記現顔部位線（仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）を前記過去顔部位線（仮想直線Ｌａ，Ｌｂ，Ｌｃ）と比較することにより、前記現フレームで検出された顔部位が正しいか否かを検証するようになっている。

この方法によれば、現顔部位線（仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）を過去顔部位線（仮想直線Ｌａ，Ｌｂ，Ｌｃ）と比較することにより、現顔部位線の過去顔部位線に対する変化を検出して、現顔部位線の上に追跡対称である顔部位があるか否かを検出できるので、追跡中の顔部位の誤検出を未然に防ぐことができる。

また、この発明の実施の形態の顔部位追跡装置は、被検出者の顔を連続的に撮像して顔画像の現フレームを順次生成することにより現フレームを順次過去フレームとする顔画像撮像手段ＣＬ１（カメラ７）と、前記顔画像撮像手段ＣＬ１（カメラ７）で撮像された顔画像から追跡の対象となる複数の顔部位（眼、耳、鼻、眉、口等）を検出する顔部位検出手段ＣＬ２と、前記顔部位検出手段ＣＬ２によって検出された複数の顔部位（眼、耳、鼻、眉、口等）を追跡していく顔部位追跡手段ＣＬ３を備えている。しかも、この顔部位追跡装置は、前記過去フレームで特定された複数の顔部位（眼、耳、鼻、眉、口等）の各所定領域における前記顔部位の代表位置座標［例えば左眼ＥＬの代表座標ＴＡ，右眼ＥＲの代表座標ＴＢ，鼻Ｎの代表座標ＴＣ、その他は図示せず］をそれぞれ求めると共に、前記複数の顔部位の代表位置座標に基づいて追跡対象となる複数の顔部位探査領域を前記現フレームの顔画像に設定する顔部位探査領域設定手段ＣＬ３１を備えている。更に、顔部位追跡装置は、前記顔部位探査領域内で顔部位を探査し且つその顔部位の位置を検出する顔部位位置検出手段ＣＬ３２を備えている。また、顔部位追跡装置は、前記過去フレームの顔画像の複数の顔部位の代表位置座標を直線で結ぶことによりできる複数の過去顔部位線（直線からなる基本三角形Ｂｔａ、又は平行な仮想直線Ｌａ，Ｌｂ，Ｌｃ）と、前記現フレームにおける前記複数の顔部位探査領域内の顔部位の代表位置座標を直線で結ぶことによりできる複数の現顔部位線（直線からなる三角形Ｃｔａ、又は仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）を求めて、前記現顔部位線（直線からなる三角形Ｃｔａ、又は仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）を前記過去顔部位線（直線からなる基本三角形Ｂｔａ、又は平行な仮想直線Ｌａ，Ｌｂ，Ｌｃ）と比較することにより、前記現フレームで検出された顔部位が正しいか否かを検証する顔部位位置検証手段ＣＬ３３を備えている。

この構成によれば、現顔部位線（三角形Ｃｔａ、又は仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）を過去顔部位線（基本三角形Ｂｔａ、又は仮想直線Ｌａ，Ｌｂ，Ｌｃ）と比較することにより、現顔部位線の過去顔部位線に対する変化を検出して、現フレームに追跡対称である顔部位があるか否かを検出できるので、追跡中の顔部位の誤検出を未然に防ぐことができる。

また、この発明の実施の形態の顔部位追跡装置は、前記複数の顔部位（例えば、左眼ＥＬ，右眼ＥＲ，鼻Ｎ）は少なくとも３つ以上あり、前記過去顔部位線は多角形の過去幾何学形状（基本三角形Ｂｔａ）に形成され、前記現顔部位線は多角形の現幾何学形状（三角形Ｃｔａ）に形成されていると共に、前記現幾何学形状（三角形Ｃｔａ）を前記過去幾何学形状（基本三角形Ｂｔａ）と比較することにより、前記現フレームで検出された顔部位が正しいか否かを検証するようになっている。

この構成によれば、現幾何学形状（三角形Ｃｔａ）を過去幾何学形状（基本三角形Ｂｔａ）と比較することにより、現幾何学形状の過去幾何学形状に対する形状変化を検出して、現フレームに追跡対称である顔部位があるか否かを検出できるので、追跡中の顔部位の誤検出を未然に防ぐことができる。

更に、この発明の実施の形態の顔部位追跡装置は、前記現幾何学形状及び過去幾何学形状は三角形状（三角形Ｂｔａ，Ｃｔａ）である。この構成によれば、三角形Ｃｔａを過去の基本三角形Ｂｔａと比較することにより、三角形Ｃｔａの基本三角形Ｂｔａに対する形状変化を検出して、三角形Ｃｔａ上に追跡対称である顔部位があるか否かを検出できるので、追跡中の顔部位の誤検出を未然に防ぐことができる。

更に、この発明の実施の形態の顔部位追跡装置は、前記現幾何学形状（三角形Ｃｔａ）と前記過去幾何学形状（基本三角形Ｂｔａ）との不整合が生じて追跡対象である顔部位が特定できない場合であって、前記現フレームの追跡対象である３つ以上の少なくとも２つの顔部位が前記過去フレームの２つの顔部位に対して特定できている場合、前記現フレームの特定できている少なくとも２つの顔部位と前記過去フレームの過去幾何学形状とに基づいて、前記追跡対象である顔部位の不明顔部位探査領域［例えば、図４２Ｆの探査領域Ｅｂ′］を設定するようになっている。

この構成によれば、現フレームの特定できている少なくとも２つの顔部位と前記過去フレームの過去幾何学形状とに基づいて、前記追跡対象である顔部位の不明顔部位探査領域［例えば、図４２Ｆの探査領域Ｅｂ′］を設定するようになっているので、追跡中の顔部位の誤検出を未然に防ぐことができると共に、追跡対象である顔部位（例えば、右眼ＥＲ）を不明顔部位探査領域［例えば、図４２Ｆの探査領域Ｅｂ′］内で確実に検出することができる。

また、この発明の実施の形態の顔部位追跡装置は、前記顔部位は顔の左右方向の中心線を挟んで左右の対称位置に設けられた同一顔部位組［眼（左眼ＥＬ，右眼ＥＲ）、耳（左耳ＥａＬ，右耳ＥａＲ）、眉（左眉ＥｂＬ，右眉ＥｂＲ）］であり、前記顔部位組は複数設けられていると共に、前記過去フレームの顔画像の左右対称の顔部位の代表位置座標を直線で結ぶことにより複数の過去顔部位線（仮想直線Ｌａ，Ｌｂ，Ｌｃ）を求める一方、前記現フレームの顔画像の左右対称の顔部位の代表位置座標を直線で結ぶことにより複数の現顔部位線（仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）を求めて、前記現顔部位線（仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）を前記過去顔部位線（平行な仮想直線Ｌａ，Ｌｂ，Ｌｃ）と比較することにより、前記現フレームで検出された顔部位が正しいか否かを検証するようになっている。

この構成によれば、現顔部位線（仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）を過去顔部位線（仮想直線Ｌａ，Ｌｂ，Ｌｃ）と比較することにより、現顔部位線の過去顔部位線に対する変化を検出して、現顔部位線の上に追跡対称である顔部位があるか否かを検出できるので、追跡中の顔部位の誤検出を未然に防ぐことができる。

また、この発明の実施の形態の顔部位追跡装置は、前記複数の顔部位組（例えば、眉組、眼組、耳組）の左右対称の顔部位の代表位置座標を直線で結んだ複数の過去顔部位線（例えば、図４５Ａの仮想直線Ｌａ，Ｌｂ，Ｌｃ）を平行にする一方、前記現フレームの顔画像の左右対称の顔部位の代表位置座標を直線で結ぶことにより複数の現顔部位線を求めて、前記現顔部位線（仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）を前記過去顔部位線（仮想直線Ｌａ，Ｌｂ，Ｌｃ）と比較することにより、前記現フレームで検出された顔部位が正しいか否かを検証するようになっている。

尚、図４５Ａにおいて、眉組は左眉ＥｂＬ，右眉ＥｂＲの組であり眼組は左眼ＥＬ，右眼ＥＲの組であり、耳組は左耳ＥａＬ，右耳ＥａＲの組である。そして、過去顔部位線である仮想直線Ｌｂは左眼ＥＬ，右眼ＥＲの代表座標（代表位置座標）Ｐ１０，Ｐ１１を結ぶ直線、過去顔部位線である仮想直線Ｌａは左耳ＥａＬ，右耳ＥａＲ代表座標（代表位置座標）Ｐ１２，Ｐ１３を結ぶ直線、過去顔部位線である仮想直線Ｌａは左眉ＥｂＬ，右眉ＥｂＲの代表座標（代表位置座標）Ｐ１４，Ｐ１５を結ぶ直線である。

この構成によれば、複数の過去顔部位線（例えば、図４５Ａの仮想直線Ｌａ，Ｌｂ，Ｌｃ）も、現顔部位線（図４５Ｂの仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）も左右対称の顔部位を直線で結ぶことにより形成されるので、殆どの場合には複数の過去顔部位線同士や複数の現顔部位線同士は互いに略平行にすることができる。この結果、複数の現顔部位線（仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）の過去顔部位線（仮想直線Ｌａ，Ｌｂ，Ｌｃ）に対する変化を容易且つ確実に検出できる。これにより、現顔部位線の上に追跡対称である顔部位があるか否かを確実に検出できるので、追跡中の顔部位の誤検出を未然に防ぐことができる。

尚、複数の過去顔部位線同士や複数の現顔部位線同士が互いに略平行にならない場合でも、複数の現顔部位線の過去顔部位線に対する間隔変化や傾きの変化を検出することで、現顔部位線の上に追跡対称である顔部位があるか否かを確実に検出できるので、追跡中の顔部位の誤検出を未然に防ぐことができる。

また、この発明の実施の形態の顔部位追跡装置は、前記現フレームの複数の顔部位組から得られる複数の顔部位線（仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）間に平行性が得られない間隔がある場合に、前記平行性が得られない間隔の顔部位線（例えば、図４５Ｃの仮想直線Ｌａ′，Ｌｂ′）同士をこれに対応する前記過去フレームの顔部位線（仮想直線Ｌａ，Ｌｂ）間の間隔（例えば、垂直距離Ｍ１，ｍ１）と比較して、一致する顔部位を基準にする平行線（例えば、図４５Ｄの仮想直線Ｌａ′′，Ｌｂ′′）を引き直し、引き直した平行線（例えば、仮想直線Ｌａ′′，Ｌｂ′′）を基準に前記追跡対象である顔部位の不明顔部位探査領域Ｅ２Ｌ′を設定する。

この構成によれば、複数の現顔部位線（仮想直線Ｌａ′，Ｌｂ′，Ｌｃ′）の過去顔部位線（仮想直線Ｌａ，Ｌｂ，Ｌｃ）に対する変化を容易且つ確実に検出できる。これにより、現顔部位線の上に追跡対称である顔部位があるか否かを確実に検出できるので、追跡中の顔部位の誤検出を未然に防ぐことができる。尚、複数の過去顔部位線同士や複数の現顔部位線同士が互いに略平行にならない場合でも、現顔部位線の上に追跡対称である顔部位があるか否かを確実に検出できるので、追跡中の顔部位の誤検出を未然に防ぐことができる。

この発明の実施の形態の制御回路のブロック図である。 図１の制御回路を備える車両（乗物）の概略説明図である。 図１の制御回路による画像処理のフローチャートである。 図３の顔部位検出処理のフローチャートである。 図４の顔部位の候補の位置の特定処理のフローチャートである。 本発明の実施例における顔部位の候補の位置特定処理の説明図である。 本発明の実施例における顔部位の候補の位置特定の他の説明図である。 本発明の実施例における顔部位の候補の位置特定の他の説明図である。 本発明の実施例における顔部位の候補の位置特定の他の説明図である。 本発明の実施例における顔部位の候補の位置特定の他の説明図である。 図４の顔部位判定処理の具体例を示すフローチャートである。 本発明の実施例における顔部位判定処理の説明図である。 本発明の実施例における顔部位判定処理の他の説明図である。 本発明の実施例における顔部位判定処理の他の説明図である。 顔部位としての鼻の検出を説明するための説明図である。 顔部位としての口の検出を説明するための説明図である。 顔部位としての口の検出を説明するための他の説明図である。 顔部位としての眉の検出を説明するための説明図である。 顔部位としての耳の検出を説明するための説明図である。 ２つの顔部位の位置関係を示す説明図である。 ２つの顔部位の位置関係を示す他の説明図である。 図３の顔部位追跡処理の詳細なフローチャートである。 顔部位追跡処理のための探査領域を示す説明図である。 顔部位追跡処理のための探査領域と顔部位候補との関係を示す説明図である。 顔部位追跡処理のための探査領域と顔部位候補との関係を示す他の説明図である。 顔部位追跡処理のための探査領域と顔部位候補との関係を示す他の説明図である。 顔部位追跡処理のための探査領域と顔部位候補との関係を示す他の説明図である。 顔部位追跡処理のための探査領域と顔部位候補との関係を示す他の説明図である。 顔部位追跡処理のための探査領域と顔部位候補との関係を示す他の説明図である。 図３の顔部位追跡処理の詳細なフローチャートである。 図２２の顔部位探査領域の設定処理の具体例を示すフローチャートである。 （ａ）〜（ｅ）は、運転席乗員の顔が右側に向けられる際、顔部位としての左眼の移動を説明するための説明図である。 （ａ）〜（ｅ）は、運転席乗員の顔が左側に向けられる際、顔部位としての左眼の移動を説明するための説明図である。 図２６の運転席乗員の顔が左側に向けられる際、顔部位としての左眼の移動を説明するための他の説明図である。 図２７に示した分布から求まる左眼位置の移動量の解析結果を示す説明図である。 顔部位探査領域、優先顔部位探査領域の一例を示す説明図である。 顔部位探査領域、優先顔部位探査領域と前処理時等における眼の位置との関係を示す説明図である。 顔部位探査領域、優先顔部位探査領域と前処理時等における眼の位置との関係を示す他の説明図である。 顔部位探査領域、優先顔部位探査領域と前処理時等における眼の位置との関係を示す他の説明図である。 顔部位探査領域、優先顔部位探査領域と前処理時等における眼の位置との関係を示す他の説明図である。 顔部位を追跡できているときと追跡できていないときの顔部位探査領域の説明図である。 顔部位探査領域の他の例を示す説明図である。 図２２の顔部位判定位置検出処理の具体例を示すフローチャートである。 図２２の顔部位判定位置検出処理の具体例を示すフローチャートである。 図３６の優先顔部位探査領域の設定処理の説明のためのフローチャートである。 図３７の微小画像の濃度による顔部位判定処理の説明のためのフローチャートである。 図３７の存在領域の周波数画像による顔部位判定処理の説明のためのフローチャートである。 図３７の候補オブジェクトの幾何パラメータによる顔部位判定処理の説明のためのフローチャートである。 顔部位が構成する幾何学形状による顔部位判定処理の説明のための模式図である。 顔部位が構成する幾何学形状による顔部位判定処理の説明のための模式図である。 顔部位が構成する幾何学形状による顔部位判定処理の説明のための模式図である。に 顔部位が構成する幾何学形状による顔部位判定処理の説明のための模式図である。 顔部位が構成する幾何学形状による顔部位判定処理の説明のための模式図である。 顔部位が構成する幾何学形状による顔部位判定処理の説明のための模式図である。 顔部位が構成する幾何学形状による顔部位判定処理の他の例を示す説明図である。 （ａ）〜（ｃ）は顔部位が構成する幾何学形状による顔部位判定処理の他の例を示す説明図である。 図４７の平行条件による顔部位判定処理の説明図のための模式図である。 図４７の平行条件による顔部位判定処理の説明図のための模式図である。 図４７の平行条件による顔部位判定処理の説明図のための模式図である。 図４７の平行条件による顔部位判定処理の説明図のための模式図である。 幾何形状による顔部位判定処理の説明のためのフローチャートである。 平行条件による顔部位判定処理の説明図のためのフローチャートである。

符号の説明

７…カメラ（顔画像撮像手段）
ＣＬ１…顔画像撮像手段
ＣＬ２…顔部位検出手段
ＣＬ３…顔部位追跡手段
ＥＬ…左眼（顔部位）
ＥＲ…右眼（顔部位）
Ｎ…鼻（顔部位）
ＴＡ…代表座標（代表位置座標）
ＴＢ…代表座標（代表位置座標）
ＴＣ…代表座標（代表位置座標）
Ｂｔａ…基本三角形（顔部位線）
Ｌａ…仮想直線（顔部位線）
Ｌｂ…仮想直線（顔部位線）
Ｌｃ…仮想直線（顔部位線）
Ｃｔａ…三角形（顔部位線）
Ｌａ′…仮想直線（顔部位線）
Ｌｂ′…仮想直線（顔部位線）
Ｌｃ′…仮想直線（顔部位線）
Ｌａ′′…仮想直線（顔部位線）
Ｌｂ′′…仮想直線（顔部位線）
ＥａＬ…左耳
ＥａＲ…右耳
ＥｂＬ…左眉
ＥｂＲ…右眉
Ｅｂ′…探査領域（不明顔部位探査領域）
Ｐ１４，Ｐ１５…代表座標（代表位置座標）
Ｍ１…垂直距離（間隔）
ｍ１…垂直距離（間隔）
Ｍ２…垂直距離（間隔）
ｍ２…垂直距離（間隔）
Ｅ２Ｌ′…探査領域（不明顔部位探査領域）

Claims (10)

1. 顔画像撮像手段で被検出者の顔を所定時間毎に連続的に撮像して前記被検出者の顔画像の現フレームを順次生成して、前記現フレームにおける顔画像の複数の所定領域の画像から追跡の対象としての顔部位を顔部位検出手段で検出し、検出される複数の顔部位の代表位置座標を顔部位追跡手段で求め、前記求めた複数の顔部位の代表位置座標を直線で結ぶことにより前記直線からなる複数の顔部位線を現顔部位線として求めると共に、順次生成される前記現フレームを順次過去フレームとしながら前記過去フレームの前記現顔部位線に対応する過去顔部位線と前記現顔部位線とを比較して、前記過去顔部位線に対する前記現顔部位線の変化の状態から前記現フレームで検出される前記複数の顔部位が正しいか否かを顔部位追跡手段で追跡して判定する顔部位追跡方法であって、前記複数の顔部位線からなる形状又は前記複数の顔部位線の間隔や傾斜を前記過去フレームと前記現フレームとで比較して、前記形状が一致している場合又は前記間隔が平行である場合に前記現フレームで検出された前記顔部位が正しいと判定することを特徴とする顔部位追跡方法。
2. 前記複数の顔部位は少なくとも３つ以上あり、前記過去顔部位線は多角形の過去幾何学形状に形成され、前記現顔部位線は多角形の現幾何学形状に形成されていると共に、前記現幾何学形状を前記過去幾何学形状と比較して、前記現幾何学形状の前記過去幾何学形状が一致している場合、前記現フレームで検出された前記顔部位が正しいと判定することを特徴とする請求項１に記載の顔部位追跡方法。
3. 前記顔部位は顔の左右方向の中心線を挟んで左右の対称位置に設けられた同一顔部位組であり、前記顔部位組は複数設けられていると共に、前記過去フレームの顔画像の左右対称の顔部位の代表位置座標を直線で結ぶことにより複数の過去顔部位線を求める一方、前記現フレームの顔画像の左右対称の顔部位の代表位置座標を直線で結ぶことにより複数の現顔部位線を求めて、前記複数の現顔部位線の間隔と前記複数の過去顔部位線の間隔を比較して、前記複数の過去顔部位線の間隔に対する前記複数の現顔部位線の前記間隔が平行である場合に前記現フレームで検出された前記顔部位が正しいと判定することを特徴とする請求項１に記載の顔部位追跡方法。
4. 被検出者の顔を連続的に撮像して顔画像の現フレームを順次生成することにより現フレームを順次過去フレームとする顔画像撮像手段と、前記順次生成されるフレーム毎に前記顔画像から追跡の対象としての複数の顔部位を順次検出する顔部位検出手段と、前記顔部位検出手段によって順次検出される顔部位の代表位置座標を追跡していく顔部位追跡手段と、を備え、前記顔部位追跡手段は、前記過去フレームで特定された複数の顔部位の各所定領域における前記顔部位の代表位置座標をそれぞれ求めると共に、前記複数の顔部位の代表位置座標に基づいて追跡対象となる複数の顔部位探査領域を前記現フレームの顔画像に設定する顔部位探査領域設定手段、及び前記顔部位探査領域内で前記顔部位を探査し且つその顔部位の位置を検出する顔部位位置検出手段を備える顔部位追跡装置において、前記現フレームにおける前記複数の顔部位探査領域内の顔部位の代表位置座標を直線で結ぶことによりできる複数の現顔部位線を求めると共に、この求めた前記複数の顔部位線からなる形状又は前記複数の顔部位線の間隔や傾斜を前記過去フレームと前記現フレームとで比較して、前記過去顔部位線に対する前記現顔部位線の変化の状態から前記現フレームで検出される前記複数の顔部位が正しいか否かを検証し、前記形状が一致している場合又は前記間隔が平行である場合に前記現フレームで検出された前記顔部位が正しいと判定する顔部位位置検証手段を備えることを特徴とする顔部位追跡装置。
5. 前記複数の顔部位は少なくとも３つ以上あり、前記過去顔部位線は多角形の過去幾何学形状に形成され、前記現顔部位線は多角形の現幾何学形状に形成されていると共に、顔部位位置検証手段は前記現幾何学形状を前記過去幾何学形状と比較し、前記現幾何学形状の前記過去幾何学形状に対する変化の状態から前記現フレームで検出される前記複数の顔部位が正しいか否かを検証し、前記現幾何学形状の前記過去幾何学形状が一致している場合、前記現フレームで検出された前記顔部位が正しいと判定することを特徴とする請求項４に記載の顔部位追跡装置。
6. 前記現幾何学形状及び過去幾何学形状は三角形状であることを特徴とする請求項５に記載の顔部位追跡装置。
7. 前記現幾何学形状と前記過去幾何学形状との不整合が生じて追跡対象である顔部位が特定できない場合であって、前記現フレームの追跡対象である３つ以上の少なくとも２つの顔部位が前記過去フレームの２つの顔部位に対して特定できている場合、前記現フレームの特定できている少なくとも２つの顔部位と前記過去フレームの過去幾何学形状とに基づいて、前記追跡対象である顔部位の探査領域を設定することを特徴とする請求項５又は６に記載の顔部位追跡装置。
8. 前記顔部位は顔の左右方向の中心線を挟んで左右の対称位置に設けられた同一顔部位組であり、前記顔部位組は複数設けられていると共に、顔部位位置検証手段は、前記過去フレームの顔画像の左右対称の顔部位の代表位置座標を直線で結ぶことにより複数の過去顔部位線を求める一方、前記現フレームの顔画像の左右対称の顔部位の代表位置座標を直線で結ぶことにより複数の現顔部位線を求めて、前記複数の現顔部位線の間隔を前記複数の過去顔部位線の間隔と比較し、前記複数の過去顔部位線の間隔に対する前記複数の現顔部位線の前記間隔が平行である場合に前記現フレームで検出された前記顔部位が正しいと判定することを特徴とする請求項４から７のいずれか１項に記載の顔部位追跡装置。
9. 前記複数の顔部位組の左右対称の顔部位の代表位置座標を直線で結んだ複数の過去顔部位線を平行にする一方、前記現フレームの顔画像の左右対称の顔部位の代表位置座標を直線で結ぶことにより複数の現顔部位線を求めて、
   前記複数の現顔部位線の間隔を前記複数の過去顔部位線の間隔と比較し、前記複数の過去顔部位線の間隔に対する前記複数の現顔部位線の前記間隔が平行である場合に前記現フレームで検出された前記顔部位が正しいと判定することを特徴とする請求項４又は８に記載の顔部位追跡装置。
10. 前記現フレームの複数の顔部位組から得られる複数の顔部位線間に平行性が得られない間隔がある場合に、前記平行性が得られない間隔の顔部位線同士をこれに対応する前記過去フレームの顔部位線間の間隔と比較して、一致する顔部位を基準にする平行線を引き直し、引き直した平行線を基準に前記追跡対象である顔部位の探査領域を設定することを特徴とする請求項９に記載の顔部位追跡装置。