JPH1166320A

JPH1166320A - 目画像追跡装置

Info

Publication number: JPH1166320A
Application number: JP9217709A
Authority: JP
Inventors: Tomoko Okumura; 知子奥村
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1997-08-12
Filing date: 1997-08-12
Publication date: 1999-03-09
Also published as: US5926251A; KR19990023061A; KR100296215B1

Abstract

(57)【要約】【課題】目画像だけでなく、目周辺画像も追跡するこ
とにより、目喪失時にも目喪失を認識し、誤検出するこ
となく目画像追跡を精度良く行う。【解決手段】目画像追跡装置は、顔画像を入力する顔
画像入力手段４、入力した顔画像を２値化する２値化手
段５、２値化された画像内で目及び目周辺画像を検索す
る画像検索手段６、検索した目及び目周辺画像を追跡す
る画像追跡手段７を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は画像処理を用い
て、眼だけでなく眼周辺画像も検索・追跡することによ
り眼画像追跡をより精度良く行いうる目画像追跡装置に
関するものである。

【０００２】

【従来の技術】従来の運転者の目画像追跡装置として
は、例えば、特開平６ー３２１５４号公報等に記載され
ているものがある。この装置の全体構成は、図２２のブ
ロック図に示すように、画像入力手段５１、２値化手段
５２、眼球存在領域設定手段５３、眼球検出手段５４、
開閉眼検出手段５５、運転者状態判定手段５６からな
る。この装置の動作のメインフローは図２３に示す通り
で、システム起動後、ステップＳ１でタイマがスタート
される。そして、ステップＳ２で、運転者の顔部分が撮
影されると、この画像がデジタル信号に変換されて、１
フレーム分の入力画像データとして、ステップＳ３で、
画像メモリに格納される。画像メモリに格納された入力
画像データは、ステップＳ４において２値化され、ステ
ップＳ５及びステップＳ６において、左右の眼球存在領
域の横・縦方向の幅が決定される。次にステップＳ７に
おいて、眼球が検出され、ステップＳ８において開閉眼
が検出される。ステップＳ１でスタートされたタイマの
カウントはここで用いられる。眼球検出手段５４におい
ては、左右各眼球存在領域内において、横方向１ドット
毎に縦方向全画素を走査し連続黒色画素数を検索するこ
とにより、眼球が検出される。そして、最後にスッテプ
Ｓ９において、居眠り判定が行われる。以上が一連の処
理で、終了後ステップＳ２に戻り、前記処理を繰り返
す。

【０００３】

【発明が解決しようとする課題】しかしながら、画像に
おける２値化される領域は眼鏡装着の有無、天候、及び
顔の向き等によって変化し、不安定である。ところが前
述の手段では、眼球存在領域内で眼球のみを検索・追跡
しているため、眼鏡装着、直射時のレンズ反射等による
眼球の喪失時に眉やフレーム等への誤検出の恐れがあ
る。また、眼球検出手段５５により、左右各眼球存在領
域内を横方向に１ドットおきに全縦方向画素を毎フレー
ム走査することにより眼球追跡を行うため、処理時間が
かかる。この発明は、前述したような問題点を解決する
ためになされたもので、目画像だけでなく、目周辺画像
をも追跡することにより、目喪失時にも目喪失を認識
し、誤検出することなく目画像追跡を精度良く行うこと
ができる目画像追跡装置を提供することを目的とするも
のである。

【０００４】

【課題を解決するための手段】この発明に係る目画像追
跡装置は、顔画像を入力する顔画像入力手段と、入力し
た顔画像を２値化する２値化手段と、２値化された画像
内で目画像及び目周辺画像を検索する画像検索手段と、
検索した目画像及び目画像周辺画像を追跡する画像追跡
手段とを備えるものである。

【０００５】この発明の一形態では、前記画像検索手段
は、２値化された画像内の第１目抽出領域設定手段と、
前記目抽出領域における目画像及び目周辺画像候補を抽
出する第１画像候補抽出手段と、候補画像内で目画像及
び目周辺画像を確定する候補確定手段とを備えるもので
ある。

【０００６】この発明の他の形態では、前記画像追跡手
段は、２値化された画像内の第２目抽出領域設定手段
と、前記目抽出領域における目画像及び目周辺画像候補
を抽出する第２画像候補抽出手段と、抽出された候補画
像と前画面の像との対応付けを行う画像対応付け手段
と、喪失後また再度出現した画像を画像候補復帰させる
画像復帰手段とを備えるものである。

【０００７】この発明の更に他の形態では、前記画像追
跡手段は、前記画像対応付け手段による対応付け結果か
らさらに目画像を正確に追跡するための目確定手段を更
に備えるものである。

【０００８】この発明の更に他の形態では、前記画像対
応付け手段は、前記第２画像候補抽出手段により抽出さ
れた目画像候補を前画面の鼻孔との相対位置・目位置情
報を基にして前画像との対応付けを行う位置対応付け手
段と、対応付けの重複を解消する重複解消手段と、未対
応の候補に対し、再度対応するものを検討する再対応付
け手段とを備えるものである。

【０００９】この発明の更に他の形態では、前記画像対
応付け手段は、画像候補抽出手段により抽出された目画
像候補を前画面の目抽出領域内形状ヒストグラム・目位
置情報を基にして前画面の像との対応付けを行う位置対
応付け手段と、対応付けの重複を解消する重複解消手段
と、未対応の候補に対し、再度対応するものを検討する
再対応付け手段とを備えるものである。

【００１０】この発明の更に他の形態では、前記目確定
手段は、目を左右ペアで検索する目候補ペア検索手段を
備え、前記画像対応付け手段により対応付けされた結果
と目候補ペア検索手段により検索された目との対応から
目を確定するものである。

【００１１】

【発明の実施の形態】以下、この発明の実施の形態につ
いて添付図面を参照して説明する。実施の形態１．図１（ａ）には、この発明の実施の形態
１による顔画像処理装置の構成が示されている。本実施
の形態による顔画像処理装置は、図１（ａ）に示される
ように、顔画像を撮影するＣＣＤカメラ等の撮像装置１
と撮像装置から出力された顔画像の画像データを記憶す
る画像メモリ２と、画像メモリ２のデータを基に画像処
理を行うＣＰＵ等のプロセッサ３で構成される。

【００１２】図１（ｂ）に示されるように、顔画像処理
装置は、機能的には、撮像装置１から顔画像を入力する
顔画像入力手段４と、入力した顔画像を２値化する２値
化手段５と、２値化された画像内で目画像及び目周辺画
像を検索する画像検索手段６と、検索した目画像及び目
周辺画像を追跡する画像追跡手段７とを備える。

【００１３】画像検索手段６は、２値化された画像内の
目抽出領域を設定する第１目抽出領域設定手段９と、目
抽出領域における目画像候補及び目周辺画像候補を抽出
する第１画像候補抽出手段１０と、目画像候補及び目周
辺画像候補内で目画像及び目周辺画像を確定する候補確
定手段１１とを備える。

【００１４】画像追跡手段７は、２値化された画像内の
目抽出領域を設定する第２目抽出領域設定手段１２と、
目抽出領域における目画像候補及び目周辺画像候補を抽
出する第２画像候補抽出手段１３と、抽出された候補画
像と前画面の像との対応付けを行う画像対応付け手段３
１と、喪失後また再度出現した画像を画像候補復帰させ
る画像復帰手段３２とを備える。

【００１５】画像対応付け手段３１は、画像候補抽出手
段１０により抽出された目画像候補を、前画面の鼻孔と
の相対位置・目位置情報を基にして前画面の像との対応
付けを行う位置対応付け手段３３と、対応付けの重複を
解消する重複解消手段３４と、未対応の候補に対し再度
対応するものを検討する再対応付け手段３５とを備え
る。

【００１６】位置対応付け手段３３は、画像候補抽出手
段１０により抽出された目画像候補を、前画面の鼻孔と
の相対位置・目位置情報の代わりに、前画面の目抽出領
域内形状ヒストグラム・目位置情報を基にして、前画面
の像との対応付けを行うようにしてもよい。

【００１７】上記各手段の機能は、プロセッサ３により
プログラムを実行することによりソフトウエア的に行わ
れるが、必要に応じて、電気回路等によりハードウエア
的に行うこともできる。

【００１８】図２は図１におけるプロセッサ３内の処理
の概要を示すフローチャートである。図２において、ま
ず、顔画像入力手段４で画像メモリ２より顔画像の画像
データをプロセッサ３に入力し（ステップＳＴ１）、２
値化手段５により２値化する（ステップＳＴ２）。次
に、検索済みフラグの有無を判定し（ステップＳＴ
３）、無し（ＮＯ）の場合には、画像検索手段６によ
り、２値化された画像内で目画像７及び目周辺画像を検
索し（ステップＳＴ４）、両目画像の有無を判定し（ス
テップＳＴ５）、無し（ＮＯ）の場合にはステップＳＴ
１へ戻り、有り（ＹＥＳ）の場合には、検索済みフラグ
をセットしてステップＳＴ１へ戻る。

【００１９】また、ステップＳＴ３で、検索フラグ有り
（ＹＥＳ）の場合には、画像追跡手段７により、検索さ
れた目画像及び目周辺画像を追跡する（ステップＳＴ
８）。両目画像の有無を判定し（ステップＳＴ８）、無
し（ＮＯ）の場合には、ステップＳＴ１へ戻り、有り
（ＹＥＳ）の場合には、検索フラグをクリアしてステッ
プＳＴ１に戻る。すなわち、画像検索手段６で検索成功
であれば画像追跡手段７へ、失敗であれば再度検索を行
うとういう処理を繰り返し、画像追跡手段７へ移行後は
両目見失いであれば画像検索手段６へ戻り再検索を行
う。

【００２０】以下、各手段について詳細を説明する。

【００２１】図３は撮像装置１により撮影された顔画像
８を示した図である。また、図４、図５は画像検索手段
６、画像追跡手段７の処理の概要を示すフローチャート
である。図６は目抽出領域設定手段９によって設定され
た目抽出領域１２ａ、ｂを示し、図７は抽出された目画
像１３ｅｙｅ、及び目周辺画像１３ｕｐ、１３ｄｗｎを
示す。

【００２２】図４のフローチャートに示すように、画像
検索手段６は、目抽出領域設定手段９により、２値化さ
れた画像内の目抽出領域を設定する（ステップＳＴ１
０）。すなわち、目抽出領域設定手段７により、あらか
じめ設定した基準位置１４（本例では鼻孔中心）を基に
して、顔上部に所定の大きさのウインドウを形成する。
これが目抽出領域１２ａ、ｂである。

【００２３】次に、画像候補抽出手段１０により、目抽
出領域における目画像候補及び目周辺画像候補を抽出し
（ステップＳＴ１１）、候補確定手段１１により、候補
画像内で目画像及び目周辺画像を確定する（ステップＳ
Ｔ１２）。

【００２４】以下、画像候補抽出手段１０による目画像
候補及び目周辺画像候補の抽出について、図８乃至図１
０を参照して詳述する。図８は、目抽出領域内において
作成されたＸヒストグラム及びＹヒストグラムを示し、
図９は画像候補抽出手段１０の処理の概要を示すフロー
チャートであり、図１０は目抽出領域内における顔要素
ブロック候補切り出しまでの手順の一部を示している。

【００２５】まず、図８に示すように、手段２５〜３０
により、ウインドウ内の各Ｘ座標におけるＹ軸方向の画
素数の和を投影したＸヒストグラム１５を作成し（ステ
ップＳＴ３０）、顔要素が存在すると思われるピーク位
置１６ｉ・ピーク領域１７ｉを検出し（ステップＳＴ３
１）、さらに各ピーク領域内で各Ｙ座標におけるＸ軸方
向の画素数の和を投影したＹヒストグラム１８ｉを作成
する（ステップＳＴ３２）。Ｙヒストグラム１８ｉにお
いては閾値１９を設定し、顔要素ブロック候補２０ｉｊ
を切り出し、顔要素ブロック候補のＹ軸方向の中点２１
ｉ、面積２２ｉを演算する（ステップＳＴ３４）。

【００２６】前記処理を左右各目抽出領域内で行い、最
終的に候補確定手段１１により評価関数値を算出し、左
右の候補ペア２３ｊを作成して目画像候補及び目周辺画
像候補であるか否かを判定する（ステップＳＴ３５）。
前記評価関数値は、本実施の形態では例えば、候補の目
尻側の傾き２４ａ、左右の候補の相対位置２４ｂ、左右
の候補及び鼻孔との相対位置２４ｃ等を用いる。

【００２７】評価関数値２４ａ〜ｃが目の条件として満
たすものがあれば、そのペアを目画像１３ｅｙｅ、左右
の目画像の顔縦方向上下に顔要素ブロックが存在すれば
目周辺画像１３ｕｐ・１３ｄｗｎとし、目画像及び目周
辺画像のピーク領域ＮＯ．ｉ、全ピーク位置１６ｉ、全
Ｙ軸方向の中点２１ｉ、面積２２ｉ、目画像に対する評
価関数値２４ａ〜ｃをメモリに残しておく。存在しなけ
れば目抽出領域設定手段７へ戻り、前述の処理を再度繰
り返す。

【００２８】以下、目画像及び目周辺画像検索後の処理
について説明する。

【００２９】目画像及び目周辺画像検索成功後は、図２
のフローチャートに示すように、画像追跡手段７による
処理（ステップＳＴ７）に移る。画像追跡手段７による
処理の詳細は図５のフローチャートに示す通りである。

【００３０】まず、２値化された画像内の目抽出領域を
設定する目抽出領域設定手段９により、基準位置１４を
基に顔上部に所定の大きさのウインドウをはり（ステッ
プＳＴ２０）、次に画像候補抽出手段１０により目画像
候補及び目周辺画像候補を抽出する（ステップＳＴ２
１）。ここまでは画像検索手段６と同様である。

【００３１】次に、画像対応付け手段３１により、前画
面の像と現画面の像との対応付けを行い（ステップＳＴ
２２）、画像復帰手段３２において喪失した画像を復帰
させる（ステップＳＴ２３）。

【００３２】次に、対応付けが成功であるか否か（両目
画像の有無）を判定し（ステップＳＴ８）、対応付け成
功であれば追跡を続け、失敗すれば検索に戻る。画像対
応付け手段３１は位置対応付け手段３３、重複解消手段
３４、再対応付け手段３５からなる。以下で、画像対応
付け手段３１内の各処理について図５を参照して説明す
る。

【００３３】位置対応付け手段３３では、まず、画像候
補抽出手段１０において設定された前画面のピーク位置
１６ｉｂ及びピーク領域１７ｉｂと原画面のピーク位置
１６ｉ及びピーク領域１７ｉを用いて対応付けを行う
（ステップＳＴ２２１）。

【００３４】位置対応付けは、図１１に示すように処理
される。まず、現画面のピークＮＯ．ｉ（開始番号０、
終了番号ｅｎｄとする）に対し、前画面の全ピークＮ
Ｏ．ｉｂ（開始番号０、終了番号ｅｎｄｂとする）との
Ｘ方向の鼻孔目間距離の誤差ｄｘ及びＹ方向の鼻孔目間
距離の誤差ｄｙを演算して、Ｄｘｙを演算する。Ｄｘｙ
は、例えば式３６のように、目の２値化形状の変化によ
るｙ方向の変動を考慮しＸ方向に重みをおく。現画面の
ピークＮＯ．ｉに対しそれぞれＤｘｙが最も小さい（＝
Ｄｍｉｎ）前画面のピークＮＯ．ｉｂｋが対応するピー
クとして配列Ｐｎ［ｉ］＝ｉｂｋ、及びその時のＤｍｉ
ｎの配列Ｄｍ［ｉ］＝Ｄｍｉｎを作成し、位置対応付け
手段３３による処理（ステップＳＴ２２）は終了する。
ただし、Ｄｘｙが最も小さいといっても前画面と大きく
位置が異なるようでは問題であるので、Ｄｘｙの閾値Ｓ
Ｄｘｙを設定し、対応付けされないピークに関しては、
例えばＰｎ［ｉ］＝ＮＯ＿ＶＡＬＵＥ（＝０ｘｆｆ）な
ど、対応付けなしの旨をデータで保存しておく。

【００３５】ここでは勿論、前画面のピーク数と現画面
のピーク数・ピーク出現位置が必ずしも一致するとは限
らないので、重複する前画面のピークＮＯ．ｉｂ（例え
ば現画面のピーク数が４、前画面のピーク数が３の時、
ピークＮＯ．ｉ＝２に対しピークＮＯ．ｉｂ＝２、且つ
ピークＮＯ．ｉ＝３に対しピークＮＯ．ｉｂ＝２のよう
に、ピークＮＯ．ｉｂ＝２に対応するものが２つ存在す
る）、若しくは対応付けされない現画面のピークＮＯ．
ｉが存在する。そのような場合の処理は、以下の重複解
消手段３４、再対応付け手段３５により行われる。Ｄｘｙ＝３＊ｄｘ＋ｄｙ式３６

【００３６】次に、図１１に基づいて、位置対応付け手
段３３の動作を詳細に説明する。まず、ステップＳＴ３
３１において、現画面のピークＮＯ．ｉが最終番号ｅｎ
ｄより小さいか否かを判定する（現画面のピーク数分ル
ープを繰り返す）。大きければ処理を終了する。小さけ
れば、ステップＳＴ３３２にて対応ピ一クＮＯ．ｉｂｋ
をＮＯ＿ＶＡＬＵＥ（対応付けなしの場合の値）で、Ｄ
ｘｙの最小値Ｄｍｉｎを値０ｘｆｆで初期化する。

【００３７】次に、ステップＳＴ３３３以降にて現画面
ピ一クＮＯ．ｉと前画面ピーク各々との鼻孔目間Ｘ，Ｙ
方向距離偏差を演算し、その結果により対応付けを行
う。まず、ステップＳＴ３３３にて前画面のピークＮ
Ｏ．ｉｂが前画面のピークの最終番号ｅｎｄｂより小さ
いか否かを判定する（前画面のピーク数分ループを繰り
返す）。小さければ、ステップＳＴ３３４にて現画面の
ピークＮＯ．ｉと前画面のピークＮＯ．ｉｂの鼻孔目間
のＸ方向距離偏差ｄｘ及びＹ方向距離偏差ｄｙにより、
Ｄｘｙを演算する。Ｄｘｙが所定閾値ＳＤｘｙより小さ
く、且つＤｍｉｎより小さければ（ステップＳＴ３３
５）、対応ピークＮＯ．ｉｂｋ及び偏差最小値Ｄｍｉｎ
を更新し（ステップＳＴ３３６）、前画面のピークＮ
Ｏ．ｉｂをインクリメントした後（ステップＳＴ３３
７）、ステップＳＴ３３３に戻る（偏差が所定閾値Ｓｄ
ｘｙより小さく、且つ最小のものを対応ピークとす
る）。ステップＳＴ３３５で条件を満たさなかった場合
には、ステップＳＴ３３６を通過せずに、ステップＳＴ
３３７に移る。ステップＳＴ３３３にて、前画面のピー
クＮＯ．ｉｂがｅｎｄｂより大きくなった場合は、ステ
ップＳＴ３３８にて対応ピークＮＯ．ｉｂｋを配列Ｐｎ
［ｉ］、最小値Ｄｍｉｎを配列Ｄｍ［ｉ］に保持し（対
応ピークの決定）、ステップＳＴ３３９にて現画面のピ
ークＮＯ．ｉをインクリメントし、ステップＳＴ３３１
に戻る。

【００３８】図５のステップＳＴ２２２は、前述の重複
する前画面のピークＮＯ．ｉｂが存在する場合の重複解
消手段３４による処理である。ここでは、前述のよう
に、例えば、現画面のピーク数が４、前画面のピーク数
が３の時、ピークＮＯ．ｉ＝２に対しピークＮＯ．ｉｂ
＝２、且つピークＮＯ．ｉ＝３に対しピークＮＯ．ｉｂ
＝２のようにピークＮＯ．ｉｂ＝２に対応するものが２
つ存在する場合を考える。前述のような場合としては、
図１２（ａ）、（ｂ）に示すような２通りのパターンが
考えられる。１つは図１２（ａ）のように、前画面のピ
ークＮＯ．ｉｂ＝１とｉｂ＝２の間に新たなピークが出
現した場合、２つめは図１２（ｂ）のように、前画面の
ピークＮＯ．ｉｂ＝２の後ろに新たなピークが出現した
場合である。ここでは、２つが重複した場合を挙げてい
るが、３つ以上が重複する場合を考えて、重複解消手段
３４では、以下のような処理を施す。尚、重複解消手段
３４は重複ピーク検索部と重複解消部とを備えており、
それらの処理の概要は図１３及び図１４のフローチャー
トに示す通りである。

【００３９】まず、図１３において、重複ピーク検索部
において、各前画面のピークＮＯ．ｉｂに対応する現画
面のピークＮＯ．ｉを検索し、重複ピーク配列Ｐｎｆ
［ｆ］＝ｉを作成し（ここでｆはピークＮＯ．ｉｂに対
応するピーク数である）、続いて、前画面のピークＮ
Ｏ．ｉｂ＋αに対応する現画面のピークＮＯ．ｉを検索
し、ピーク配列Ｐｎｌ［ｌ］＝ｉを作成する（ここでｌ
はピークＮＯ．ｉｂ＋αに対応するピーク数である）。
αはＰｎｌが存在するか、若しくはピークＮＯ．ｉｂ＋
α＝ｅｎｄｂになるまで順次インクリメントし検索す
る。

【００４０】次に、図１３を参照して、重複ピーク検索
処理について具体的に説明する。まず、ステップＳＴ３
４１において、前画面のピークＮＯ．ｉｂがｅｎｄｂよ
り小さいか否かを判定する（前画面のピーク数分ループ
を繰り返す）。大きければ、処理を終了する。小さけれ
ば、ステップＳＴ３４２の位置対応付けで設定した配列
Ｐｎ［ｉ］の内ｉｂに対応するピークの数をｆ、ｉｂ＋
αに対応するピークの数をｌとし、０で初期化する。

【００４１】次いで、ステップＳＴ３４３以降にて、前
画面ピークｉｂに対応するピークを配列Ｐｎ［ｉ］より
検索する。まず、ステップＳＴ３４３において、現画面
のピークＮＯ．ｉがｅｎｄより小さいか否かを判定する
（現画面のピーク数分ループを繰り返す）。大きけれ
ば、ステップＳＴ３４７へ、小さければステップＳＴ３
４４にて対応ピーク配列Ｐｎ［ｉ］が前画面ピークＮ
Ｏ．ｉｂと一致するか否かを判定する。一致した場合に
は、ステップＳＴ３４５にて重複ピーク配列ｐｎｆ
［ｆ］に現画面のピークｉを設定し、ｆをインクリメン
トし、さらに現画面のピークＮＯ．ｉをインクリメント
した後（ステップＳＴ３４６）、ステップＳＴ３４３に
戻る。一致しなかった場合には、ステップＳＴ３４５を
通過せず、ステップＳＴ３４６に移る。

【００４２】現画面のピークＮＯ．ｉがｅｎｄより大き
くなった場合には、ステップＳＴ３４７に移り、αを初
期化する。そして、ステップＳＴ３４８以降にて、前画
面ピークｉｂ＋αに対応するピークを配列Ｐｎ［ｉ］よ
り検索する。まず、ステップＳＴ３４８において、前画
面のピークＮＯ．ｉｂ＋αがｅｎｄｂより小さく、且つ
ｌが０であるか否かを判定する（前画面のピーク数分、
又は前画面のピークＮＯ．ｉｂ＋αに対応するピークが
存在しない間ループを繰り返す）。

【００４３】現画面のピークＮＯ．ｉｂ＋αがｅｎｄｂ
より大きい、またはｌが０より大きければ重複解消処理
へ、そうでなればステップＳＴ３４９にて現画面のピー
クＮＯ．ｉがｅｎｄより小さいか否かを判定する（現画
面のピーク数分ループを繰り返す）。大きければ、αを
インクリメントし（ステップＳＴ３４１３）、ステップ
ＳＴ３４８へ戻る。小さければ、ステップＳＴ３４１０
にて対応ピーク配列Ｐｎ［ｉ］が前画面ピークＮＯ．ｉ
ｂ＋αと一致するか否かを判定する。一致した場合に
は、ステップＳＴ３４１１にて重複ピーク配列Ｐｎｌ
［ｉ］に現画面のピークｉを設定し、ｌをインクリメン
トし、さらに現画面のピークＮＯ．ｉをインクリメント
した後（ステップＳＴ３４１２）、ステップＳＴ３４９
に戻る。一致しなかった場合には、ステップＳＴ３４１
１を通過せずに、ステップＳＴ３４１２に移る。

【００４４】図１４において、重複解消部では、ピーク
ＮＯ．ｉｂに対応するピーク数ｆ及びピークＮＯ．ｉｂ
＋αに対応するピーク数ｌがともに正である場合は、作
成したピーク配列ＰｎｆとＰｎｌの組み合わせのうち、
前画面のピークＮＯ．ｉｂとｉｂ＋αの位置関係に最も
近いものを正しい対応付けとし、対応ピーク配列Ｐｎを
修正する。また、ピークＮＯ．ｉｂに対応するピーク数
ｆのみが正である場合には、前記位置対応付け手段３１
で対応付けピーク配列Ｐｎ［ｉ］＝ｉｂｋが存在する時
のＤｍｉｎの配列Ｄｍ［ｉ］＝Ｄｍｉｎが最小であるピ
ークを正しい対応付けとし、対応ピーク配列Ｐｎを修正
する。ピーク配列Ｐｎｆ及びＰｎｌのうち、はじかれた
ピークはその旨を何らかのデータで保存しておく（例え
ば、対応ピーク配列［ｉ］＝ＤＥＬＥＴＥＤ（＝０ｘｄ
ｄ）等ピークＮＯ．としては存在しえないデータを対応
付ける）。

【００４５】次に、図１４を参照して、重複解消処理に
ついて説明する。まず、ステップＳＴ３４１４におい
て、前ピークｉｂ＋αの位置と前ピークｉｂの位置の偏
差ｄｘｂを演算し、確定ピークＮＯ．ｐｎｆ、ｐｎｌ及
び候補有りｆｌａｇを０で、ｄｘｂの最小値Ｄｘｍｉｎ
を０ｘｆｆで初期化する。次いで、ステップＳＴ３４１
５以降で、前ピークｉｂ＋αと前ピークｉｂに対応付け
されたピークの組み合わせの内、最も対応付けが正しい
と思われる組み合わせを選択し、重複解消を行う。ステ
ップＳＴ３４１５にて、ｐｎｆがｆより小さいか否かを
判定する（ｉｂが対応付けされたピーク数分ループを繰
り返す）。小さければ、ステップＳＴ３４１６にて、ｐ
ｎｌがｌより小さいか否かを判定し（ｉｂ＋αが対応付
けされた数分ループを繰り返す）、大きければ、ステッ
プＳＴ３４１７にてｐｎｆをインクリメントし、ステッ
プＳＴ３４１５へ戻る。小さければ、ステップＳＴ３４
１８において現ピークＰｎｌ［ｐｎｌ］の位置と現ピー
クＰｎｆ［ｐｎｆ］の位置の偏差ｄｘを演算し、ｄｘｂ
との偏差ＤＸ＝ａｂｓ（ｄｘｂ−ｄｘ）を演算する。続
いて、ステップＳＴ３４１９でＤＸが最小値Ｄｘｍｉｎ
より小さいか否かを判定する。大きければ、ステップＳ
Ｔ３４２２でρｎｌをインクリメントし、ステップＳＴ
３１６へ戻る。小さければ、ステップＳＴ３４２０にて
対応付け第１ピーク候補Ｐｎｆ，Ｐｎｌ、及びＤｘｍｉ
ｎを更新する（すなわち、偏差ＤＸの最小の組み合わせ
を選択する）。第１ピーク候補があれば（ステップＳＴ
３４２０を通過すれば）、候補有りフラグをセツトし、
ステップＳＴ３４２２へ移る。ステップＳＴ３４１５に
て、ｐｎｆがｆより大きくなった場合には、ステップＳ
Ｔ３４２３へ移り、ｐｎｆ，ｐｎｌを初期化し、ステッ
プＳＴ３４２４でｆｌａｇがセツトされているか否かを
判定する。

【００４６】セツトされていれば、ステップＳＴ３４２
５〜ステップＳＴ３４３１までの処理を行う（すなわ
ち、位置対応付け手段にてｉｂ、ｉｂ＋αに対応付けさ
れたものを消去し、ステップＳＴ３４２０による第１候
補のみ再設定する）。セットされていなければ、ステッ
プＳＴ３４３２〜ステップＳＴ３４４０までの処理を行
う（位置対応付け手段にてｉｂに対応付けされたものを
消去し、鼻孔目間偏差が最小のもののみ再設定する）。

【００４７】まず、ステップＳＴ３４２５からの処理
は、ステップＳＴ３４２５にてｐｎｆがｆより小さいか
否かを判定し、小さければ、ステップＳＴ３４２６にて
対応付けピークを消去する（消去したことが分かるよう
に、ＰＮ［Ｐｎｆ［ｐｎｆ］］に０ｘｄｄをセツトす
る）。その後、ｐｎｆをステップＳＴ３４２７にてイン
クリメントし、ステップＳＴ３４２５へ戻る。ｐｎｆが
ｆより大きくなった場合には、ステップＳＴ３４２８へ
移り、ステップＳＴ３４２８にてｐｎｌにてｌより小さ
いか否かを判定する。小さければ、ステップＳＴ３４２
９にて対応付けピークを消去する（消去したことが分か
るように、ＰＮ［Ｐｎｌ［Ｐｎｌ］］にＯｘｄｄをセツ
トする）。その後、ｐｎｌをステップＳＴ３４３０にて
インクリメントし、ステップＳＴ３４２８へ戻る。ｐｎ
ｌがｌより大きくなった場合には、ステップＳＴ３４３
１にてＰｎ［ｐｎｆ］にｉｂを、Ｐｎ［Ｐｎｌ］にｉｂ
＋αを設定して終了する。

【００４８】次に、ステップＳＴ３４３２からの処理
は、ステップＳＴ３４３２にてｆが存在するか否かを判
定する。存在すれは、ステップＳＴ３４３３にて鼻孔目
間距離最小値ｄｘｍｉｎを０ｘｆｆで初期化する。続い
て、ステップＳＴ３４３４にてｐｎｆがｆより小さいか
否かを判定する。小さければ、ステップＳＴ３４３５で
ｄｘ＝Ｄｍｉｎ［Ｐｎｆ［ｐｎｆ］］（位置対応付けで
保持している配列）を呼び出し、ステップＳＴ３４３６
で対応付けピークを消去する（消去したことが分かるよ
うに、ＰＮ［Ｐｎｆ［ｐｎｆ］］にＯｘｄｄをセツトす
る）。ステップＳＴ３４３７にて、ｄｘがｄｘｍｉｎよ
り小さいか否かを判定し、小さければステップＳＴ３４
３８にて対応付け第１ピーク候補Ｐｎｆ、最小値ｄｘｍ
ｉｎを更新し、ステップＳＴ３４３９でｐｎｆをインク
リメントする。ｄｘがｄｘｍｉｎよ大きい場合には、ス
テップＳＴ３４３８を行わずに、ステップＳＴ３４３９
へ移る。ｐｎｆがｆより大きくなった場合には、ステッ
プＳＴ３４４０にてＰｎ［ｐｎｆ］にｉｂを設定して終
了する。

【００４９】前記重複ピーク検索部及び重複解消部の処
理はピークＮＯ．ｉｂ＝ｅｎｄｂになるまで繰り返す。

【００５０】再対応付け手段３５による処理は、前述の
対応付けされない現画面のピークＮＯ．ｉが存在する場
合の処理である。ここでは、例えば、位置対応付け手段
３５で対応付けされなかった、あるいは誤った対応付け
がなされ、重複解消手段３４ではじかれた場合等、対応
付けされていないピークが存在する場合を考える。本例
では、処理を簡単にするため、前後の対応ピークＮＯ．
を確認の後、明らかに対応するもののみを再対応付けす
る。例えば、現画面ピークＮＯ．０に対し前画面ピーク
ＮＯ．１が対応し、現画面ピークＮＯ．１が無対応（＝
ＮＯ＿ＶＡＬＵＥ）、現画面ピークＮＯ．２に対し前画
面ピークＮＯ．３が対応する場合、現画面ピークＮＯ．
１に前画面ピークＮＯ．２を再対応させる。しかし、現
画面ピークＮＯ．０に対し前画面ピークＮＯ．１が対応
し、現画面ピークＮＯ．１が無対応（＝ＮＯ＿ＶＡＬＵ
Ｅ）、現画面ピークＮＯ．２が無対応（＝ＮＯ＿ＶＡＬ
ＵＥ）の場合、現画面ピークＮＯ．１は前画面ピークＮ
Ｏ．２が対応する可能性もあるが、現画面ピークＮＯ．
３の対応付けの結果次第では、画面ピークＮＯ．２も前
画面ピークＮＯ．２が対応する可能性がある。こういっ
た前後の対応ピークＮＯ．のみでは判断できない場合に
は、間違った再対応付けを行う可能性も高く、対象から
外す。この処理の概要は図１５及び図１６のフローチャ
ートに示す通りである。

【００５１】図１５は現画面のピーク数が２以上ある
（ｅｎｄ≧２）場合、図１６は現画面のピーク数が１の
場合の再対応付け手段３５の処理をそれぞれ示してい
る。

【００５２】図１５のフローチャートに示すように、ま
ず現画面のピークＮＯ．ｉ＝１〜（ｅｎｄ−１）のうち
対応ピークＰｎ［ｉ］が無対応（＝ＮＯ＿ＶＡＬＵＥ）
若しくははじかれた（＝ＤＥＬＥＴＥＤ）ものに対し、
ピークＮＯ．ｉ−１の対応ピークＰｎ［ｉ−１］が存在
するならば、Ｐｎ［ｉ−１］＋１をピークＮＯ．ｉの再
対応付け候補ＰＮｆ、ピークＮＯ．ｉ＋１の対応ピーク
Ｐｎ［ｉ＋１］が存在するならば、Ｐｎ［ｉ＋１］−１
をピークＮＯ．ｉの再対応付け候補ＰＮｌとする。ＰＮ
ｆ、ＰＮｌがともに存在し、なおかつ一致する場合にお
いて、ピークＮＯ．ｉの再対応付けを行い、Ｐｎ［ｉ］
＝ＰＮｆ（ＰＮｌ）と修正する。ピークＮＯ．ｉ＝０、
ピークＮＯ．ｉ＝ｅｎｄの場合は、それぞれピークＮ
Ｏ．ｉ＝１、ピークＮＯ．ｉ＝ｅｎｄ−１の対応ピーク
Ｐｎ［１］、Ｐｎ［ｅｎｄ−１］が存在するならば、Ｐ
ｎ［１］−１、Ｐｎ［ｅｎｄ−１］＋１をピークＮＯ．
ｉ＝０の再対応付け候補ＰＮｌ、ピークＮＯ．ｉ＝ｅｎ
ｄの再対応付け候補ＰＮｆとし、Ｐｎ［０］、Ｐｎ［ｅ
ｎｄ］に再対応付けする。ここで、ＰＮｆ、ＰＮｌは勿
論前ピークＮＯ．０〜ｅｎｄｂの範囲内でなければなら
ない。

【００５３】図１６のフローチャートに示すように、ま
ず現画面のピークＮＯ．ｉ＝０の対応ピークＰｎ［０］
が無対応（＝ＮＯ＿ＶＡＬＵＥ）若しくははじかれた
（＝ＤＥＬＥＴＥＤ）ならば、現画面のピーク位置
［０］と現画面の鼻孔ｘ位置との距離ＮＴＯＰと前画面
のピーク位置［０］〜［ｅｎｄｂ］と前画面の鼻孔ｘ位
置との距離ＮＴＯＰＢｉｂとを比較し、ＮＴＯＰとＮＴ
ＯＰＢｉｂが最も近くなる前画面のピークｉｂを対応ピ
ークＰｎ［０］に対応付ける。

【００５４】対応付けされた結果より、前回の目画像１
３ｅｙｅに対応するものを今回目画像、前画面目周辺画
像１３ｕｐ、１３ｄｗｎに対応するものを今回目周辺画
像として１３ｅｙｅ、１３ｕｐ、１３ｄｗｎの情報を更
新する。ここで、現画面において、１３ｅｙｅ、若しく
は１３ｕｐ、１３ｄｗｎが対応ピークに存在しない場
合、それらは喪失したとして情報をクリアし、追跡可能
なもののみを追跡する。ただし、評価関数値のみは基準
値３７として前情報を残す。なお、前ピーク位置１６
ｉ、全Ｙ軸方向の中点２１ｉは毎画面更新する。また、
画像検索手段６でメモリに残した面積２２ｉをここでは
使用していないが、対応付けの一つの指標として用いて
も良い。

【００５５】次に、図１５に基づいて、現画面のピーク
数が２以上ある場合の再対応付け手段３５の処理動作に
ついて説明する。

【００５６】まず、ステップＳＴ３５１にて、現画面の
ピークＮＯ．ｉを１で初期化する。続いて、ステップＳ
Ｔ３５２で、ピークＮＯ．ｉがｅｎｄ−１より小さいか
否かを判定する（現画面のピーク数−１までループす
る）。小さければ、ステップＳＴ３５３において、ピー
クｉ−１に対応付けされたピークＮＯ．ｐｎｆ＝Ｐｎ
［ｉ−１］、ピークｉに対応付けされたピークＮＯ．ｐ
ｎｐ＝Ｐｎ［ｉ］、ピークｉ＋１に対応付けされたピー
クＮＯ．ｐｎｌ＝Ｐｎ［ｉ＋１］を呼び出し、Ｐｎｆ，
ＰＮｌをＮ０＿ＶＡＬＵＥ（＝０ｘｆｆ）で初期化す
る。ｐｎｐがＮＯ＿ＶＡＬＵＥ（＝０ｘｆｆ；ステップ
ＳＴ３３にて設定）またはＤＥＬＥＴＥＤ（＝０ｘｄ
ｄ；ステップＳＴ３４にて設定）である場合のみ、ステ
ップＳＴ３５５〜ステップＳＴ３５８へ移る（ＮＯ＿Ｖ
ＡＬＵＥ、又はＤＥＬＥＴＥＤでなければ、ステップＳ
Ｔ３５１９へ移る）。

【００５７】ステップＳＴ３５５〜ステップＳＴ３５８
では、ｐｎｆ，ｐｎｌの値からｐｎｐの値を推定する。
ステップＳＴ３５５〜ステップＳＴ３５６では、ｐｎｆ
がＮＯ＿ＶＡＬＵＥ、ＤＥＬＥＴＥＤ以外の値を持ち、
且つｅｎｄｂより小さい場合に限り、ＰＮｆにｐｎｆ＋
１を設定する（Ｎ０＿ＶＡＬＵＥ、又はＤＥＬＥＴＥＤ
ならば、ステップＳＴ３５１９へ移る）。ステップＳＴ
３５７〜ステップＳＴ３５８では、ＰｎｌがＮＯ＿ＶＡ
ＬＵＥ、ＤＥＬＥＴＥＤ以外の値を持ち、且つｐｎｌが
０より大きい場合に限り、ＰＮｌにｐｎｌ−１を設定す
る（ＮＯ＿ＶＡＬＵＥ、又はＤＥＬＥＴＥＤならばステ
ップＳＴ３５１９へ移る）。

【００５８】次に、ステップＳＴ３５９において、ＰＮ
ｆ，ＰＮｌがＮＯ＿ＶＡＬ∪Ｅでなく、お互いに一致す
る場合、Ｐｎ［ｉ］にＰＮｆ（＝ＰＮｌ）を再設定す
る。ステップＳＴ３５９（ステップＳＴ３５１０）の処
理後は、ステップＳＴ３５１９にて現画面のピークＮ
Ｏ．ｉをインクリメントし、ステップＳＴ３５２へ戻
る。ステップＳＴ３５２で、ｉがｅｎｄ−１より大きく
なった場合には、ステップＳＴ３５１１へ移る。

【００５９】ステップＳＴ３５１１〜ステップＳＴ３５
１４では、ｉ＝０の再対応付けを行い、また、ステップ
ＳＴ３５１５〜ステップＳＴ３５１８では、ｉ＝ｅｎｄ
の再対応付けを行う。まず、ステップＳＴ３５１１にて
ｐｎｐ＝Ｐｎ［０］、ｐｎｌ＝Ｐｎ［１］を呼び出し、
ステップＳＴ３５１２にてｐｎｐがＮＯ＿ＶＡＬＵＥま
たはＤＥＬＥＴＥＤであるか否かを判定する。ｐｎｐが
Ｎ０＿ＶＡＬ∪Ｅ，ＤＥＬＥＴＥＤでない場合には、ス
テップＳＴ３５１５へ進み、ｐｎｐがＮＯ＿ＶＡＬＵＥ
またはＤＥＬＥＴＥＤである場合には、ステップＳＴ３
５１３にてｐｎｌがＮＯ＿ＶＡＬＵＥ，ＤＥＬＥＴＥＤ
以外の値を持ち、且つｐｎｌが０より大きい場合に限
り、Ｐｎ［０］にＰｎｌ−１を再設定する（ＮＯ＿ＶＡ
ＬＵＥ、又はＤＥＬＥＴＥＤならばステップＳＴ３５１
５へ移る）。

【００６０】次に、ステップＳＴ３５１５にて、ｐｎｆ
＝Ｐｎ［ｅｎｄ−１］、ｐｎｐ＝Ｐｎ［ｅｎｄ］を呼び
出し、ステップＳＴ３５１６にてｐｎｐがＮＯ＿ＶＡＬ
ＵＥまたはＤＥＬＥＴＥＤであるか否かを判定する。ｐ
ｎｐがＮ０＿ＶＡＬＵＥ，ＤＥＬＥＴＥＤでない場合に
は処理を終了し、ｐｎｐがＮＯ＿ＶＡＬＵＥまたはＤＥ
ＬＥＴＥＤである場合には、ステップＳＴ３５１７に
て、ｐｎｆがＮ０＿ＶＡＬＵＥ，ＤＥＬＥＴＥＤ以外の
値を持ち、且つｐｎｆがｅｎｄｂより小さい場合に限
り、Ｐｎ［ｅｎｄ］にｐｎｆ＋１を再設定する（ＮＯ＿
ＶＡＬＵＥ、又はＤＥＬＥＴＥＤならば処理終了）。

【００６１】次いで、図１６に基づいて、現画面のピー
ク数が１の場合の再対応付け手段３５の具体的な処理に
ついて説明する。まず、ステップＳＴ３５２０にて現画
面のピークＮＯ．０を呼び出し、鼻孔目間Ｘ方向距離偏
差の最小値ｄｘｍｉｎを０ｘｆｆで初期化する。続い
て、ステップＳＴ３５２１で、ｐｎｐがＮ０＿ＶＡＬＵ
Ｅ（＝０ｘｆｆ；ステップＳＴ３３にて設定）またはＤ
ＥＬＥＴＥＤ（＝０ｘｄｄ；ステップＳＴ３４にて設
定）である場合のみ、ステップＳＴ３５２２〜ステップ
ＳＴ３５２８へ移る（ＮＯ＿ＶＡＬＵＥ、又はＤＥＬＥ
ＴＥＤでなければ処理終了）。

【００６２】ステップＳＴ３５２２では、現画面ピーク
ＮＯ．０のＸ方向位置ＸＰＯＳを呼び出し、前画面のピ
ークＮＯ．ｉｂを０で初期化する。ステップＳＴ３５２
３〜ステップＳＴ３５２８では、鼻孔目間Ｘ方向距離偏
差ｄｘの値からＰｎ［０］の対応ピークを推定する。ス
テップＳＴ３５２２では、ｉｂがｅｎｄより小さいか否
かを判定する。小さければ、ステップＳＴ３５２４にて
前画面のピークＮＯ．ｉｂのＸ方向位置ＸＰＯＳＢを呼
び出し、ステップＳＴ３５２５にてＸＰＯＳと現鼻孔位
置の距離とＸＰＯＳＢと前鼻孔位置との距離の偏差ｄｘ
を演算する。

【００６３】ステップＳＴ３５２６にてｄｘがｄｘｍｉ
ｎより小さいか否かを判定し、小さければステップＳＴ
３５２７にてＰｎ［０］、ｄｘｍｉｎの値を更新し、ス
テップＳＴ３５２８にて前画面のピークＮＯ．ｉｂをイ
ンクリメントする。ｄｘがｄｘｍｉｎより大きければ、
ステップＳＴ３５２７を通過せずに、ステップＳＴ３５
２８へ移る。ステップＳＴ３５２３で、ｉｂがｅｎｄよ
り大きくなった場合には、処理を終了する。

【００６４】以上が実施の形態１における画像追跡手段
７の説明であり、対応付けにおいても、重複解消及び再
対応付けにより誤検出・誤追跡なく、目画像・目周辺画
像を常に追跡し、喪失時にも喪失であることを認識する
ことが可能である。なお、画像追跡手段７においては、
左右の目抽出領域内において同様に前記処理を施す。次
に、画像復帰手段３２について説明すると、この画像復
帰手段３２においては、１３ｅｙｅ、１３ｕｐ、１３ｄ
ｗｎがすべて追跡されている場合には必要ない。前記何
れかが前画面において喪失により対応付けが行われなか
った場合、現画面では対応ピーク無となり、復帰ができ
なくなるため画像復帰手段３２が必要となる。この画像
復帰手段３２は３つの場合が考えられる。まず１つめは
１３ｕｐを追跡中の場合であり、図１７ａに示すよう
に、この場合には１３ｕｐより顔縦方向下に１３ｄｗｎ
でないピーク３８が存在する場合、そのピーク３８が基
準値３７と大きくかけはなれない場合のみ１３ｅｙｅと
する。２つめは１３ｅｙｅを追跡中の場合であり、図１
７ｂに示すように、この場合は１３ｅｙｅより顔縦方向
上にピーク３９が存在する場合、そのピーク３９を１３
ｕｐとする。また、１３ｅｙｅより顔縦方向下にピーク
４０が存在する場合、そのピーク４０を１３ｄｗｎとす
る。３つめは１３ｄｗｎを追跡中の場合であり、図１７
ｃに示すように、この場合には、１３ｄｗｎより顔縦方
向上に１３ｕｐでないピーク４１が存在する場合、その
ピーク４１が基準値３７と大きくかけはなれない場合の
み１３ｅｙｅとする。

【００６５】以上の処理により、復帰時にも精度良く再
追跡可能になるという効果が得られる。

【００６６】実施の形態２．図１８は本発明の実施の形
態２による眼画像追跡装置の構成を示している。本実施
の形態２においては、前記実施の形態１の画像追跡手段
７に眼確定手段４２を追加したものであり、図１９はそ
の処理動作を表すフローチャートである。すなわち、画
像追跡手段７は、画像対応付け手段３１による対応付け
結果からさらに目画像を正確に追跡するための目確定手
段４２をさらに備えている。目確定手段４２は、目を左
右ペアで検索する目候補ペア検索手段４３を備え、画像
対応付け手段３１により対応付けされた結果と目候補ペ
ア検索手段４３により検索された目との対応から目を確
定する。

【００６７】目確定手段４２は、図１９に示すように、
左右すべてのピークの組み合わせにより、最も前回の鼻
孔、左右目の相対位置関係に近いものを目確定手段４２
による目候補ペア４３ｃｎｄとする。

【００６８】次に、図１９に基づいて、本実施の形態２
の動作について詳細に説明する。まず、ステップＳＴ４
２１において、現画面左目ピークＮＯ．ｉｌ、右目ピー
クＮＯ．ｉｒを０で、目候補ペア（ｃｎｄ＿ｌ，ｃｎｄ
＿ｒ）のｃｎｄ＿ｌ，ｃｎｄ＿ｒをＮ０＿ＶＡＬＵＥ
で、相対偏差の最小値ｄｘｍｉｎを０ｘｆｆで初期化す
る。続いて、ステップＳＴ４２２にて、現画面の左目ピ
ークｉｌがｅｎｄｌより小さいか否かを判定する（左目
ピーク数分ループする）。小さければ、ステップＳＴ４
２３にて現画面の右目ピークｉｒがｅｎｄｒより小さい
か否かを判定する（右目ピーク数分ループする）。小さ
ければ、相対位置偏差ｄｘをステップＳＴ４２４にて演
算し、ステップＳＴ４２５にてｄｘがｄｘｍｉｎより小
さいか否かを判定する。小さければ、目候補ペアのｃｎ
ｄ＿ｌ、ｃｎｄ＿ｒ、及びｄｘｍｉｎを更新し、ステッ
プＳＴ４２７にて現画面の右目ピークＮＯ．ｉｒをイン
クリメントする（すなわち、左右ピークのすべての組み
合わせの内、ｄｘが最小のものを選択する）。ステップ
ＳＴ４２７からステップＳＴ４２３へ戻り、ｉｒがｅｎ
ｄｒより大きくなった場合には、ステップＳＴ４２８へ
移り、現画面の左目ピークＮＯ．ｉｌをインクリメント
し、ステップＳＴ４２２へ戻る。ステップＳＴ４２２で
ｉｌがｅｎｄｌより大きくなった場合には、目候補ペア
ｃｎｄをｃｎｄ（ｃｎｄ＿ｌ、ｃｎｄ＿ｒ）とし、処理
を終了する。

【００６９】ここで画像追跡手段７により対応付けされ
た左目候補１３ｅｙｅ＿ｌ、右目候補１３ｅｙｅ＿ｒと
前記目候補ペア４３ｃｎｄを比較し、その結果により目
候補を確定する。その方法は下記ケースにより分けられ
る。

【００７０】ケース１：１３ｅｙｅ＿ｌ、１３ｅｙｅ＿
ｒ、４３ｃｎｄのすべてが存在する場合、ケース２：１３ｅｙｅ＿ｌ、１３ｅｙｅ＿ｒのいずれ
か、及び４３ｃｎｄが存在する場合、ケース３：４３ｃｎｄのみが存在する場合、ケース４：１３ｅｙｅ＿ｌ、１３ｅｙｅ＿ｒのみが存在
する場合、ケース５：１３ｅｙｅ＿ｌ、１３ｅｙｅ＿ｒの何れかが
存在する場合。

【００７１】前記各ケースによる対応手段は下記の通り
である。

【００７２】ケース１の場合、１３ｅｙｅ＿ｌ、１３ｅ
ｙｅ＿ｒの組み合わせと４３ｃｎｄが一致する時、これ
は問題なく目であると判断でき、目と確定する。何れか
一方が一致しない時、ペアで抽出した４３ｃｎｄを目と
確定する。両方が一致しない時、より前回の組み合わせ
に近い方を目と確定する。

【００７３】ケース２の場合、存在する１３ｅｙｅと４
３ｃｎｄが一致する時、ペアで抽出した４３ｃｎｄを目
と確定する。一致しない時、より前回の組み合わせに近
い方を目と確定する。その際、１３ｅｙｅが選択されれ
ば、一方は目喪失のままである。

【００７４】ケース３の場合、１３ｕｐ、１３ｄｗｎと
のかねあいにより、問題なければ４３ｃｎｄを目と確定
する。そうでなければ、目は喪失とする。

【００７５】ケース４の場合、ペアでの条件を１３ｅｙ
ｅ＿ｌ、１３ｅｙｅ＿ｒが満たす時、目と確定する。そ
うでなければ、鼻孔との相対位置条件がより前回に近い
方を目と確定し、他方は目喪失とする。

【００７６】ケース５の場合、存在する１３ｅｙｅと鼻
孔との相対位置条件を厳しくし、問題なければ目と確定
し、他方は目喪失のままとする。そうでなければ、目は
喪失とする。

【００７７】以上の処理により、前記実施の形態１より
さらに信頼性が向上する。

【００７８】実施の形態３．図２０は本発明の実施の形
態３による位置対応付け手段の動作（処理）を表すフロ
ーチャートであり、この実施の形態３の全体構成は前記
実施の形態１あるいは２と同様である。前記実施の形態
１或いは２においては、位置対応付け手段３３は、鼻孔
との相対位置・目位置情報により位置対応付けを行って
いたが、本実施の形態３では、目抽出領域内形状ヒスト
グラム・目位置情報を基にして位置対応付けを行う。

【００７９】ここでは、画像候補抽出手段１０において
作成された目抽出領域ウインドウ内の各Ｘ座標における
Ｙ軸方向の画素数の和を投影したＸヒストグラム１５
と、前回に同様に作成されたＸヒストグラムとの相関関
数をとる。

【００８０】なお、本実施の形態３では、目抽出領域ウ
インドウのｘ方向の開始・終了位置ｓｔ４４・ｅｎ４
５、及び作成されたＸヒストグラムを保存し、毎画面ご
とに更新していく。

【００８１】以下、この実施の形態３の位置対応付け手
段３３の処理について図２０を参照して説明する。

【００８２】図２１に示すように、位置対応付け手段３
３では、まず前画面と現画面において鼻孔位置からウイ
ンドウ開始点までの距離４６を算出し、短い方を基準に
前画面ヒストグラム、現画面ヒストグラムの走査開始点
ｓｔａｒｔｂ４７、ｓｔａｒｔ４８を設定する。処理の
高速化のため、走査開始点から１画素おきにヒストグラ
ムの差分値の２乗を演算し、その和を演算する。処理は
前画面、または現画面のヒストグラムが終了するまで行
う。前記処理を現画面の開始点に２画素ずつオフセット
を加えて順次行い、和が最小の時のオフセットＯＦＳＴ
ｍｉｎを求める。ここでは１画面でのずれの大きさを考
え、オフセットは所定の最大値ＴＨｍａｘを持つ。次
に、走査開始点ｓｔａｒｔｂ４７とｓｔａｒｔ４８＋Ｏ
ＦＳＴｍｉｎとが一致することより、次式４９により算
出した前画面と現画面のずれＯＦＳＥＴ５０を基に前画
面と現画面のピークＮＯ．の対応付けを行う。

【００８３】ＯＦＳＥＴ５０=ｓｔａｒｔｂ４７-(ｓｔ
ａｒｔ４８＋ＯＦＳＴｍｉｎ) 式４９具体的には、例
えば、現画面のピークＮＯ．ｉ（開始番号０、終了番号
ｅｎｄとする）に対し、前画面のピークＮＯ．ｉｂ（開
始番号０、終了番号ｅｎｄｂとする）のうち、ピーク位
置がピークＮＯ．ｉのピーク領域内に存在するもので、
Ｘ方向の鼻孔目間距離の誤差ｄｘが最も小さい（＝Ｄｍ
ｉｎ）前画面のピークＮＯ．ｉｂｋが対応するピークと
して配列Ｐｎ［ｉ］＝ｉｂｋ、及びその時のＤｍｉｎの
配列Ｄｍ［ｉ］＝Ｄｍｉｎを作成する。以上が、実施の
形態３における位置対応付け手段である。対応付けされ
ないピークに関しては、実施の形態１と同様、Ｐｎ
［ｉ］＝ＮＯ＿ＶＡＬＵＥ（＝０ｘｆｆ）など、対応付
けなしの旨をデータで保存しておく。

【００８４】次に、図２０を参照して、目追跡領域内ヒ
ストグラムのマッチングにより、対応付けを行う処理に
ついて詳細に説明する。まず、ステップＳＴ４２１０に
て、マツチング開始ヒストグラム位置を設定する。前画
面のヒストグラムマツチング開始Ｘ方向位置をｓｔａｒ
ｔｂ、現画面のヒストグラムマツチング開始Ｘ方向位置
をｓｔａｒｔとする（詳細は段落００６９参照）。次
に、ステップＳＴ４２１１にて、前画面と現画面との顔
位置のずれＯＦＳＴを０で、ヒストグラム誤差の２乗の
累積の最小値を０ｘｆｆでそれぞれ初期化する。続い
て、ステップＳＴ４２１２にて、前画面の位置ｊをｔａ
ｒｔｂで初期化し、現画面の位置ｋをｔａｒｔ＋０ＦＳ
Ｔで初期化し、ヒストグラム誤差の２乗の累積ｓｕｍを
０で初期化する。ステップＳＴ４２１３では、ｊがｅｎ
ｂ（前画面の目追跡領域Ｘ方向終了位置）より小さいか
否かを判定する。小さければ、ステップＳＴ４２１４に
てｋがｅｎ（現画面の目追跡領域Ｘ方向終了位置）より
小さいか否かを判定する。小さければ、ステップＳＴ４
２１５にて、前画面の目追跡領域内ＸヒストグラムＸＨ
ＩＳＴ＿Ｂ［ｊ］と現画面の目追跡領域内Ｘヒストグラ
ムＸＨＩＳＴ［ｋ］の差分ｓｕｂを演算し、ｓｕｂの２
乗の和ｓｕｍを演算する。ステップＳＴ４２１６、ステ
ップＳＴ４２１７にて、それぞれ現画面位置ｋ、前画面
位置ｊをインクリメントし、ステップＳＴ４２１３へ戻
る。ステップＳＴ４２１３またはステップＳＴ４２１４
のいずかが条件を満たさなくなった場合（すなわち前画
面、現画面のいずれかの追跡領域が終了した場合）、ス
テップＳＴ４２１８へ移る。ステップＳＴ４２１８で
は、ｓｕｍが最小値ｓｕｍｍｉｎより小さいか否かを判
定する。小さければ、ＯＦＳＴ最小値０ＦＳＴｍｉｎ、
及びヒストグラム誤差の２乗の累積の最小値ｓｕｍｍｉ
ｎを更新し、ステップＳＴ４２２０へ移る。ｓｕｍがｓ
ｕｍｍｉｎより大きければ、ステップＳＴ４２１９を通
過せずにステップＳＴ４２２２０へ移る。ステップＳＴ
４２２０では、０ＦＳＴが所定の最大閾値ＴＨｍａｘよ
り小さいか否かを判定し、小さければステップＳＴ４２
２１にて０ＦＳＴを２インクリメントしてステップＳＴ
４２１２へ戻り、大きければ処理を終了する。

【００８５】以上の処理により、位置対応付けの信頼性
が前記実施の形態１の場合よりも向上する。以下、重
複、再対応付け等は実施の形態１と同様に行う。

【００８６】

【発明の効果】以上のように、この発明の目画像追跡装
置によれば、目画像だけでなく、目周辺画像も追跡する
ことにより、目喪失時も目喪失を認識して、誤検出する
ことなく目画像追跡を精度良く行うことができる。

【００８７】また、画像検索手段においてのみ幾つかの
評価関数値を求めて、それらを用いて目画像を正確に抽
出し、画像追跡手段においては複雑な処理は行わず対応
付けにより目画像を抽出するため、処理を高速に行うこ
とができる。また、画像復帰手段により、喪失して対応
付け不可能であった像を判定・補正することにより、精
度よく眼画像の追跡を行うことができる。

【００８８】さらに、位置対応付け手段において、鼻孔
・目の位置情報を基にして対応付けを行うことにより、
処理を一層簡単に行うことができる。

【００８９】さらにまた、位置対応付け手段において、
目抽出領域内形状ヒストグラムを基にした対応付けを間
引きして行うことにより、処理時間を増加させることな
く精度よく対応付けを行うことができる。

【００９０】また、最初の対応付け後、さらに重複解消
手段、再対応付け手段及び目確定手段を付加して、誤っ
た対応付けを判定、修正することにより、さらに精度良
く眼画像の追跡を行うことができるものである。

【図面の簡単な説明】

【図１】この発明の実施の形態１による眼画像追跡装
置の構成を示す図であり、（ａ）はその概略構成を示す
ブロック図、（ｂ）はその機能的構成を示すブロック図
である。

【図２】実施の形態１の処理の流れを示すフローチャ
ートである。

【図３】撮像装置からの入力画像を示す図である。

【図４】画像検索手段の説明図である。

【図５】実施の形態１における画像追跡手段の処理の
流れを示すフローチャートである。

【図６】目抽出領域設定手段により設定された目抽出
領域を示す図である。

【図７】画像検索手段により検索された目画像及び目
上画像、目下画像を示す図である。

【図８】目抽出領域内において作成されたＸヒストグ
ラム及びＹヒストグラムを示す図である。

【図９】画像検索手段の処理の流れを示すフローチャ
ートである。

【図１０】顔要素ブロック化手段によりブロック化さ
れた画像を示す図である。

【図１１】実施の形態１における位置対応付け手段の
処理の流れを示すフローチャートである。

【図１２】対応付けによる重複例を示す図である。

【図１３】重複解消手段の重複ピーク検索部の処理の
流れを示すフローチャートである。

【図１４】重複解消手段の重複解消部の処理の流れを
示すフローチャートである。

【図１５】再対応付け手段の現画面ピーク数が２以上
の場合の処理の流れを示すフローチャートである。

【図１６】再対応付け手段の現画面ピーク数が１の場
合の処理の流れを示すフローチャートである。

【図１７】画像復帰手段の説明図である。

【図１８】実施の形態２による眼画像追跡装置の機能
的構成を示すブロック図である。

【図１９】実施の形態２における目確定手段の処理の
流れを示すフローチャートである。

【図２０】実施の形態３における位置対応付け手段の
処理の流れを示すフローチャートである。

【図２１】実施の形態３における位置対応付け手段の
説明図である。

【図２２】従来例の装置全体の構成を示す図である。

【図２３】従来例の動作の流れを示すフローチャート
である。

【符号の説明】

１撮像装置、２画像メモリ、３プロセッサ、４
顔画像入力手段、５２値化手段、６画像検索手段、７
画像追跡手段、９第１眼抽出領域設定手段、１０
第１画像候補抽出手段、１１画像対応付け手段、１２
第２眼抽出領域設定手段、１３第２画像候補抽出手
段、３１画像対応付け手段、３２画像復帰手段、３３
位置対応付け手段、３４重複解消手段、３５再対
応付け手段、４２眼確定手段、４３眼候補ペア検索
手段。

Claims

【特許請求の範囲】

【請求項１】顔画像を入力する顔画像入力手段と、入力した顔画像を２値化する２値化手段と、２値化された画像内で目画像及び目周辺画像を検索する
画像検索手段と、検索した目画像及び目周辺画像を追跡する画像追跡手段
と、を備えることを特徴とする目画像追跡装置。
【請求項２】前記画像検索手段は、２値化された画像内の目抽出領域を設定する第１目抽出
領域設定手段と、前記目抽出領域における目画像候補及び目周辺画像候補
を抽出する第１画像候補抽出手段と、前記目画像候補及び目周辺画像候補内で目画像及び目周
辺画像を確定する候補確定手段と、を備えることを特徴とする請求項１に記載の目画像追跡
装置。
【請求項３】前記画像追跡手段は、２値化された画像内の目抽出領域を設定する第２目抽出
領域設定手段と、前記目抽出領域における目画像候補及び目周辺画像候補
を抽出する第２画像候補抽出手段と、抽出された候補画像と前画面の像との対応付けを行う画
像対応付け手段と、喪失後また再度出現した画像を画像候補復帰させる画像
復帰手段と、を備えることを特徴とする請求項１に記載の目画像追跡
装置。
【請求項４】前記画像追跡手段は、前記画像対応付け手段による対応付け結果からさらに目
画像を正確に追跡するための目確定手段を、さらに備えることを特徴とする請求項３に記載の目画像
追跡装置。
【請求項５】前記画像対応付け手段は、前記画像候補抽出手段により抽出された目画像候補を前
画面の鼻孔との相対位置・目位置情報を基に前画面の像
との対応付けを行う位置対応付け手段と、対応付けの重複を解消する重複解消手段と、未対応の候補に対し再度対応するものを検討する再対応
付け手段と、を備えることを特徴とする請求項３又は４に記載の目画
像追跡装置。
【請求項６】前記画像対応付け手段は、前記画像候補抽出手段により抽出された目画像候補を前
画面の目抽出領域内形状ヒストグラム・目位置情報を基
に前画面の像との対応付けを行う位置対応付け手段と、対応付けの重複を解消する重複解消手段と、未対応の候補に対し再度対応するものを検討する再対応
付け手段と、を備えることを特徴とする前記請求項３又は４に記載の
目画像追跡装置。
【請求項７】前記目確定手段は、目を左右ペアで検索する目候補ペア検索手段を備え、前
記画像対応付け手段により対応付けされた結果と前記目
候補ペア検索手段により検索された目との対応から目を
確定することを特徴とする請求項４に記載の目画像追跡
装置。