JP3695990B2

JP3695990B2 - 顔画像処理装置

Info

Publication number: JP3695990B2
Application number: JP14509799A
Authority: JP
Inventors: 貴幸山本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1999-05-25
Filing date: 1999-05-25
Publication date: 2005-09-14
Anticipated expiration: 2019-05-25
Also published as: US6606397B1; KR100362322B1; JP2000339457A; KR20000076547A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像処理によって、まず比較的抽出の容易な鼻孔領域を抽出してから鼻孔位置を基準に目位置を推定して目領域を抽出し、この目領域の形状特徴より目の開閉状態を判定するまばたき検出のための顔画像処理装置に関するものである。
【０００２】
【従来の技術】
従来の顔画像処理装置としては、例えば、特開平８−３００９７８号公報に記載されたようなものがある。これは、２値化画像において目・鼻孔領域抽出および開閉判定を行うことを特徴とする顔画像処理装置である。
図９は、特開平８−３００９７８号公報に示された顔画像処理装置を簡略的に示す構成図である。
図において、検出対象者１を撮影する画像入力手段としてのカメラ２から取り込まれた多値画像は多値画像保存手段としての多値画像メモリ３に一時記憶され、２値化手段４により２値化され２値化画像保存手段としての２値化画像メモリ５に一時記憶される。特徴抽出手段６により、目・鼻孔２値化領域を抽出し、目の形状特徴を基に開閉判定手段７により目の開閉状態を判定する。
【０００３】
次に、動作について、図１０〜図１２を参照して説明する。
図１０は、図９の顔画像処理装置の目追跡アルゴリズムを示すフローチャートである。
図において、カメラ２による顔画像撮影にて検出対象者１の多値画像を得る（ステップＳ１）。ここでは、カメラ制御の処理も含まれる。ステップＳ１で得られた多値画像をステップＳ２において１フレームごとに多値画像メモリ３に一時記憶する。ステップＳ２で得られた多値画像を２値化手段４で２値化し（ステップＳ３）、１フレーム毎に２値化画像メモリ５に一時記憶する（ステップＳ４）。
【０００４】
次いで、２値化画像メモリ５より出力される２値化画像に対し、特徴抽出手段６にて鼻孔を抽出し（ステップＳ５）、鼻孔位置を基準に顔の配置条件から両目領域を推定して目候補領域を設定する（ステップＳ６）。次いで、ステップＳ７において、目候補領域より目領域を選択するが、目候補領域を選択する条件として形状特徴，前画面位置からの差分を用いる。初回の抽出以降は鼻孔・目とも前画面位置を基準に位置推定を行い、通常は鼻孔位置基準に目位置を抽出するが、鼻孔未抽出の場合は目位置より補完する。そして、ステップＳ７で、目２値化領域が選択されていれば開閉判定手段７により開閉判定を行い（ステップＳ８）、ステップＳ１に戻る。
【０００５】
図１１は、上記ステップＳ７における目２値化領域選択におけるまゆ誤抽出の例である。検出対象者１の照明状態や２値化閾値が適正値を大幅に上回っているときにこのような目２値化領域の一部が欠如することが多く、目・まゆとも目候補２値化領域１６に含まれると、形状の近いまゆを誤抽出することがある。また、一旦まゆを誤抽出すると、鼻孔２値化領域１２との相対位置関係が目と近いため追跡が安定してしまい、目追跡への復帰が困難となる。
【０００６】
図１１とは逆に２値化閾値が適正値を下回っているとき、左目の目尻陰部分が目２値化領域に含まれ場合もある（図７（ｂ）参照）。開閉判定手段７における開閉判定目切り出し領域１５は目重心位置１１を基準に設定されるため、不要な２値化領域が含まれると本来の目領域からはずれて設定されてしまい、正しい開閉判定ができない。
【０００７】
図１２は、図１０のステップＳ８における開閉判定の具体的な動作を示すフローチャートである。
ステップＳ７で選択された目２値化領域に対し、ステップＳ１０において重心位置を設定する。ステップＳ１１において、目重心位置を基準として顔水平方向左右均等に開閉判定のための目領域切り出しを行う。ステップＳ１２において、開閉判定目切り出し領域内の目２値化領域に対して目尻形状の特徴抽出を行い、目評価関数値とする。ステップＳ１３において、目評価関数値と開閉閾値を比較し、その結果に応じてステップＳ１４において開判定、ステップＳ１５において閉眼判定に至る。閉眼判定の場合は、ステップＳ１６において閉眼時間をカウントする。
【０００８】
また、テンプレートを用いた従来の顔画像処理装置としては、例えば、特開平８−１７５２１８号公報に記載されたようなものがある。これは、撮像された画像に対して予め設定されている標準顔テンプレートを上下左右に順次移動させて相関演算を行い、その検出対象者用の対象テンプレートを作成するテンプレート作成手段と、上記対象テンプレートを用いて相関演算を行い、検出対象者の目領域を検出する目領域検出手段を有することを特徴とする顔画像処理装置である。図１３は、特開平８−１７５２１８号公報に示された顔画像処理装置を簡略的に示す構成図である。
【０００９】
図において、検出対象者１を撮影するカメラ２に画像処理装置３１が接続されており、検出対象者１の顔画像を画像処理装置３１に供給する。画像処理装置３１にはＡ／Ｄ変換器、正規化回路および相関演算回路を備えており、入力された画像信号をディジタル信号に変換し、さらに濃淡正規化処理を行う。画像処理装置３１には、メモリ３２が接続されている。メモリ３２には標準テンプレートおよび目・まゆなどの顔要素の配置データが予め格納されている。画像処理装置３１はさらにＥＣＵ（電子制御装置）３３に接続されており、処理結果をＥＣＵ３３に供給する。ＥＣＵ３３は、処理結果から検出対象者の運転状態を判別し、警報装置３４に制御信号を出力して警報を発する構成である。
【００１０】
【発明が解決しようとする課題】
ところで、上述の特開平８−３００９７８号公報に示された従来の顔画像処理装置では、以下のような問題点があった。
即ち、２値化手段において多値画像を２値化して画像処理を行っていたため、多値画像の濃淡情報を破棄していた。そのため、目・鼻孔の形状特徴を正しく認識するには撮影された検出対象者の顔画像の明るさに応じて一画面毎に２値化閾値を制御しなければならず、この２値化閾値により特徴抽出結果が大きく左右されるものとなっていた。
【００１１】
また、２値化形状特徴は２値化閾値により左右されるため不安定である。例えば、鼻孔抽出から目抽出に移行するまでの間に顔全体の明るさが変化あるいは顔の向きが変化する場合や、顔の部位により明るさが異なり、鼻孔抽出には適当な２値化閾値であっても目抽出には不適当な２値化閾値である場合には、一画面毎に一意的な２値化閾値で生成される２値化画像から同時に目・鼻それぞれの形状を２値化領域として正しく抽出することは不可能であった。特に、目２値化領域の形状が崩れると、まゆを誤抽出したり、また目抽出が正しく行われても開閉判定が正しく行われないことがあった。
【００１２】
つまり、検出対象者の照明状態や２値化閾値が適正値を大幅に上回っているときにこのような目２値化領域の一部が欠如することが多く、目・まゆとも目候補２値化領域に含まれると、形状の近いまゆを誤抽出することがある。また、一旦まゆを誤抽出すると、鼻孔２値化領域との相対位置関係が目と近いため追跡が安定してしまい、目追跡への復帰が困難になるという問題があった。
【００１３】
また、開閉判定手段における開閉判定目切り出し領域は目重心位置を基準に設定されるため、不要な２値化領域が含まれると本来の目領域からはずれて設定されてしまい、正しい開閉判定ができないといった問題があった。
【００１４】
一方、上述の特開平８−１７５２１８号公報に示された従来の顔画像処理装置では、顔が上下方向に動いても目とまゆの上下方向の位置関係は不変であるので、対象目近傍領域を用いて目近傍領域が検出されると、その内の上方の黒色部分はまゆ、下方の黒色部分は目であるというように、目領域を確実に特定できる。しかしながら、顔の動きを考慮すると画像に対して広い範囲を走査してテンプレートマッチングを行わなければならず、相関演算の処理時間増大を招くという問題点があった。
【００１５】
この発明は、このような問題点を解消するためになされたものであって、目抽出時の誤抽出を防止し、目領域２次元形状による開閉判定の信頼性を向上でき、しかも、迅速に開閉判定を行うことができる顔画像処理装置を得ることを目的とする。
【００１６】
【課題を解決するための手段】
この発明は、検出対象者の顔画像を入力とする画像入力手段と、該画像入力手段より得られた濃淡画像を一時的に保存する多値画像保存手段と、該多値画像保存手段より出力される濃淡画像を２値化する２値化手段と、該２値化手段より得られた２値化画像を一時的に保存する２値化画像保存手段と、該２値化画像保存手段より出力される２値化画像から鼻孔領域を抽出し、該鼻孔領域に基づいて目領域を抽出する特徴抽出手段と、該特徴抽出手段により得られた目領域の形状特徴より目の開閉状態を判定する開閉判定手段と、を備え、前記特徴抽出手段は、前記２値化画像保存手段より出力される２値化画像から鼻孔２値化領域を抽出する鼻孔領域抽出手段と、前記２値化画像保存手段より出力される２値化画像から前記鼻孔領域抽出手段により抽出される鼻孔２値化領域を基準点として目２値化領域を抽出する目領域抽出手段とを含み、前記目領域抽出手段は、前記鼻孔領域抽出手段により抽出された鼻孔２値化領域における鼻孔重心位置と、前回抽出時の鼻孔重心位置と目重心位置とのＸＹ方向の距離と、により求まる目基準位置と目２値化領域との偏差に従って、目抽出時における目候補画素へ重み付けをおこなうことを特徴とする顔画像処理装置にある。
また、前記開閉判定手段は、開閉判定のために目領域を切り出す基準となる目重心位置設定時に、前記偏差による重み付けされた目領域画素を用いることを特徴とする。
【００２０】
【発明の実施の形態】
以下、この発明の実施の形態を、図を参照して説明する。
実施の形態１．
図１はこの発明の実施の形態１を示す構成図である。なお、図１において、図９と対応する部分には同一符号を付し、その重複説明を省略する。
図において、特徴抽出手段６Ａにより、目・鼻孔２値化領域を抽出し、目の形状特徴を基に開閉判定手段７Ａにより目の開閉状態を判定する。特徴抽出手段６Ａおよび開閉判定手段７Ａはマイクロコンピュータなどによりソフトウエア的に実行されるものであり、この部分のアルゴリズムが従来例と異なる。また、特徴抽出手段６Ａは、２値化画像メモリ５より出力される２値化画像から鼻孔２値化領域を抽出する鼻孔領域抽出手段と、２値化画像メモリ５より出力される２値化画像から鼻孔領域抽出手段により抽出される鼻孔２値化領域を基準点として目２値化領域を抽出する目領域抽出手段とを含む。
【００２１】
次に動作について、図２〜図８を参照して説明する。
図２は、本実施の形態における目追跡アルゴリズムを示すフローチャートである。
従来例と異なり、ステップＳ９において目候補領域からの目領域選択において前回目抽出時の目・鼻孔間偏差を用いて目候補領域を構成する各画素に重み付けを行うことで、実質的に各目候補領域の信憑性を加味して目領域を選択するものである。また、ステップＳ８の開閉判定処理における目２値化領域の目重心位置決定にも重み付け画素を用いる。
【００２２】
以下、図２のフローチャートについて説明する。
顔画像撮影（ステップＳ１）、多値画像メモリ取り込み（ステップＳ２）、２値化処理（ステップＳ３）、２値化画像メモリ取り込み（ステップＳ４）、鼻孔２値化領域選択（ステップＳ５）、目候補２値化領域設定（ステップＳ６）、目２値化領域選択（ステップＳ７）は従来例と同じであるので、その説明を省略する。。
【００２３】
ステップＳ６にて設定した目候補２値化領域に対して、ステップＳ９において目候補２値化領域を構成する画素に鼻孔位置と前回目抽出位置との偏差により重み付けを行う。
【００２４】
図３は、顔２値化画像における鼻孔重心位置１０から前回抽出時の目重心位置１１までの偏差を示す。
【００２５】
図４は、図３に示した鼻孔からの偏差を用いた重み付けの様子を示す。同図（ｂ）は（ａ）の目２値化領域１３に対して画素毎に鼻孔位置からの偏差により重み付けを行ったものである。重みは鼻孔偏差最小のものが最も大きく、ＡでＡ＞Ｂ＞Ｃ＞・・・の順で下がっていくものとする。
【００２６】
図４のように、重み付けされた目候補領域１４より、形状特徴および重みなどから目２値化領域１３を選択する。また、選択された目２値化領域１３の重心位置は、重み付け画素により求めるものとする。
【００２７】
図５は、上述の図１１における目２値化領域に鼻孔偏差による重み付けを行ったものである。基準位置である鼻孔位置との相対位置関係を画素単位で目抽出アルゴリズムに反映できるため、目領域の形状が崩れたり画素数が少ない場合でも、目としての信憑性は高くなり、図１１のような誤抽出が抑制される。
【００２８】
図６は、目領域として選択された２値化領域１３における開閉判定目切り出し領域１５を示す。目２値化領域１３の目重心位置１１を中心に顔水平方向左右均等の一定範囲を開閉判定に関する開閉判定目切り出し領域１５として切り出す。同図（ａ）が開状態を表し、（ｂ）が閉眼状態を表す。この開閉判定目切り出し領域１５内の目２値化領域形状特徴の変化、例えば目尻の傾きなどに着目して目の開閉状態を判定する。
【００２９】
図７（ａ）は、目２値化領域１３に対する目重心位置１１および開閉判定目切り出し領域１５を示す。同図７（ｂ），（ｃ）は、目尻の陰を含んで２値化された場合の目２値化領域を示し、同図（ｂ）は鼻孔偏差による重み付けがない場合の目重心位置であり、同図（ｃ）は鼻孔偏差による重み付けがある場合の目重心位置である。
【００３０】
同図（ｂ）では、目２値化領域１３に目尻陰２値化領域１７を含むため、目重心位置１１が本来の目の重心位置とかけ離れたところに設定されている。そのため、開閉判定目切り出し領域１５が目尻寄りに設定され、形状特徴を用いた開閉判定が正しく行われない恐れがある。
【００３１】
同図（ｃ）では、目尻陰２値化領域１７を構成する画素は、図８に示すように鼻孔偏差による重み付けにより重みが低く設定されるため、重み付き画素による目重心位置１１は本来の目の位置に設定される。したがって、開閉判定目切り出し領域１５が適正に設定されるため、開閉状態を正しく判定できるものである。
【００３２】
なお、本実施の形態では、２値化画像を対象に重み付け画素を用いたが、多値画像に対しても同様の効果を期待できるものである。
【００３３】
【発明の効果】
以上のように、この発明によれば、検出対象者の顔画像を入力とする画像入力手段と、該画像入力手段より得られた濃淡画像を一時的に保存する多値画像保存手段と、該多値画像保存手段より出力される濃淡画像を２値化する２値化手段と、該２値化手段より得られた２値化画像を一時的に保存する２値化画像保存手段と、該２値化画像保存手段より出力される２値化画像から鼻孔領域を抽出し、該鼻孔領域に基づいて目領域を抽出する特徴抽出手段と、該特徴抽出手段により得られた目領域の形状特徴より目の開閉状態を判定する開閉判定手段とを備えたので、目の開閉状態を正しく判定でき、以て、開閉判定の信頼性を向上でき、しかも従来の如くテンプレートマッチングを行う必要もないので、短い処理時間で開閉判定を行うことができるという効果がある。
【００３４】
また、前記特徴抽出手段は、前記２値化画像保存手段より出力される２値化画像から鼻孔２値化領域を抽出する鼻孔領域抽出手段と、前記２値化画像保存手段より出力される２値化画像から前記鼻孔領域抽出手段により抽出される鼻孔２値化領域を基準点として目２値化領域を抽出する目領域抽出手段とを含むので、目の開閉状態をより正しく判定できるという効果がある。
【００３５】
また、前記目領域抽出手段は、前記鼻孔領域抽出手段により抽出された鼻孔２値化領域と前回目抽出時の目２値化領域との偏差を、目抽出時における目候補画素の重みとして用いるので、実質的に目候補画素の信憑性を加味して目領域を正しく抽出でき、誤抽出を抑制できるという効果がある。
【００３６】
また、前記開閉判定手段は、開閉判定のために目領域を切り出す基準となる目重心位置設定時に、鼻孔偏差により重み付けされた目領域画素を用いるので、目の開閉状態をより正しく判定できるという効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１を示す構成図である。
【図２】この発明の実施の形態１に係る目・鼻孔追跡アルゴリズムを示すフローチャートである。
【図３】検出対象者の２値化画像における鼻孔重心位置と目重心位置の偏差を示す図である。
【図４】この発明の実施の形態１に係る目候補２値化画素の重み付けの例を示す図である。
【図５】目２値化領域の一部が欠如した場合の、この発明の実施の形態１に係る目候補２値化画素の重み付けの例を示す図である。
【図６】開閉時の目２値化領域形状の変化および開閉判定目切り出し領域を示す図である。
【図７】目２値化領域に目尻陰が含まれる場合の、開閉判定目切り出し領域および目重心位置を示す図である。
【図８】目２値化領域に目尻陰が含まれる場合の、この発明の実施の形態１に係る目候補２値化画素の重み付けの例を示す図である。
【図９】従来の顔画像処理装置を示す構成図である。
【図１０】従来の顔画像処理装置の目・鼻孔追跡アルゴリズムを示すフローチャートである。
【図１１】目抽出時にまゆを誤抽出した例を示す図である。
【図１２】従来の開閉判定アルゴリズムを示すフローチャートである。
【図１３】テンプレートマッチングを用いた従来の顔画像処理装置を示す構成図である。
【符号の説明】
１検出対象者、２カメラ、３多値画像メモリ、４２値化手段、５２値化画像メモリ、６従来の特徴抽出手段、６Ａ本発明の特徴抽出手段、７従来の開閉判定手段、７Ａ本発明の開閉判定手段、１０鼻孔重心位置、１１目重心位置、１２鼻孔２値化領域、１３目２値化領域、１４重み付き目候補画素、１５開閉判定目切り出し領域、１６目候補２値化領域、１７目尻陰２値化領域。

Claims

検出対象者の顔画像を入力とする画像入力手段と、
該画像入力手段より得られた濃淡画像を一時的に保存する多値画像保存手段と、
該多値画像保存手段より出力される濃淡画像を２値化する２値化手段と、
該２値化手段より得られた２値化画像を一時的に保存する２値化画像保存手段と、
該２値化画像保存手段より出力される２値化画像から鼻孔領域を抽出し、該鼻孔領域に基づいて目領域を抽出する特徴抽出手段と、
該特徴抽出手段により得られた目領域の形状特徴より目の開閉状態を判定する開閉判定手段と、
を備え、
前記特徴抽出手段は、前記２値化画像保存手段より出力される２値化画像から鼻孔２値化領域を抽出する鼻孔領域抽出手段と、前記２値化画像保存手段より出力される２値化画像から前記鼻孔領域抽出手段により抽出される鼻孔２値化領域を基準点として目２値化領域を抽出する目領域抽出手段とを含み、
前記目領域抽出手段は、前記鼻孔領域抽出手段により抽出された鼻孔２値化領域における鼻孔重心位置と、前回抽出時の鼻孔重心位置と目重心位置とのＸＹ方向の距離と、により求まる目基準位置と目２値化領域との偏差に従って、目抽出時における目候補画素へ重み付けをおこなうことを特徴とする顔画像処理装置。
前記開閉判定手段は、開閉判定のために目領域を切り出す基準となる目重心位置設定時に、前記偏差による重み付けされた目領域画素を用いることを特徴とする請求項１に記載の顔画像処理装置。