JP3926507B2 - 目位置及び顔位置検出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、顔画像を利用するヒューマンインタフェースシステムにおいて、顔画像から目及び顔位置を検出する目位置及び顔位置検出装置に関するものである。
【０００２】
【従来の技術】
顔をヒューマンインタフェースに利用する場合、顔画像から目や口といった顔部品の位置を正確に知る必要がある。例えば、このような従来技術として、
文献：“横山太郎，呉海元，谷内田正彦、「色彩画像からの顔の発見と顔部品の同定」，情報処理学会研究会資料ＣＶＩＭ１００−１１，ｐｐ８５−９２”
に示されたものがあった。
【０００３】
この文献に示された従来技術では、画像データから肌色情報を用いて顔領域を特定した後に、エッジ検出フィルタによるフィルタ処理を施し、更に適当な閾値で２値化して２値エッジ画像を生成して、その画像の各画素をｘ軸方向、ｙ軸方向へ投影して得られる投影ヒストグラムを元に顔の各部品の位置を求めている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、例えば眼鏡によるエッジの影響によって目や眉の位置を正しく検出できない等、安定した目位置や顔位置の検出処理が行えない問題があった。
【０００５】
【課題を解決するための手段】
本発明は、前述の課題を解決するため次の構成を採用する。
〈構成１〉
被験者を撮影して得た顔画像からエッジ顔画像を生成するエッジ検出部と、上記顔画像の濃淡に基づいて顔の中心線を検出する顔中心線検出処理部と、上記顔中心線と上記エッジ顔画像から顔の左右の横幅を決定する顔横幅検出処理部と、上記顔中心線と上記左右の横幅及び上記エッジ顔画像から顔の縦幅を決定する顔縦幅検出処理部と、上記エッジ顔画像の上記顔の縦幅の領域内において顔の中心線を再度、検出する顔中心線再検出処理部と、上記再検出された顔の中心線と上記エッジ顔画像の上記顔の縦幅の領域から顔の左右の横幅を再度、決定する顔横幅再検出処理部と、上記再検出された顔の中心線と上記再決定された顔の左右の横幅及び上記顔の縦幅とに基づいて上記エッジ顔画像の顔領域を左目領域と右目領域及び鼻領域に分割する顔領域分割部と、上記左右の目領域及び鼻領域に基づいて上記顔画像の対応する領域から各領域エッジ画像を生成し、各領域エッジ画像から左右の目位置及び鼻位置を検出する目位置検出部と、上記検出した左右の目位置及び鼻位置から顔位置を検出する顔位置検出部とを含むことを特徴とする目位置及び顔位置検出装置。
【０００７】
〈構成２〉
構成１に記載の目位置及び顔位置検出装置において、上記顔縦幅検出処理部は、上記顔中心線と顔横幅に基づいて決定した上記エッジ顔画像のエッジ探索領域内で、上側に横エッジが集中的に現れ、その下側に横エッジと縦エッジがほとんど存在しない領域を探索することで目のｙ座標候補位置を決定し、その位置に基づいて顔の縦幅を決定するよう構成されていることを特徴とする目位置及び顔位置検出装置。
【０００９】
〈構成３〉
構成１に記載の目位置及び顔位置検出装置において、上記目位置検出部は、上記鼻領域エッジ画像から眼鏡を検出すると左右の目領域エッジ画像の探索する範囲を絞り込み、該絞り込まれた左目探索領域と右目探索領域からそれぞれ左目と右目の位置を検出するよう構成されていることを特徴とする目位置及び顔位置検出装置。
【００１０】
〈構成４〉
構成１又は３に記載の目位置及び顔位置検出装置において、上記目位置検出部は、特定の領域の画素値が他の領域の画素値より高い値を示す目検出フィルタによって上記顔画像の各画素の目らしさ値を求め、当該目らしさ値を横方向に投影加算処理して目らしさ値投影ヒストグラムを作成し、このヒストグラムに基づいて瞳のｙ座標候補位置を決定するよう構成されていることを特徴とする目位置及び顔位置検出装置。
【００１１】
〈構成５〉
構成４に記載の目位置及び顔位置検出装置において、上記目位置検出部は、上記目らしさ値投影ヒストグラムに基づいて決定された瞳のｙ座標候補位置と、再検出された顔中心線及び顔横幅によって検出される瞳のｘ座標候補位置とから決定される瞳の候補位置の付近で、目検出フィルタによる目らしさ値が最も高い値を取る位置を瞳中心とするよう構成されていることを特徴とする目位置及び顔位置検出装置。
【００１２】
〈構成６〉
構成４または５に記載の目位置及び顔位置検出装置において、上記目検出フィルタは、中央部が黒くその周りが白い部分で覆われている領域の中央の部分に対して高い値となるよう構成されていることを特徴とする目位置及び顔位置検出装置。
【００１４】
〈構成７〉
構成１に記載の目位置及び顔位置検出装置において、上記エッジ検出部は上記顔画像から横方向と縦方向の各エッジ顔画像を生成し、該各エッジ顔画像に基づいて上記被験者とカメラ間の距離を算出し、該カメラの焦点制御を行うオートフォーカス制御部を更に含むことを特徴とする目位置及び顔位置検出装置。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を具体例を用いて詳細に説明する。
《具体例１》
〈構成〉
図１は本発明の目位置及び顔位置検出装置の具体例１を示す構成図である。
図の装置は、ＴＶカメラ１０１、エッジ検出部１０２、目・顔位置検出部１０３からなる。
【００１６】
ＴＶカメラ１０１は、被験者の顔画像を撮影するためのカメラである。エッジ検出部１０２は、ＴＶカメラ１０１からの濃淡画像に対してエッジ検出処理を行う機能を有している。
【００１７】
目・顔位置検出部１０３は、ＴＶカメラ１０１で撮影された濃淡画像と、エッジ検出部１０２でエッジ検出された画像とから目位置及び顔位置を検出する機能部であり、顔領域検出部１１、顔領域分割部１２、目位置検出部１３、顔位置検出部１４からなる。
【００１８】
顔領域検出部１１は、濃淡顔画像とエッジ顔画像を用いて顔領域を決定し、その顔領域の位置情報を濃淡顔画像とエッジ顔画像と共に送出する機能を有している。顔領域分割部１２は、顔領域から眼鏡の影響を受けずに安定して目の位置を検出するために、顔領域を特定の領域に分割して、その分割顔領域の位置情報を、濃淡顔画像とエッジ顔画像と共に送出する機能を有している。目位置検出部１３は、分割顔領域中の濃淡情報とエッジ情報を利用して左右の目位置を検出してその目位置を出力する機能部である。顔位置検出部１４は、目位置検出部１３から送られてくる目位置情報とエッジ情報から鼻の位置を推定して、両目と鼻の位置に基づいて正確な顔位置を検出してその情報を出力する機能部である。
【００１９】
〈動作〉
先ず、ＴＶカメラ１０１で撮影された濃淡顔画像はエッジ検出部１０２に送られ、エッジ顔画像を作成する。エッジ検出部１０２では、後の処理で利用するための２種類のエッジ画像を作成する。
【００２０】
図２は、縦エッジ検出フィルタと横エッジ検出フィルタの説明図である。
上記２種類のエッジ画像のうち、一つのエッジ画像は縦方向のエッジを強調した画像であり、図２の（ａ）や（ｂ）に示すような画像フィルタ（これ以外にも同様な働きを行うsobelフィルタ等を利用してもよい）を、単独あるいは組み合わせて用いることでフィルタ処理を行い、その後で予め定められた閾値で２値化処理を行って縦エッジ画像を生成する。
【００２１】
もう一つのエッジ画像は横方向のエッジを強調した画像であり、図２の（ｃ）や（ｄ）に示すような画像フィルタ（これ以外にも同様な働きを行う画像フィルタを利用してもよい）を、単独あるいは組み合わせて用いることでフィルタ処理を行い、その後で同様に２値化処理を行って横エッジ画像を生成する。ここで、生成された二つのエッジ顔画像は、濃淡顔画像とあわせて次の目・顔位置検出部１０３における顔領域検出部１１に送られる。
【００２２】
顔領域検出部１１では次のような手順に従って顔領域を決定する。
図３は、顔領域検出部１１における各機能部の構成とその処理手順を示す説明図である。
図示のように、顔領域検出部１１は、顔中心線検出処理部２１、顔横幅検出処理部２２、顔縦幅検出処理部２３、顔中心線再検出処理部２４、顔横幅再検出処理部２５からなる。
【００２３】
顔中心線検出処理部２１は、濃淡顔画像とエッジ顔画像から顔中心線を検出する機能を有している。顔横幅検出処理部２２は、顔中心線検出処理部２１で得られた顔中心線と、濃淡顔画像とエッジ顔画像とから顔の横幅を検出する機能を有している。顔縦幅検出処理部２３は、顔横幅検出処理部２２で得られた顔の横幅情報と、顔中心線検出処理部２１で得られた顔中心線と、濃淡顔画像とエッジ顔画像とから顔の縦幅を検出する機能を有している。顔中心線再検出処理部２４は、顔縦幅検出処理部２３で得られた顔の縦幅情報と、顔横幅検出処理部２２で得られた顔の横幅情報と、濃淡顔画像とエッジ顔画像とから、再度顔中心線を検出する機能を有している。顔横幅再検出処理部２５は、顔中心線再検出処理部２４で得られた顔中心線と、濃淡顔画像とエッジ顔画像とから顔の横幅を再度検出する機能を有している。
【００２４】
このように構成された顔中心線検出処理部２１〜顔横幅再検出処理部２５では次のような処理を行う。
先ず、顔中心線検出処理部２１では、送られてくる濃淡顔画像の濃淡情報を利用して顔の中心線（後述する図４参照）を決定する。この処理では、特願平７−３４９１５２号明細書で開示されているように、例えば、最も左右の画素値の対称性が高いｘ座標を求めることによって、顔の中心線を検出する。
【００２５】
顔中心線が決定すると、次に顔横幅検出処理部２２において顔の横幅を決定する処理を行う。
図４は、顔中心線と縦エッジ投影ヒストグラムの説明図である。
顔の横幅を決定する処理は、先ず、図４に示すように縦エッジ顔画像全体を縦方向に投影加算処理を行い、縦エッジ投影ヒストグラムを求める。顔画像の場合、縦エッジは通常顔輪郭の部分に多く現れるため、縦エッジ投影ヒストグラムの値が高いところを顔中心線から左右方向に探索することで顔の横幅を決定する。
【００２６】
顔横幅が決定すると、次に顔中心線と顔横幅から顔縦幅検出処理部２３において顔の縦幅を決定する。顔の縦幅を決定する場合、目の付近に横エッジが集中的に現れ、その下の頬の部分にはエッジがほとんど現れないことを利用して、目のｙ座標候補位置を検出し、その位置に基づいて顔の縦幅を決定する。その手法を次に説明する。
【００２７】
図５は、顔中心線と目探索領域内の横エッジ投影ヒストグラムと縦横エッジ投影ヒストグラムの説明図である。
先ず、顔中心線と顔の横幅から目のｙ座標候補位置を探索するためのエッジ探索領域を決定する。図５に示すように、顔中心線のｘ座標をｘ０、被験者の右側の顔幅をＲ、左側の顔幅をＬとすると、被験者の右側領域におけるエッジ探索領域は、
ｘ０−（α＊Ｒ＋β）≦ｘ≦ｘ０−（γ＊Ｒ＋δ）…（１）
の範囲で現される領域である（但し、α，β，γ，δは定数）。同様に左側顔領域におけるエッジ探索領域は、
ｘ０＋（γ＊Ｌ＋δ）≦ｘ≦ｘ０＋（α＊Ｌ＋β）…（２）
の範囲である。このように横幅によって探索範囲を設定することで、画像上の顔の大きさが異なっても対応できるようになる。
【００２８】
次に、左右のエッジ探索領域内におけるエッジ情報を利用して目のｙ座標候補位置を決定する。その処理は図５に示すように、先ず、左右のエッジ探索領域内における横エッジを横方向に投影加算処理を行い、横エッジ投影ヒストグラムを作成する。同様に縦エッジと横エッジを横方向に投影加算処理を行い、縦横エッジ投影ヒストグラムも作成する。そのとき、目付近には目や眉によって横エッジが発生するため横エッジ投影ヒストグラムの値が高くなる。但し、横エッジ投影ヒストグラムは目・眉の位置以外にも服の襟付近や背景上に横方向の直線等がある場合にも高い値を示す結果となるため、目の下の頬の領域にはエッジがほとんど存在しないということを利用して、目のｙ座標候補位置を決定する。
【００２９】
具体的には、横エッジ投影ヒストグラムの値が集中的に高くなった部分の下に、縦横エッジ投影ヒストグラムの値が集中的に低くなる部分を探索することで目のｙ軸上での候補位置を決定する。このような処理によって目のｙ座標候補位置が決定される。図５では直線ｙ＝ｙ０の位置となる。
【００３０】
目のｙ座標候補位置が決定すると、前に求められている顔の横幅情報も利用して顔の縦幅を決定する。具体的には図５の直線ｙ＝ｙ１が顔領域の上限、直線ｙ＝ｙ２が顔領域の下限を表している。このｙ１とｙ２の値は目のｙ座標候補位置ｙ０と左右の顔幅ＬとＲとから以下の式によって決定される。
【００３１】
ｙ１＝ｙ０−ε（Ｒ＋Ｌ）＋φ…（３）
ｙ２＝ｙ０−ζ（Ｒ＋Ｌ）＋χ…（４）
【００３２】
但し、ε，ζ，φ，χは定数を表す。この時、目のｙ座標候補位置ｙ０は眼鏡のフレームのエッジによって本来の目のｙ座標からずれていることがあるため、ｙ１とｙ２の位置はその可能性も考慮に入れて少し大きめになるように、ε，ζ，φ，χを設定した方が良い。ここで、顔の縦幅をＨとするとＨは以下の式から求められる。
Ｈ＝ｙ２−ｙ１ …（５）
【００３３】
顔縦幅検出処理部２３までの処理で顔領域の横幅と縦幅が決定されたことになるが、顔中心線と横幅については再度検出処理を行う。これは、顔中心線検出処理と顔横幅検出処理は、探索領域を限定せず画像全体を処理対象にしているため、顔以外の領域の影響で本来の位置から若干ずれることがあるためである。
【００３４】
そこで、顔縦幅検出処理部２３までの処理で得られた顔領域を探索範囲として、顔中心線再検出処理部２４と顔横幅再検出処理部２５において、再度、顔中心線と顔横幅の検出処理を行う。
【００３５】
顔中心線再検出処理部２４では、顔縦幅検出処理部２３で得られた顔の縦幅ｙ＝ｙ１からｙ＝ｙ２までの領域内で、顔中心線検出処理部２１で求められた顔中心線のｘ座標：ｘ０の付近を顔中心線検出処理部２１と同様のアルゴリズムで探索することによって顔中心線を計算し、顔中心線のｘ座標：ｘ０′を再度求める。
【００３６】
次に、顔横幅再検出処理部２５では、顔中心線再検出処理部２４で得られた顔中心線ｘ＝ｘ０′に基づいて、顔縦幅検出処理部２３で得られた顔の縦幅ｙ＝ｙ１からｙ＝ｙ２までの領域内で、顔横幅検出処理部２２と同様のアルゴリズムで顔の横幅を計算して、顔の左右の位置を再度求め、得られた右側の顔幅をＲ′、左側の顔幅をＬ′とする。
【００３７】
最終的に顔領域検出部１１では、これらの処理結果である顔領域情報、つまり顔の中心線位置と顔の上下左右の位置情報が得られ、これらの情報が濃淡画像とエッジ顔画像と共に次の顔領域分割部１２に送られる。
【００３８】
顔領域分割部１２では、眼鏡の影響を受けずに安定して目の位置を検出するために顔領域を分割する。
図６は、左右の目領域と鼻領域の説明図である。
顔領域の分割は、図示のように、顔中心線及び顔領域の位置情報に基づいて顔領域を鼻領域、右目領域、左目領域に分割する。鼻領域は眼鏡検出に利用され、右目領域、左目領域は眼鏡の有無を反映して目の位置を決定するのに利用される。
【００３９】
右目領域と左目領域の幅は顔領域検出部１１で用いた式（１），（２）と同様に顔中心線のｘ座標によって決定される。但し、式（１），（２）では、顔中心線のｘ座標に顔中心線検出処理部２１と顔横幅検出処理部２２で得られたｘ０，Ｒ，Ｌを用いたが、ここでは顔中心線再検出処理部２４で得られたｘ座標：ｘ０′と顔横幅再検出処理部２５で得られた左右の顔横幅：Ｒ′，Ｌ′を用いて、以下の式によって各領域の横幅を決定する。
ｘ０′−（α＊Ｒ′＋β）≦ｘ≦ｘ０′−（γ＊Ｒ′＋δ）…（６）
ｘ０′＋（γ＊Ｌ′＋δ）≦ｘ≦ｘ０′＋（α＊Ｌ′＋β）…（７）
【００４０】
また、左右の目領域の縦幅については顔の縦幅Ｈより以下の式から求められる範囲とする。
ｙ１≦ｙ≦ｙ１＊ω＋ψ …（８）
但し、ω，ψは定数である。また、鼻領域については、ｘ０′，Ｒ′，Ｌ′に基づいて次の式から決定される。
ｘ０′−（η＊（Ｒ′＋Ｌ′）＋θ）≦ｘ≦ｘ０′＋（η＊（Ｒ′＋Ｌ′）＋θ） …（９）
ｙ１≦ｙ≦ｙ２ …（１０）
但し、η，θは定数を表す。そして、ここで得られた右目領域、左目領域、鼻領域の位置情報が、濃淡顔画像、エッジ顔画像、顔領域とあわせて次の目位置検出部１３に送られる。
【００４１】
目位置検出部１３では、顔領域における右目領域、左目領域、鼻領域内の濃淡顔情報、エッジ顔情報を利用して、瞳中心の位置を決定する。
【００４２】
図７は、目位置検出部１３の構成及びその処理手順を示す説明図である。
図示のように、目位置検出部１３は、瞳ｙ座標候補位置検出処理部３１、瞳ｘ座標候補位置検出処理部３２、瞳中心位置検出処理部３３から構成されている。
【００４３】
瞳ｙ座標候補位置検出処理部３１は、左右の目領域から瞳のｙ座標候補を決定する機能を有している。瞳ｘ座標候補位置検出処理部３２は、左右の顔横幅Ｒ′，Ｌ′と目の一般的な位置情報に基づいて瞳のｘ座標候補を決定する機能を有している。瞳中心位置検出処理部３３は、瞳の候補位置の周辺を探索して瞳の中心位置を決定する機能を有している。以下に、それぞれの処理部における処理について詳しく説明する。
【００４４】
瞳ｙ座標候補位置検出処理部３１では、先ず、左右の目領域における各画素毎に「目らしさ値」を計算する。目らしさ値は、次に示すような左右の目検出フィルタによるフィルタ処理を行うことで求められる。
【００４５】
図８は、左右の目検出フィルタの説明図である。
図８の（ａ）（ｂ）に示すような左右の目検出フィルタは、図８における（ｃ）（ｄ）に示す目のような領域、つまり中央の部分が黒く、その周りが白い部分で覆われている領域の中央において高い値を示すようになっている。但し、この左右の目検出フィルタにおいて、鼻に近い側の白い領域に対応する部分ではフィルタ処理を行っていない。これは、左右の目において鼻に近い側は白目の部分が画像上に明確に現れない場合が多いためである。
【００４６】
また、図８（ａ）（ｂ）の目検出フィルタでは、中央の黒い領域に対応する部分の大きさを３×３にして、その周りを１の幅で白い領域に対応するようにしているが、これは顔の大きさによって変化させることも可能である。また、黒い部分と白い部分のフィルタの重みを撮影環境に合わせて図８（ｅ）（ｆ）のように変化させることも可能である。このように、目検出フィルタによって目領域中の各画素での目らしさ値が求められ、瞳中心付近では目らしさ値が高くなる。
【００４７】
目領域中の各画素での目らしさ値が求められると、この値を利用して瞳のｙ座標候補位置を求める。そのためには、左右の目領域中の各画素における目らしさ値を横方向に投影加算処理して目らしさ値投影ヒストグラムを作成する。この時、眼鏡をかけていない場合であれば、図５に示した横エッジ投影ヒストグラムのときと同様に瞳のｙ座標付近でヒストグラムの値が高くなるので、そこが瞳のｙ座標候補位置となる。
【００４８】
しかし、眼鏡をかけている場合は、眼鏡の種類によってはフレーム部分でもヒストグラムの値が高くなる場合がある。
【００４９】
図９は、眼鏡をかけた人の鼻領域における横エッジ投影ヒストグラムの説明図である。
このような眼鏡をかけている場合は、先ず、鼻領域における横エッジを利用して眼鏡検出処理を行う。そのためには、鼻領域における横エッジを横方向に投影加算処理を行って横エッジ投影ヒストグラムを作成する。眼鏡をかけている場合は、鼻領域を上から探索していくと目領域の縦幅に対応する範囲内に眼鏡のフレームの横エッジが最初に現れるので、その位置を眼鏡フレーム位置（ｙ３）とする。そのとき目は、眼鏡フレーム位置より下の位置にある筈なので、眼鏡フレーム位置から決まった下の位置（ｙ４：この値も顔の横幅によって決められる）までを瞳のｙ座標候補位置の探索範囲として、目らしさ値投影ヒストグラムの値を調べて、ある閾値以上で、かつ、最も高い値のｙ座標を瞳のｙ座標候補位置とする。ここで得られた左右の瞳のｙ座標をそれぞれｙｒ，ｙｌ（但し、ｙｒ＝ｙｌ）とする。
【００５０】
左右の瞳のｙ座標候補位置が決まると、次に瞳ｘ座標候補位置検出処理部３２において、顔の横幅Ｒ′，Ｌ′と顔中心線からの一般的な目位置情報とから瞳のｘ座標を決定する。具体的には、左右の瞳のｘ座標をｘｒ，ｘｌとすると、ｘｒとｘｌは以下の式から求められる。
ｘｒ＝ｘ０′−ιＲ′＋κ
ｘｌ＝ｘ０′−ιＬ′＋κ
ここで、ι，κは定数であり、この値は何人かの実測値データから決定される。
【００５１】
ここまでの処理で求められる左右の瞳の候補座標（ｘｒ，ｙｒ）、（ｘｌ，ｙｌ）は投影加算処理による位置情報と一般的な目の位置情報に基づいて決定されているので、正確に瞳の中心にはなっていないことがある。そこで、次に瞳中心位置検出処理部３３において、瞳の中心を検出する。
【００５２】
瞳中心位置検出処理部３３では、左右のそれぞれの瞳の候補位置（ｘｒ，ｙｒ）、（ｘｌ，ｙｌ）付近で、目らしさ値が最も高い位置（ｅｘｒ，ｅｙｒ）、（ｅｘｌ，ｅｙｌ）を検出することで行われる。このようにして得られた（ｅｘｒ，ｅｙｒ）、（ｅｘｌ，ｅｙｌ）を最終的な目位置として出力する。
【００５３】
顔位置検出部１４では、左右の瞳中心位置と鼻の位置とから顔の正確な位置を決定する。鼻の位置は、図９に示す鼻領域中の横エッジ投影ヒストグラムを利用して決定する。鼻領域中の横エッジ投影ヒストグラムでは、主に眼鏡フレーム、鼻、口の部分ではヒストグラムの値が高くなるが、ヒストグラムを上から探索していくと、鼻部分のエッジは瞳中心のｙ座標より下の位置で初めて高くなる位置に現れる特徴がある。そこで、瞳中心位置を探索の開始位置として下向きに鼻領域の横エッジ投影ヒストグラムを探索していき、投影ヒストグラムの値が閾値以上の値を初めに取る位置を鼻のｙ座標：ｎｙとする。鼻のｘ座標は顔中心線のｘ座標であるｘ０′とする。
【００５４】
そして、最後に、両目の位置と鼻の位置の３点から顔領域を決定する。
図１０は、瞳中心と顔領域を示す説明図である。
顔領域の決定は、図１０に示すように、両目の位置（ｅｘｒ，ｅｙｒ）、（ｅｘｌ，ｅｙｌ）の中点の座標を（ｆｘ０，ｆｙ０）として（ｆｘ０，ｆｙ０）から、両目（ｅｘｒ，ｅｙｒ）、（ｅｘｌ，ｅｙｌ）と、鼻（ｘ０′，ｎｙ）までの距離をＥＲ，ＥＬ，Ｎとすると、顔領域は（Ｆｘｌ，Ｆｙｌ）を左上、（Ｆｘ２，Ｆｙ２）を右下の座標として以下の式から決定される。
【００５５】
Ｆｘ１＝λ＊ＥＲ＋σ
Ｆｘ２＝λ＊ＥＬ＋σ
Ｆｙ１＝μ＊Ｎ＋τ
Ｆｙ２＝ν＊Ｎ＋υ
但し、λ，μ，ν，σ，τ，υは定数である。そして、最終的にこの位置情報が顔位置として出力される。
【００５６】
〈効果〉
以上のように、具体例１によれば、顔領域の探索、目領域探索、目位置探索、顔位置探索と粗い探索から細かい探索（coarse-to-fine探索）を行うようにして最終的に目・顔位置を検出するので、高速に、かつ、安定して目位置、顔位置を検出することができる。また、顔領域探索など粗い探索では入力画像をある程度間引いた画像に対して処理を行っても有効であり、その場合更に処理時間の短縮が可能となる。
【００５７】
また、顔中心線検出処理や各領域検出処理においては、入力画像の画素値そのものよりもエッジ情報など各画素間の相対情報に基づいて探索処理を行うので、撮影環境が変化しても、安定して検出処理を行うことができる。
【００５８】
しかも、顔領域を縦方向に左目領域、右目領域、鼻領域と分割して処理を行うことで、眼鏡の検出が容易となり、安定した目の検出に役立つ。
【００５９】
尚、上記具体例１では、濃淡画像を利用するとして説明したが、カラー画像を利用することも可能である。その場合の処理時間は、濃淡画像に比べて増大するが、カラーの情報を利用できる分、顔の中心線を検出する処理、瞳の中心を検出する処理などの精度を向上させることができる。
【００６０】
《具体例２》
〈構成〉
図１１は、本発明の目位置及び顔位置検出装置の具体例２の構成図である。
図示の装置は、ＴＶカメラ２０１、エッジ検出部１０２、目・顔位置検出部２０３、オートフォーカス制御部２０４からなる。また、目・顔位置検出部２０３は、顔領域検出部４１、顔領域分割部１２、目位置検出部１３、顔位置検出部１４から構成されている。ここで、エッジ検出部１０２と、目・顔位置検出部２０３における顔領域分割部１２〜顔位置検出部１４は、具体例１の構成と同様であるため、同一符号を付してその説明を省略する。
【００６１】
具体例２が具体例１と異なる点は、オートフォーカス制御部２０４が新たに加わり、その処理結果がＴＶカメラ２０１の制御と顔領域検出部４１において利用される点である。即ち、具体例２では具体例１の構成にオートフォーカス制御部２０４を加えることでカメラの制御を行い、なおかつそのカメラの制御時の情報を利用して被撮影者までの距離を求めてその情報から顔候補領域を決定するようにしている点を特徴とするものである。ここで、オートフォーカス制御部２０４は、エッジ検出部１０２で検出した縦方向のエッジ画像データと横方向のエッジ画像データに基づいてＴＶカメラ２０１のオートフォーカス制御を行うと共に被験者迄の距離を求める機能を有している。また、目・顔位置検出部２０３は、オートフォーカス制御部２０４で得られた被験者迄の距離情報を用いて、画像データとエッジ画像データから目及び顔位置を検出する機能を有している。
【００６２】
〈動作〉
以下、図１１に示す目位置及び顔位置検出装置の動作を詳細に説明する。
先ず、ＴＶカメラ２０１で撮影された濃淡顔画像はエッジ検出部１０２に送られ、具体例１と同様に縦エッジ画像と横エッジ画像を作成する。ここで生成された二つのエッジ顔画像はオートフォーカス制御部２０４と目・顔位置検出部２０３に送られる。また、目・顔位置検出部２０３には具体例１と同様に濃淡顔画像もあわせて送られる。
【００６３】
オートフォーカス制御部２０４では、エッジ検出部１０２から送られてくる縦エッジ顔画像と横エッジ顔画像の情報を用いてカメラの焦点制御を行う。その焦点制御の手順は、例えば、特願平１０−２７５０４０号明細書に記載された焦点制御アルゴリズムを用いて行うことができる。即ち、画像のコントラストが最大となる結像系の位置までの移動量を、撮影された画像のコントラストに関する評価値の関数として予め設定し、画像のコントラストが最大となる結像系の位置までの移動量を求める場合は、先ず、ＴＶカメラ２０１で撮影される画像の評価値を求め、次に、この評価値から前記の関数に基づいてその移動量を決定するものである。ここで、エッジ検出部１０２から送られてくる縦エッジ顔画像と横エッジ顔画像の情報は、画像のコントラストを示す値に相当するため、この値を用いて焦点制御と被験者迄の距離を算出することができる。
【００６４】
尚、オートフォーカス制御部２０４におけるカメラの焦点制御と被験者迄の距離算出処理については、エッジ検出部１０２から送られてくる縦エッジ顔画像と横エッジ顔画像の情報を用いるものであれば、他の手法を用いてもよい。
【００６５】
このような焦点制御処理によって被験者までの距離が推定され、その推定された距離情報によってカメラのフォーカス位置が決定され、ＴＶカメラ２０１ではそのフォーカス位置への制御を行う。また、この被験者までの距離情報は、目・顔位置検出部２０３における顔領域検出部４１の中で顔領域を検出するのにも使われる。
【００６６】
目・顔位置検出部２０３では、具体例１と同様に顔領域検出部４１で顔の領域を検出し、その検出された顔領域を顔領域分割部１２で分割し、目位置検出部１３で目の位置を検出してその結果を出力する。また、目位置検出部１３の結果を利用して顔位置検出部１４で顔位置を決定してその位置情報を出力する。ここでは、顔領域検出部４１の動作のみが具体例１と異なり、その他の処理部は具体例１と同様の処理を行うので、顔領域検出部４１の動作について以下に詳しく説明する。
【００６７】
図１２は、顔領域検出部４１の構成及びその処理手順を示す説明図である。
図示のように、顔領域検出部４１は、顔中心線検出処理部２１、顔横幅検出処理部５２、顔縦幅検出処理部２３、顔中心線再検出処理部２４、顔横幅再検出処理部５５からなる。
【００６８】
顔領域検出部４１が具体例１における顔領域検出部１１と異なるのは、顔横幅検出処理部５２と顔横幅再検出処理部５５において顔領域を決定する場合に、オートフォーカス制御部２０４から得られる被験者までの距離を利用する点にある。
【００６９】
具体例１では、顔横幅検出処理部２２において、縦エッジ画像を縦方向に投影加算処理を行い、縦エッジが集中的に現れるｘ座標を検出することで顔の横幅を決定した。一方、具体例２では、オートフォーカス制御部２０４から得られる被験者までの距離情報と顔中心線検出処理部２１で求められた顔中心線に基づいて、顔横幅検出処理部５２において人の一般的な横幅情報を利用して顔の横幅を決定する。
【００７０】
具体的には、被験者の右側の顔幅をＲ、左側の顔幅をＬ、カメラから被験者までの距離をＤとし、人の一般的な顔幅をＦとすると、Ｌ，Ｒは以下の式から求められる。
Ｌ＝（ξＤ＋ο）Ｆ＋ρ
Ｒ＝（ξＤ＋ο）Ｆ＋ρ
但し、ξ，ο，ρは定数である。この式から分かるように、ここではＬ＝Ｒとなる。
【００７１】
このようにして求められた左右の顔の横幅Ｌ，Ｒを利用して、顔縦幅検出処理部２３で具体例１と同様な処理を行い、顔の縦幅を決定し、更に、顔横幅再検出処理部５５では、再度求められた顔中心線が前に求めた顔中心線からずれた場合に、そのずれの分のみ補正して、顔の横の位置を決定する。この時、顔の左右の横幅のＲ，Ｌの長さは変化しないため、
Ｒ′＝Ｒ
Ｌ′＝Ｌ
となる。
【００７２】
左右の顔の横幅Ｌ′，Ｒ′が求められると、後は具体例１と同様の処理を行うことで、目、顔の位置が検出される。
【００７３】
〈効果〉
以上のように具体例２によれば、エッジ画像をオートフォーカス制御に利用し、なおかつ、オートフォーカス制御によって得られる被験者までの距離情報を利用して顔領域を決定するので、オートフォーカスと顔領域を決定する処理が高速に行え、なおかつ、具体例１で述べた利点も活かせるため、より高速に目と顔の位置を検出することができる。
【００７４】
《利用形態》
以上の具体例では、各処理において値を求める場合、多くのパラメータ（各具体例においてギリシャ文字で表している）を利用しているが、これらのパラメータは撮影条件で決定されるので、明るさなど撮影条件を数値化することで、これらのパラメータの値をある程度自動的に決定することが可能である。
【００７５】
また、顔領域検出部１１では、例えば、特願平７−３４９１５２号明細書に示されているように、傾いた顔の中心線を検出することも可能である。そのように顔が傾いていることが検出された場合、その傾きに応じて濃淡顔画像、縦エッジ顔画像、横エッジ顔画像も傾けて目及び顔位置検出処理を行うことで、顔が傾いている顔画像からも目及び顔の位置を検出することができる。
【図面の簡単な説明】
【図１】本発明の目位置及び顔位置検出装置の具体例１を示す構成図である。
【図２】縦エッジ検出フィルタと横エッジ検出フィルタの説明図である。
【図３】顔領域検出部における各機能部の構成とその処理手順を示す説明図である。
【図４】顔中心線と縦エッジ投影ヒストグラムの説明図である。
【図５】顔中心線と目探索領域内の横エッジ投影ヒストグラムと縦横エッジ投影ヒストグラムの説明図である。
【図６】左右の目領域と鼻領域の説明図である。
【図７】目位置検出部の構成及びその処理手順を示す説明図である。
【図８】左右の目検出フィルタの説明図である。
【図９】眼鏡をかけた人の鼻領域における横エッジ投影ヒストグラムの説明図である。
【図１０】瞳中心と顔領域を示す説明図である。
【図１１】本発明の目位置及び顔位置検出装置の具体例２の構成図である。
【図１２】具体例２の顔領域検出部の構成及びその処理手順を示す説明図である。
【符号の説明】
１１、４１ 顔領域検出部
１２ 顔領域分割部
１３ 目位置検出部
１４ 顔位置検出部
２１ 顔中心線検出処理部
２２、５２ 顔横幅検出処理部
２３ 顔縦幅検出処理部
２４ 顔中心線再検出処理部
２５、５５ 顔横幅再検出処理部
１０２ エッジ検出部
２０１ ＴＶカメラ

Claims (7)

1. 被験者を撮影して得た顔画像からエッジ顔画像を生成するエッジ検出部と、
   前記顔画像の濃淡に基づいて顔の中心線を検出する顔中心線検出処理部と、
   前記顔中心線と前記エッジ顔画像から顔の左右の横幅を決定する顔横幅検出処理部と、
   前記顔中心線と前記左右の横幅及び前記エッジ顔画像から顔の縦幅を決定する顔縦幅検出処理部と、
   前記エッジ顔画像の前記顔の縦幅の領域内において顔の中心線を再度、検出する顔中心線再検出処理部と、
   前記再検出された顔の中心線と前記エッジ顔画像の前記顔の縦幅の領域から顔の左右の横幅を再度、決定する顔横幅再検出処理部と、
   前記再検出された顔の中心線と前記再決定された顔の左右の横幅及び前記顔の縦幅とに基づいて前記エッジ顔画像の顔領域を左目領域と右目領域及び鼻領域に分割する顔領域分割部と、
   前記左右の目領域及び鼻領域に基づいて前記顔画像の対応する領域から各領域エッジ画像を生成し、各領域エッジ画像から左右の目位置及び鼻位置を検出する目位置検出部と、
   前記検出した左右の目位置及び鼻位置から顔位置を検出する顔位置検出部と、
   を含むことを特徴とする目位置及び顔位置検出装置。
2. 請求項１に記載の目位置及び顔位置検出装置において、
   前記顔縦幅検出処理部は、
   前記顔中心線と顔横幅に基づいて決定した前記エッジ顔画像のエッジ探索領域内で、上側に横エッジが集中的に現れ、その下側に横エッジと縦エッジがほとんど存在しない領域を探索することで目のｙ座標候補位置を決定し、その位置に基づいて顔の縦幅を決定するよう構成されていることを特徴とする目位置及び顔位置検出装置。
3. 請求項１に記載の目位置及び顔位置検出装置において、
   前記目位置検出部は、
   前記鼻領域エッジ画像から眼鏡を検出すると左右の目領域エッジ画像の探索する範囲を絞り込み、該絞り込まれた左目探索領域と右目探索領域からそれぞれ左目と右目の位置を検出するよう構成されていることを特徴とする目位置及び顔位置検出装置。
4. 請求項１又は３に記載の目位置及び顔位置検出装置において、
   前記目位置検出部は、
   特定の領域の画素値が他の領域の画素値より高い値を示す目検出フィルタによって前記顔画像の各画素の目らしさ値を求め、当該目らしさ値を横方向に投影加算処理して目らしさ値投影ヒストグラムを作成し、このヒストグラムに基づいて瞳のｙ座標候補位置を決定するよう構成されていることを特徴とする目位置及び顔位置検出装置。
5. 請求項４に記載の目位置及び顔位置検出装置において、
   前記目位置検出部は、
   前記目らしさ値投影ヒストグラムに基づいて決定された瞳のｙ座標候補位置と、再検出された顔中心線及び顔横幅によって検出される瞳のｘ座標候補位置とから決定される瞳の候補位置の付近で、目検出フィルタによる目らしさ値が最も高い値を取る位置を瞳中心とするよう構成されていることを特徴とする目位置及び顔位置検出装置。
6. 請求項４または５に記載の目位置及び顔位置検出装置において、
   前記目検出フィルタは、中央部が黒くその周りが白い部分で覆われている領域の中央の部分に対して高い値となるよう構成されていることを特徴とする目位置及び顔位置検出装置。
7. 請求項１に記載の目位置及び顔位置検出装置において、
   前記エッジ検出部は前記顔画像から横方向と縦方向の各エッジ顔画像を生成し、
   該各エッジ顔画像に基づいて前記被験者とカメラ間の距離を算出し、該カメラの焦点制御を行うオートフォーカス制御部を更に含むことを特徴とする目位置及び顔位置検出装置。

Images