JP5493676B2 - 眼位置認識装置 - Google Patents

Description

本発明は、認識した顔領域において眼の位置を認識する眼位置認識装置に関する。

画像認識により眼の位置や状態を認識する技術が知られている。例えば、検出された鼻位置を基準位置として、右目探索領域及び左目探索領域として設定し、右目探索領域の画像及び左目探索領域の画像の各々に対して、エッジ処理を行い、左右の目の各々のエッジ画像に基づいて、下まぶたの位置を検出する技術が知られている（例えば、特許文献１参照。）。

また、眼画像から各画素の濃度に基づいてエッジラインを抽出し、エッジラインを二次以上の曲線に近似すると共に、曲率を検出し、検出した曲率が顔の上下方向対して上に凸であり、相関値が所定値以上であるときに上瞼のエッジラインであると判定するものもある（例えば、特許文献２参照。）。

さらに、画像内で上方向から下方向に向かって明（白）から暗（黒）に変化するエッジ（上エッジ）と暗（黒）から明（白）に変化する下エッジを抽出し、上下のエッジペアに基づいてテンプレートを作成し、眼の近傍領域を追跡用のテンプレートとして記憶するものもある（例えば、特許文献３参照。）。

さらに加えて、運転中に長時間目を閉じた状態を検出するため、エッジ画像ベースのアルゴリズムを用いて瞬き時に左右の瞼が同じタイミングで動くことを利用する瞼開度検出技術が知られている（例えば、非特許文献１参照。）。

特開２００８−２３４２０８号公報 特開２００５−２９６３４９号公報 特開２０００−１３７７９２号公報

小島真一、他６名、「瞼開度検出技術の開発」、ＶｉＥＷ２００８ ビジョン技術の実利用ワークショップ、２００８年１２月４日−５日、横浜、Ｂ−２０、p.42-45

しかしながら、上記特許文献１は、鼻の位置に基づいて眼の位置を検出するものであり、上記特許文献２は、エッジラインの曲率に基づいて眼の位置を検出するものであり、上記非特許文献１は、眼領域にエッジ処理を行うものである。このため、眉毛や眼鏡フレームを眼として誤認識する場合があることに加えて、眼の大きさや形状等の個人差に十分に対応し難いといえる。また、上記特許文献３は、眼の形状のテンプレートを作成する際に上瞼と下瞼の両方についてエッジ抽出を行うため、下瞼のエッジ検出が困難である画像に対しては適用し難いといえる。

本発明は、上記のような点に鑑みてなされたものであり、その目的は、誤認識を減らして、個人差に柔軟に対応することのできる眼位置認識装置の提供にある。

上記の目的を達成するために、以下に開示する眼位置認識装置は、顔画像を取得する取得部と、顔画像のうち顔領域を認識する顔認識部と、前記顔領域に基づいて、前記顔領域内の眼位置の解析領域を決定する解析領域決定部と、前記解析領域をエッジ検出してエッジ画像を取得するエッジ検出部と、前記エッジ画像をテンプレートを用いて走査して当該テンプレートと前記エッジ画像内における所定画像領域との一致度合いを算出し、前記一致度合いが閾値以上となる画像領域を眼候補位置として決定する候補決定部と、前記眼候補位置として決定した画像領域のエッジ形状を曲線に近似する曲線近似部と、前記候補決定部において決定した眼候補位置を、前記候補決定部において算出した一致度合いおよび、前記曲線近似部で近似した曲線を特定するための係数に対応付けて保持する保持部と、前記保持部に保持された前記係数に基づいて前記テンプレートの形状を変形させるテンプレート変形部とを備える。

本願明細書の開示によれば、眼位置認識装置において、誤認識を減らして、個人差に柔軟に対応することができる。

眼位置認識装置１の構成例を示す機能ブロック図である。 眼位置認識装置１をコンピュータを用いて実現するためのプログラムの処理例を示すフローチャートである。 テンプレート変形処理の処理例を示すフローチャートの一例である。 眼の状態判定処理の処理例を示すフローチャートの一例である。 取得部１１がカメラ装置２から取得する顔画像５０の一例である。 ドライバが左向きの画像を撮像した顔画像の一例である。 解析領域５４の拡大図である。 左領域６２をエッジ検出する場合に用いるフィルタの一例である。 右領域６１をエッジ検出する場合に用いるフィルタの一例である。 Ｏｐ０５において作成されたテンプレートの一例を示す図である。 エッジ画像をテンプレート７１を用いて走査する場合の一例を示す模式図である。 解析領域５４における眉毛上部６３のエッジラインおよび、解析領域５３における眉毛上部のエッジラインである。 解析領域５４におけるメガネ上部６４のエッジラインおよび、解析領域５３におけるメガネ上部のエッジラインである。 解析領域５４における上瞼６５のエッジラインおよび、解析領域５３における上瞼のエッジラインである。 眼候補位置のエッジラインを曲線近似する場合の例を示す図である。 Ｏｐ１０で蓄積される眼候補位置情報の一例である。 フィット率の算出時に重み付けを行う場合の一例である。

以下においては、本発明の実施形態について図面を用いて具体的に説明する。

［１．第１の実施形態］
(1)本実施形態にかかる眼位置認識装置は、顔画像を取得する取得部と、顔画像のうち顔領域を認識する顔認識部と、前記顔領域に基づいて、前記顔領域内の眼位置の解析領域を決定する解析領域決定部と、前記解析領域をエッジ検出してエッジ画像を取得するエッジ検出部と、前記エッジ画像をテンプレートを用いて走査して当該テンプレートと前記エッジ画像内における所定画像領域との一致度合いを算出し、前記一致度合いが閾値以上となる画像領域を眼候補位置として決定する候補決定部と、前記眼候補位置として決定した画像領域のエッジ形状を曲線に近似する曲線近似部と、前記候補決定部において決定した眼候補位置を、前記候補決定部において算出した一致度合いおよび、前記曲線近似部で近似した曲線を特定するための係数に対応付けて保持する保持部と、前記保持部に保持された前記係数に基づいて前記テンプレートの形状を変形させるテンプレート変形部とを備える。上記構成により、眼位置認識装置において、誤認識を減らして、個人差に柔軟に対応することができる。

(2)上記眼位置認識装置において、前記候補決定部において決定された眼候補位置の中から、眼位置を確定する眼位置確定部をさらに備え、前記テンプレート変形部は、前記眼位置確定部において確定された眼位置に対応する眼位置候補にかかる前記係数に基づいて前記テンプレートの形状を変形させてもよい。

上記構成により、眼位置確定部において確定された眼位置に対応する眼位置候補の係数に基づいて形状を変形させたテンプレートを用いて、候補決定部に眼候補位置を決定させることができるため、個人差に柔軟に対応することができる。例えば、眼の形状等に個人差がある場合であっても、迅速かつ精度よくエッジ画像を走査して眼の位置を認識することができる。

(3)上記眼位置認識装置において、前記テンプレートの形状は円弧形状であり、エッジ形状の近似曲線とするのが好ましい。これにより、エッジ検出を行いやすい上瞼のみに基づいて眼の位置を認識することができる。

(5)上記眼位置認識装置において、前記エッジ検出部は、前記解析領域において、左領域および右領域のいずれであるかによって異なるエッジ検出を行ってもよい。これにより、左右の画像領域の特徴に応じたエッジ検出を行うことができる。

(6)上記眼位置認識装置において、前記エッジ検出部は、前記解析領域の左領域に対しては、左上から右下への斜め方向の輝度勾配を強調するフィルタを用いてエッジ検出を行い、前記解析領域の右領域に対しては、右上から左下への斜め方向の輝度勾配を強調するフィルタを用いてエッジ検出を行ってもよい。これにより、上瞼が凸形状であることを考慮して、迅速かつ精度よく上瞼のエッジ検出を行うことができる。

(7)上記眼位置認識装置において、前記眼候補位置における前記顔画像に基づいて、前記顔画像の対象人物が眠っているか否かを判定する、眼の状態判定部をさらに備えていてもよい。これにより、例えば、運転中の眼の状態から居眠りにつながる危険な状態であるドライバに対して、警告を促すことができる。

［１−１．機能ブロック図］
図１は、本実施形態にかかる眼位置認識装置の構成例を示す機能ブロック図である。眼位置認識装置１は、例えば、自動車等の車載機に組み込まれるかまたはこれと連動させることにより、ドライバが運転中に居眠りにつながる危険な状態であることを認識して、ドライバや管理者等に対して警告や注意喚起を行うことができる。

図１に示す眼位置認識装置１は、取得部１１、顔認識部１２、解析領域決定部１３、エッジ検出部１４、候補決定部１５、曲線近似部１６、保持部１７、テンプレート変形部１８、眼位置確定部１９および眼の状態判定部２０を備える。

取得部１１は、カメラ装置２等の撮像装置が撮像した顔画像を取得する。ここで、顔画像とは、認識対象となる人物の顔を含む画像である。

顔認識部１２は、上記取得部１１において取得された顔画像の中から顔領域を認識する。ここで、顔領域とは、認識対象となる人物の顔を示す領域である。

解析領域決定部１３は、上記顔認識部１２において認識した顔領域に基づいて、この顔領域内の解析領域を決定する。ここで、解析領域とは、顔近傍において眼が存在する可能性の高い領域として解析対象となる領域である。

エッジ検出部１４は、解析領域決定部１３で決定された解析領域を示す画像をエッジ検出してエッジ画像を取得する。例えば、眼が存在する場合には、眼形状のエッジが検出されることになる。

候補決定部１５は、取得したエッジ画像を、テンプレートを用いて走査する。また、テンプレートとエッジ画像内における所定画像領域との一致度合いを算出する。さらに、一致度合いが閾値以上となる画像領域を眼候補位置として決定する。例えば、テンプレートは、上瞼を模擬した上に凸の半円弧形状とすることができる。この場合、エッジ画像のエッジラインがテンプレートと重畳するか否かを画素列毎に判断する。

曲線近似部１６は、候補決定部１５において眼候補位置として決定した画像領域のエッジ形状を曲線に近似する。例えば、曲線を二次曲線に近似する。

保持部１７は、候補決定部において決定した眼候補位置を、候補決定部１５において算出した一致度合いおよび、曲線近似部１６で近似した曲線を特定するための係数に対応付けて保持する。

テンプレート変形部１８は、保持部１７に保持された係数に基づいてテンプレートの形状を変形させる。例えば、初期において設定された円弧形状のテンプレートについて、二次曲線の係数に基づいてその湾曲度合いを変更する。

眼位置確定部１９は、候補決定部１５において決定された眼候補位置の中から、眼位置を確定する。例えば、２つの眼候補位置のエッジが同時に上下移動したことを瞬きとみなして、これらの眼候補位置を眼位置として確定することができる。

また、テンプレート変形部１８は、眼位置確定部１９において確定された眼位置に対応する眼位置候補にかかる係数に基づいて、テンプレートの形状を変形させる。これにより、長時間の画像認識処理において眼位置が収束していく眼の形状をテンプレートとすることができる。これにより、眼の形状等に個人差がある場合であっても、迅速かつ精度よくエッジ画像を走査して眼の位置を認識することができる。

眼の状態判定部２０は、眼候補位置における顔画像に基づいて、顔画像の対象人物が眼を開いている否かを判定する。例えば、眼位置において所定期間黒眼が認識できないことに基づいて、居眠り運転につながるドライバの眼の状態を判断することができる。

本実施形態にかかる眼位置認識装置１は、例えば、パーソナルコンピュータやサーバマシン等の汎用コンピュータにより構成することができる。取得部１１、顔認識部１２、解析領域決定部１３、エッジ検出部１４、候補決定部１５、曲線近似部１６、テンプレート変形部１８、眼位置確定部１９および眼の状態判定部２０の各機能部の機能は、コンピュータが備えるプロセッサ（例えば、ＣＰＵ等。）が所定のプログラムを実行することにより実現される。従って、コンピュータを前記各機能部として機能させるための眼位置認識プログラムおよびそれを記録した記録媒体も本発明の実施形態に含まれる。

［１−２．眼位置認識処理のフローチャート］
図２は、眼位置認識装置１をコンピュータを用いて実現するためのプログラムの処理例を示すフローチャートである。図２に示す例では、取得部１１がカメラ装置２から送出された１つの画像フレームを取得すると、顔認識部１２は、顔位置検出を行う（Ｏｐ０１）。

ここで、顔位置検出の具体例を説明する。以下に示す例は、上述したように、眼位置認識装置１が自動車等の車載機に組み込まれるかまたはこれと連動させることにより、ドライバが運転中に居眠りにつながるドライバの眼の状態であることを認識して、ドライバや管理者等に対して警告や注意喚起を行う場合の例である。

図５Ａは、取得部１１がカメラ装置２から取得する顔画像５０の一例である。この顔画像５０は、対象人物であるドライバの顔をほぼ正面から撮影した画像である。

顔認識部１２は、所得した顔画像５０において顔領域を認識する。顔領域の認識方法としては、例えば、顔画像内において、所定の大きさを占める連続した肌色領域を検出し、検出した肌色領域の外形が略楕円形であるか否かに基づいて行うことができる。なお、肌色領域の検出には、例えば、ＨＳＶ表色系の色空間に変換して検出を行うことができる。一例として、注目画素の色相成分Ｈが、所定の閾値Ｔｈ１およびＴｈ２の範囲にあり、かつ、注目画素の彩度成分Ｓが、所定の閾値Ｔｈ３およびＴｈ４の範囲にあれば、肌色と判断することができる。ＨＳＶ表色系を用いることにより、肌の色の変化に対して広範囲の検出が可能となり、黒人や白人等のように皮膚の色が異なる場合であっても、皮膚の色によらず精度よく肌色を認識することが可能となる。

図５Ａにおいては、肌色領域の外周に楕円をフィッティングさせることにより顔領域５１を認識する。一方、図５Ｂは、顔向きが左向きのドライバを撮像した顔画像の一例である。この場合、例えば、モーメント計算等によりフィッティングさせる楕円を変形させて顔領域５１ａを認識すればよい。

Ｏｐ０１において、顔位置検出を終えると、解析領域決定部１３は、鼻位置検出を実行する（Ｏｐ０２）。鼻位置検出は、例えば、認識した顔領域５１において、中心付近に存在する２つの鼻孔を、画素の輝度変化に基づいて検出することに基づいて行うことができる。なお、図５Ａにおいては、２つの鼻孔の中間位置を鼻位置５２として決定している。

続いて解析領域決定部１３は、認識した顔領域５１および鼻位置５２に基づいて、眼が存在すると考えられる解析領域を決定する（Ｏｐ０３）。例えば、この解析領域は、顔領域５１内において鼻位置５２に上部に、左右それぞれの眼が存在すると考えられる位置に矩形形状を設定することにより決定される。図５Ａにおいては、左右のそれぞれの眼を取り囲む矩形形状の領域５３および５４が決定されている。

次に、エッジ検出部１４は、上記において設定した解析領域（例えば、領域５３、５４。）を示す画像の画素値を用いて、解析領域内に、認識対象人物の「上瞼」があるか否かをエッジ検出によって判断する（Ｏｐ０４）。例えば、エッジ検出は、解析領域を水平方向に二分して左領域および右領域に分け、それぞれの領域で異なるフィルタを用いてエッジ検出を行うことができる。

図６Ａは解析領域５４の拡大図である。垂直線６０は、解析領域５４の中心部において左領域６２および右領域６１に二分する線分である。なお、垂直線６０は、眼領域を水平方向に２分割するよう設定することが望ましい。

図６Ｂは、左領域６２をエッジ検出する場合に用いるフィルタの一例である。このフィルタ６６は、左上から右下への斜め方向の輝度勾配を強調するフィルタであるので、右上から左下への斜め方向において形成される対角列の値がすべて０となっている。また、図６Ｃは、右領域６１をエッジ検出する場合に用いるフィルタの一例である。このフィルタ６７は、右上から左下への斜め方向の輝度勾配を強調するフィルタであるので、左上から右下への斜め方向において形成される対角列の値がすべて０となっている。

このように、左右の領域で異なるフィルタを用いてエッジ検出を行うことにより、上瞼の略円弧形状を精度良くエッジ検出することができる。

候補決定部１５は、テンプレートの作成を行う（Ｏｐ０５）。ここで、テンプレートとは、Ｏｐ０４においてエッジ検出によって取得したエッジ画像を走査するためのものである。つまり、エッジ画像上のエッジラインとのフィッティングに用いるためのものである。例えば、テンプレートの作成においては、顔領域５１に基づく顔幅や顔向きから算出した眼の幅および高さを推測して、その形状や大きさを決定する。一例として、「顔幅の１／Ｎ１」を「眼の幅」とし、「眼の幅の１／Ｎ２」を「眼の高さ」とし、「眼の幅」と「眼の高さ」で決定される楕円の円周上の一部を眼形状としてもよい。図７Ａは、Ｏｐ０５において作成されたテンプレートの一例を示す図である。

続いて候補決定部１５は、上記テンプレートを用いてフィッティングを行う（Ｏｐ０６）。フィッティングは、Ｏｐ０４で抽出したエッジ画像に対し、テンプレートがエッジラインにフィットする箇所を走査する。図７Ｂは、エッジ画像をテンプレート７１を用いて走査する場合の一例を示す模式図である。例えば、テンプレート７１をエッジ画像の左上角からＸ方向およびＹ方向に所定画素数づつ移動させて、左上から右下まで走査する。

さらに候補決定部１５は、走査上の各位置に対し、テンプレート７１とエッジラインとの一致度合いを示すフィット率を算出する。具体的には、図７Ａに示すテンプレートを示す画素部分７０における上Ｍ１画素（図７Ａでは３画素）から、下Ｍ２画素（図７Ａでは３画素）の範囲（調査対象範囲）内に、所定の閾値よりも高いエッジ値がある場合、その形状上の点はフィットしているとしてフィット率を算出する。

フィット率は、一例として、テンプレートを構成する各画素列（縦方向）毎に、エッジラインが調査対象範囲に存在するか否かを判断して算出する。つまり、エッジラインが調査対象範囲に存在する場合を、画素列がフィットしていると判断する。具体的には、下記式で算出可能である。
フィット率＝（フィットした画素列の個数÷テンプレートの全画素列数）×１００
候補決定部１５は、フィット率が所定値以上となるエッジラインの位置を、眼候補位置として記憶する。例えば、フィット率が６０％以上であるエッジラインの位置を記憶する。なお、この眼候補位置は複数存在してもよい。

図８は、フィット率が所定値以上となるエッジラインの具体例を示す図である。図８Ａの８１は、図６Ａの解析領域５４における眉毛上部６３のエッジラインである。同様に、図８Ａの８２は、解析領域５３における眉毛上部のエッジラインである。図８Ｂの８３は、図６Ａの解析領域５４におけるメガネ上部６４のエッジラインである。同様に、図８Ｂの８４は、解析領域５３におけるメガネ上部のエッジラインである。図８Ｃの８５は、図６Ａの解析領域５４における上瞼６５のエッジラインである。同様に、図８Ｃの８６は、解析領域５３における上瞼のエッジラインである。

このように、図７Ａに示した円弧形状のテンプレートを用いることにより、このテンプレートと略同一形状のエッジラインを抽出することができる。

曲線近似部１６は、眼候補位置として抽出したエッジラインに対して上瞼検出を行う（Ｏｐ０７）。上瞼検出では、上瞼の候補となるエッジラインを二次曲線で近似する。

図９は、図８Ｃの８６に示した眼候補位置のエッジラインを曲線近似する場合の例を示す図である。曲線近似部１６は、エッジライン上の各画素列において、最もエッジ値が高い点をそれぞれ選択する。そして、選択した各点に対して曲線補間を行い、上瞼を示す二次曲線として決定する。例えば、図９において、画素列９１では画素９１ａが選択され、画素列９２では画素９２ａが選択されている。これらを含む他の画素列において選択された画素を、例えば、最小二乗法を用いて二次曲線９９に近似する。

続いて曲線近似部１６は、候補破棄の有無を判断する（Ｏｐ０８）。例えば、上瞼検出（Ｏｐ０７）において近似した二次曲線の係数が閾値以上または閾値未満の眼候補位置を破棄する。また、複数の画像フレームについて処理を行っている場合においては、前の画像フレームの位置からの移動量が閾値以上である眼候補位置を破棄する。また、連続する画像フレームにおいてフィット率が不安定な候補位置を破棄する。これにより、眼候補位置のエッジラインが眼である確率を向上させることができる。

続いて曲線近似部１６は、対応する左右逆の眼に相当する眼候補位置が存在するか否かを判断し、存在する場合には（Ｏｐ０９、Ｙｅｓ）、眼候補位置を保持部１７であるメモリ等に蓄積する（Ｏｐ１０）。図１０は、Ｏｐ１０で蓄積される眼候補位置情報の一例である。各眼候補位置には、識別ＩＤ１０１が連続番号で付され、Ｏｐ０６で算出したフィット率１０２、Ｏｐ０７で近似した二次曲線の係数１０３およびエッジラインの画素位置１０４等が蓄積される。また、蓄積後は、上記Ｏｐ０１に戻って、次の画像フレームについて上記と同様の処理を継続させる。

一方、対応する左右逆の眼に相当する眼候補位置が存在しなければ（Ｏｐ０９、Ｎｏ）、Ｏｐ１０をスキップして、上記Ｏｐ０１に戻って、次の画像フレームについて上記と同様の処理を継続させる。

［１−３．テンプレート変形処理のフローチャート］
図３は、テンプレート変形処理の処理例を示すフローチャートの一例である。上記Ｏｐ０５では、例えば、顔領域５１に基づく顔幅や顔向きから算出した眼の幅および高さを推測して、その形状や大きさを決定し、これらの情報に基づいてテンプレートを作成する例を説明した。しかし、眼候補位置が実際の眼位置であると判定できた場合には、眼の形状に合わせてテンプレートを変形することが望ましい。テンプレートを変形させることにより、対象人物の眼の形状に応じたテンプレート形状を用いて認識処理を実行することができる。これにより、認識精度の向上と認識速度の向上を実現できる。

眼位置確定部１９は、眼候補位置を読み込む（Ｏｐ１１）。例えば、図１０に示した識別ＩＤ１０１で特定される眼候補位置の各画素位置１０４を順に読み込む。これにより、テンプレート変形部１８は、眼候補位置付近の眼形状を認識する。

次に、眼位置確定部１９は、認識した眼形状において瞬きがあったか否かを判断する（Ｏｐ１２）。例えば、瞬きの判断は、２つの眼形状の輝度変化が同時に生じていることに基づいて判断することができる。瞬きは、左右の眼で同時に行われるからである。また、瞬きの別の判断は、閉眼専用のテンプレート形状を用いることで、閉眼専用テンプレートのフィット率から瞬きを判断することができる。

眼位置確定部１９は、瞬きがあると判断すると（Ｏｐ１２、Ｙｅｓ）、瞬きのあった眼形状の組み合わせを眼位置として確定する（Ｏｐ１３）。一方、瞬きがないと判断すると（Ｏｐ１２、Ｎｏ）、Ｏｐ１１に戻って処理を繰り返す。

続いてテンプレート変形部１８は、眼位置確定部１９において眼位置と確定された眼候補位置にかかる近似二次曲線の係数１０３に基づいて、テンプレートを変形させる（Ｏｐ１４）。具体的には、図７Ａにおいて示したテンプレートの湾曲度を上記係数１０３を用いて変形させる。

［１−４．眼の状態判定処理のフローチャート］
図４は、眼の状態判定処理の処理例を示すフローチャートの一例である。眼の状態判定処理とは、上記眼位置確定部１９において確定された眼位置に基づいて画像認識を行うことにより、眼の状態からドライバが居眠りにつながる危険状態か否かを判定する処理である。

眼の状態判定部２０は、上記眼位置確定部１９において確定された眼位置を読み込む（Ｏｐ２１）。例えば、図１０に示した識別ＩＤ１０１で特定される眼候補位置の各画素位置１０４を読み込む。これにより、眼の状態判定部１０は、眼位置付近の眼形状を認識する。

次に、眼の状態判定部２０は、認識した眼形状において、眼が所定時間以上閉じている状態にあるか否かを判断する（Ｏｐ２２）。例えば、眼が閉じているか否かの判断は、２つの眼形状の輝度変化が同時に所定時間継続していることに基づいて判断することができる。居眠り時には、左右の眼が同時に閉じていると考えられるからである。また、眼の状態から眼の開き具合の低下が所定時間継続した場合も覚醒度が低下していると判断することができる。

また、認識した上瞼の形状とテンプレートとのフィッティングを行ってフィット率を算出し、図１０に示した識別ＩＤ１０１で特定される眼候補位置のフィット率との一致度を考慮してもよい。このように、フィット率の一致度を考慮することにより、例えば、上瞼におけるエッジラインの個人差に柔軟に対応することができる。なぜなら、上瞼付近の睫の色や形状の個人差によりエッジラインが必ずしも鮮明ではないからである
眼の状態判定部２０は、所定時間眼が閉じている（あるいは眼の開き具合が低下している）と判断すると（Ｏｐ２２、Ｙｅｓ）、危険状態と判定して（Ｏｐ２３）、外部装置に眼の状態判定の結果を出力する（Ｏｐ２４）。これを受けて、外部装置３は、スピーカ（図示しない）から警告音声を出力する。また、スピーカでの警告以外に、カーステレオのボリュームを上げたり、ドライバ以外の管理者等に通報を行うようにしてもよい。

一方、所定時間眼が閉じていない（あるいは眼の開き具合が低下していない）と判断すると（Ｏｐ２２、Ｎｏ）、Ｏｐ２１に戻って処理を繰り返す。

以上、本実施形態によれば、眼位置確定部において確定された眼位置に対応する眼位置候補の係数に基づいて形状を変形させたテンプレートを用いて、候補決定部に眼候補位置を決定させることができるため、個人差に柔軟に対応することができる。例えば、眼の形状等に個人差がある場合であっても、迅速かつ精度よくエッジ画像を走査して眼の位置を認識することができる。

そして、この検出方法をドライバの状態検出に対して適用することにより、ドライバが危険状態と認識した場合には、ドライバや管理者等に対して警告や注意喚起を行うことができる。

［２．その他の実施形態］
［２−１．眼位置の確定回数］
(4)上記眼位置認識装置において、前記保持部は、眼候補位置について前記眼位置確定部が眼位置として確定した回数を保持しており、前記テンプレート変形部は、前記回数が所定回数に達した場合に、前記係数の平均値に基づいて前記テンプレートの形状を変形させてもよい。これにより、認識率の高い曲線の係数に基づいてテンプレートの形状を変形でき、認識処理を迅速かつ精度よく行うことができる。

上記テンプレート変形処理においては、眼位置確定部１９は、瞬きがあると判断すると（Ｏｐ１２、Ｙｅｓ）、瞬きのあった眼形状の組み合わせを眼位置として確定する（Ｏｐ１３）ように構成したが、Ｏｐ１２の判定は、瞬きが所定回数以上あった眼候補位置について決定するようにしてもよい。これにより、眼位置である精度を向上させることができる。

この場合、図１０に示した蓄積情報において、瞬きがあると判断する度に、識別ＩＤで特定される眼候補位置の回数１０５をカウントアップするように構成すればよい。図１０においては、識別ＩＤ「００５」および「００６」の眼候補位置の回数１０５がそれぞれ「１０回」であるので、所定回数が「１０回」である場合にはテンプレート変形処理を行うように構成することができる。

［２−２．フィット率の重み付け］
上記実施形態においては、フィット率の算出は、「フィットした画素列の個数」を「テンプレートの全画素列数」で除算することによって算出したが、各画素列に重み付けを行うようにしてもよい。

図１１は、画素列によってフィット率を算出する重み付けを変更する一例を示す図である。図１１において画素列群１１１については重みｗ１を乗ずるようにし、画素列群１１２については重みｗ２を乗ずるようにして、フィット率を算出してもよい。

これにより、目頭周辺のエッジが出にくい等の個人差に柔軟に対応することができる。

［２−３．フィルタ係数］
上記実施形態においては、左右の領域で異なるフィルタを用いてエッジ検出を行う例を説明したが、認識した眼の形状に応じてフィルタを変更してもよい。例えば、上瞼形状が円弧ではなく扁平な形状である場合には、縦方向のフィルタ係数を大きくしてもよい。また、上瞼形状が縦長の場合、横方向の係数を大きくしてもよい。なお、フィルタを変更した場合には、図１０に示した眼候補位置の蓄積情報をすべてクリアすることが望ましい。フィルタが変更となることで、蓄積状況に影響を与えるからである。

［２−４．フィット率の算出］
上記実施形態においては、候補決定部１５は、図７Ａに示すテンプレートを示す画素部分７０における上Ｍ１画素（図７Ａでは３画素）から、下Ｍ２画素（図７Ａでは３画素）の範囲（調査対象範囲）内に、所定の閾値よりも高いエッジ値がある場合、その形状上の点はフィットしているとしてフィット率を算出するように構成した。

しかし、認識処理の回数や時間経過とともにＭ１またはＭ２の値を変動させてもよい。例えば、認識開始直後は、大雑把にテンプレートをフィッティングさせるため、Ｍ１またはＭ２を大きくしておき、所定時間経過後はＭ１またはＭ２を個人毎の眼の形状にフィットできる範囲で小さくしてもよい。これにより、眼の大きさ等の個人差に柔軟に対応した認識処理が可能となる。

［２−５．曲線近似］
上記実施形態においては、眼候補位置として決定した画像領域のエッジ形状を二次曲線に近似する例について説明した。しかし、他の曲線に近似してもよい。例えば三次曲線、四次曲線等に近似してもよい。また、線分を組み合わせた形状や任意の形状に近似してもよい。

［２−６．各機能ブロックの実現方法］
上記実施形態においては、図１に示す各機能ブロックを、ソフトウェアを実行するＣＰＵの処理によって実現している。しかし、その一部もしくは全てを、ロジック回路等のハードウェアによって実現してもよい。なお、プログラムの一部の処理をさらに、オペレーティング・システム（ＯＳ）にさせるようにしてもよい。

１１ 取得部
１２ 顔認識部
１３ 解析領域決定部
１４ エッジ検出部
１５ 候補決定部
１６ 曲線近似部
１７ 保持部
１８ テンプレート変形部
１９ 眼位置確定部
２０ 眼の状態判定部
２ カメラ装置
３ 外部装置

Claims (10)

1. 顔画像を取得する取得部と、
   顔画像のうち顔領域を認識する顔認識部と、
   前記顔領域に基づいて、前記顔領域内の眼位置の解析領域を決定する解析領域決定部と、
   前記解析領域をエッジ検出してエッジ画像を取得するエッジ検出部と、
   前記エッジ画像をテンプレートを用いて走査して当該テンプレートと前記エッジ画像内における所定画像領域との一致度合いを算出し、前記一致度合いが閾値以上となる画像領域を眼候補位置として決定する候補決定部と、
   前記眼候補位置として決定した画像領域のエッジ形状を曲線に近似する曲線近似部と、
   前記候補決定部において決定した眼候補位置を、前記候補決定部において算出した一致度合いおよび、前記曲線近似部で近似した曲線を特定するための係数に対応付けて保持する保持部と、
   前記保持部に保持された前記係数に基づいて前記テンプレートの形状を変形させるテンプレート変形部とを備え、
   前記保持部は、眼候補位置について前記眼位置確定部が眼位置として確定した回数を保持しており、
   前記テンプレート変形部は、前記回数が所定回数に達した場合に、前記係数に基づいて前記テンプレートの形状を変形させる、眼位置認識装置。
2. 顔画像を取得する取得部と、
   顔画像のうち顔領域を認識する顔認識部と、
   前記顔領域に基づいて、前記顔領域内の眼位置の解析領域を決定する解析領域決定部と、
   前記解析領域をエッジ検出してエッジ画像を取得するエッジ検出部と、
   前記エッジ画像をテンプレートを用いて走査して当該テンプレートと前記エッジ画像内における所定画像領域との一致度合いを算出し、前記一致度合いが閾値以上となる画像領域を眼候補位置として決定する候補決定部と、
   前記眼候補位置として決定した画像領域のエッジ形状を曲線に近似する曲線近似部と、
   前記候補決定部において決定した眼候補位置を、前記候補決定部において算出した一致度合いおよび、前記曲線近似部で近似した曲線を特定するための係数に対応付けて保持する保持部と、
   前記保持部に保持された前記係数に基づいて前記テンプレートの形状を変形させるテンプレート変形部とを備え、
   前記エッジ検出部は、前記解析領域において、左領域および右領域のいずれであるかによって異なるエッジ検出を行う、眼位置認識装置。
3. 前記候補決定部において決定された眼候補位置の中から、眼位置を確定する眼位置確定部をさらに備え、
   前記テンプレート変形部は、前記眼位置確定部において確定された眼位置に対応する眼位置候補にかかる前記係数に基づいて前記テンプレートの形状を変形させる、請求項１または２に記載の、眼位置認識装置。
4. 前記テンプレートの形状は円弧形状であり、前記曲線はエッジ形状の近似曲線である、請求項１〜３のいずれか１項に記載の、眼位置認識装置。
5. 前記エッジ検出部は、前記解析領域の左領域に対しては、左上から右下への斜め方向の輝度勾配を強調するフィルタを用いてエッジ検出を行い、前記解析領域の右領域に対しては、右上から左下への斜め方向の輝度勾配を強調するフィルタを用いてエッジ検出を行う、請求項２に記載の眼位置認識装置。
6. 前記眼候補位置における前記顔画像に基づいて、前記顔画像の対象人物が眠っているかまたは、覚醒度が低下したか否かを判定する、眼の状態判定部をさらに備える、請求項１〜５のいずれか１項に記載の眼位置認識装置。
7. 顔画像を取得する取得処理と、
   顔画像のうち顔領域を認識する顔認識処理と、
   前記顔領域に基づいて、前記顔領域内の眼位置の解析領域を決定する解析領域決定処理と、
   前記解析領域をエッジ検出してエッジ画像を取得するエッジ検出処理と、
   前記エッジ画像をテンプレートを用いて走査して当該テンプレートと前記エッジ画像内
   における所定画像領域との一致度合いを算出し、前記一致度合いが閾値以上となる画像領域を眼候補位置として決定する候補決定処理と、
   前記眼候補位置として決定した画像領域のエッジ形状を曲線に近似する曲線近似処理と、
   前記候補決定処理において決定した眼候補位置を、前記候補決定処理において算出した一致度合いおよび、前記曲線近似処理で近似した曲線を特定するための係数に対応付けて保持する保持部に保持された前記係数に基づいて、前記テンプレートの形状を変形させるテンプレート変形処理とをコンピュータに実行させ、
   前記保持部は、眼候補位置について前記眼位置確定部が眼位置として確定した回数を保持しており、
   前記テンプレート変形処理は、前記回数が所定回数に達した場合に、前記係数に基づいて前記テンプレートの形状を変形させる処理を含む、眼位置認識プログラム。
8. 顔画像を取得する取得処理と、
   顔画像のうち顔領域を認識する顔認識処理と、
   前記顔領域に基づいて、前記顔領域内の眼位置の解析領域を決定する解析領域決定処理と、
   前記解析領域をエッジ検出してエッジ画像を取得するエッジ検出処理と、
   前記エッジ画像をテンプレートを用いて走査して当該テンプレートと前記エッジ画像内
   における所定画像領域との一致度合いを算出し、前記一致度合いが閾値以上となる画像領域を眼候補位置として決定する候補決定処理と、
   前記眼候補位置として決定した画像領域のエッジ形状を曲線に近似する曲線近似処理と、
   前記候補決定処理において決定した眼候補位置を、前記候補決定処理において算出した一致度合いおよび、前記曲線近似処理で近似した曲線を特定するための係数に対応付けて保持する保持部に保持された前記係数に基づいて、前記テンプレートの形状を変形させるテンプレート変形処理とをコンピュータに実行させ、
   前記エッジ検出処理は、前記解析領域において、左領域および右領域のいずれであるかによって異なるエッジ検出を行う、眼位置認識プログラム。
9. 顔画像を取得する取得工程と、
   顔画像のうち顔領域を認識する顔認識工程と、
   前記顔領域に基づいて、前記顔領域内の眼位置の解析領域を決定する解析領域決定工程と、
   前記解析領域をエッジ検出してエッジ画像を取得するエッジ検出工程と、
   前記エッジ画像をテンプレートを用いて走査して当該テンプレートと前記エッジ画像内における所定画像領域との一致度合いを算出し、前記一致度合いが閾値以上となる画像領域を眼候補位置として決定する候補決定工程と、
   前記眼候補位置として決定した画像領域のエッジ形状を曲線に近似する曲線近似工程と、
   前記候補決定工程において決定した眼候補位置を、前記候補決定工程において算出した一致度合いおよび、前記曲線近似工程で近似した曲線を特定するための係数に対応付けて保持する保持部に保持された前記係数に基づいて、前記テンプレートの形状を変形させるテンプレート変形工程とを含み、
   前記保持部は、眼候補位置について前記眼位置確定部が眼位置として確定した回数を保持しており、
   前記テンプレート変形工程では、前記回数が所定回数に達した場合に、前記係数に基づいて前記テンプレートの形状が変形される、眼位置認識方法。
10. 顔画像を取得する取得工程と、
    顔画像のうち顔領域を認識する顔認識工程と、
    前記顔領域に基づいて、前記顔領域内の眼位置の解析領域を決定する解析領域決定工程と、
    前記解析領域をエッジ検出してエッジ画像を取得するエッジ検出工程と、
    前記エッジ画像をテンプレートを用いて走査して当該テンプレートと前記エッジ画像内における所定画像領域との一致度合いを算出し、前記一致度合いが閾値以上となる画像領域を眼候補位置として決定する候補決定工程と、
    前記眼候補位置として決定した画像領域のエッジ形状を曲線に近似する曲線近似工程と、
    前記候補決定工程において決定した眼候補位置を、前記候補決定工程において算出した一致度合いおよび、前記曲線近似工程で近似した曲線を特定するための係数に対応付けて保持する保持部に保持された前記係数に基づいて、前記テンプレートの形状を変形させるテンプレート変形工程とを含み、
    前記エッジ検出工程では、前記解析領域において、左領域および右領域のいずれであるかによって異なるエッジ検出が行われる、眼位置認識方法。

Images