JP7127661B2 - 開眼度算出装置 - Google Patents

Description

本発明は、開眼度算出装置に関する。

開閉眼検出装置に関し、ドライバの顔画像から開眼量を算出し、開眼量の基準となる基準開眼量分布との対比結果に応じて開眼度を算出する技術がある（例えば、特許文献１を参照）。

特開２０１３－１２０４４２号公報

ドライバの顔向き角度と視線角度は必ずしも一致せず、顔向き角度と視線角度の差分が大きくなると、開眼度が誤って算出される場合がある。このような場合に、開眼度に基づいてドライバの覚醒度が判定されると、開眼度が実際とは異なっているため、覚醒度が誤って判定される場合がある。

そこで、本発明は、顔向き角度と視線角度の角度差が大きい場合であっても、開眼状態を正確に判定することが可能な開眼度算出装置を提供することを目的とする。

一つの実施形態によれば、開眼度算出装置が提供される。この開眼度算出装置は、乗員の顔が表された画像に基づいて、乗員の開眼度を算出する開眼度算出部と、画像に基づいて、所定の基準方向に対する乗員の顔向き角度を算出する顔向き角度算出部と、画像に基づいて、所定の基準方向に対する乗員の視線角度を算出する視線角度算出部と、顔向き角度と視線角度の差分が所定値以上の場合に、開眼度算出部にて算出された開眼度を補正し、又は、開眼度と比較される閾値を補正する補正部と、補正された開眼度、又は、開眼度と補正された閾値との比較結果に基づいて、乗員の開眼状態を判定する判定部と、を有する。

この開眼度算出装置において、補正部は、差分に基づいて、顔向き角度及び視線角度が正面向きである場合に相当する値に開眼度を補正することが好ましい。

また、この開眼度算出装置において、補正部は、視線角度が顔向き角度よりも下向きの場合は開眼度が増加するように開眼度を補正し、視線角度が顔向き角度よりも上向きの場合は開眼度が減少するように開眼度を補正することが好ましい。

また、この開眼度算出装置において、補正部は、差分が大きいほど開眼度の補正量を大きくすることが好ましい。

また、この開眼度算出装置において、補正部は、視線角度が顔向き角度よりも下向きの場合は閾値が減少するように閾値を補正し、視線角度が顔向き角度よりも上向きの場合は閾値が増加するように閾値を補正することが好ましい。

また、この開眼度算出装置において、補正部は、差分が大きいほど閾値の補正量を大きくすることが好ましい。

本発明に係る顔の開眼度算出装置は、顔向き角度と視線角度の角度差が大きい場合であっても、開眼状態を正確に判定することが可能になるという効果を奏する。

一つの実施形態による、開眼度算出装置が実装された開眼度算出システムの概略構成図である。 制御装置のプロセッサの機能ブロックを示す模式図である。 乗員の横顔を示す模式図であって、顔向きが正面向きであり、視線が下向きの場合を示す図である。 顔向きが下向きであり、視線が正面向きの場合を示す図である。 制御装置のプロセッサが所定の制御周期毎に行う処理を示すフローチャートである。 差分θと補正係数Ａとの関係を規定した関数の一例を示す図である。 差分θと補正係数Ｂとの関係を規定した関数の一例を示す図である。 学習ステップにて、補正係数Ａの傾きＳａを算出する手法を示す図である。

以下、図を参照しつつ、開眼度算出装置について説明する。この開眼度算出装置は、例えば車両の乗員の開眼度を算出するものであり、所定の基準方向に対する乗員の顔向き角度と視線角度との差分が所定値以上の場合に、算出した開眼度を補正する。また、この開眼度算出装置は、所定の基準方向に対する乗員の顔向き角度との視線角度との差分が所定値以上の場合に、開眼度と比較される閾値を補正する。

顔向き角度と視線角度との差分が所定値以上の場合に、開眼度または開眼度と比較される閾値が補正されることによって、顔向き角度と視線角度が異なることに起因して生じる開眼状態の誤判定が確実に抑制される。

図１は、一つの実施形態による、開眼度算出装置が実装された車両制御システム２００の概略構成図である。車両制御システム２００は、例えば車両に搭載され、ドライバなど乗員の開眼状態を判定する。なお、以下の説明では、乗員がドライバである場合を例に挙げて説明する。車両制御システム２００は、ドライバの顔を撮影して顔画像を生成するドライバモニタカメラ１と、ドライバに対する警告等を表示する表示装置２と、車両を制御する車両制御機器３と、ドライバの眼の開眼状態を判定する制御装置（ＥＣＵ）１００と、を有する。ドライバモニタカメラ１、表示装置２、車両制御機器３、制御装置１００のそれぞれは、コントローラエリアネットワーク（Controller Area Network (CAN)）といった規格に準拠した車内ネットワークを介して通信可能に接続される。

ドライバモニタカメラ１は、ＣＣＤあるいはＣ－ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ１は、車両内部のダッシュボード、またはフロントガラスの近辺等にドライバの想定位置に向けて設けられ、ドライバの顔を撮影する。ドライバモニタカメラ１は、所定の撮影周期（例えば１／３０秒～１／１０秒）ごとにドライバの顔を撮影し、ドライバの顔が写った画像を生成する。なお、ドライバモニタカメラ１により得られた画像は、カラー画像であることが好ましい。ドライバモニタカメラ１は、画像を生成する度に、その生成した画像を、車内ネットワークを介して制御装置１００へ出力する。また、ドライバカメラ１は、ドライバの眼に近赤外線を照射する近赤外線光源を含む。

表示装置２は、例えば液晶表示装置（ＬＣＤ）等から構成され、メーターパネル、またはダッシュボードの近辺等に設けられ、必要に応じてドライバに対して警告を表示する。車両制御機器３は、車両を操舵する操舵装置、車両を制動する制動装置などを含む。

制御装置１００は、車両制御システム２００の全体を制御する構成要素であり、開眼度算出装置の一態様である。制御装置１００は、プロセッサ１０と、メモリ２０と、通信インターフェース３０とを有する。プロセッサ１０は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ１０は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。メモリ２０は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有し、本実施形態に係る処理に関連するデータを必要に応じて記憶する。通信インターフェース３０は、通信部の一例であり、制御装置１００を車内ネットワークに接続するためのインターフェース回路を有する。

図２は、制御装置１００のプロセッサ１０の機能ブロックを示す模式図である。制御装置１００のプロセッサ１０は、開眼度算出部１１、顔向き角度算出部１２、視線角度算出部１３、補正部１４、判定部１５、を有している。プロセッサ１０が有するこれらの各部は、例えば、プロセッサ１０上で動作するコンピュータプログラムにより実現される機能モジュールである。つまり、プロセッサ１０の機能ブロックは、プロセッサ１０とこれを機能させるためのプログラム（ソフトウェア）から構成される。また、そのプログラムは、制御装置１００が備えるメモリ２０または外部から接続される記録媒体に記録されていてもよい。あるいは、プロセッサ１０が有するこれらの各部は、プロセッサ１０に設けられる専用の演算回路であってもよい。

以上のように構成された車両制御システム２００では、プロセッサ１０の開眼度算出部１１が、ドライバモニタカメラ１が生成した、ドライバの顔が表された画像に基づいて、ドライバの開眼度を算出する。また、プロセッサ１０の顔向き角度算出部１２は、所定の基準方向に対するドライバの顔向き角度を算出する。また、プロセッサ１０の視線角度算出部１３は、所定の基準方向に対するドライバの視線角度を算出する。なお、本実施形態において、角度とは、上下方向の角度であり、人の顔が頷く方向の角度である。

開眼度算出部１１は、公知の手法を用い、先ずドライバモニタカメラ１が生成した画像からドライバの眼を検出し、眼の輪郭を求める。画像から眼の輪郭を検出する手法として、例えば文献（高野博幸、出口光一郎、「輪郭によるフェイスアライメントにおける姿勢変化への対応のための顔輪郭の利用について」 情報処理学会報告、２０１２年９月２日）に記載された、３次元座標データによりモデル化された顔モデル（ＰＤＭ）の特徴点と、特徴点抽出器により顔画像から抽出した特徴点との距離が最小になるようにモデルパラメータを最適化（フィッティング）する手法が挙げられる。開眼度算出部１１は、例えばこの手法を用いることにより、最適化されたモデルパラメータに基づいて、眼の輪郭の３次元位置を求める。なお、この手法によれば、眼の３次元位置に加えて、鼻、口などの顔の各部位の３次元位置が求まる。

開眼度算出部１１は、眼の輪郭の３次元位置を求めると、上瞼と下瞼の距離から開眼度を検出する。開眼度算出部１１は、予めメモリ２０に格納された、上瞼と下瞼の距離と開眼度との関係を規定したテーブルまたは関数を用い、上瞼と下瞼の距離をこれらのテーブルまたは関数に適用することで、開眼度を検出する。または、開眼度算出部１１は、眼の縦横比と開眼度との関係を規定したテーブルまたは関数を用い、眼の縦横比から開眼度を求めてもよい。なお、開眼度算出部１１は、上瞼と下瞼の距離、または眼の縦横比そのものを開眼度として算出してもよい。

プロセッサ１０の顔向き角度算出部１２は、画像に基づいて、所定の基準方向に対するドライバの顔向き角度を算出する。例えば、顔向き角度算出部１２は、特開２０１５－７５９１５号公報に記載されている手法等を用いて、鼻位置と左右の眼の位置を結ぶ直線との距離に基づいて、顔向き角度（ピッチ角度）を算出する。

プロセッサ１０の視線角度算出部１３は、公知の視線検知方法により、画像に基づいて、所定の基準方向に対する視線角度を算出する。視線角度を算出する手法として、例えば文献（大野健彦、武川直樹、吉川厚、「眼球形状モデルに基づく視線測定法」 第８回画像センシングシンポジウム、ｐｐ３０７－３１２，２００２）に記載された、角膜表面における近赤外光源の反射像（プルキニエ像）を利用し、瞳孔中心とプルキニエ像との距離から視線角度を算出する手法、プルキニエ像から得られる角膜曲率中心を用い、角膜曲率中心および瞳孔中心を結ぶ直線を視線角度として算出する手法等が挙げられる。

プロセッサ１０の補正部１４は、顔向き角度と視線角度の差分が所定値以上の場合に、開眼度算出部１１にて算出された開眼度を補正し、又は、開眼度と比較される閾値を補正する。

顔向き角度と視線角度との差分が大きいとき、開眼度が誤って検出され、開眼度が実際と異なって認識されてしまう。開眼度が誤って算出される例として、視線方向に応じて上瞼が下がることで開眼度が低下する場合と、視線方向に応じて上瞼が上がることで開眼度が増加する場合との２通りが挙げられる。視線方向に応じて瞼が下がることで開眼度が低下する場合は、顔向き角度が上向きまたは正面向きで視線角度が下向きの場合である。また、視線方向に応じて瞼が上がることで開眼度が増加する場合は、顔向き角度が下向きまたは正面向きで視線角度が上向きの場合である。

図３は、ドライバの横顔を示す模式図であって、顔向きが正面向きであり、視線が下向きの場合を示す図である。図３において、Ｄ１は視線方向を示しており、Ｄ２は顔向き方向を示している。Ｄ１方向とＤ２方向の角度の差分はθ_１である。また、図３において、所定の基準方向をドライバの正面向き（水平方向）とし、反時計回り方向をプラス（＋）方向とすると、顔向き角度は０であり、視線角度は－θ_１である。

図３のように、顔向き角度が正面向きであり視線角度が下向きの場合、上瞼４０が下がることによって、上瞼４０と下瞼４２の距離が狭くなる。このため、顔向き角度が正面向きであり視線角度が下向きの場合の開眼度は、顔向き角度と視線角度が共に正面向きである場合よりも小さくなる。同様の理由で、顔向き角度が上向きであり視線角度が下向きの場合の開眼度は、顔向き角度と視線角度が共に正面向きである場合よりも小さくなる。

開眼度に基づいてドライバの覚醒度を判定する場合、開眼度と所定の判定閾値（閉眼判定閾値）が比較され、開眼度が判定閾値以下となった場合に覚醒度が低下していると判定される。この際、判定閾値は、顔向き角度、視線角度が正面向きであることを前提にして設定されている。図３に示すような場合、開眼度が実際よりも小さく認識されるため、開眼度に基づいて覚醒度を判定しようとすると、本来は覚醒度が低下していないにも関わらず、覚醒度が低下していると誤判定がされる場合がある。

また、図４は、顔向きが下向きであり、視線が正面向きの場合を示す図である。図４においても、Ｄ１は視線方向を示しており、Ｄ２は顔向き方向を示している。Ｄ１方向とＤ２方向の角度の差分はθ_２である。図４においても、所定の基準方向をドライバの正面向き（水平方向）とし、反時計回り方向を角度のプラス（＋）方向とする。この場合、顔向き角度は－θ_２であり、視線角度は０である。

図４のように、顔向き角度が下向きであり視線角度が正面向きの場合、上瞼４０が上がることによって、上瞼４０と下瞼４２の距離が広くなる。このため、顔向き角度が下向きであり視線角度が正面向きの場合の開眼度は、顔向き角度と視線角度が共に正面向きである場合よりも大きくなる。同様の理由で、顔向き角度が下向きであり視線角度が上向きの場合の開眼度は、顔向き角度と視線角度が共に正面向きである場合よりも大きくなる。このような場合、開眼度が実際よりも大きく認識されるため、開眼度に基づいて覚醒度を判定しようとすると、本来は覚醒度が低下しているにも関わらず、覚醒度が低下していないと誤判定がされる場合がある。

このため、プロセッサ１０の補正部１４は、顔向き角度と視線角度との差分が大きく、差分が所定値以上の場合、開眼度算出部１１にて算出された開眼度を補正する。また、補正部１４は、顔向き角度と視線角度との差分が大きく、差分が所定値以上の場合、開眼度算出部にて算出された開眼度と比較される判定閾値を補正する。なお、開眼度の補正と判定閾値の補正は、少なくともいずれか一方が行われる。

補正部１４は、顔向き角度と視線角度との差分が所定値以上の場合、以下の式（１）に基づき、開眼度算出部１１にて算出された開眼度に補正係数Ａを乗算し、顔向きと視線が共に正面向きである場合に相当する値に開眼度を補正する。
開眼度×Ａ＝補正開眼度 ・・・（１）

例えば、所定値をθ_＿ｔｈとし、顔向き角度から視線角度を減算して得られる差分をθとすると、補正部１４は、｜θ｜≧θ_＿ｔｈの場合に、式（１）から補正開眼度を算出する。

また、補正部１４は、顔向き角度と視線角度との差分が所定値以上の場合、覚醒度を判定するために開眼度と比較される判定閾値を補正する。補正部１４は、以下の式（２）に基づき、判定閾値に補正係数Ｂを乗算して、判定閾値を現在の顔向き角度および視線角度に相当する補正判定閾値に補正する。なお、式（２）の左辺の補正前の判定閾値は、顔向きと視線が共に正面向きである場合の判定閾値に相当する。
判定閾値×Ｂ＝補正判定閾値 ・・・（２）

例えば、所定値をθ_＿ｔｈとし、顔向き角度から視線角度を減算して得られる差分をθとすると、補正部１４は、｜θ｜≧θ_＿ｔｈの場合に、式（２）から補正判定閾値を算出する。

例えばθ＿ｔｈは５［ｄｅｇ］とされる。したがって、差分θの絶対値が５［ｄｅｇ］以上の場合は開眼度または判定閾値の補正が行われ、差分θの絶対値が５［ｄｅｇ］未満の場合は開眼度または判定閾値の補正が行われない。

プロセッサ１０の判定部１５は、補正された開眼度、又は、開眼度と補正された判定閾値との比較結果に基づいて、ドライバの開眼状態を判定する。例えば、判定部１５は、予めメモリに格納された、開眼度と開眼状態とが対応付けされたマップを用い、開眼度をマップに当てはめることで、ドライバの開眼状態を判定する。また、判定部１５は、開眼度と判定閾値を比較した結果、開眼度が判定閾値以下の場合は、開眼状態が低下しており、覚醒度が低下していると判定する。

判定部１５により、ドライバの開眼状態が低下していると判定された場合、またはドライバの覚醒度が低下していると判定された場合、制御装置１００からの指令により、表示装置２がドライバに対する警告を表示する。また、表示装置２における警告表示とともに、音声による警告が行われてもよい。これにより、ドライバの覚醒度の低下が抑制される。

また、判定部１５により、ドライバの開眼状態が低下していると判定された場合、またはドライバの覚醒度が低下していると判定された場合、制御装置１００からの指令により、車両制御機器３が車両を安全な場所に停止させる。これにより、ドライバの覚醒度の低下に起因して生じ得る居眠り運転等が事前に回避される。

図５は、制御装置１００のプロセッサ１０が所定の制御周期毎に行う処理を示すフローチャートである。先ず、開眼度算出部１１が、ドライバモニタカメラ１が生成した画像からドライバの開眼度を算出する（ステップＳ１０１）。

次に、顔向き角度算出部１２が所定の基準方向に対するドライバの顔向き角度を算出し、視線角度算出部１３が所定の基準方向に対するドライバの視線角度を算出する。そして、顔向き角度と視線角度との差分の絶対値が所定値θ_＿ｔｈ以上であるか否かが判定される（ステップＳ１０２）。

ステップＳ１０２で顔向き角度と視線角度との差分θの絶対値が所定値θ_＿ｔｈ以上の場合は、ステップＳ１０３へ進む。ステップＳ１０３では、補正部１４が開眼度を補正し、または、判定閾値を補正する。

一方、ステップＳ１０２で差分θの絶対値が所定値θ_＿ｔｈ未満の場合は、開眼度の補正、または判定閾値の補正が行われることなく、処理が終了される（Ｅｎｄ）。

次に、補正部１４が行う開眼度の補正について、より詳細に説明する。補正部１４は、開眼度の補正を行う差分θの範囲を－θ_＿ｍａｘ≦θ≦θ_＿ｍａｘとする。ここで、例えば、θ_＿ｍａｘ＝７０［ｄｅｇ］である。補正部１４は、顔向き角度から視線角度を減算して得られる差分θが－θ_＿ｍａｘよりも小さい場合、または、顔向き角度から視線角度を減算して得られる差分θがθ_＿ｍａｘよりも大きい場合、開眼度の補正を行わない。

具体的に、補正部１４は、顔向き角度が上向きまたは正面向きで視線角度が下向きの場合（θ＞０の場合）、θ_＿ｍａｘ≧θ≧θ_＿ｔｈであれば、式（１）から補正開眼度を算出する。また、補正部１４は、顔向き角度が下向きまたは正面向きで視線角度が上向きの場合（θ＜０の場合）、－θ_＿ｍａｘ≦θ≦θ_＿ｔｈであれば、式（１）から補正開眼度を算出する。補正部１４は、これらの条件に該当しない場合、補正開眼度を算出しない。したがって、これらの条件に該当しない場合、開眼度の補正は行われない。

補正部１４は、顔向き角度と視線角度の差分θと、補正係数Ａとの関係を線形または非線形の関数で近似し、これらの関数を用いて差分θに応じた補正係数Ａを算出する。図６は、差分θと補正係数Ａとの関係を規定した関数の一例を示す図である。補正係数Ａは、図６に示す関数に基づき、以下のように算出される。なお、以下の説明において、Ｓａは、図６に示す関数における直線Ｌ_１の傾きであり、一例として、Ｓａ＝０．０３である。

－θ_＿ｍａｘ≦θ≦－θ_＿ｔｈのとき
Ａ＝Ｓａ×θ＋１

－θ_＿ｔｈ＜θ＜θ_＿ｔｈのとき
Ａ＝１

θ_＿ｔｈ≦θ≦θ_＿ｍａｘのとき
Ａ＝Ｓａ×θ＋１

以上のように、補正部１４は、差分θの絶対値がθ_＿ｔｈ以上であり、且つθ_＿ｍａｘ以下の場合は、開眼度の補正を行う。この際、補正部１４は、顔向き角度が上向きまたは正面向きで視線角度が下向きの場合（θ＞０の場合）、差分θが大きいほど補正係数Ａの値を大きくする。顔向き角度が上向きまたは正面向きで視線角度が下向きの場合、差分θが大きくなるほど開眼度が小さくなるため、差分θが大きいほど補正係数Ａの値を大きくすることで、開眼度は、顔向きと視線が共に正面向きである場合に相当する値に補正される。

また、補正部１４は、顔向き角度が下向きまたは正面向きで視線角度が上向きの場合（θ＜０の場合）、差分θが小さいほど補正係数Ａの値を小さくする。顔向き角度が下向きまたは正面向きで視線角度が上向きの場合、差分θが小さいほど開眼度が大きくなるため、差分θが小さいほど補正係数Ａの値を小さくすることで、開眼度は、顔向きと視線が共に正面向きである場合に相当する値に補正される。

また、補正部１４は、顔向き角度と視線角度の差分θの絶対値がθ_＿ｔｈ未満の場合、補正係数Ａを“１”とする。この場合、顔向き角度と視線角度の差分θが小さく、開眼度が誤って算出されることがないため、開眼度の補正は行われない。

また、補正部１４は、顔向き角度と視線角度の差分θの絶対値がθ_＿ｍａｘを超えるときも、開眼度の補正を行わない。この場合、顔向き角度と視線角度の差分θが過度に大いため、開眼度を補正することなく、開眼度に基づく各種処理が不可とされる。したがって、開眼度に基づく開眼状態の判定も行われない。

次に、補正部１４が行う判定閾値の補正について、より詳細に説明する。補正部１４は、開眼度の補正と同様の手法で、顔向き角度が上向きまたは正面向きで視線角度が下向きの場合（θ＞０の場合）、θ_＿ｍａｘ≧θ≧θ_＿ｔｈであれば、式（２）から補正判定閾値を算出する。また、補正部１４は、顔向き角度が下向きまたは正面向きで視線角度が上向きの場合（θ＜０の場合）、－θ_＿ｍａｘ≦θ≦θ_＿ｔｈであれば、式（２）から補正判定閾値を算出する。補正部１４は、これらの条件に該当しない場合、判定閾値の補正を行わない。

また、補正部１４は、顔向き角度と視線角度の差分θと、補正係数Ｂとの関係を線形または非線形の関数で近似し、これらの関数を用いて差分θに応じた補正係数Ｂを算出する。図７は、差分θと補正係数Ｂとの関係を規定した関数の一例を示す図である。補正係数Ｂは、図７に示す関数に基づき、以下のように算出される。なお、以下の説明において、Ｓｂは、図７に示す関数における直線Ｌ_２の傾きであり、一例として、Ｓｂ＝－０．０３である。

－θ_＿ｍａｘ≦θ≦θ_＿ｔｈのとき
Ｂ＝Ｓｂ×θ＋１

－θ_＿ｔｈ＜θ＜θ_＿ｔｈのとき
Ｂ＝１

θ_＿ｔｈ≦θ≦θ_＿ｍａｘのとき
Ｂ＝Ｓｂ×θ＋１

以上のように、補正部１４は、差分θの絶対値がθ_＿ｔｈ以上であり、且つθ_＿ｍａｘ以下の場合は、判定閾値の補正を行う。この際、補正部１４は、顔向き角度が上向きまたは正面向きで視線角度が下向きの場合（θ＞０の場合）、差分θが大きいほど補正係数Ｂの値を小さくする。顔向き角度が上向きまたは正面向きで視線角度が下向きの場合、差分θが大きくなるほど開眼度が小さくなるため、差分θが大きいほど補正係数Ｂの値を小さくすることで、式（２）により、差分θが大きいほど補正判定閾値は小さくなる。したがって、開眼度の低下に応じて小さな値に補正された補正判定閾値に基づいて、覚醒度が正確に判定される。

また、補正部１４は、顔向き角度が下向きまたは正面向きで視線角度が上向きの場合（θ＜０の場合）、差分θが小さいほど補正係数Ｂの値を大きくする。顔向き角度が下向きまたは正面向きで視線角度が上向きの場合、差分θが小さくなるほど開眼度が大きくなるため、差分θが小さいほど補正係数Ｂの値を大きくすることで、式（２）により、差分θが大きいほど補正判定閾値は大きくなる。したがって、開眼度の増加に応じて大きな値に補正された補正判定閾値に基づいて、覚醒度が正確に判定される。

また、補正部１４は、顔向き角度と視線角度の差分θの絶対値がθ_＿ｔｈ未満の場合、補正係数Ａを“１”とする。この場合、顔向き角度と視線角度の差分θが小さく、開眼度が誤って算出されることがないため、判定閾値の補正は行われない。

また、補正部１４は、顔向き角度と視線角度の差分θの絶対値がθ_＿ｍａｘを超えるときも、判定閾値の補正を行わない。この場合、顔向き角度と視線角度の差分θが過度に大きいため、判定閾値を補正することなく、開眼度に基づく各種処理が不可とされる。したがって、開眼度と判定閾値を比較することによる覚醒度の判定も行われない。

図６に示す直線Ｌ_１の傾きＳａは、例えば学習ステップにより算出される。図８は、学習ステップにて、補正係数Ａの傾きＳａを算出する手法を示す図である。学習ステップでは、処理開始から時間Ｔｉの間に傾きＳａが算出される。例えば、Ｔｉは１０［ｍｉｎ］程度に設定される。

学習ステップでは、顔向き角度と所定の閾値ωｆとが比較され、視線角度と所定の閾値ωｇとが比較される。そして、顔向き角度＜±ωｆ［ｄｅｇ］であり、かつ視線角度＜±ωｇ［ｄｅｇ］のときの開眼度の平均値もしくは中央値が基準値とされる。顔向き角度と視線角度の少なくともいずれかが、これらの範囲外となるときの開眼度で基準値を除算することで、開眼度に対する基準値の比率Ａｃが算出される。なお、一例として、ωｆ＝５［ｄｅｇ］、ωｇ＝５［ｄｅｇ］である。

このようにして算出された比率Ａｃは、顔向き角度の絶対値と視線角度の絶対値のそれぞれが５［ｄｅｇ］以上である場合の補正係数Ａに相当する値であるため、比率Ａｃとこれに対応する差分θを対とするサンプルを複数取得することで、比率Ａｃと差分θとの関係を規定する関数（図６に示した直線Ｌ_１）が求まる。

図８では、比率Ａｃと、比率Ａｃに対応する差分θとによって表される点を、縦軸を補正係数Ａ、横軸を差分θとした座標上にプロットした状態を示している。直線Ｌ_１の傾きＳａは、比率Ａｃと差分θに基づき、最小二乗法等を用いて算出される。傾きＳａが求まると、上述したように、差分θの値に応じて補正係数Ａが求まる。なお、図８では、θ＞０の領域の直線Ｌ_１の傾きＳａを求める方法を示しているが、θ＜０の領域についても同様である。

上述したように、補正部１４は、開眼度の補正と判定閾値の補正の少なくともいずれかを行う。開眼度の補正と判定閾値の補正は、開眼度算出の処理開始からの経過時間ｔと学習ステップに要する時間Ｔｉに基づいて、切り替えられてもよい。

例えば、補正部１４は、開眼度算出の処理開始の時刻を０、ｔを現在時刻とした場合に、ｔ≦Ｔｉであれば、判定閾値の補正処理を行う。また、補正部１４は、ｔ＞Ｔｉであれば、開眼度の補正処理を行う。

このような処理によれば、ｔ≦Ｔｉの場合は、上述した学習ステップが完了していないため、補正係数Ａが定められるまでの間、開眼度と補正判定閾値を比較することによって開眼状態が判定される。また、ｔ＞Ｔｉの場合は、学習ステップが完了しているため、開眼度の補正処理を行うことで、学習により得られた補正係数Ａにより開眼度が補正され、補正された開眼度に応じて開眼状態が判定される。

以上の説明では、車両制御システム２００が車両に搭載されており、ドライバなどの乗員の開眼状態を判定する例について説明したが、本実施形態はこれに限定されるものではない。本実施形態は、人の開眼状態を判定するシステムに広く適用が可能である。

以上説明したように本実施形態によれば、顔向き角度と視線角度の角度差に応じて開眼度または開眼度と比較される判定閾値が補正されるため、開眼度または開眼度と比較される判定閾値の算出精度が向上する。したがって、顔向き角度と視線角度が異なる場合であっても、開眼状態が精度よく判定される。

以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことが可能である。

１ ドライバモニタカメラ
２ 表示装置
３ 車両制御機器
１０ プロセッサ
１１ 開眼度算出部
１２ 顔向き角度算出部
１３ 視線角度算出部
１４ 補正部
１５ 判定部
４０ 上瞼
４２ 下瞼
１００ 制御装置（ＥＣＵ）
２００ 車両制御システム

Claims (6)

1. 乗員の顔が表された画像に基づいて、前記乗員の開眼度を算出する開眼度算出部と、
   前記画像に基づいて、所定の基準方向に対する前記乗員の顔向き角度を算出する顔向き角度算出部と、
   前記画像に基づいて、前記所定の基準方向に対する前記乗員の視線角度を算出する視線角度算出部と、
   前記顔向き角度と前記視線角度の差分が所定値以上の場合に、前記開眼度算出部にて算出された前記開眼度を補正し、又は、前記開眼度と比較される閾値を補正する補正部と、
   補正された前記開眼度、又は、前記開眼度と補正された前記閾値との比較結果に基づいて、前記乗員の開眼状態を判定する判定部と、
   を有する開眼度算出装置。
2. 前記補正部は、前記差分に基づいて、前記顔向き角度及び前記視線角度が正面向きである場合に相当する値に前記開眼度を補正する、請求項１に記載の開眼度算出装置。
3. 前記補正部は、前記視線角度が前記顔向き角度よりも下向きの場合は前記開眼度が増加するように前記開眼度を補正し、前記視線角度が前記顔向き角度よりも上向きの場合は前記開眼度が減少するように前記開眼度を補正する、請求項１に記載の開眼度算出装置。
4. 前記補正部は、前記差分が大きいほど前記開眼度の補正量を大きくする、請求項３に記載の開眼度算出装置。
5. 前記補正部は、前記視線角度が前記顔向き角度よりも下向きの場合は前記閾値が減少するように前記閾値を補正し、前記視線角度が前記顔向き角度よりも上向きの場合は前記閾値が増加するように前記閾値を補正する、請求項１に記載の開眼度算出装置。
6. 前記補正部は、前記差分が大きいほど前記閾値の補正量を大きくする、請求項５に記載の開眼度算出装置。

Images