JP4977856B2 - 覚醒状態検知方法および覚醒状態検知装置 - Google Patents

Description

本発明は、車両等の運転手の微小な眼球運動を生体情報として検出し解析することにより、運転手の意識の覚醒状態の変化を早期に検知する方法ならびに装置に関する。

特許文献１乃至特許文献７にみられるように、車両の安全運行のために車両運転手の状態を検出する技術、または状態を検出後、解析を行い、安全制御を行う技術が、非常に多く開発されている。とくに、自動車における居眠りやわき見運転の状態を検出する技術が多く存在する。

前述した特許文献では、自動車等の限られたスペースなどの設置条件や、さまざまな気象や光源からの照明などの環境条件に対応して、運転手の状態を的確に検出するための技術がほとんどである。以上から、従来技術は、安全性を高めるための技術というよりは、事故に対するサポートや被害の軽減に寄与するためのものということができる。

しかし、進行中の自動車や列車などの車両に対して、居眠りやわき見の状態を検出するのでは対応が遅くなり、事故の発生を未然に防ぐことは難しい。さらに、車両を運転中に、ほかの事を考えたりして注意力が低下することによる事故を未然に防ぐことも従来技術では極めて困難である。
特開２００２−２５４９５６公報 特開平１１−２７６４６１公報 特開平９−２０１５７公報 特開２００１−００５９５２公報 特開平７−０９３７００公報 特開平８−０８３３４４公報 特開平７−０３２９０７公報

居眠り運転などによる事故や運転手の注意力の低下による事故の発生を未然に防ぐことができるように、居眠りの前段階、すなわち眠気の発生や、注意力の低下を早期に発見する覚醒状態の変化を検知する方法ならびに装置を提供することである。

覚醒状態の変化を検知するために、対象となる車両運転手などの生体情報を検出し、解析する方法と解析情報を元に状態を判定処理する方法を提供する。非接触測定が可能であること、人の情報源としてほとんどを占めているといわれていることから、生体情報源として眼球に着目する。

とくに、眼球の持つ生体情報として、人が注視するときの眼球の微小運動を視線の微小な変動量として計測し、視線の微小な動きを解析し判定処理を行う。非特許文献１に示したように、覚醒状態と眼球の微小運動、すなわち視線の変動量との間には関係がある。前述の文献では、四つの電極を眼球の周りに付けることで変動量の信号を検出している。

本発明は、前述した生体情報の関係を元にしているが、カメラ等による視点の検出と画像処理を組み合わせて、視線の微小な変動量を非接触に検出できる点に、これまでにない大きな進歩性がある。
鈴木直也、"生体信号を用いた眠気の検出法に関する研究"、豊橋技術科学大学卒業論文、２００５

覚醒時の注視による微小な眼球運動は、活発で変動量が大きいという特徴がある。一方、覚醒状態の低下時には、注視による微小眼球運動は、ほとんど停滞し、変動量は小さいという生体情報としての特徴がある。これらの特徴を視線の微小変動量として検出し解析することで覚醒状態を判定できるようになる。

本発明は図１に示すように実施される。まずカメラ等を用いて顔画像を計測し、視線を検出する。次に視線の微細な動きを解析する。最後に視線の微小な変位量から覚醒状態を判定し眠気および注意力低下を早期発見する。

図２に示すのは頭上から見た眼球と正面からみた目を画像面に投影した図である。ただし、図中の１と４は眼球の中心、２は眼球中心線、３は左右眼球中心の中点、５は左右黒目中心の中点、６は左右眼球中心の中点の画像面に投影した点、7は，左右の目尻間距離である。図２に示した目のモデルを元にして視線検出の流れを図３に示す。

図３に示すのは視線検出の流れである。まずカメラ等で顔画像を計測し、顔の特徴点や基本参照点などを取得する。次に顔の向きや回転を考慮し顔の特徴点の追跡や瞬きの検出などを経て左右眼球中心の中点を推定する。最後に推定された左右眼球中心の中点からそれの画像面に投影した点を算出し、以下に示す数式(1)および数式(2)により黒目変位量ｄを計算して視線を推定する。なお、数式(1)および数式(2)において、右矢印を冠するアルファベット文字を用いて、ベクトル量を表すこととする。

上記の数式において、黒目変位ベクトルｗは、画像上の左右黒目中心の中点位置ベクトルＰと眼球中心の中点位置ベクトルＱの差を目尻間距離Ｌで正規化したベクトルである。

上記の数式において、黒目変位量ｄは、基本画像の黒目変位ベクトルｗ_０と判定画像の黒目変位ベクトルｗのユークリッド距離である。

図４には、眼球中心の中点と、眼球中心の中点を推定するために用いる顔面の特徴点の関係、およびカメラと顔の相対位置関係を表す視線推定方法の実施例の概略図を示す。図中の８は推定される左右眼球中心の中点、９は左右黒目中心の中点、１０は顔面の特徴点、１１は顔の横軸ｘ、１２は顔の縦軸ｙ、１３は顔の前後方向の軸ｚ、１４はカメラと顔の左右黒目中心の中点との間の距離、１５はカメラである。

従来の視線推定手法である特許文献１では、画像面上の角膜反射点と瞳孔中心点との相対位置から視点位置を推定する手法を用いている。

一方、図４の実施例では前述の手法とは異なり、顔の特徴点や基本参照点などを元にして左右眼球中心の中点を推定し、それの画像面に投影した点と左右黒目中心の中点との距離、すなわち黒目変位量を計算して視線を推定するものである。

図４の視線推定方法の実施例では以下の特徴を持っている。１）カメラ校正や顔モデルの作成など、複雑な初期設定を必要としない。２）計算速度が速く、１台のカメラを用いて高精度で視線を推定できる。３）顔の縦、横、左右の回転の影響を受けず、視線の動きを正しく検出することができる。

図５は視線解析結果の例である。図５の視線解析例は、正面付近に置かれたカメラおよびその周辺を自由に見ている状態の視線の動きを示す。変位量０．０１は視線角度で約６度に相当しており、この図では、縦方向±約４度、横方向±約３度の範囲内を視線がランダムに移動する様子が検出されている。

図５に示すように、車両運転手は集中して前方を注視するときに、視線の動きは活発で範囲が大きく、前方の情報を正しく獲得できる。しかし、車両運転手は眠気が発生するとき、またはほかの事を考えて注意力が低下したときに、視線の動きは不活発で範囲が狭く、前方の情報を正しく獲得できなくなる。すなわち、視線の動きの範囲検出により眠気と注意力低下を早期発見することができる。

図６は、本発明による覚醒状態検知装置システムの概略を示したものである。まず車両等の運転手の顔２０をカメラ１６により撮影し、得られた顔画像から本発明に係る視線推定方法を用いて視線解析装置１７により運転手の視線の微小な変位量を測定する。その測定された変位量を用いて、覚醒状態判定装置１８は視線の移動範囲から覚醒状態の判定を行う。覚醒状態でないと判断されると、例として、警告装置１９を動作させ、運転手２０に覚醒状態でないことを表示や音や振動などで通知するとともに注意力を取り戻させることができる。

前述した覚醒状態検知装置システムのように、本発明は眠気および注意力低下の早期発見により、列車および自動車の交通事故を低減すること、さらに機器作業中、または監視中の操作員の眠気および注意力低下の早期発見により、事故を未然に防いだり、その発生頻度を低減したりすることに寄与できる。

本発明に係る全体的な処理の流れ図である。 視線検出における基本原理を示す図である。 視線推定の手順を示す図である。 本発明に係る視線推定方法の実施例の概略図である。 本発明による視線検出解析例の図である。 本発明による覚醒状態検知装置システムの概略図である。

符号の説明

１ 眼球の中心
２ 眼球中心線
３ 左右眼球中心の中点
４ 眼球の中心
５ 左右黒目中心の中点
６ 左右眼球中心の中点の画像面に投影した点
７ 左右の目尻間距離
８ 推定される左右眼球中心の中点
９ 左右黒目中心の中点
１０ 顔面の特徴点
１１ 顔の横軸ｘ
１２ 顔の縦軸ｙ
１３ 顔の前後方向の軸ｚ
１４ カメラと顔の左右黒目中心の中点との間の距離
１５ カメラ
１６ カメラ
１７ 視線解析装置
１８ 眠気判定装置
１９ 警告装置
２０ 車両等運転手の顔

Claims (5)

1. 人の眼球の運動の変化を検出し、検出結果を生体情報の変化と評価することによって、その変化により人の意識の覚醒状態を検知する方法であって、
   人の顔の画像に基づいて、左右の眼球の中心間距離の中点（眼球中心の中点）の位置を推定するとともに、この中点の位置を画像面に投影する点を算出し、前記画像に基づいて、左右の眼球の黒目の中心間距離の中点（黒目中心の中点）を測定し、眼球中心の中点を画像面に投影した点と黒目中心の中点との距離を黒目変位量として計算し、この黒目変位量を生体情報として、その変化の状態により人の意識の覚醒状態を検知することを特徴とする覚醒状態検知方法。
2. 人の眼球の運動の変化を検出し、検出結果を視線の変化と評価することにより、その微小変動量を解析することによって、人の眠気または注意力低下を検知する方法であって、
   人の顔の画像に基づいて、左右の眼球の中心間距離の中点（眼球中心の中点）の位置を推定するとともに、この中点の位置を画像面に投影する点を算出し、前記画像に基づいて、左右の眼球の黒目の中心間距離の中点（黒目中心の中点）を測定し、眼球中心の中点を画像面に投影した点と黒目中心の中点との距離を黒目変位量として計算し、この黒目変位量を視線の変動として、その微小変動量の範囲により人の眠気または注意力低下を検知することを特徴とする覚醒状態検知方法。
3. 前記黒目変位量の計算は、前記眼球中心の中点の位置を画像面に投影する点の位置ベクトルと前記黒目中心の中点の位置ベクトルとに基づき黒目変位ベクトルを算出するとともに、基本画像の黒目変位ベクトルと判定画像の黒目変位ベクトルのユークリッド距離を算出するものであることを特徴とする請求項１または２に記載の覚醒状態検知方法。
4. 人の顔を撮影するカメラと、このカメラによって撮影された顔画像から視線の微小な変位量を測定する視線解析装置と、この視線解析装置により測定された視線の変位量に基づいて、視線の移動範囲により覚醒状態を判定する覚醒状態判定装置とを備え、
   前記視線解析装置は、人の顔の画像に基づいて、左右の眼球の中心間距離の中点（眼球中心の中点）の位置を推定するとともに、この中点の位置を画像面に投影する点を算出し、前記画像に基づいて、左右の眼球の黒目の中心間距離の中点（黒目中心の中点）を測定し、眼球中心の中点を画像面に投影した点と黒目中心の中点との距離を黒目変位量として計算し、この黒目変位量を視線の変位と推定することを特徴とする覚醒状態検知装置。
5. 前記覚醒状態判定装置による判定結果は、警告装置に出力され、覚醒状態でないと判断される場合に該警告装置を作動させることを特徴とする請求項４に記載の覚醒状態検知装置。

Images