JP5343631B2

JP5343631B2 - 運転支援装置

Info

Publication number: JP5343631B2
Application number: JP2009050184A
Authority: JP
Inventors: アブデラジズキアツト; 治夫松尾
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2009-03-04
Filing date: 2009-03-04
Publication date: 2013-11-13
Anticipated expiration: 2029-03-04
Also published as: JP2010204984A

Description

本発明は、運転支援装置に関するものである。

運転中の居眠りを検出する装置として、運転手の開閉眼状態を一定時間監視し、閉眼状態が所定時間続いたら居眠りしていると判定するものが知られている（特許文献１）。

特開２００２−２７９４１０号公報

しかしながら、上記従来の装置は、目が閉じるほど強い眠気は検出できるものの、覚醒度がさほど低くない軽度の眠気を検出することはできないという問題があった。

本発明が解決しようとする課題は、軽度の眠気を検出できる運転支援装置を提供することである。

本発明では、目の閉眼率と居眠りに至るまでの副次的行動を運転手の特徴の経時的変化に基づいて検出し、その頻度の変化に基づいて覚醒度が低下する初期状態を判定する。

本発明によれば、居眠りに至るまでの副次的行動の頻度が極大となる時間的領域が覚醒度低下の初期状態であるとの知見に基づき、運転手の特徴の経時的変化から副次的行動の頻度を検出するので、軽度の眠気状態か否かを精度よく判定することができる。

本発明に係る運転手の閉眼率と副次的動作の頻度との関係を経時的に示すグラフである。本発明の一実施の形態を適用した運転支援装置の概略構成を示すブロック図である。図２の運転支援装置を示す制御ブロック図である。図３の手の動作検出のサブブロックを示す制御ブロック図である。図３の溜め息・深呼吸検出およびあくび検出のサブブロックを示す制御ブロック図である。図３の手の動作検出の手順を説明するための画像データを示す図である。図３の手の動作検出の手順を説明するための図である。図３の手の動作検出の手順を説明するための図である。図３の手の動作検出の手順を説明するための図である。図３の溜め息・深呼吸検出およびあくび検出の手順を説明するための図である。図３の溜め息・深呼吸検出およびあくび検出の手順を説明するための図である。図３の溜め息・深呼吸検出およびあくび検出の手順を説明するための図である。図３の溜め息・深呼吸検出およびあくび検出の手順を説明するための図である。図３の溜め息・深呼吸検出およびあくび検出の手順を説明するための図である。図３の溜め息・深呼吸検出およびあくび検出の手順を説明するための図である。図３の首の動作検出の手順を説明するための図である。図３の苦闘検出にあたり設定される副次的動作の重み付けの例を示す図である。

最初に、本発明の一実施の形態を適用した運転支援装置の概要を説明する。

図１は副次的動作の頻度Ｘと運転手の閉眼率Ｙとの関係を経時的に示すグラフであり、横軸は経過時間Time、縦軸は副次的動作の頻度Ｘ又は閉眼率Ｙをそれぞれ示す。なお、閉眼率Ｙは運転手の覚醒度と相関があり、閉眼率Ｙが高いほど覚醒度が低く、閉眼率Ｙが低いほど覚醒度が高い。

図１に示すように、運転中に眠気が襲ってくると運転手は居眠りをしないように幾つかの行動をとることが少なくない。たとえば、眠くなると目が乾くので目を擦ったり、顔を撫ぜたり、首を曲げてストレッチ運動をしたり、脳に酸素を送るために溜め息（深く吐息する意味）や深呼吸をしたり、あくびをしたりする。以下、これらの動作を居眠りに至るまでの副次的動作とも言う。

本発明者らが、こうした副次的動作の頻度Ｘと閉眼率Ｙ（または覚醒度）との関係を観察したところ、同図の左端に示す運転手の閉眼率Ｙが極めて低い（覚醒度が極めて高い）平常状態Ａと、同図の右端に示す閉眼率Ｙが極めて高い（覚醒度が極めて低い）居眠り状態Ｄの間で、副次的動作の頻度Ｘがピーク値Ｘmaxをとる傾向が強いことが判明した。

これは平常状態から覚醒度が低下し始めると、まず運転手は睡魔と苦闘又は葛藤することでできる限り覚醒しようと努力し、そのための手の動作、首の動作、溜め息又は深呼吸、あくびなどの副次的動作の頻度が高くなるからである。一方で、睡魔に勝てずにさらに覚醒度が低下すると、こうした副次的動作できるほど覚醒していないので、その頻度が低くなるのである。

そして、同図に示すように平常状態Ａと居眠りの進行状態Ｄとの間を、睡魔と苦闘又は葛藤している苦闘又は葛藤状態Ｂと、それを超えてさらに覚醒度が低下する居眠りの初期状態Ｃとに分けると、副次的動作の頻度Ｘが増加してピーク値Ｘmaxに至る期間を苦闘又は葛藤状態Ｂ、副次的動作の頻度Ｘがピーク値Ｘmaxから減少し始めるとともに大きく減少している期間を居眠りの初期状態と特定することができる。なお、副次的動作の頻度Ｘと平常状態Ａおよび居眠りの進行状態Ｄとの関係については副次的動作の頻度Ｘの経時的変化よりむしろ、副次的動作の頻度Ｘの絶対値が所定値より小さいことで特定することができるが、平常状態Ａも居眠りの進行状態Ｄもいずれも副次的動作の頻度Ｘの絶対値は小さいので、これらを識別する場合は、別途閉眼率Ｙなどの特性値を用いることが望ましい。

すなわち、本例では居眠りの進行状態Ｄの前の初期状態Ｃを、副次的動作の頻度Ｘを経時的に検出し続け、同図に示す頻度Ｘのピーク値Ｘmaxからそれを過ぎた所定時間までを居眠りの初期状態Ｃとして検出する。そして、運転手に自分が居眠りの初期状態にある旨の注意を喚起し、たとえば自車の進行方向に存在するパーキングアリアをカーナビゲーション装置で検索して案内したり、操舵補助システムによりハンドル操作を補助したりすることにより、運転手を覚醒させ、より安全運転を行うよう支援する。また、居眠りの初期状態を検出したら、その信号を外部の道路管理システムに送信し、たとえばスピード超過の走行車に対して行われているように、「居眠り注意！」等を路側看板に表示する。

次に具体的実施形態を説明する。

図２は本発明の一実施の形態を適用した運転支援装置の概略構成を示すブロック図である。

本実施形態の運転支援装置１は、運転手の顔を撮像する撮像装置１１と、運転手の顔に向かって撮影照明用赤外線を照射する光源１２と、撮像装置１１で撮像された画像データを画像処理して、目的とする覚醒度低下の初期状態を判定する制御装置１３とを備える。

撮像装置１１は、たとえば二次元ＣＣＤイメージセンサ、ＭＯＳセンサまたはＣＩＤなどの複数の光電変換素子が二次元に配列された光電変換モジュールで構成することができる。撮像装置１１は運転手の顔が撮像できる、たとえばインストルメントパネルの上面などに設置される。

光源１２は、運転に支障がないように運転手の顔に向かって赤外線を照射する赤外線照射装置であって、撮像装置１１は赤外線で照射された運転手の顔の画像を撮像する。この光源１２も運転手の顔に赤外線がムラなく照射できる、たとえばインストルメントパネルやハンドルの中心部に設置される。

制御装置１３は、入出力インターフェース、ＣＰＵ、ＲＯＭ、ＲＡＭおよび大容量メモリを備えたコンピュータであって、ＲＯＭに記録されたソフトウェアは同図に示す機能Ｆ１〜Ｆ４を有する。

すなわち、制御装置１３は、撮像装置１１により撮像された運転手の顔画像データを画像処理する画像処理機能Ｆ１と、画像処理された顔画像データから運転手の口の動きを検出する口の形状変化の検出機能Ｆ２と、この口の形状変化から運転手の特徴動作を検出する特徴検出機能Ｆ３と、この特徴動作の経時的変化から運転手の覚醒度低下の初期状態を判定する覚醒度低下の初期状態判定機能Ｆ４とを備える。

図３は、図２の運転支援装置１をさらに詳細に示す制御ブロック図、図４は図３の手の動作検出のサブブロックを示す制御ブロック図、図５は図３の溜め息・深呼吸検出およびあくび検出のサブブロックを示す制御ブロック図である。

図３に示すように、撮像装置１１により撮像された運転手の顔画像の画像信号は、顔の時間的形状変化から首や頭の動作、溜め息や深呼吸、あくびを検出するための形状推定部Ｆ１２と、顔画像のうち顔の背景画像等から運転手の動きを検出する動作検出部Ｆ１１とに出力される。

形状推定部Ｆ１２は、時間的に連続して撮像されたデジタル画像信号（以下、ビデオストリームともいう。）を入力し、統計的に表現された学習モデルを用いたＡＡＭ(Active Appearance Model)法などにより、図６の中央顔の部分に示すように、口の形状、鼻の形状、顎の形状などを出力する機能を有する。

本例の制御装置１３は、形状推定部Ｆ１２により推定された口の形状、鼻の形状、顎の形状などを用いて、首や頭の動作、溜め息や深呼吸、あくびを検出する。この処理について図５を参照しながら説明する。なお、首や頭の動作は図３の首の動作検出部Ｆ２２、溜め息や深呼吸は同図の溜め息・深呼吸検出部Ｆ２３、あくびは同図のあくび検出部Ｆ２４により処理される。

まず、形状推定部Ｆ１２により推定された形状推定信号に基づいて特徴座標を抽出する。この処理は、図１０の上図に示す口の形状、鼻の形状及び顎の形状についての形状推定信号から、口の形状の形状推定信号を抽出した場合を示す。

次いで、座標正規化処理を実行する。上記ステップで抽出された特徴点は、運転手の顔の大きさ、ヨー角、ピッチ角、ロール角に応じた座標となるので判定に使用する前に正規化処理する必要がある。ただし、本例では運転手の顔の正面のみを取り扱えばよいのでロール角のみを考えるものとする。

そして、図１１に示すように、口の形状推定信号のうち口の両端（左図の×）に着目し、このロール角θを検出する。また、口の形状推定信号を用いて口の中心を検出し、ここを中心にして先に求められたロール角θがゼロになるように特徴点を回転させる。次いで、同図の右図に示すように全ての特徴点を含む最小の長方形を特定し、各特徴点の座標を０〜１の間の値に座標変換する。

図１１のように特徴点の座標正規化処理を行ったら、これを用いて特徴ベクトルが特徴点の間の距離を組み合わせることで算出される。この処理は、図１２に示すように、鉛直方向の動作を最も反映すると考えられるベクトルｆ_０，ｆ_１，…ｍ_０，ｍ_１，…を抽出し、これらを一つのベクトルＰ＝｛ｆ_０，ｆ_１，…ｍ_０，ｍ_１，…｝とする。また、過去ｎ個のベクトルＰの平均値を平均ベクトルＰaveとして、差ベクトルＸ＝Ｐ−Ｐaveを算出する。なお、平均ベクトルＰaveは僅かな差を無視するために用いられている。

こうして算出された差ベクトルＸが特徴ベクトルであるが、これはたとえば図１４に示すように、「あくびをしている（Ｙｅｓ（１））」または「あくびをしていない（Ｎｏ（０））」のいずれかに分類される。こうした分類は、たとえばＡＮＮ(Artificial Neural Networks)、ＳＶＭ(Support Vector Machines)、ＳＯＭ(Self-Organizing Maps)などの機械学習技術により実行することができる。これが図５に示す二値化分類処理である。

二値化分類処理がなされたら、そのバイナリデータに基づいて、具体的な動作である首又は頭の動作、溜め息又は深呼吸、あくびといった動作を抽出する（図５の動作抽出処理）。

あくびの検出は図３のあくび検出部Ｆ２４で実行される。あくびをすると口が縦方向に大きく変化する。図１２の特徴ベクトルでいえば鉛直方向のベクトルがあくびを強く反映するので、あくびの検出にあたっては口の形状変化のうち鉛直方向の変化が重要となる。また、こうした鉛直方向の特徴ベクトルを抽出して、図１４に示す二値化分類処理を行った場合に、あくびは比較的長い時間その形状を維持するので、図１５に示すように所定時間より長い動作をあくびと判定し、所定時間より短い動作はあくびではないと判定する。同図でいえば、３つの動作が抽出されているが、１番目と３番目の動作は時間が長いのであくび動作であると判定するが、２番目の動作は時間が短いのであくびではない他の動作、たとえば会話である可能性が高い。したがって、あくび動作ではないと判定する。このように時間の閾値を設定することにより、他の動作との識別性が高くなる。

溜め息又は深呼吸の検出は図３の溜め息又は深呼吸検出部Ｆ２３で実行される。ここでいう溜め息とは大きく息を吐く動作を意味し、落胆したときなどに肩を落とす仕草を意味するものではない。こうした溜め息や深呼吸をすると口が窄んで横方向の変化が大きくなる。図１３の特徴ベクトルでいえば水平方向のベクトルが溜め息や深呼吸を強く反映するので、溜め息や深呼吸の検出にあたっては口の形状変化のうち水平方向の変化が重要となる。また、こうした水平方向の特徴ベクトルを抽出して、図１４に示す二値化分類処理を行った場合に、溜め息や深呼吸はあくびほど長くはないが会話よりも長い時間その形状を維持するので、そうした所定時間を設定すれば、会話など他の動作との識別性を高めることができる。

首又は頭の動作の検出は図３の首の動作検出部Ｆ２２にて実行される。ここでいう首又は頭の動作は、眠気を覚ますためのストレッチ運動のように、首を左右に曲げたり廻したりする動作を意味する。

首や頭を左右に曲げたり廻したりすると、図１６に示すように形状推定部Ｆ１２にて推定された形状推定信号のうち口の両端を結ぶ直線のｘ軸に対する傾きθが時間とともに変化する。同図の上中図と上右図は首が左右に傾斜していることを示している。そして、前の傾斜角θt-1との差Δθt＝θt−θt-1の変化が同図の下図に矢印で示すように所定の規則に従って変化した場合は、運転手が眠気を覚ますために首を左右に曲げているか廻していると判定し、そうでない場合は眠気を覚ますための首の動作ではないと判定する。

以上、図３に示す形状推定部Ｆ１２から首の動作検出部Ｆ２２，溜め息・深呼吸検出部Ｆ２３，あくび検出部Ｆ２４について説明した。

次に、同図の動作検出部Ｆ１１から手の動作検出部Ｆ２１について説明する。

動作検出部Ｆ１１は、撮像装置１１により時間的に連続して撮像されるデジタル画像信号から物体の動きをベクトルで表現するオプティカルフロー法により運転手の動作を検出する。この手の動作は、最終的には既述した目を擦ったりする副次的動作を検出するために利用される。

この場合、撮像装置１１にて撮像した画像のうち顔の領域以外の領域の画像データも用いられるが、撮像装置１１は運転手の顔を撮影するためにインストルメントパネルの上面などに設置されているから、視野内にハンドルを握る運転手の手の動作も映る可能性がある。このため、図３及び図４に示すようにハンドル操作による実際の操舵信号を車両の操舵制御装置２から手の動作検出部Ｆ２１へ入力される。これについては後述する。

さて、本例では運転手の手が目や顔を触ったか否かを判定するために、図６に示すように、撮像装置１１にて撮像された画像データの顔の周囲の四辺に検出領域Ｄ１〜Ｄ４を設定する。なお、同図において画面外に示したドット及び矢印の記号は、これらの検出領域Ｄ１〜Ｄ４の検出結果を判りやすく示すために欄外に記載したものである。

オプティカルフロー法により、この検出領域Ｄ１〜Ｄ４を物体が交差するとその方向まで検出する。たとえば、図６の検出領域Ｄ３の手は画面の外側から顔に向かって移動してきたオプティカルフローを示している。

手の動作検出部Ｆ２１は、図４に示す形状変化演算部Ｆ２１１、ノイズ除去部Ｆ２１２および手の動作抽出部Ｆ２１３を有し、以下の処理が実行される。

まず上述した形状推定部Ｆ１２からの形状推定信号を入力し、前の画像と今の画像を比較し特徴点の変化ベクトルを算出する。そして、この特徴点の変化ベクトルが顔の動作か否かを識別する。

ノイズ除去部Ｆ２１２では、撮像装置１１による画像信号、形状推定部Ｆ１２による形状推定信号および操舵制御装置２による操舵信号を用いて、運転手の顔の動きやハンドル操作する手の動きなど、予測可能な動作を検出しこれを除去する。

ノイズ除去部Ｆ２１２から出力される信号は、手の動作抽出部Ｆ２１３にて以下の処理が実行される。すなわち、図６に示す検出領域Ｄ１〜Ｄ４の各領域のオプティカルフローについて、図７に示すように、オプティカルフローの方向が顔の動作方向やハンドル操作方向であるものを除き、同一方向であって比較的多数のオプティカルフローを抽出し、それが顔に近づく方向か、顔から遠ざかる方向かを判定する。各検出領域Ｄ１〜Ｄ４についてのオプティカルフローを、図８に示すように分類する。

そして、図９の下図に示すように、各検出領域について、顔に近づく方向のオプティカルフローが検出されたらフラグ１、顔から遠ざかる方向のオプティカルフローが検出されたらフラグ０、いずれも検出されないときはフラグｎを設定するものとし、フラグ１となったあとにフラグ０となったとき、つまり運転手の手が検出領域Ｄ１〜Ｄ４を外側から内側へ向かって一旦通過したのち、内側から外側へ向かって通過したときに、顔に触ったと判定する。

以上のとおり、本例の運転支援装置１によれば、運転手の顔の撮像画像から、首や頭を曲げる動作、溜め息や深呼吸、あくび、手で顔を触るといった、覚醒度が低下する初期状態Ｃで観察される副次的動作を検出することができる。

こうして検出された副次的動作は、図３に示す苦闘検出部Ｆ３１によりその単位時間当たりの頻度がカウントされる。そして、覚醒度低下の初期状態判定部Ｆ４にて、たとえば図１に示す頻度の変化から覚醒度低下の初期状態Ｃを判定する。

なお、苦闘検出部Ｆ３１により副次的動作の頻度をカウントするにあたり、図１７に示すように首や頭を曲げる動作、溜め息や深呼吸、あくび、手で顔を触る動作を全て同じ重み付けω_０〜ω_３で判定してもよいが、運転手の癖に応じて重み付けω_０〜ω_３の大小を変えることもできる。

たとえば、事前の学習操作の際に、極端に首や頭を動かす動作が多いときはその動作は運転手の癖でもあると判断し、検出された首や頭の動作の重み付けを小さくする。

また、運転手の閉眼状態を検出する装置と組み合わせることで、図１に示す平常状態Ａ、苦闘又は葛藤状態Ｂ、居眠りの初期状態Ｃおよび居眠りの進行状態Ｄの全てを検出することができる。

以上のように、本例の運転支援装置によれば、覚醒度が低下した状態で生じる副次的動作の頻度を検出するので、苦闘又は葛藤状態Ｂや居眠りの初期状態Ｃを精度よく判定することができる。

また、判定される状態は居眠りの初期状態Ｃだけでなく、それより覚醒度が高い苦闘又は葛藤状態Ｂも判定できるので、運転手に対してより事前に注意喚起することができる。

また、あくびの検出は口の鉛直方向の形状変化に基づいて行われ、溜め息や深呼吸は口の水平方向の形状変化に基づいて行われ、首や頭の動作は口の両端の傾斜角に基づいて行われるので、あくび、溜め息・深呼吸および首の動きを精度よく検出することができるとともに、これらを誤認識することが抑制される。

また、手の動作は操舵制御装置２を用いてハンドル操作を除去し、さらに顔に接近する方向の動作と顔から離れる動作との組み合わせによって判定するので、副次的動作に関係する手の動作を精度よく検出することができる。

また、運転手の癖によって副次的動作に対する重み付けを変えることで、さらに精度よく覚醒度低下の初期状態を判定することができる。

なお、本発明に係る撮像手段は撮像装置１１に相当し、本発明に係る検出手段は動作検出部Ｆ１１及び形状推定部Ｆ１２に相当し、本発明に係る特徴検出手段は手の動作検出部Ｆ２１，首の動作検出部Ｆ２２，溜め息・深呼吸検出部Ｆ２３及びあくび検出部Ｆ２４に相当し、本発明に係る判定手段は覚醒度低下の初期状態判定部Ｆ４に相当する。

１…運転支援装置
１１…撮像装置
１２…光源
１３…制御装置
Ｆ１１…動作検出部
Ｆ１２…形状推定部
Ｆ２１…手の動作検出部
Ｆ２２…首の動作検出部
Ｆ２３…溜め息・深呼吸検出部
Ｆ２４…あくび検出部
Ｆ３１…苦闘検出部
Ｆ４…覚醒度低下の初期状態判定部
２…操舵制御装置

Claims

運転手の顔を撮像する撮像手段と、
前記撮像手段により撮像された顔画像から運転手の口又は手の動き及び目の開閉を検出する検出手段と、
前記検出手段により検出された前記口の鉛直方向成分の形状変化からあくびを検出し、前記口の水平方向成分の形状変化から溜め息又は深呼吸を検出し、前記口の形状変化から前記運転手の首または頭の運動動作を検出し、前記運転手の顔に接近または離間する手の動作を検出する第１特徴検出手段と、
前記目の閉時間から閉眼率を検出する第２特徴検出手段と、
前記第１特徴検出手段及び前記第２特徴検出手段により検出された特徴動作の経時的変化から前記運転手の覚醒状態、眠気に対する苦闘又は葛藤状態、居眠りの初期状態及び居眠り状態を判定する判定手段と、を備え、
前記判定手段は、
前記閉眼率が第１の閾値以下である場合には前記覚醒状態であると判定し、
前記閉眼率が前記第１の閾値よりも大きい第２の閾値以上である場合には前記居眠り状態であると判定し、
前記閉眼率が前記第１の閾値より大きく前記第２の閾値より小さい場合であって、前記第１特徴検出手段により検出された特徴動作の頻度が、その経時的変化のピークに至るまでの間の状態を前記苦闘又は葛藤状態であると判定し、前記ピーク以降の状態を前記居眠りの初期状態である判定することを特徴とする運転支援装置。
請求項１に記載の運転支援装置において、
前記判定手段により運転手が前記居眠りの初期状態であると判定された場合に前記運転手に注意を喚起する喚起手段をさらに備えることを特徴とする運転支援装置。
請求項１又は２に記載の運転支援装置において、
前記第１特徴検出手段は、前記口の両端の傾斜角の変化から前記首または頭の運動動作を検出することを特徴とする運転支援装置。
請求項１〜３のいずれか一項に記載の運転支援装置において、
前記第１特徴検出手段は、前記運転手のハンドル操作による手の動作を検出し、
前記判定手段は、前記第１特徴検出手段により検出される特徴動作から前記ハンドル操作による手の動作を除外することを特徴とする運転支援装置。
請求項１〜４のいずれか一項に記載の運転支援装置において、
前記判定手段は、前記第１特徴検出手段により検出された前記特徴動作に対し所定の重み付けを設定することを特徴とする運転支援装置。
請求項５に記載の運転支援装置において、
前記第１特徴検出手段は、前記運転手の癖を検出し、
前記判定手段は、前記第１特徴検出手段により検出された前記運転手の癖に関連する前記特徴動作については、その重み付けを小さく設定することを特徴とする運転支援装置。