JP4173083B2 - 覚醒状態判定装置及び覚醒状態判定方法 - Google Patents

Description

本発明は、視線方向から、覚醒状態を間接的かつ高精度に判定する技術に関する。

従来より、車両運転者の覚醒状態が低下したときに注意を喚起することで、居眠り運転などを効果的に防止し、車両運行時の安全性を高める技術が種々開発されている。そして、特許文献１〜特許文献３に夫々記載されるように、覚醒状態と密接な関連がある眼の開閉動作たる瞬きに着目して、覚醒状態を判定する技術が提案されている。
特開２０００−１３７７９２号公報 特開平１１−１４７４２８号公報 特開平８−１４５６２７号公報

しかしながら、車両運転者が居眠り状態まで至らなくとも、例えば、疲労などにより注意散漫となったときには、車両周囲の目視がおろそかになり、無意識に一点を見つめてしまう固視（凝視）状態となってしまうことがある。このような固視状態は、眼の瞬き状態が通常と変わらないため、従来技術では、車両運転者の覚醒状態を正確に判定することができなかった。

そこで、本発明は以上のような従来の問題点に鑑み、視線方向が一定領域内に長時間固定されたときに、無意識な固視状態となったと判定することで、覚醒状態を間接的かつ高精度に判定できる技術を提供することを目的とする。

このため、請求項１記載の発明に係る覚醒状態判定装置では、視線方向を検出する視線方向検出手段と、該視線方向検出手段により検出された視線方向が、周囲空間を所定規則で分割した複数領域の１つに所定時間連続して固定されたときに、覚醒状態が低下したと判定する覚醒状態判定手段と、前記複数領域のうち視線がある領域の特性及び車速に基づいて、前記所定時間を動的に設定する時間設定手段と、を含んで構成されたことを特徴とする。
請求項２記載の発明では、前記覚醒状態判定手段は、車速が所定値以上のときに、覚醒状態が低下したか否かを判定することを特徴とする。

請求項３記載の発明では、車両運転者による車両操作状態を判定する操作状態判定手段を備え、前記覚醒状態判定手段は、前記操作状態判定手段により車両操作中でないと判定されたときに、覚醒状態が低下したか否かを判定することを特徴とする。
請求項４記載の発明では、前記操作状態判定手段は、制動操作，操舵操作，ウインカー操作及び変速操作のうち、少なくとも制動操作を含む１つ以上の操作のすべてがなされていないときに、車両操作中でないと判定することを特徴とする。

請求項５記載の発明では、前記覚醒状態判定手段により覚醒状態が低下したと判定されたときに、注意を喚起する注意喚起手段を備えたことを特徴とする。
請求項６記載の発明では、前記視線方向検出手段は、顔面の画像を撮像する撮像手段と、該撮像手段により撮像された画像から、顔面輪郭を抽出する顔面輪郭抽出手段と、前記撮像手段により撮像された画像及び顔面輪郭抽出手段により抽出された顔面輪郭に基づいて、顔面全体に対する額及び両頬の面積比率を算出する顔面面情報算出手段と、該顔面面情報算出手段により算出された顔面全体に対する額及び両頬の面積比率に基づいて、撮像方向に対する顔面旋回方向を推定する顔面旋回方向推定手段と、前記撮像手段により撮像された画像から、両瞳及び鼻が位置する座標を検出する座標検出手段と、該座標検出手段により検出された両瞳及び鼻の座標を線分で結んだ逆三角形の重心を算出する重心算出手段と、前記両瞳及び鼻の座標を線分で結んだ逆三角形並びに重心算出手段により算出された重心に基づいて、顔面における視線方向を推定する視線方向推定手段と、前記顔面旋回方向推定手段により推定された顔面旋回方向に基づいて、前記視線方向推定手段により推定された視線方向を撮像方向に対する視線方向となるように補正する視線方向補正手段と、を含んで構成されたことを特徴とする。

請求項７記載の発明では、基準方向に対する撮像方向のオフセット角度に基づいて、前記顔面旋回方向推定手段により推定された顔面旋回方向を基準方向に対する顔面旋回方向となるように補正する顔面旋回方向補正手段を備え、前記視線方向補正手段は、前記顔面旋回方向補正手段により補正された顔面旋回方向に基づいて、前記視線方向推定手段により推定された視線方向を基準方向に対する視線方向となるように補正することを特徴とする。

請求項８記載の発明では、前記顔面のうち両眼及び鼻が占める範囲を設定する顔面特徴設定手段を備え、前記座標検出手段は、前記顔面特徴設定手段により設定された範囲内の画像から、両瞳及び鼻が位置する座標を検出することを特徴とする。
請求項９記載の発明では、前記顔面特徴設定手段により設定された範囲を、最新画像に基づいて更新学習する顔面特徴学習手段を備えたことを特徴とする。

請求項１０記載の発明では、前記座標検出手段は、両鼻孔の中心を結ぶ線分の中点を鼻座標とすることを特徴とする。
請求項１１記載の発明に係る覚醒状態判定方法では、視線方向検出装置により検出した視線方向が周囲空間を所定規則で分割した複数領域の１つに固定された状態が、視線がある領域の特性及び車速に応じて動的に設定された所定時間連続したときに、覚醒状態が低下したとコンピュータに判定させることを特徴とする。

請求項１又は請求項１１に記載の発明によれば、周囲空間を所定規則で分割した複数領域の１つに、視線方向が所定時間連続して固定されたときに、覚醒状態が低下したと判定される。即ち、車両運転者などは、居眠り状態まで至らなくとも、例えば、疲労などにより注意散漫となったときには、無意識に一点を見つめてしまう固視（凝視）状態となってしまう。そこで、かかる固視状態を検出することで、覚醒状態を間接的かつ高精度に判定することができる。
このとき、覚醒状態が低下したか否かを判定するための所定時間は、視線がある領域の特性及び車速に基づいて動的に設定される。即ち、車両運転者は、メータなどを目視するときに、その領域に長くても１，２秒視線を固定するに過ぎない。また、高速道路を走行しているときのように車速が大であるときには、できるだけ車両前方を目視すべきである。このため、視線がある領域の特性及び車速に基づいて所定時間を動的に設定することで、車両運転という特定状況下での判定精度を一層向上させることができる。

請求項２記載の発明によれば、覚醒状態が低下したか否かは、車速が所定値以上のときに判定される。即ち、車速が所定値未満のときには、車両は停車中又は極低速走行中であるので、覚醒状態が多少低下しても、車両運転について支障が少ないと考えられる。このため、支障が少ない状態のときには、不必要な処理を実行しないようにすることで、制御装置の負荷を低減することができる。

請求項３記載の発明によれば、覚醒状態が低下したか否かは、車両運転者が車両操作中でないときに判定される。即ち、車両運転者が車両操作中であるときには、その操作を行うために十分覚醒していると考えられる。このため、車両運転者がかかる状態のときに、覚醒状態を判定しないようにし、制御装置の処理負荷を低減しつつ、誤判定を効果的に防止することができる。

請求項４記載の発明によれば、制動操作，操舵操作，ウインカー操作及び変速操作のうち、少なくとも制動操作を含む１つ以上の操作のすべてがなされていないときに、車両操作中でないと判定される。このため、車両に備えられている各種センサ，スイッチなどの信号を活用して車両操作中であるか否かが判定されるので、センサなどの追加が不要であることから、コスト上昇を防止することができる。

請求項５記載の発明によれば、覚醒状態が低下したときに注意が喚起されるので、例えば、居眠りしそうな状態であっても、注意喚起により覚醒することができる。
請求項６記載の発明によれば、顔面を撮像した画像及びこれから抽出された顔面輪郭に基づいて、顔面全体に対する額及び両頬の面積比率が算出される。そして、顔面全体に対する額及び両頬の面積比率に基づいて、撮像方向に対する顔面旋回方向が推定される。また、顔面を撮像した画像から両瞳及び鼻の座標が検出され、両瞳及び鼻の座標を線分で結んだ逆三角形の重心が算出される。その後、逆三角形及びその重心に基づいて顔面における視線方向が推定され、顔面旋回方向に基づいて視線方向が撮像方向に対する視線方向となるように補正される。従って、被写体に直接装着するアイカメラなどを使用しなくとも、顔面を撮像した画像から、顔面構成要素を介して、視線方向を間接的かつ高精度に検出することができる。

請求項７記載の発明によれば、被写体に正対する理想的な位置に撮像装置が設置されていなくとも、撮像方向のオフセット角度に基づいて、顔面旋回方向が基準方向に対する顔面旋回方向となるように補正されるので、視線方向の検出精度低下を防止することができる。
請求項８記載の発明によれば、顔面のうち両眼及び鼻が占める範囲内の画像から、両瞳及び鼻が位置する座標が検出されるので、画像処理に要する負荷が低減し、処理能力を向上させることができる。

請求項９記載の発明によれば、顔面のうち両眼及び鼻が占める範囲が最新画像に基づいて更新学習されるので、例えば、被写体がひげを伸ばすことで容貌が変貌しても、処理能力の低下を抑制することができる。
請求項１０記載の発明によれば、両鼻孔の中心を結ぶ線分の中点が鼻座標となるので、鼻が位置する座標を高精度に特定することができる。

以下、添付された図面を参照して本発明を詳述する。
図１は、キャブオーバ型のトラックに対し本発明を適用して構築した覚醒状態判定装置の構成を示す。
覚醒状態判定装置は、車両運転者１０の視線方向を検出するアイカメラなどの視線方向検出装置２０（視線方向検出手段）と、車速Ｖを検出する車速センサ３０と、制動操作中にＯＮとなるブレーキスイッチ４０と、操舵角θを検出する操舵角センサ５０と、ウインカー操作中にＯＮとなるウインカースイッチ６０と、変速操作中にＯＮとなるシフトスイッチ７０と、車両運転者１０に対して注意を喚起する警報装置８０と、コンピュータを内蔵した制御装置９０と、を含んで構成される。制御装置９０は、視線方向検出装置２０，車速センサ３０，ブレーキスイッチ４０，操舵角センサ５０，ウインカースイッチ６０及びシフトスイッチ７０の各信号に基づいて車両運転者１０の覚醒状態を判定すると共に、覚醒状態が低下したときに警報装置８０を作動させる。そして、制御装置９０では、ＲＯＭ（Read Only Memory）などのメモリに記憶されたプログラムにより、図２に示すように、領域設定手段９０Ａ，時間設定手段９０Ｂ及び覚醒状態判定手段９０Ｃが夫々実現される。なお、警報装置８０としては、ブザー（音），シート振動（感覚）又は香り（匂い）などで注意を喚起する構成が採用可能である。

領域設定手段９０Ａでは、車両運転中の安全確認のために視線を向ける周囲空間を所定規則で分割すべく、図３（Ａ）に示すように、鉛直面をＨ領域，Ｍ領域及びそれ以外の領域に区画すると共に、同図（Ｂ）に示すように、水平面をＩ〜VI領域に区画する機能が提供される。ここで、Ｈ領域並びにＭ領域は、夫々、ルームミラー，車両前方及び側方を目視できる領域、並びに、速度計などのメータを目視確認できる領域に設定される。また、Ｉ〜VI領域は、夫々、運転席前方，助手席前方，右ミラーを含んだ車両右前方，左ミラーを含んだ車両左前方，右側方並びに左側方を目視できる領域に設定される。

時間設定手段９０Ｂでは、領域設定手段９０Ａにより複数に分割された各領域について、通常状態において視線方向が固定されるであろうと考えられる最長時間、即ち、固視状態であるか否かを判定するための判定時間（所定時間）を設定する機能が提供される。判定時間は、視線がある領域及び車速Ｖに応じて動的に設定される。
覚醒状態判定手段９０Ｃでは、視線方向検出装置２０により検出された視線方向、並びに、領域設定手段９０Ａ及び時間設定手段９０Ｂにより夫々設定された各領域及び判定時間に基づいて、後述する処理により、車両運転者１０の覚醒状態を判定する機能が提供される。また、覚醒状態判定手段９０Ｃでは、車両運転者１０の覚醒状態が低下したと判定されたときに、車両運転者１０に対して注意を喚起すべく、警報装置８０を作動させる機能も提供される。なお、警報装置８０及び制御装置９０の協働による前記機能により、注意喚起手段が実現される。

次に、制御装置９０において実行される処理について、図４及び図５に示すフローチャートを参照しつつ説明する。なお、かかる処理は、イグニッションキーがＯＮとなった後、所定時間ごとに繰り返し実行される。
メインルーチンを示す図４において、ステップ１（図では「Ｓ１」と略記する。以下同様）では、車両運転者１０が制動操作中であるか否か、即ち、ブレーキスイッチ４０からの信号がＯＮであるか否かが判定される。そして、制動操作中であれば処理を終了する一方（Ｙｅｓ）、制動操作中でなければステップ２へと進む（Ｎｏ）。

ステップ２では、車両運転者１０がステアリングホイールを操作している操舵操作中であるか否か、即ち、操舵角センサ５０により検出された操舵角θの絶対値が所定値θ₀以上であるか否かが判定される。そして、操舵操作中であれば処理を終了する一方（Ｙｅｓ）、操舵操作中でなければステップ３へと進む（Ｎｏ）。
ステップ３では、車両運転者１０がウインカーを操作中であるか否か、即ち、ウインカースイッチ６０からの信号がＯＮであるか否かが判定される。そして、ウインカー操作中であれば処理を終了する一方（Ｙｅｓ）、ウインカー操作中でなければステップ４へと進む（Ｎｏ）。

ステップ４では、車両運転者１０がシフトレバーを操作している変速操作中であるか否か、即ち、シフトスイッチ７０からの信号がＯＮであるか否かが判定される。そして、変速操作中であれば処理を終了する一方（Ｙｅｓ）、変速操作中でなければステップ５へと進む（Ｎｏ）。なお、ステップ１〜ステップ４における一連の処理が、操作状態判定手段に該当する。

ステップ５では、視線方向検出装置２０を介して、車両運転者１０の視線方向が検出される。
ステップ６では、車両運転者１０の視線方向をパラメータとして、その覚醒状態を判定するサブルーチン（図５参照）がコールされる。
以上説明したメインルーチンによれば、視線方向検出及び覚醒状態判定は、車両運転者１０が車両操作中でないときのみ実行される。即ち、車両運転者１０が、制動操作中，操舵操作中，ウインカー操作中又は変速操作中であるときには、その操作を行うために十分覚醒していると考えられる。このため、車両運転者１０がかかる状態のときに、視線方向検出及び覚醒状態判定を行わないことで、制御装置９０の処理負荷を低減しつつ、誤判定を効果的に防止することができる。なお、車両操作としては、少なくとも制動操作を含むようにすればよい。

覚醒状態を判定するサブルーチンを示す図５において、ステップ１１では、車両運転者１０の視線方向が、鉛直面のＨ領域かつ水平面のＩ領域〜VI領域（図３参照）にあるか否か、即ち、車両運転者１０が車両周囲を目視しているか否かが判定される。そして、視線方向がかかる領域にあればステップ１４へと進む一方（Ｙｅｓ）、視線方向がかかる領域になければステップ１２へと進む（Ｎｏ）。

ステップ１２では、車両運転者１０の視線方向が、水平面のＩ領域かつ鉛直面のＭ領域（図３参照）にあるか否か、即ち、車両運転者１０がメータを目視確認しているか否かが判定される。そして、視線方向がかかる領域にあればステップ１４へと進む一方（Ｙｅｓ）、視線方向がかかる領域になければステップ１３へと進む（Ｎｏ）。
ステップ１３では、車両運転者１０の視線方向が、設定した領域外にあるか否かが判定される。そして、視線方向が設定領域外にあればステップ１４へと進む一方（Ｙｅｓ）、視線方向が設定領域内にあればメインルーチンへと戻る（Ｎｏ）。

ステップ１４では、車速センサ３０により検出された車速Ｖが所定値Ｖ₀以上であるか否か、即ち、車両が所定速度以上で走行中であるか否かが判定される。そして、車速Ｖが所定値Ｖ₀以上であればステップ１５へと進む一方（Ｙｅｓ）、車速Ｖが所定値Ｖ₀未満であればメインルーチンへと戻る（Ｎｏ）。
ステップ１５では、車速Ｖ及び視線がある領域（以下「視線領域」という）に基づいて、固視状態であるか否かを判定するための判定時間が設定される。即ち、メータなどを目視する領域（鉛直面のＭ領域かつ水平面のＩ領域）は、通常では長くても１，２秒視線が固定されるに過ぎない。また、高速道路を走行しているときのように車速Ｖが速いときには、単位時間あたりに車両が走行する距離が大であるため、できるだけ車両前方を目視すべきである。このため、視線領域及び車速Ｖに基づいて判定時間を動的に設定することで、車両運転という特定状況下での判定精度を一層向上させることができる。

ステップ１６では、同一視線領域内において、視線方向が判定時間連続して固定されたか否かが判定される。そして、視線方向が判定時間連続して固定されたならばステップ１７へと進む一方（Ｙｅｓ）、視線方向が判定時間連続して固定されていなければメインルーチンへと戻る（Ｎｏ）。
ステップ１７では、車両運転者１０の視線方向が同一領域に長時間固定されたので、覚醒状態が低下したと判定される。

ステップ１８では、覚醒状態が低下したことを車両運転者１０に報知し注意を喚起すべく、警報装置８０が所定時間作動される。
以上説明したサブルーチンによれば、車両運転者１０の視線方向が所定領域にあり、かつ、車速Ｖが所定値Ｖ₀以上であるとき、車速Ｖ及び視線領域に基づいて、固視状態であるか否かを判定するための判定時間が設定される。そして、同一領域内において視線方向が判定時間連続して固定されると、車両運転者１０の覚醒状態が低下したと判定し、注意を喚起すべく警報装置８０が作動される。このため、車両運転者１０の覚醒状態は、従来技術のような眼の瞬きではなく、視線方向の固定状態により判定されることとなり、無意識な固視状態を含む広範な覚醒状態低下を間接的かつ高精度に判定することができる。

ところで、視線方向検出装置２０としてアイカメラを用いると、車両運転者１０はこれを頭部などに装着せざるを得ない。この場合、車両運転者１０が煩わしいと感じるだけでなく、車両運転に支障を来してしまうおそれもある。そこで、次のようにして、車両運転者１０の顔面を撮像した画像から、視線方向を間接的かつ高精度に検出するようにしてもよい。

即ち、図１における視線方向検出装置２０として、車両運転者１０の顔面を撮像するＣＣＤ（Charge Coupled Device）カメラなどの撮像装置１００を用い、その信号を制御装置９０に入力する。そして、制御装置９０では、ＲＯＭなどのメモリに記憶されたプログラムにより、図６に示すように、顔面輪郭抽出手段９０Ｄ，顔面面情報算出手段９０Ｅ，顔面旋回方向推定手段９０Ｆ，撮像方向設定手段９０Ｇ，顔面旋回方向補正手段９０Ｈ，顔面特徴設定手段９０Ｉ，顔面特徴学習手段９０Ｊ，両瞳座標検出手段９０Ｋ，鼻座標検出手段９０Ｌ，重心算出手段９０Ｍ，視線方向推定手段９０Ｎ及び視線方向補正手段９０Ｏが夫々実現される。なお、両瞳座標検出手段９０Ｋ及び鼻座標検出手段９０Ｌにより、座標検出手段が構成される。

顔面輪郭抽出手段９０Ｄでは、公知の画像処理技術を用いて、撮像装置１００により撮像された画像から、車両運転者１０の顔面輪郭が抽出される。
顔面面情報算出手段９０Ｅでは、画像及び顔面輪郭に基づいて、顔面全体に対する額及び両頬の面積比率（以下「顔面面情報」という）が算出される。即ち、図７に示すように、画像を所定間隔のメッシュで分割し、額及び両頬が占める範囲に含まれる矩形要素を計数することで、顔面輪郭により区画される顔面全体に対する額及び両頬が占める面積比率（割合）が算出される。

顔面旋回方向推定手段９０Ｆでは、顔面面情報に基づいて、撮像方向に対する顔面旋回方向（顔面を向けている方向）が推定される。即ち、撮像方向に対して顔面が正対した画像を示す図８（Ａ）を基準として、同図（Ｂ）〜（Ｆ）に夫々示すように、顔面が上方，下方，右上方，右方及び右下方を向くと、顔面全体に対する額及び両頬の面積比率が変化する特性がある。例えば、同図（Ｂ）に示すように顔面が上方を向いたときには、左右の頬の面積比率が略一定割合で増加する一方、額の面積比率が減少する。また、同図（Ｄ）に示すように顔面が右上方を向いたときには、右の頬及び額の面積比率が減少する一方、左の頬の面積比率が増加する。このため、額及び両頬の面積比率の変化を介して、撮像方向に対して顔面がどちらを向いているかを推定することができる。

撮像方向設定手段９０Ｇでは、基準方向たる車両前方に対する撮像方向、換言すると、車両前方に対する撮像装置１００のオフセット角度が設定される。即ち、車両運転者１０が前方を目視しているときに、その正対する位置から顔面を撮像することが理想である。しかし、車両運転者１０に正対する位置に撮像装置１００があると、前方視界が妨げられるおそれがあるので、このような理想的な位置に撮像装置１００を設置することは現実的には不可能である。このため、車両運転者１０に対面する位置であってその顔面が撮像可能な位置、例えば、ダッシュボード，天井などに撮像装置１００を設置する構成を採用せざるを得ない。このような位置に撮像装置１００を設置すると、図９及び図１０に示すように、鉛直面及び水平面について、撮像方向が理想的な正対方向からずれてしまう。そこで、撮像方向に対する顔面旋回方向を車両前方に対する顔面旋回方向となるように補正可能とすべく、車両前方に対する撮像装置１００のオフセット角度を予め設定する機能が備えられていることが望ましい。

顔面旋回方向補正手段９０Ｈでは、撮像装置１００のオフセット角度に基づいて、撮像方向に対する顔面旋回方向が補正され、車両前方に対する顔面旋回方向が求められる。即ち、撮像方向に対する顔面旋回方向に対して、撮像装置１００のオフセット角度を減算することで、車両前方を基準方向とした顔面旋回方向が求められる。
顔面特徴設定手段９０Ｉでは、画像処理範囲を限定して処理能力を向上させるべく、車両運転者１０の顔面のうち両眼及び鼻が占めるであろうと考えられる範囲（以下「顔面特徴」という）が設定される。即ち、車両運転者１０の両眼及び鼻は、その身体的特徴である身長，座高などにより異なる高さにある。画像全体から両眼及び鼻を抽出することは可能であるが、制御装置９０に対して高い処理能力を要求することとなり、コストなどの面からも現実的でない。そこで、顔面特徴に基づいて画像処理範囲を限定することで、処理負荷の低減を通して処理能力を向上させることができる。

顔面特徴学習手段９０Ｊでは、車両運転者１０の顔面特徴が、例えば、ひげを伸ばすことで変貌することに鑑み、最新画像との差分を介して適宜更新学習される。
両瞳座標検出手段９０Ｋでは、最新の顔面特徴により限定される画像処理範囲について、画像から両眼領域が抽出される。そして、抽出された両眼領域からさらに両瞳が抽出され、瞳座標としてその中心座標が夫々検出される。なお、車両運転者１０がサングラスを着用しているときには、両瞳位置を画像から特定することができないので、サングラスのレンズ中心を瞳座標とすればよい。

鼻座標検出手段９０Ｌでは、最新の顔面特徴により限定される画像処理範囲について、画像から鼻孔領域が抽出される。そして、鼻座標として、抽出された鼻孔の中心座標、即ち、左右の鼻孔中心を結ぶ線分の中点が検出される。
重心算出手段９０Ｍでは、図１１に示すように、両瞳及び鼻の座標を線分で結んだ逆三角形の重心が算出される。

視線方向推定手段９０Ｎでは、逆三角形及びその重心の変化に基づいて、顔面における視線方向が推定される。例えば、図１２（Ａ）に示すように、視線が右上方を向いているときには、逆三角形における両瞳を結ぶ線分が左方に向かって下方に傾斜すると共に、その重心が逆三角形の中心から右上方へと移動する。また、同図（Ｂ）に示すように、視線が右下方を向いているときには、逆三角形における両瞳を結ぶ線分が右方に向かって下方に傾斜すると共に、その重心が逆三角形の中心から右下方へと移動する。このため、視線方向に対応した規則性を用いれば、顔面における視線方向を間接的かつ高精度に推定することができる。

視線方向補正手段９０Ｏでは、車両前方に対する顔面旋回方向に基づいて、顔面における視線方向が補正され、車両前方に対する視線方向が求められる。即ち、車両前方に対する顔面旋回方向に顔面における視線方向を加算することで、車両前方を基準方向とした視線方向が求められる。
次に、制御装置９０で実行される視線方向検出処理について、図１３に示すフローチャートを参照しつつ説明する。

ステップ２１では、撮像装置１００により車両運転者１０の顔面が撮像される。
ステップ２２では、画像から顔面輪郭が抽出される。
ステップ２３では、画像及び顔面輪郭に基づいて顔面面情報が算出される。
ステップ２４では、顔面面情報に基づいて撮像方向に対する顔面旋回方向が推定される。

ステップ２５では、撮像装置１００のオフセット角度に基づいて顔面旋回方向が補正され、車両前方に対する顔面旋回方向が求められる。
ステップ２６では、最新の顔面特徴に基づいて顔面のうち両眼及び鼻が占めるであろうと考えられる画像処理範囲（抽出範囲）が限定される。
ステップ２７では、限定された右眼抽出範囲について、画像から右眼領域が抽出される。

ステップ２８では、抽出された右眼領域から更に右瞳が抽出され、右瞳座標としてその中心座標が算出される。
ステップ２９では、限定された左眼抽出範囲について、画像から左眼領域が抽出される。
ステップ３０では、抽出された左眼領域から更に左瞳が抽出され、左瞳座標として、その中心座標が算出される。

ステップ３１では、限定された鼻抽出範囲について、画像から鼻孔領域が抽出される。
ステップ３２では、抽出された鼻孔領域から、鼻座標として、左右の鼻孔中心を結ぶ線分の中点座標が算出される。
ステップ３３では、両瞳座標及び鼻座標を夫々頂点とする逆三角形が作成される。
ステップ３４では、作成された逆三角形の各頂点座標からその重心座標が算出される。

ステップ３５では、逆三角形及びその重心の変化に基づいて、顔面における視線方向が推定される。
ステップ３６では、撮像方向に対する顔面旋回方向に基づいて、顔面における視線方向が補正され、車両前方に対する視線方向が求められる。
かかる視線方向検出処理によれば、顔面を撮像した画像から顔面輪郭が抽出されると共に、画像及び顔面輪郭に基づいて、顔面全体に対する額及び両頬の面積比率が算出される。ここで、顔面全体に対する額及び両頬の面積比率は、図８に示すように、撮像方向に対する顔面旋回方向に応じて規則性をもって変化する特性がある。そこで、その規則性を用いることで、顔面撮像方向に対する顔面旋回方向を推定することができる。

ところで、被写体に正対する位置からその顔面を撮像することが理想であるが、車両に対して本発明を適用したときには、車両運転者１０の前方視界を確保する必要から、理想的な位置に撮像装置１００を設置することはできない。このため、基準方向たる車両前方に対する撮像装置１００のオフセット角度に基づいて、撮像方向に対する顔面旋回方向を基準方向に対する顔面旋回方向となるように補正すれば、理想的な位置に撮像装置１００が設置されていなくとも、これに起因する視線方向の検出精度低下を防止することができる。

一方、顔面を撮像した画像から、両瞳及び鼻が位置する座標が検出されると共に、両瞳及び鼻の座標を線分で結んだ逆三角形の重心が算出される。このとき、画像処理範囲を限定して処理能力を向上させるべく、顔面のうち両眼及び鼻が占めるであろうと考えられる範囲内の画像から、両瞳及び鼻が位置する座標が検出される。ここで、逆三角形及びその重心は、図１２に示すように、顔面における視線方向に応じて規則性をもって変化する特性がある。そこで、その規則性を用いることで、顔面における視線方向を推定することができる。

そして、顔面旋回方向に基づいて顔面における視線方向を補正、即ち、顔面旋回方向と顔面における視線方向を加算することで、基準方向に対する視線方向を間接的かつ高精度に検出することができる。

トラックに対し本発明を適用して構築した覚醒状態判定装置の構成図 覚醒状態を判定するための各種機能を示すブロック図 領域設定手段により分割される領域を示し、（Ａ）及び（Ｂ）は夫々鉛直面及び水平面における領域区画状態の説明図 覚醒状態を判定するための処理を示すメインルーチンのフローチャート 覚醒状態を判定するための処理を示すサブルーチンのフローチャート 視線方向を検出するための各種機能を示すブロック図 顔面面情報を算出する方法の説明図 撮像方向に対する顔面旋回方向を推定する方法を示し、（Ａ）〜（Ｆ）は夫々視線方向が正面，上方，下方，右上方，右方及び右下方にあるときの説明図 鉛直面における撮像装置のオフセット状態の説明図 水平面における撮像装置のオフセット状態を示し、（Ａ）及び（Ｂ）は夫々撮像装置を右方及び左方にオフセットしたときの説明図 両瞳座標及び鼻座標により規定される逆三角形並びにその重心の説明図 顔面における視線方向を推定する方法を示し、（Ａ）及び（Ｂ）は夫々視線を右上方及び右下方に向けたときの説明図 視線方向を検出するための処理を示すフローチャート

符号の説明

１０ 車両運転者
２０ 視線方向検出装置
３０ 車速センサ
４０ ブレーキスイッチ
５０ 操舵角センサ
６０ ウインカースイッチ
７０ シフトスイッチ
８０ 警報装置
９０ 制御装置
９０Ａ 領域設定手段
９０Ｂ 時間設定手段
９０Ｃ 覚醒状態判定手段
９０Ｄ 顔面輪郭抽出手段
９０Ｅ 顔面面情報算出手段
９０Ｆ 顔面旋回方向推定手段
９０Ｇ 撮像方向設定手段
９０Ｈ 顔面旋回方向補正手段
９０Ｉ 顔面特徴設定手段
９０Ｊ 顔面特徴学習手段
９０Ｋ 両瞳座標検出手段
９０Ｌ 鼻座標検出手段
９０Ｍ 重心算出手段
９０Ｎ 視線方向推定手段
９０Ｏ 視線方向補正手段
１００ 撮像装置

Claims (11)

1. 視線方向を検出する視線方向検出手段と、
   該視線方向検出手段により検出された視線方向が、周囲空間を所定規則で分割した複数領域の１つに所定時間連続して固定されたときに、覚醒状態が低下したと判定する覚醒状態判定手段と、
   前記複数領域のうち視線がある領域の特性及び車速に基づいて、前記所定時間を動的に設定する時間設定手段と、
   を含んで構成されたことを特徴とする覚醒状態判定装置。
2. 前記覚醒状態判定手段は、車速が所定値以上のときに、覚醒状態が低下したか否かを判定することを特徴とする請求項１記載の覚醒状態判定装置。
3. 車両運転者による車両操作状態を判定する操作状態判定手段を備え、
   前記覚醒状態判定手段は、前記操作状態判定手段により車両操作中でないと判定されたときに、覚醒状態が低下したか否かを判定することを特徴とする請求項１又は請求項２に記載の覚醒状態判定装置。
4. 前記操作状態判定手段は、制動操作，操舵操作，ウインカー操作及び変速操作のうち、少なくとも制動操作を含む１つ以上の操作のすべてがなされていないときに、車両操作中でないと判定することを特徴とする請求項３記載の覚醒状態判定装置。
5. 前記覚醒状態判定手段により覚醒状態が低下したと判定されたときに、注意を喚起する注意喚起手段を備えたことを特徴とする請求項１〜請求項４のいずれか１つに記載の覚醒状態判定装置。
6. 前記視線方向検出手段は、
   顔面の画像を撮像する撮像手段と、
   該撮像手段により撮像された画像から、顔面輪郭を抽出する顔面輪郭抽出手段と、
   前記撮像手段により撮像された画像及び顔面輪郭抽出手段により抽出された顔面輪郭に基づいて、顔面全体に対する額及び両頬の面積比率を算出する顔面面情報算出手段と、
   該顔面面情報算出手段により算出された顔面全体に対する額及び両頬の面積比率に基づいて、撮像方向に対する顔面旋回方向を推定する顔面旋回方向推定手段と、
   前記撮像手段により撮像された画像から、両瞳及び鼻が位置する座標を検出する座標検出手段と、
   該座標検出手段により検出された両瞳及び鼻の座標を線分で結んだ逆三角形の重心を算出する重心算出手段と、
   前記両瞳及び鼻の座標を線分で結んだ逆三角形並びに重心算出手段により算出された重心に基づいて、顔面における視線方向を推定する視線方向推定手段と、
   前記顔面旋回方向推定手段により推定された顔面旋回方向に基づいて、前記視線方向推定手段により推定された視線方向を撮像方向に対する視線方向となるように補正する視線方向補正手段と、
   を含んで構成されたことを特徴とする請求項１〜請求項５のいずれか１つに記載の覚醒状態判定装置。
7. 基準方向に対する撮像方向のオフセット角度に基づいて、前記顔面旋回方向推定手段により推定された顔面旋回方向を基準方向に対する顔面旋回方向となるように補正する顔面旋回方向補正手段を備え、
   前記視線方向補正手段は、前記顔面旋回方向補正手段により補正された顔面旋回方向に基づいて、前記視線方向推定手段により推定された視線方向を基準方向に対する視線方向となるように補正することを特徴とする請求項６記載の覚醒状態判定装置。
8. 前記顔面のうち両眼及び鼻が占める範囲を設定する顔面特徴設定手段を備え、
   前記座標検出手段は、前記顔面特徴設定手段により設定された範囲内の画像から、両瞳及び鼻が位置する座標を検出することを特徴とする請求項６又は請求項７に記載の覚醒状態判定装置。
9. 前記顔面特徴設定手段により設定された範囲を、最新画像に基づいて更新学習する顔面特徴学習手段を備えたことを特徴とする請求項８記載の覚醒状態判定装置。
10. 前記座標検出手段は、両鼻孔の中心を結ぶ線分の中点を鼻座標とすることを特徴とする請求項６〜請求項９のいずれか１つに記載の覚醒状態判定装置。
11. 視線方向検出装置により検出した視線方向が周囲空間を所定規則で分割した複数領域の１つに固定された状態が、視線がある領域の特性及び車速に応じて動的に設定された所定時間連続したときに、覚醒状態が低下したとコンピュータに判定させることを特徴とする覚醒状態判定方法。

Images