JP4397719B2 - 視線検出装置 - Google Patents

Description

本発明は、視線検出装置に関する。

従来、例えば自車両の運転者を前方から撮影するカメラを車室内のインスツルメントパネル部の下部または側部に配置し、運転者の顎の先端部等の所定位置を撮影するために運転者の顔を下方から見上げるようにして撮影し、撮影により得られた撮影画像に基づき、運転者の居眠りや脇見状態の有無を判定する装置が知られている（例えば、特許文献１参照）。
特開平６−１８９３０６号公報

ところで、上記従来技術において、運転者の顔を下方から見上げるようにして前方から撮影する場合には、運転者の運転操作に係る腕の動作等によってカメラの撮影方向が遮られる場合があり、このような状態が長時間に亘って継続されると、運転者の居眠りや脇見状態の有無を適切に検出することができなくなるという問題が生じる。
本発明は上記事情に鑑みてなされたもので、運転者の視線を適切に検出することが可能な視線検出装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の視線検出装置は、自車両の運転者の眼球あるいは顔を撮影する撮影手段（例えば、実施の形態での視線用カメラ２１）と、該撮影手段の撮影により得られる撮影画像に基づき運転者の視線を検出する視線検出手段（例えば、実施の形態での視線算出部６１）と、前記視線検出手段により検出された視線を記憶する視線記憶手段（例えば、実施の形態での視線ベクトル記憶部６２）と、前記視線検出手段の検出方向を遮る遮蔽物の有無を判定する判定手段（例えば、実施の形態でのステップＳ２７，センサ遮蔽判定部６４）と、前記視線検出手段により視線の検出が可能であるか否かを判定する検出可否判定手段（例えば、実施の形態でのステップＳ１２）と、前記検出可否判定手段により視線の検出が不可であると判定されてからの経過時間が所定第１閾時間以内である場合に、前記視線記憶手段に格納されている前記視線に基づき運転者の現在の視線を推定する視線推定手段（例えば、実施の形態での視線推定部６３）と、前記検出可否判定手段により視線の検出が不可であると判定されてからの経過時間が前記所定第１閾時間を超えた状態で、前記判定手段により前記遮蔽物が存在すると判定された場合に、運転者に前記遮蔽物が存在することを報知する警報手段（例えば、実施の形態でのステップＳ２８，ステップＳ３０，警報装置１４）とを備える。

上記構成の視線検出装置によれば、例えば所定時間以前の過去に亘って検出された視線を視線記憶手段に格納しておくことにより、視線検出手段によって視線を検出することができない場合であっても、視線記憶手段に格納されている過去の視線に基づき、現在の視線を推定することができる。
これにより、例えば撮影手段の撮影方向が一時的に遮られて運転者の眼球や顔の撮影画像が得られない場合であっても、運転者の視線に基づき実行される各種の制御動作を、視線の推定値により適切に作動させることができる。
また、遮蔽物により視線検出が不可となってからの経過時間が所定第１閾時間を超えた場合には、撮影手段の撮影方向が遮蔽物により遮られていることを運転者に認識させることにより、例えば遮蔽状態の解消等の適切な動作を実行させることができる。

さらに、請求項２に記載の本発明の視線検出装置では、前記警報手段は、運転者に前記遮蔽物が存在することを報知した後に、前記検出可否判定手段により視線の検出が不可であると判定されてからの経過時間が所定第２閾時間を超えた場合に、前記視線検出手段の視線検出不可の異常であることを運転者に報知する。

上記構成の視線検出装置によれば、遮蔽物の存在を検知して警報を出力した場合であっても、検出が不可となってからの経過時間が所定第２閾時間を超えた場合には、視線検出手段による視線の検出が不可である異常と報知することによって、過剰な頻度や期間に亘って遮蔽物の存在に対する警報が出力されてしまうことを防止することができる。

本発明の視線検出装置によれば、例えば撮影手段の撮影方向が一時的に遮られて運転者の眼球や顔の撮影画像が得られない場合や、例えば撮影手段の異常により撮影画像が得られない場合等であっても、運転者の視線に基づき実行される各種の制御動作を、視線の推定値により適切に作動させることができる。また、遮蔽物により視線検出が不可となってからの経過時間が所定第１閾時間を超えた場合には、撮影手段の撮影方向が遮蔽物により遮られていることを運転者に認識させることにより、例えば遮蔽状態の解消等の適切な動作を実行させることができる。
さらに、請求項２に記載の本発明の視線検出装置によれば、遮蔽物の存在を検知して警報を出力した場合であっても、検出が不可となってからの経過時間が所定第２閾時間を超えた場合には、視線検出手段による視線の検出が不可である異常と報知することによって、過剰な頻度や期間に亘って遮蔽物の存在に対する警報が出力されてしまうことを防止することができる。

以下、本発明の一実施形態に係る視線検出装置について添付図面を参照しながら説明する。
本実施の形態による視線検出装置１０は、例えば車両の走行安全装置に具備され、この走行安全装置１は、例えば図１に示すように、自車両の運転者の視線を検出するためにＣＰＵ等を含む電子回路により構成された制御装置１１と、視線センサ１２と、外界センサ１３と、警報装置１４とを備えて構成されている。

視線センサ１２は、例えば図２および図３に示すように、車室内のインストルメントパネルやダッシュボード上部等に設けられ、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣ−ＭＯＳカメラ等の視線用カメラ２１と、視線用画像処理部２２とを備えて構成されている。
視線用カメラ２１は、制御装置１１の制御により、例えば視線用カメラ２１に具備される赤外線照射装置から運転者の顔や眼球に向けて照射された赤外線の反射や、運転者の顔や眼球から反射される可視光を撮影する。
視線用画像処理部２２は、視線用カメラ２１により撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して制御装置１１へ出力する。

外界センサ１３は、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣ−ＭＯＳカメラ等からなるカメラ３１および画像処理部３２と、例えばレーザ光やミリ波等のレーダ３３およびレーダ制御部３４とを備えて構成されている。
カメラ３１は、例えば図２に示すようにフロントウィンドウの車室内側でルームミラー近傍の位置に配置され、フロントウィンドウ越しに自車両の進行方向前方の所定検知範囲の外界を撮影する。
画像処理部３２は、カメラ３１により撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して制御装置１１へ出力する。

レーダ３３は、例えば図２に示すように自車両のボディのノーズ部や車室内のフロントウィンド近傍等に配置され、制御装置１１からレーダ制御部３４へ入力される制御指令に応じたレーダ制御部３４の制御により、レーザ光やミリ波等の発信信号を適宜の検知方向（例えば、自車両の進行方向前方等）に向けて発信すると共に、この発信信号が自車両の外部の物体（検知対象物）によって反射されることで生じた反射信号を受信し、反射信号と発信信号とを混合してビート信号を生成して制御装置１１へ出力する。

警報装置１４は、例えば、触覚的伝達装置４１と、視覚的伝達装置４２と、聴覚的伝達装置４３とを備えて構成されている。
触覚的伝達装置４１は、例えばシートベルト装置や操舵制御装置等であって、制御装置１１から入力される制御信号に応じて、例えばシートベルトに所定の張力を発生させて自車両の乗員が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイールに自車両の運転者が触覚的に知覚可能な振動（ステアリング振動）を発生させる。
視覚的伝達装置４２は、例えば表示装置等であって、制御装置１１から入力される制御信号に応じて、例えば表示装置に所定の警報情報を表示したり、所定の警報灯を点滅させる。
聴覚的伝達装置４３は、例えばスピーカ等であって、制御装置１１から入力される制御信号に応じて所定の警報音や音声等を出力する。

制御装置１１は、視線センサ１２から画像データが入力される視線検知部５１と、外界センサ１３から画像データおよびビート信号が入力される物体検知部５３と、判定部５５とを備えて構成されている。
そして、視線検知部５１は、例えば視線算出部６１と、視線ベクトル記憶部６２と、視線推定部６３と、センサ遮蔽判定部６４と、タイマー６５とを備えて構成されている。
視線算出部６１は、視線センサ１２から入力される画像データに対して、例えば運転者の顔や眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトル（視線方向）を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出する。そして、算出した視線ベクトルを視線ベクトル記憶部６２に格納する。
なお、画像データの認識処理において、特徴量算出の処理では、例えば二値化処理後の画像データに対して、画素の連続性に基づく検知対象物の抽出およびラベリングを行い、抽出した検知対象物の重心および面積および外接四角形の縦横比等を算出する。また、形状判別の処理では、例えば予め記憶している所定パターン（例えば輪郭等）に基づき画像データ上の検索を行い、所定パターンとの類似性に応じて検知対象物を抽出する。

視線ベクトル記憶部６２は、所定時間以内の過去に算出された視線ベクトルを時系列データとして記憶する。
視線推定部６３は、視線ベクトル記憶部６２に格納されている視線ベクトルを取得して、運転者の現在の視線の視線ベクトルおよび対象位置を推定する。
センサ遮蔽判定部６４は、例えば、視線センサ１２の出力に運転者の顔や眼球以外の物体が撮像された画像データが含まれているか否か、さらには、視線センサ１２の出力に画像データが含まれているか否か等を判定することによって、視線センサ１２の検知方向を遮る遮蔽物の有無、さらには、視線センサ１２が異常状態であるか否かを判定する。
そして、センサ遮蔽判定部６４は、視線センサ１２の検知方向を遮る遮蔽物の有無、さらには、視線センサ１２が異常状態であるか否かの判定結果に応じて、警報装置１４を作動させる。

物体検知部５３は、例えば相対位置・相対距離算出部７１と、移動状態判定部７２とを備えて構成されている。
相対位置・相対距離算出部７１は、外界センサ１３から入力される画像データに対して、例えば他の車両や歩行者等の移動体や障害物や標識等の物体を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物と自車両との相対位置および相対距離を算出する。例えば、外界センサ１３のカメラ１３がステレオカメラである場合や、カメラ１３が複数のカメラを備えて構成される場合には、複数の画像データに基づく三角測量法等により、他の車両や歩行者等の移動体や障害物や標識等の物体の相対位置および相対距離を算出する。さらに、検知対象物の時刻間追跡、すなわちサンプリング周期毎に抽出した検知対象物の同一性判定を行い、相対位置を時系列位置データとしてメモリ等に格納することによって、検知対象物の移動状態（例えば、移動速度や移動方向等）を算出する。
また、相対位置・相対距離算出部７１は、例えば外界センサ１３から入力されるビート信号の周波数ｆ（ビート周波数）に基づき、所定の検知エリア内の検知対象物までの相対距離や検知対象物の移動状態（例えば、移動速度や移動方向等）を算出する。
移動状態判定部７２は、検知対象物の移動状態に応じて、検知対象物が、例えば他の車両や歩行者等の移動体であるか、あるいは、障害物や標識等の静止物であるかを判定する。

判定部５５は、例えば見落とし判定部８１と、危険判定部８２とを備えて構成されている。
見落とし判定部８１は、視線検知部５１から出力される運転者の視線の対象位置と、物体検知部５３から出力される物体の相対位置とに基づき、運転者が物体を視認しているか否かを判定する。
危険判定部８２は、見落とし判定部８１にて運転者が視認していない、つまり運転者が見落としていると判定された物体の危険度（例えば、自車両の走行の支障となる可能性等）を算出する。この物体の危険度は、例えば物体の相対位置および相対距離および移動状態に加えて、自車両の移動状態（例えば、移動速度や移動方向等）に基づき算出される。そして、自車両の移動状態は、例えば車両状態量センサ（図示略）を構成する車速センサや舵角センサやヨーレートセンサや傾斜センサや方向指示器の作動状態を検知するセンサ等の各センサから出力される検出信号に基づき算出される。例えば、車速センサは車輪の回転速度等に基づいて所定の単位処理時間毎における車両移動距離つまり自車両の速度を検出し、舵角センサはステアリングシャフト（図示略）に設けられたロータリエンコーダ等からなり、運転者が入力した操舵角度の方向と大きさを検出する。ヨーレートセンサは車両重心の上下方向軸回りの回転角であるヨー角およびヨー角の変化量（ヨーレート）等を検出し、傾斜センサは車両重心の水平軸周りの回転角であるピッチ角およびピッチ角の変化量等を検出する。
そして、判定部５５は、危険判定部８２にて算出した危険度に応じて警報装置１４を作動させる。

本実施の形態による視線検出装置１０は上記構成（例えば、視線センサ１２と制御装置１１の視線検知部５１）を備えており、次に、この視線検出装置１０を具備する走行安全装置１の動作について説明する。

先ず、以下に、制御装置１１の判定部５５の動作について説明する。
例えば図４に示すステップＳ０１においては、外界センサ１３から出力される画像データおよびビート信号に基づく物体の検知結果、例えば相対位置、相対距離、移動状態の各情報を取得する。
次に、ステップＳ０２においては、視線検知部５１の検知結果、例えば運転者の現在の視線の視線ベクトルおよび対象位置の各情報を取得する。
次に、ステップＳ０３においては、視線の対象位置の情報を取得したか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ０４に進み、取得した物体の検知結果に基づき、物体の危険度を算出し、後述するステップＳ０８に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０５に進む。

ステップＳ０５においては、取得した物体の検知結果および視線の対象位置に基づき、例えば物体の相対位置と視線の対象位置とが一致するか否か、あるいは、視線ベクトルが物体の相対位置を含むか否か等を判定することによって、運転者が検知対象を見落としているか否かを判定する。
そして、ステップＳ０６においては、ステップＳ０５において見落としが有ると判定されたか否かを判定する。
この判定結果が「ＮＯ」の場合には、運転者は検知された物体を視認していると判断して、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、運転者は検知された物体を見落としていると判断して、ステップＳ０７に進む。

ステップＳ０７においては、運転者が見落としていると判定された物体の危険度を算出する。
そして、ステップＳ０８においては、算出した危険度が所定値よりも大きいか否かを判定する。
ステップＳ０８の判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、ステップＳ０８の判定結果が「ＹＥＳ」の場合には、ステップＳ０９に進み、警報装置１４を作動させ、一連の処理を終了する。

以下に、制御装置１１の視線検知部５１の動作について説明する。
先ず、図５に示すステップＳ１１においては、視線センサ１２の出力を取得する。
次に、ステップＳ１２においては、取得した出力の信号に所定の画像データ、例えば運転者の顔や眼球が撮像された画像データが含まれているか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ２０に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１３に進む。
ステップＳ１３においては、タイマー６５が作動中であるか否かを判定する。
ステップＳ１３の判定結果が「ＮＯ」の場合には、後述するステップＳ１５に進む。
一方、ステップＳ１３の判定結果が「ＹＥＳ」の場合には、ステップＳ１４に進み、タイマー６５の作動を停止して、ステップＳ１５に進む。
ステップＳ１５においては、取得した画像データに基づき、運転者の視線の視線ベクトルを算出する。

そして、ステップＳ１６においては、算出した視線ベクトルを視線ベクトル記憶部６２に格納する。
そして、ステップＳ１７においては、視線ベクトル記憶部６２に格納されている視線ベクトルのうち、所定時間以前の視線ベクトルを消去する。
そして、ステップＳ１８においては、算出した視線ベクトルに基づき視線の対象位置を算出する。
そして、ステップＳ１９においては、算出した対象位置を判定部５５へ出力して、一連の処理を終了する。

また、ステップＳ２０においては、タイマー６５が作動中であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ２１に進み、タイマー６５の作動を開始し、ステップＳ２２に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２２に進む。
ステップＳ２２においては、タイマー６５のタイマー値が所定の第１閾時間以下か否かを判定する。
ステップＳ２２の判定結果が「ＮＯ」の場合には、後述するステップＳ２６に進む。
一方、ステップＳ２２の判定結果が「ＹＥＳ」の場合には、ステップＳ２３に進む。

そして、ステップＳ２３においては、視線ベクトル記憶部６２に、過去の視線ベクトルが格納されているか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ３１に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２４に進む。
ステップＳ２４においては、視線ベクトル記憶部６２に格納されている視線ベクトルを取得する。
そして、ステップＳ２５においては、取得した視線ベクトルに基づき、現在の運転者の視線ベクトルを推定すると共に、推定した現在の視線ベクトルに基づき視線の対象位置を算出し、上述したステップＳ１９に進む。

また、ステップＳ２６においては、取得した視線センサ１２の出力に基づき、例えば取得した出力に画像データが含まれている場合に、運転者の顔や眼球以外の物体が撮像されているか否かを判定することにより、視線センサ１２の検知方向を遮る遮蔽物の有無を判定する。
そして、ステップＳ２７においては、ステップＳ２６において遮蔽物があると判定されたか否かを判定する。
この判定結果が「ＮＯ」の場合には、視線センサ１２が異常状態であると判断して、後述するステップＳ３０に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２８に進む。
ステップＳ２８においては、警報装置１４を作動させ、視線センサ１２の検知方向を遮る遮蔽物が存在することを報知する。
そして、ステップＳ２９においては、タイマー６５のタイマー値が、所定の第１閾時間よりも長い第２閾時間以下であるか否かを判定する。
ステップＳ２９の判定結果が「ＹＥＳ」の場合には、上述したステップＳ２３に進む。
一方、ステップＳ２９の判定結果が「ＮＯ」の場合、つまり視線センサ１２の検知方向を遮る遮蔽物が存在することを報知してから所定第２閾時間を超える時間が経過した場合には、後述するステップＳ３１に進む。

また、ステップＳ３０においては、警報装置１４を作動させ、視線センサ１２が異常状態であることを報知する。
そして、ステップＳ３１においては、運転者の視線を検知不可であって、視線の対象位置を算出することができないことを示す信号を判定部５５に出力し、一連の処理を終了する。

上述したように、本実施の形態による視線検出装置１０によれば、運転者の視線を検出することができない場合であっても、検出が不可となってからの経過時間が所定第１閾時間以内で有れば過去に検出された視線ベクトルに基づいて運転者の視線を精度良く推定することができる。
そして、検出が不可となってからの経過時間が所定第１閾時間を超えた場合には、視線センサ１２の検知方向を遮る遮蔽物の有無を判定し、この判定結果に応じて警報装置１４を作動させることによって、単に、移動可能な遮蔽物が存在する場合には、この遮蔽物を移動させることを運転者に促すことができる。また、遮蔽物が存在しない場合には、視線センサ１２に異常が生じたと判定することによって、適切な故障検知を行うことができる。
また、遮蔽物の存在を検知して警報を出力した場合であっても、検出が不可となってからの経過時間が所定第２閾時間を超えた場合には、視線の検出が不可であると判断することによって、過剰な頻度や期間に亘って警報が出力されてしまうことを防止することができる。

本発明の一実施形態に係る走行安全装置の構成図である。 図１に示す視線センサおよび外界センサを搭載した車両を示す斜視図である。 図１に示す視線センサを搭載した車両を示す斜視図である。 図１に示す走行安全装置の動作を示すフローチャートである。 図１に示す視線センサの動作を示すフローチャートである。

符号の説明

１０ 視線検出装置
１４ 警報装置（警報手段）
２１ 視線用カメラ（撮影手段）
６１ 視線算出部（視線検出手段）
６２ 視線ベクトル記憶部（視線記憶手段）
６３ 視線推定部（視線推定手段）
６４ センサ遮蔽判定部（検出可否判定手段）
ステップＳ１２，ステップＳ２７ 検出可否判定手段
ステップＳ２８，ステップＳ３０ 警報手段

Claims (2)

1. 自車両の運転者の眼球あるいは顔を撮影する撮影手段と、該撮影手段の撮影により得られる撮影画像に基づき運転者の視線を検出する視線検出手段と、
   前記視線検出手段により検出された視線を記憶する視線記憶手段と、
   前記視線検出手段の検出方向を遮る遮蔽物の有無を判定する判定手段と、
   前記視線検出手段により視線の検出が可能であるか否かを判定する検出可否判定手段と、
   前記検出可否判定手段により視線の検出が不可であると判定されてからの経過時間が所定第１閾時間以内である場合に、前記視線記憶手段に格納されている前記視線に基づき運転者の現在の視線を推定する視線推定手段と、
   前記検出可否判定手段により視線の検出が不可であると判定されてからの経過時間が前記所定第１閾時間を超えた状態で、前記判定手段により前記遮蔽物が存在すると判定された場合に、運転者に前記遮蔽物が存在することを報知する警報手段とを備えることを特徴とする視線検出装置。
2. 前記警報手段は、運転者に前記遮蔽物が存在することを報知した後に、前記検出可否判定手段により視線の検出が不可であると判定されてからの経過時間が所定第２閾時間を超えた場合に、前記視線検出手段の視線検出不可の異常であることを運転者に報知することを特徴とする請求項１に記載の視線検出装置。

Images