JPH0976815A - 運転操作補助装置 - Google Patents

Abstract

(57)【要約】 【課題】 運転者の視認行動に応じて前照灯の照射方向
やメータディスプレイの明るさを調整する。 【解決手段】 カメラ（１）にて撮像入力された運転者
の顔面画像から顔・視線検出処理部（２）にて顔の向き
と視線方向を検出し、顔の向きおよび視線方向から所定
のアルゴリズムに従って運転者の視認意図を総合的に判
断する。そしてこの判断結果に従ってライト方向調整部
（４）を駆動して補助灯の照射方向を可変し、またメー
タレオスタッド調整部（３）を駆動してメータディスプ
レイの明るさを調整する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は運転者の顔・視線の
動きを利用してコーナリングランプ等の補助灯の照射方
向やメータディスプレイの明るさを自動調整する運転操
作補助装置に関する。

【０００２】

【関連する背景技術】自動車には車速や燃料残量等の車
両情報を提示するメータディスプレイや、夜間の運転時
におけるコーナリング方向を照明する補助灯等の運転補
助装置が各種組み込まれている。この種の運転補助装
置、特に補助灯は専ら方向指示器の操作とハンドル操作
との情報に従ってその作動が制御されるが、一般的には
ハンドル操作に比べて運転者の前方（側方）視認行動の
方が早いので制御（作動）遅れが生じ易い。

【０００３】そこで最近では、例えば特開平3-74231号
公報に示されるように運転者の目の動きから視線方向を
検出し、その検出結果に従って補助灯の照射方向を自動
調整する試みがなされている。また実開平1-102035号公
報に開示されるように運転者の首振り動作を検出し、そ
の検出結果に従って補助灯の照射方向を可変してコーナ
リングを補助することも試みられている。

【０００４】

【発明が解決しようとする課題】しかし運転中における
運転者の視線の動きは目まぐるしく、その動きに応じて
補助灯の照射方向を制御することは非常に煩わしい。ま
して目まぐるしく変化する視線の動きに追従してこれを
精度良く、且つ的確に照射方向を制御すること自体困難
である。これに対して首の動きは概して緩慢であり、視
線の向きを正確に反映していないことが多い。

【０００５】また最近では、メータディスプレイに表示
される車両情報の視認精度を高めるべく、メータディス
プレイの明るさ（輝度）を多段階に調整可能とすること
も試みられている。しかし周囲の状況に応じてメータデ
ィスプレイを視認し易い明るさに調整したとしても、メ
ータディスプレイは常時注視するものではない為、運転
中、かえってその明るさが煩わしくなると言う不具合が
ある。

【０００６】本発明はこのような事情を考慮してなされ
たもので、その目的は、運転者の顔・視線の方向に従っ
てメータディスプレイや補助灯等の運転補助装置の作動
を適切に制御し、運転操作を効果的に補助することので
きる運転操作補助装置を提供することにある。

【０００７】

【課題を解決するための手段】本発明に係る運転操作補
助装置は、運転者の顔の動きは滑らかで、視認対象の向
きを大略的に示しており、また視線自体の動きは早くて
目まぐるしく変化するものの注視方向を正確に示してい
ることに鑑みてなされたもので、運転席の前方に設けら
れたカメラ等の撮影手段にて運転者の顔面を撮影し、そ
の顔面画像を認識処理して前記運転者の顔の向きおよび
視線の方向をそれぞれ求め、これらの認識情報を所定の
アルゴリズムに従って総合的に判断しながら運転補助装
置の作動を制御するようにしたことを特徴とするもので
ある。

【０００８】特に運転補助装置としての補助灯に対して
は、その照射方向を制御し、また運転補助装置としての
メータディスプレイに対しては、その明るさを制御する
ことを特徴とするものである。つまり運転者の顔が大き
く動くか否かに応じて、またそのときの視線方向に従っ
て補助灯の照射方向やメータディスプレイの明るさを制
御するようにしたものである。

【０００９】

【発明の実施の形態】以下、図面を参照して本発明の一
実施例に係る運転操作補助装置について説明する。図１
は実施例装置の概略構成図であり、１は車両の運転席前
方に取り付けられた撮影手段としてのカメラである。こ
のカメラ１はステアリングホイールの前に位置付けられ
た２台の小型ＣＣＤカメラからなり、運転者Ｄの顔面を
ステレオ視入力し、その顔面画像データを顔・視線検出
処理部２に対して出力する。

【００１０】認識手段としての顔・視線検出処理部２
は、例えばマイクロプロセッサからなり、所定の認識ア
ルゴリズムに従って前記顔面画像データから、例えば図
２に示すようにその特徴点を検出し、特徴点情報に従っ
て運転者の顔の向きおよび視線の方向を検出するもので
ある。そしてその検出結果に従ってメータレオスタッド
調整部３を駆動して図示しないメータディスプレイの明
るさを調整し、またライト方向調整部４を駆動して図示
しない補助灯の照射方向を調整する。

【００１１】図３は上記顔面画像データに基づく運転者
の顔の向きと視線方向の検出処理、およびその検出結果
に基づくメータディスプレイの明るさ調整および補助灯
の照射方向調整についての処理アルゴリズムの一例を示
している。この処理アルゴリズムについて説明すると、
カメラ１にて撮像入力された運転者の顔面画像データは
顔・視線検出処理部２に入力され、その特徴情報に基づ
いて顔の向きの検出、および視線方向が検出される（ス
テップＳ１）。

【００１２】この検出処理は、概略的には顔面画像中に
おける目・鼻・口等の大まかな顔の特徴点の領域を、図
２に示すような点線囲み領域Ａとして検出した後、各特
徴点領域内の画像情報から黒目中心・目頭・目尻・鼻口
等の特徴点位置を図２中黒点Ｂとして示すようにそれぞ
れ検出する（ステップＳ１１）。しかる後、これらの各
特徴点の、例えば車両空間を基準とする３次元空間上に
おける座標位置を計算する（ステップＳ１２）。そして
更に各特徴点の座標位置の時間的変化や各特徴点の相対
的な位置関係等から顔の向き、および視線方向を算出す
ることにより行われる（ステップＳ１３）。

【００１３】以上のようにして顔の向きと視線方向が検
出されると、常時は運転者は進行方向前方を注視してい
るとの前提の下で、先ず顔の向きの情報に従って顔の動
きが大きいか小さいかが判定される（ステップＳ２）。
この判断は顔の動きが小さい場合には、メータディスプ
レイの視認動作程度の軽い行動であり、顔の動きが大き
い場合には、例えば前方障害物の確認動作等の、何かに
注目する大きな動作であると見なすと言う判断基準に基
づく。

【００１４】しかして顔の動きが小さい場合には、次に
視線方向の情報に従って、その視線方向がメータ視認角
の範囲であるか否かが判断される（ステップＳ３）。そ
して視線方向の角度が所定のメータ視認角の範囲にある
場合、つまり視線が下方を向いている場合には、これを
運転者のメータディスプレイの確認動作であると判断し
てメータレオスタッド調整部３を駆動してメータレオス
タッド調整を行い（ステップＳ４）、メータディスプレ
イの明るさを、その情報が視認し易くなる程度まで増大
させる。メータディスプレイの明るさを増大させる手段
としては、例えばその表示輝度を高めることのみなら
ず、その表示コントラストを高めるようにしても良い。

【００１５】一方、顔の向きの動きが大きい場合には
（ステップＳ２）、先ずその動きの向きが下向きである
かを判断する（ステップＳ５）。顔の動きが下向きであ
る場合には、これを運転者がメータディスプレイを積極
的に注視する行動であると判断して、前述したメータレ
オスタッド調整を行う（ステップＳ４）。これに対して
顔の動きが下向き以外の場合には（ステップＳ５）、具
体的には顔の向きが左右に大きく変化した場合等には、
これを前述したように前方障害物の確認動作である等と
判断してライト方向調整部４を駆動し、先ず補助灯の照
射方向をその顔の向きに合わせる（ステップＳ６）。し
かる後、照射方向が調整された補助灯の照射範囲と、そ
のときの視線方向とを比較し、視線方向がライト照射範
囲内であるか否かを判定する（ステップＳ７）。視線方
向がライト照射範囲内である場合にはその時点での処理
を終えるが、視線方向がその照射範囲から外れている場
合には、そのときの視線方向の情報に基づいて補助灯の
照射方向を微調整する（ステップＳ８）。

【００１６】以上の処理を、例えば所定の周期で繰り返
すことにより、時々刻々変化する運転状況に伴う運転者
の顔の動きおよび視線方向の変化に応じて補助灯の照射
方向が調整され、またメータディスプレイの明るさが調
整される。かくして上述した実施例装置によれば、運転
者の顔の動きだけではなく、運転者の視線方向も考慮し
て補助灯の照射方向の調整やメータディスプレイの明る
さ調整を行うので、これらの運転補助装置を最適化して
運転操作を効果的に補助することが可能となる。具体的
には煩わしい操作を伴うことなく、運転者の顔および視
線の動きを利用することで運転者の視認行動意図を捕ら
え、これに応じて補助灯やメータディスプレイ等の運転
補助装置の作動を円滑に自然性よく調整することができ
る。

【００１７】特に顔の動きは一般的に滑らかであるか
ら、顔の動きに追従して制御される運転補助装置の作動
変化、特に補助灯の照射方向の変化は人間の感覚として
の違和感が少ない。その上で視線方向に応じた照射方向
の微調整が行われるので、自然性の高い効果的な運転操
作補助を実現できる。また顔の動きが小さい場合には、
運転者の視線の方向の情報からメータディスプレイの視
認行動か否かが判断されてその明るさが調整されるの
で、顔を大きく動かさなくてもメータディスプレイの情
報を明瞭に、つまり視認性良く提示することが可能とな
る。

【００１８】尚、本発明は上述した実施例に限定される
ものではない。実施例では顔の向きが大きく変化したと
き、その変化に応じて補助灯の照射方向を調整するもの
とした。しかし顔の向きの変化が過大であるような場合
には、例えばこれをサイドミラーの確認動作等であると
判断して補助灯の調整動作から排除することが好まし
い。また顔の動きが小さく、且つ視線が予め特定された
向きを向いているような場合、その向きに設けられてい
るスイッチを自動操作するようにしても良い。具体的に
はＧＰＳを利用したナビゲーション・システムのオン・
オフや、エア・コンディショナーのオン・オフを自動操
作するようにしても良い。

【００１９】更には運転席が暗く、運転者の顔面画像の
入力に光量が不足するような場合には赤外線ストロボ光
を利用することも勿論可能であり、顔面画像データから
の特徴点の認識処理や、特徴点情報に基づく顔の向きお
よび視線方向の検出処理アルゴリズムも種々変形して実
施可能なことは勿論のことである。

【００２０】

【発明の効果】以上説明したように本発明によれば、運
転者の顔面画像から検出される顔の動きのみならず、顔
面画像から検出される視線方向の情報に従って運転者の
視認行動の意図を簡易にして的確に判断して、補助灯や
メータディスプレイ等の運転補助装置の作動を制御する
ので、これらの運転補助装置の円滑で違和感のない調整
が可能である。特に補助灯を制御対象とした場合には、
顔の動きに応じてその照射方向を調整した後、視線方向
に応じて照射方向を微調整するので、運転者の注視意図
に応じた照射方向制御が可能である。

【図面の簡単な説明】

【図１】本発明の一実施例に係る運転操作補助装置の概
略構成図。

【図２】顔面画像データに対する特徴点検出処理の概念
を示す図。

【図３】実施例装置の処理アルゴリズムの例を示す図。

【符号の説明】

１ カメラ ２ 顔・視線検出処理部 ３ メータレオスタッド調整部 ４ ライト方向調整部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 運転席の前方に設けられて運転者の顔面
   を撮影する撮影手段と、 該撮影手段にて求められた顔面画像から前記運転者の顔
   の向きおよび視線の方向を求める認識手段と、 該認識手段により求められた情報に従って運転補助装置
   の作動を制御する制御手段とを具備したことを特徴とす
   る運転操作補助装置。
2. 【請求項２】 運転補助装置は補助灯であって、制御手
   段は該補助灯の照射方向を制御することを特徴とする請
   求項１に記載の運転操作補助装置。
3. 【請求項３】 運転補助装置はメータディスプレイであ
   って、制御手段は該メータディスプレイの明るさを制御
   することを特徴とする請求項１に記載の運転操作補助装
   置。