JP3228086B2 - 運転操作補助装置 - Google Patents
運転操作補助装置Info
- Publication number
- JP3228086B2 JP3228086B2 JP23309095A JP23309095A JP3228086B2 JP 3228086 B2 JP3228086 B2 JP 3228086B2 JP 23309095 A JP23309095 A JP 23309095A JP 23309095 A JP23309095 A JP 23309095A JP 3228086 B2 JP3228086 B2 JP 3228086B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- driver
- sight
- line
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 12
- 230000001678 irradiating effect Effects 0.000 claims 1
- 238000012790 confirmation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Instrument Panels (AREA)
Description
動きを利用してコーナリングランプ等の補助灯の照射方
向やメータディスプレイの明るさを自動調整する運転操
作補助装置に関する。
両情報を提示するメータディスプレイや、夜間の運転時
におけるコーナリング方向を照明する補助灯等の運転補
助装置が各種組み込まれている。この種の運転補助装
置、特に補助灯は専ら方向指示器の操作とハンドル操作
との情報に従ってその作動が制御されるが、一般的には
ハンドル操作に比べて運転者の前方(側方)視認行動の
方が早いので制御(作動)遅れが生じ易い。
公報に示されるように運転者の目の動きから視線方向を
検出し、その検出結果に従って補助灯の照射方向を自動
調整する試みがなされている。また実開平1-102035号公
報に開示されるように運転者の首振り動作を検出し、そ
の検出結果に従って補助灯の照射方向を可変してコーナ
リングを補助することも試みられている。
運転者の視線の動きは目まぐるしく、その動きに応じて
補助灯の照射方向を制御することは非常に煩わしい。ま
して目まぐるしく変化する視線の動きに追従してこれを
精度良く、且つ的確に照射方向を制御すること自体困難
である。これに対して首の動きは概して緩慢であり、視
線の向きを正確に反映していないことが多い。
される車両情報の視認精度を高めるべく、メータディス
プレイの明るさ(輝度)を多段階に調整可能とすること
も試みられている。しかし周囲の状況に応じてメータデ
ィスプレイを視認し易い明るさに調整したとしても、メ
ータディスプレイは常時注視するものではない為、運転
中、かえってその明るさが煩わしくなると言う不具合が
ある。
たもので、その目的は、運転者の顔・視線の方向に従っ
てメータディスプレイや補助灯等の運転補助装置の作動
を適切に制御し、運転操作を効果的に補助することので
きる運転操作補助装置を提供することにある。
助装置は、運転者の顔の動きは滑らかで、視認対象の向
きを大略的に示しており、また視線自体の動きは早くて
目まぐるしく変化するものの注視方向を正確に示してい
ることに鑑みてなされたもので、運転席の前方に設けら
れたカメラ等の撮影手段にて運転者の顔面を撮影し、そ
の顔面画像を認識処理して前記運転者の顔の向きおよび
視線の方向をそれぞれ求め、これらの認識情報を所定の
アルゴリズムに従って総合的に判断しながら運転補助装
置の作動を制御するようにしたことを特徴とするもので
ある。この際、運転者の顔の向きを判定した後、運転者
の視線の方向を判定することで、顔の動きから運転補助
制御に対する大まかな方向付けを行い、その後、視線の
方向に基づいて運転補助装置に対する細かい制御を行う
ことが望ましい。
は、その照射方向を制御し、また運転補助装置としての
メータディスプレイに対しては、その明るさを制御する
ことを特徴とするものである。つまり運転者の顔が大き
く動くか否かに応じて、またそのときの視線方向に従っ
て補助灯の照射方向やメータディスプレイの明るさを制
御するようにしたものである。
実施例に係る運転操作補助装置について説明する。図1
は実施例装置の概略構成図であり、1は車両の運転席前
方に取り付けられた撮影手段としてのカメラである。こ
のカメラ1はステアリングホイールの前に位置付けられ
た2台の小型CCDカメラからなり、運転者Dの顔面を
ステレオ視入力し、その顔面画像データを顔・視線検出
処理部2に対して出力する。
は、例えばマイクロプロセッサからなり、所定の認識ア
ルゴリズムに従って前記顔面画像データから、例えば図
2に示すようにその特徴点を検出し、特徴点情報に従っ
て運転者の顔の向きおよび視線の方向を検出するもので
ある。そしてその検出結果に従ってメータレオスタッド
調整部3を駆動して図示しないメータディスプレイの明
るさを調整し、またライト方向調整部4を駆動して図示
しない補助灯の照射方向を調整する。
の顔の向きと視線方向の検出処理、およびその検出結果
に基づくメータディスプレイの明るさ調整および補助灯
の照射方向調整についての処理アルゴリズムの一例を示
している。この処理アルゴリズムについて説明すると、
カメラ1にて撮像入力された運転者の顔面画像データは
顔・視線検出処理部2に入力され、その特徴情報に基づ
いて顔の向きの検出、および視線方向が検出される(ス
テップS1)。
おける目・鼻・口等の大まかな顔の特徴点の領域を、図
2に示すような点線囲み領域Aとして検出した後、各特
徴点領域内の画像情報から黒目中心・目頭・目尻・鼻口
等の特徴点位置を図2中黒点Bとして示すようにそれぞ
れ検出する(ステップS11)。しかる後、これらの各
特徴点の、例えば車両空間を基準とする3次元空間上に
おける座標位置を計算する(ステップS12)。そして
更に各特徴点の座標位置の時間的変化や各特徴点の相対
的な位置関係等から顔の向き、および視線方向を算出す
ることにより行われる(ステップS13)。
出されると、常時は運転者は進行方向前方を注視してい
るとの前提の下で、先ず顔の向きの情報に従って顔の動
きが大きいか小さいかが判定される(ステップS2)。
この判断は顔の動きが小さい場合には、メータディスプ
レイの視認動作程度の軽い行動であり、顔の動きが大き
い場合には、例えば前方障害物の確認動作等の、何かに
注目する大きな動作であると見なすと言う判断基準に基
づく。
視線方向の情報に従って、その視線方向がメータ視認角
の範囲であるか否かが判断される(ステップS3)。そ
して視線方向の角度が所定のメータ視認角の範囲にある
場合、つまり視線が下方を向いている場合には、これを
運転者のメータディスプレイの確認動作であると判断し
てメータレオスタッド調整部3を駆動してメータレオス
タッド調整を行い(ステップS4)、メータディスプレ
イの明るさを、その情報が視認し易くなる程度まで増大
させる。メータディスプレイの明るさを増大させる手段
としては、例えばその表示輝度を高めることのみなら
ず、その表示コントラストを高めるようにしても良い。
(ステップS2)、先ずその動きの向きが下向きである
かを判断する(ステップS5)。顔の動きが下向きであ
る場合には、これを運転者がメータディスプレイを積極
的に注視する行動であると判断して、前述したメータレ
オスタッド調整を行う(ステップS4)。これに対して
顔の動きが下向き以外の場合には(ステップS5)、具
体的には顔の向きが左右に大きく変化した場合等には、
これを前述したように前方障害物の確認動作である等と
判断してライト方向調整部4を駆動し、先ず補助灯の照
射方向をその顔の向きに合わせる(ステップS6)。し
かる後、照射方向が調整された補助灯の照射範囲と、そ
のときの視線方向とを比較し、視線方向がライト照射範
囲内であるか否かを判定する(ステップS7)。視線方
向がライト照射範囲内である場合にはその時点での処理
を終えるが、視線方向がその照射範囲から外れている場
合には、そのときの視線方向の情報に基づいて補助灯の
照射方向を微調整する(ステップS8)。
すことにより、時々刻々変化する運転状況に伴う運転者
の顔の動きおよび視線方向の変化に応じて補助灯の照射
方向が調整され、またメータディスプレイの明るさが調
整される。かくして上述した実施例装置によれば、運転
者の顔の動きだけではなく、運転者の視線方向も考慮し
て補助灯の照射方向の調整やメータディスプレイの明る
さ調整を行うので、これらの運転補助装置を最適化して
運転操作を効果的に補助することが可能となる。具体的
には煩わしい操作を伴うことなく、運転者の顔および視
線の動きを利用することで運転者の視認行動意図を捕ら
え、これに応じて補助灯やメータディスプレイ等の運転
補助装置の作動を円滑に自然性よく調整することができ
る。
ら、顔の動きに追従して制御される運転補助装置の作動
変化、特に補助灯の照射方向の変化は人間の感覚として
の違和感が少ない。その上で視線方向に応じた照射方向
の微調整が行われるので、自然性の高い効果的な運転操
作補助を実現できる。また顔の動きが小さい場合には、
運転者の視線の方向の情報からメータディスプレイの視
認行動か否かが判断されてその明るさが調整されるの
で、顔を大きく動かさなくてもメータディスプレイの情
報を明瞭に、つまり視認性良く提示することが可能とな
る。
ものではない。実施例では顔の向きが大きく変化したと
き、その変化に応じて補助灯の照射方向を調整するもの
とした。しかし顔の向きの変化が過大であるような場合
には、例えばこれをサイドミラーの確認動作等であると
判断して補助灯の調整動作から排除することが好まし
い。また顔の動きが小さく、且つ視線が予め特定された
向きを向いているような場合、その向きに設けられてい
るスイッチを自動操作するようにしても良い。具体的に
はGPSを利用したナビゲーション・システムのオン・
オフや、エア・コンディショナーのオン・オフを自動操
作するようにしても良い。
入力に光量が不足するような場合には赤外線ストロボ光
を利用することも勿論可能であり、顔面画像データから
の特徴点の認識処理や、特徴点情報に基づく顔の向きお
よび視線方向の検出処理アルゴリズムも種々変形して実
施可能なことは勿論のことである。
転者の顔面画像から検出される顔の動きのみならず、顔
面画像から検出される視線方向の情報に従って運転者の
視認行動の意図を簡易にして的確に判断して、補助灯や
メータディスプレイ等の運転補助装置の作動を制御する
ので、これらの運転補助装置の円滑で違和感のない調整
が可能である。特に補助灯を制御対象とした場合には、
顔の動きに応じてその照射方向を調整した後、視線方向
に応じて照射方向を微調整するので、運転者の注視意図
に応じた照射方向制御が可能である。
略構成図。
を示す図。
Claims (3)
- 【請求項1】 運転席の前方に設けられて運転者の顔面
を撮影する撮影手段と、 該撮影手段にて求められた顔面画像から前記運転者の顔
の向きおよび視線の方向を求める認識手段と、この 認識手段の検出結果から前記運転者の顔の動きを判
定した後、この顔の動きに応じて前記運転者の視線の方
向を判定し、上記運転者の顔の向きおよび視線の方向に
基づいて運転補助装置の作動を制御する制御手段とを具
備したことを特徴とする運転操作補助装置。 - 【請求項2】 前記運転補助装置は補助灯であって、前
記制御手段は、前記運転者の顔の向きの変化が過大であ
るときには、前記補助灯の照射方向を制御しないことを
特徴とする請求項1に記載の運転操作補助装置。 - 【請求項3】 前記運転補助装置はメータディスプレイ
であって、前記制御手段は、少なくとも前記運転者が下
方を向いているときに前記メータディスプレイの明るさ
を制御することを特徴とする請求項1に記載の運転操作
補助装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23309095A JP3228086B2 (ja) | 1995-09-11 | 1995-09-11 | 運転操作補助装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23309095A JP3228086B2 (ja) | 1995-09-11 | 1995-09-11 | 運転操作補助装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0976815A JPH0976815A (ja) | 1997-03-25 |
JP3228086B2 true JP3228086B2 (ja) | 2001-11-12 |
Family
ID=16949636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23309095A Expired - Fee Related JP3228086B2 (ja) | 1995-09-11 | 1995-09-11 | 運転操作補助装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3228086B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7912324B2 (en) | 2005-04-28 | 2011-03-22 | Ricoh Company, Ltd. | Orderly structured document code transferring method using character and non-character mask blocks |
CN102490646A (zh) * | 2011-12-30 | 2012-06-13 | 东北大学 | 具有驾驶员目光跟随功能的智能车灯系统及其控制方法 |
CN106828285A (zh) * | 2017-03-09 | 2017-06-13 | 李良杰 | 随驾驶员视线转动的车灯及控制方法 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4123787B2 (ja) * | 2002-02-07 | 2008-07-23 | トヨタ自動車株式会社 | 車両運転支援装置および車両運転支援システム |
JP2006044420A (ja) * | 2004-08-03 | 2006-02-16 | Denso Corp | 車両機器制御装置 |
JP4954459B2 (ja) * | 2004-09-24 | 2012-06-13 | パナソニック株式会社 | 不審人物検出装置 |
JP4894300B2 (ja) * | 2006-03-01 | 2012-03-14 | トヨタ自動車株式会社 | 車載装置調整装置 |
EP2000889B1 (en) | 2006-03-15 | 2018-06-27 | Omron Corporation | Monitor and monitoring method, controller and control method, and program |
JP2008114714A (ja) * | 2006-11-03 | 2008-05-22 | Denso Corp | 前照灯スイブル制御装置 |
JP4905072B2 (ja) * | 2006-11-10 | 2012-03-28 | アイシン精機株式会社 | 顔向き連動照明装置及び顔向き連動照明方法 |
JP4939351B2 (ja) * | 2007-09-19 | 2012-05-23 | アイシン精機株式会社 | 車両用照明制御システム及び車両用照明制御方法 |
JP4999653B2 (ja) * | 2007-11-19 | 2012-08-15 | アイシン精機株式会社 | 車両用ランプ制御システム |
JP4492725B2 (ja) * | 2008-03-25 | 2010-06-30 | 株式会社デンソー | ライト制御装置 |
JP5125798B2 (ja) * | 2008-06-20 | 2013-01-23 | マツダ株式会社 | 車両の前照灯制御装置 |
JP5280762B2 (ja) * | 2008-07-16 | 2013-09-04 | 株式会社東海理化電機製作所 | 方向指示器制御装置 |
JP5246950B2 (ja) * | 2009-05-22 | 2013-07-24 | パナソニック株式会社 | 車室内照明装置 |
EP2384930B1 (en) * | 2010-05-05 | 2017-10-04 | Volvo Car Corporation | Headlight steering by monitoring driver's eyes |
JP2013154835A (ja) * | 2012-01-31 | 2013-08-15 | Denso Corp | ヘッドライト制御装置 |
GB2525655B (en) | 2014-05-01 | 2018-04-25 | Jaguar Land Rover Ltd | Dynamic lighting apparatus and method |
KR102268642B1 (ko) * | 2014-11-17 | 2021-06-23 | 현대모비스 주식회사 | 차량의 헤드램프 제어장치 및 그 제어방법 |
JP6287969B2 (ja) * | 2015-06-23 | 2018-03-07 | マツダ株式会社 | 自動車の運転支援装置 |
CN110857067B (zh) * | 2018-08-24 | 2023-04-07 | 上海汽车集团股份有限公司 | 一种人车交互装置和人车交互方法 |
CN113650559A (zh) * | 2021-09-18 | 2021-11-16 | 华人运通(上海)云计算科技有限公司 | 一种汽车电子外后视镜的亮度智能调节方法及装置 |
-
1995
- 1995-09-11 JP JP23309095A patent/JP3228086B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7912324B2 (en) | 2005-04-28 | 2011-03-22 | Ricoh Company, Ltd. | Orderly structured document code transferring method using character and non-character mask blocks |
CN102490646A (zh) * | 2011-12-30 | 2012-06-13 | 东北大学 | 具有驾驶员目光跟随功能的智能车灯系统及其控制方法 |
CN106828285A (zh) * | 2017-03-09 | 2017-06-13 | 李良杰 | 随驾驶员视线转动的车灯及控制方法 |
Also Published As
Publication number | Publication date |
---|---|
JPH0976815A (ja) | 1997-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3228086B2 (ja) | 運転操作補助装置 | |
CN107444263B (zh) | 车辆用显示装置 | |
US7209833B2 (en) | Collision possibility determination device | |
JP3855439B2 (ja) | 夜間運転視界支援装置 | |
US20210331622A1 (en) | Vehicular around view monitoring system through adjustment of viewing angle of camera, and method thereof | |
JP2009113621A (ja) | 乗員画像撮像装置、運転支援装置 | |
WO2022061999A1 (zh) | 一种 a 柱成像方法 | |
JPH07167668A (ja) | 走行情報提供装置 | |
JP6361988B2 (ja) | 車両用表示装置 | |
JP2009244959A (ja) | 運転支援装置、運転支援方法 | |
JPH09238905A (ja) | 視線方向計測装置 | |
JP2002274265A (ja) | ミラー調整装置 | |
JP3877116B2 (ja) | 車両の表示装置 | |
JP4337130B2 (ja) | 運転装置の制御装置 | |
JP3884815B2 (ja) | 車両用情報表示装置 | |
JP4337131B2 (ja) | 移動体制御装置 | |
JP4552636B2 (ja) | ドライバモニタシステムおよびその処理方法 | |
JP2017056909A (ja) | 車両用画像表示装置 | |
CN116572846A (zh) | 一种车载电子后视镜的显示方法、系统及存储介质 | |
JP2009098501A (ja) | 視覚情報呈示装置及び視覚情報呈示方法 | |
JP2008162550A (ja) | 外部環境表示装置 | |
JP3019654B2 (ja) | 自動調整装置 | |
JP2004051063A (ja) | 車両周辺視認装置 | |
JP6361987B2 (ja) | 車両用表示装置 | |
JP2001071790A (ja) | 車両の表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010807 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080907 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090907 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090907 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |