JP3160108B2 - 運転支援システム - Google Patents

運転支援システム

Info

Publication number
JP3160108B2
JP3160108B2 JP03331093A JP3331093A JP3160108B2 JP 3160108 B2 JP3160108 B2 JP 3160108B2 JP 03331093 A JP03331093 A JP 03331093A JP 3331093 A JP3331093 A JP 3331093A JP 3160108 B2 JP3160108 B2 JP 3160108B2
Authority
JP
Japan
Prior art keywords
information
driver
vehicle
outside
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03331093A
Other languages
English (en)
Other versions
JPH06251287A (ja
Inventor
光生 下谷
義晴 森廣
和磨 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP03331093A priority Critical patent/JP3160108B2/ja
Publication of JPH06251287A publication Critical patent/JPH06251287A/ja
Application granted granted Critical
Publication of JP3160108B2 publication Critical patent/JP3160108B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、例えば交通事故や航
空機などの事故を未然に防ぐために、車両などの運転者
に周囲環境の情報を効果的に与える運転支援システムに
関するものである。
【0002】
【従来の技術】図12は、例えば財団法人機械システム
振興会、平成4年3月発表の「ス−パ・スマ−ト・ビ−
クル(SSVS)に関する調査研究報告書」で示される
ような従来の運転支援システムの構成を示すブロック図
である。また、図13はCRTに出力する情報の一例を
示す説明図であり、図14はこの運転支援システムの処
理過程を示すフローチャートである。
【0003】図12において、10は自動車周辺の画像
デ−タを得る周辺検出用カメラ、11は周辺検出回路
で、得た画像デ−タを周辺検出回路11によって画像処
理し、複数の他車の位置を求める。周辺検出用カメラ1
0と周辺検出回路11とで種々の車外情報を収集する車
外情報入力手段を構成している。12は自車状態検出回
路、20は運転支援システムの全体を制御するコントロ
ーラ、30は車外情報を表示または報知する出力手段
で、例えばCRT、40は情報要求入力手段であり、運
転者が操作する情報選択スイッチである。この情報要求
入力手段CRT30と情報選択スイッチ40は運転者の
近傍に配置されている。
【0004】図13(a)において、CRTの左側には
他車両との速度の情報が自車両近傍の他車の数だけ、複
数個(車両C1〜C4)表示される。今、車の形を5角
形であらわし、その尖った方向に車が走行しているとす
る。C1は自車両、C2は前方車両、C3は斜め前方車
両、C4は対向車両である。画面の数字はそれぞれの車
両の速度であり、車両C1は50Km/h、車両C2は
45Km/h、車両C3は40Km/h、車両C4は3
0Km/hであると表示されている。また、CRTの右
側にはデフォルトとして前方車両C2の情報が表示され
ている。即ち、前方車両C2は自車両C1から距離にし
て前方に20m離れており、速度は45Km/h、自車
両C1との相対速度はー5Km/h、状態は定速走行、
このままの速度で走ったとすると、自車両C1は前方車
両C2に14.5秒後に衝突する。
【0005】次に動作について、図14のフローチャー
トに基づいて説明する。ステップ100でデフォルトと
して、特定車を前方車両に設定する。周囲検出用カメラ
10で得た周辺の画像データを周辺検出回路11に入力
し、画像処理して、他車状態を検出する(ステップ10
1)。また、自車状態検出回路12で自車状態を検出す
る(ステップ102)。自車状態と他車状態のデータを
コントローラ20に入力し、他車と自車との関係を計算
する(ステップ103)。例えば、自車の速度などの状
態と他車の履歴より、他車の速度や、自車との相対速度
や、このままの速度で走行しても安全どうかなどを計算
する。この結果、CRT30の左側に、図13(a)に
示すように、他車全体情報を表示する(ステップ10
4)。また、CRTの右側には特定車、この場合は前方
車両C2の情報を表示する(ステップ105)。CRT
30には図13(a)のように表示される。
【0006】ここで、運転車が情報選択スイッチ40を
押し、情報が必要な他車を車両C3に特定したとする。
ステップ106の判定で、特定車の指示入力ありと判定
し、指示によって、特定車を変更して(ステップ10
7)、ステップ101に戻る。上記と同様の処理を行
い、ステップ104,105で特定車両C3について表
示すると、図13(b)のように、車両C3についての
情報がCRT30に表示される。また、他車を一度特定
すると、特定した他車を検出できる限り、特定した他車
の情報を表示する。ステップ108で特定車が検出でき
なくなれば、ステップ100に戻り、前方車両を特定車
とする。この検出できないとは、例えば、特定車が周辺
検出用カメラ10の撮影範囲からはずれてしまったりし
た場合である。
【0007】特定車の選択手順は、例えば運転者が情報
選択スイッチ40を操作して、CRT30上のカーソル
を希望の車両の位置に持っていき、選択する。
【0008】
【発明が解決しようとする課題】従来の運転支援システ
ムは以上のように構成されているので、複数の対象物に
関する情報から必要とする対象物に関する情報を得るに
は、例えば、CRT30と情報選択スイッチ40などに
よる選択の操作が必要となり、選択に時間がかかるとい
う問題点があった。さらに、運転者は走行中に選択の操
作を行うので、操作に苦労し、目と手を使うため運転に
集中できず、安全面で問題があった。
【0009】この発明は、かかる問題点を解決するため
になされたもので、運転者が周囲の情報を簡単にかつ安
全に得ることができる運転支援システムを得ることを目
的とする。
【0010】
【課題を解決するための手段】この発明の請求項1によ
る運転支援システムは、種々の車外情報を収集する車外
情報入力手段、運転者の視線を検出する視線検出手段、
視線検出手段により検出した視線と車外情報入力手段に
より入力した車外情報から、運転者の見ている運転者注
視物を認識する運転者注視物認識手段、運転者注視物に
基づいて種々の車外情報の中から出力する情報を選択す
る情報選択手段、及び情報選択手段が選択した車外情報
を出力する出力手段を備えたものである。
【0011】また、この発明の請求項2による運転支援
システムは、種々の車外情報を収集する車外情報入力手
段、運転者の視線を検知する視線検出手段、視線検出手
段により検出した視線と車外情報入力手段により入力し
た車外情報から、運転者の見ている運転者注視物を認識
する運転者注視物認識手段、運転者の情報要求の意図を
入力する情報要求手段、運転者注視物に基づいて種々の
車外情報の中から出力する情報を選択する情報選択手
段、及び情報選択手段が選択した車外情報を出力する出
力手段を備え、情報要求手段から情報要求信号が入力さ
れた時点の運転者注視物の情報を選択して出力手段に出
力するように構成したものである。
【0012】また、この発明の請求項3による運転支援
システムは、請求項1の発明において、車外情報入力手
段は走行中の道路の交通制御機または道路標識の情報を
入力し、運転者注視物認識手段は運転者が交通制御機ま
たは道路標識を見なかったことを検出し、情報選択手段
は交通制御機または道路標識に関する情報を選択し、こ
の選択された情報を出力手段に出力するようにしたもの
である。
【0013】また、この発明の請求項4による運転支援
システムは、請求項2の発明において、車外情報通信手
段を備え、運転者注視物認識手段は運転者が見た周辺物
を認識し、車外情報通信手段は車外のデータベースセン
ターと通信を行って周辺物に関する情報を入力し、この
入力した情報を出力手段に出力するようにしたものであ
る。
【0014】
【作用】この発明に係わる運転支援システムは、視線検
出手段により検出した運転者の視線と車外情報入力手段
により入力した車外情報から、運転者の見ている運転者
注視物を運転者注視物認識手段によって認識し、この運
転者注視物に基づいて種々の車外情報を運転者に提示す
る。即ち、視線によって運転者の認知、判断、行動を認
識するので、運転者はよけいな動作をする必要がなく、
運転に集中しながら必要な情報を得ることができる。
【0015】
【実施例】
実施例1.この発明は自動車に装備された装置のみで車
外の情報を検知する、いわゆる自立型のシステムにこだ
わるものでなく、路車間、車々間通信などの通信設備に
より車外の情報を取り入れるシステムに適用できる。こ
こでは、説明の都合上自立型の自動車の運転支援システ
ムに適用したものを説明する。図1は、例えばこの発明
の実施例1による運転支援システムの構成を示すブロッ
ク図であり、図2はこの運転支援システムの処理過程を
示すフローチャートである。
【0016】図1において、10は自動車周辺の画像デ
−タを得る周辺検出用カメラ、11は周辺検出回路で、
得た画像デ−タを周辺検出回路11によって画像処理
し、複数の他車の位置を求める。周辺検出用カメラ10
と周辺検出回路11とで種々の車外情報を収集する車外
情報入力手段を構成している。12は自車状態検出回
路、20は運転支援システムの全体を制御するコントロ
ーラ、30は車外情報を表示または報知する出力手段
で、例えばCRT、41は情報要求入力手段で、例えば
情報要求スイッチ、50は運転者注視物認識手段で、例
えば運転者注視物認識回路、51は視線検出回路、52
は視線検出用カメラである。CRT30、情報要求スイ
ッチ41、視線検出用カメラ52は運転者の近傍に配置
されている。
【0017】情報要求スイッチ41はON/OFFが入
力できるスイッチであればよい。視線検出用カメラ52
は例えば2台設けており、運転者の目の近傍、例えば顔
画像が撮影できるように、運転席の前のインスツルメン
トパネル部に配置されている。視線検出回路51は視線
検出用カメラ52で撮影した運転者の顔画像を入力し、
画像処理して運転者の視線方向を検出する。
【0018】一般に、視覚を通して情報を収集する場
合、眼球運動は必要不可欠であり、人間の認知、判断、
行動を計測する上で重要な計測項目であり、計測方法は
さまざまなものが提案されている。例えば、製品科学研
究所研究報告、第99号、1984年、第20頁〜第2
4頁に眼球運動の計測に詳しく述べられている。中で
も、角膜と強膜の境界を利用する方法、角膜反射像を利
用する方法、角膜反射像と瞳孔とを利用する方法、第
1、第4プルキンエ像を利用する方法のいずれかの方法
を実施例として用いることができる。これにより、運転
者の視線、さらには視点を検出することができる。
【0019】運転者注視物認識回路50は、周辺検出回
路11の情報と視線検出回路51の視線方向より、運転
者の見ているものを特定する。この周辺検出回路11に
ついては、近年さまざまな画像処理技術が考察され、自
動車技術、第46巻、第2号、1992年、第56頁〜
第61頁、「画像処理技術の自動車産業への応用の現状
と将来」にも記載されているように、走行環境において
個々の対象物の認識のみならず、走行環境全体を認識、
理解する手法が確立されつつある。このような手法を用
いて周辺検出回路11で検出した走行環境の中で、視線
と一致する座標系の情報が運転者の注視物であると考え
られる。運転者注視物認識回路50は、例えばコンピュ
ータで構成され、周辺検出回路11で検出した走行環境
の中で、視線と一致する座標系の情報を運転者の注視物
として認識する。
【0020】以下、この実施例におけるコントローラ2
0の処理過程を図2に基づいて説明する。CRT30へ
の表示内容は、図13と同様である。また、ステップ1
00〜ステップ105も従来例と同様である。ステップ
109では、運転者注視物認識回路50で現在運転者が
見ている車両を認識し、この車両を仮特定車とする。例
えば、車両C3を運転者が今見ているとする。ここで、
運転者が情報要求スイッチ41を押すと、ステップ11
0の情報要求入力有無の判定で入力ありと判定される。
そこで、ステップ111で仮特定車を特定車とし、この
情報を表示する。この結果、表示は図13(b)のよう
になる。
【0021】即ち、コントローラ20は、情報要求スイ
ッチ41を入力した時点の運転者注視物を、運転者注視
物認識回路50で認識した注視物から選択し、CRT3
0に表示する。このように、従来は特定車を選択する場
合、CRT30においてカーソルを特定車に合わせて指
示を要求しなければならなかったが、この実施例では、
目で特定車に視線を合わせ、情報要求スイッチ41を押
すだけで、指示要求できる。なお、この情報要求スイッ
チ41は足で操作するものであってもよい。
【0022】また、実施例1では他車両の情報をCRT
に表示したが、表示方法にこだわるものではなく、例え
ばヘッドアップディスプレイなどに表示してもよい。ま
た、ヘッドアップディスプレイに情報を表示する場合
は、運転者の目の位置と、対象とする他車とを結ぶ線上
に表示すれば更によい。また、音声合成回路などを用い
て音声で情報を報知することもできる。
【0023】また、実施例1では周辺状態の検知は画像
処理で行ったが、周辺検知の方法は画像処理にこだわる
ものでなく、レ−ザレ−ダや超音波などで行ってもよ
い。
【0024】実施例2.図3は、例えばこの発明の実施
例2による運転支援システムの構成を示すブロック図で
ある。図3において、42は音声認識回路、43はマイ
クロホンである。他の各部分において、実施例1と同一
符号は同一、または相当部分を示す。CRT30、マイ
クロホン43、視線検出用カメラ52は運転者の近傍に
配置されている。音声認識回路42は、予め定められ
た、運転者の情報要求用の音声、例えば「それ」とか
「あれ」がマイクロホン43から入力されたとき、その
音声を認識するものである。
【0025】この実施例におけるコントローラ20の処
理過程は図2に示した実施例1とほとんど同じであり、
CRT30への表示内容も、図13と同様である。ステ
ップ109で、運転者注視物認識回路50で現在運転者
見ている車両を認識し、この車両を仮特定車とする。
例えば、車両C3を運転者が今見ているとする。ここ
で、運転者がマイクロホン43より「それ」とか「あ
れ」と音声を発すると、音声認識回路42でこの音声を
認識し、情報要求されたことをコントローラ20に伝え
る。コントローラ20は、ステップ110の情報要求入
力有無の判定で入力ありと判定する。そこで、ステップ
111で仮特定車C3を特定車とし、この情報を表示す
る。この結果、表示は図13(b)のようになる。
【0026】即ち、コントローラ20は、マイクロホン
43から音声を入力した時点の運転者注視物を、運転者
注視物認識回路50で認識した注視物から選択し、CR
T30に表示する。このように、従来は特定車を選択す
る場合、CRT30においてカーソルを特定車に合わせ
て指示を要求しなければならなかったが、この実施例で
は、目で特定車に視線を合わせ、音声を発するだけで、
指示要求できる。
【0027】実施例3.図4は、例えばこの発明の実施
例3による運転支援システムの構成を示すブロック図で
ある。図4において、44は運転者動作識別回路、45
は運転者動作検出用カメラである。他の各部分におい
て、実施例1と同一符号は同一、または相当部分を示
す。CRT30、運転者動作検出用カメラ45、視線検
出用カメラ52は運転者の近傍に配置されている。運転
者動作認識回路44は、予め定められた運転者の情報要
求用の動作、例えば「ウインク」とか「指差し動作」を
運転者動作検出用カメラ45で入力した画像から識別す
るものである。
【0028】この実施例におけるコントローラ20の処
理過程は図2に示した実施例1とほとんど同じであり、
CRT30への表示内容も、図13と同様である。ステ
ップ109で、運転者注視物認識回路50で現在運転者
見ている車両を認識し、この車両を仮特定車とする。
例えば、車両C3を運転者が今見ているとする。ここ
で、運転者が運転者動作検出用カメラ45の前で「ウイ
ンク」とか「指差し動作」を行うと、運転者動作識別回
路44でこの動作を識別し、情報要求されたことをコン
トローラ20に伝える。コントローラ20は、ステップ
110の情報要求入力有無の判定で入力ありと判定す
る。そこで、ステップ111で仮特定車C3を特定車と
し、この情報を表示する。この結果、表示は図13
(b)のようになる。
【0029】即ち、コントローラ20は、運転者動作識
別回路44で動作を識別した時点の運転者注視物を、運
転者注視物認識回路50で認識した注視物から選択し、
CRT30に表示する。このように、従来は特定車を選
択する場合、CRT30においてカーソルを特定車に合
わせて指示を要求しなければならなかったが、この実施
例では、目で特定車に視線を合わせ、運転者動作検出用
カメラ45の前で「ウインク」とか「指差し動作」を行
うだけで、指示要求できる。この運転者の動作は「ウイ
ンク」とか「指差し動作」に限るものではなく、どんな
動作でもよいが、運転者が運転をしながらできる動作
で、しかも画像として認識し易いものがよい。
【0030】実施例4.図5は、例えばこの発明の実施
例4による運転支援システムの構成を示すブロック図で
ある。図5において、実施例1から情報要求スイッチ4
1が省略されているが、運転者注視物認識回路50の動
作が異なる。この実施例における運転者注視物認識回路
50は、上記実施例の動作に加えて、運転者が同一の他
車を一定時間以上、例えば1.0秒以上見ているのを検
出するものとする。
【0031】この実施例におけるコントローラ20の処
理過程は図2に示した実施例1とほとんど同じであり、
CRT30への表示内容も、図13と同様である。ステ
ップ109で、運転者注視物認識回路50で現在運転者
見ている車両を認識し、この車両を仮特定車とする。
例えば、車両C3を運転者が今見ているとする。ここ
で、運転者がこの車両C3を一定時間以上、例えば1.
0秒以上見ていると、運転者注視物認識回路50でこの
動作を識別し、情報要求されたことをコントローラ20
に伝える。コントローラ20は、ステップ110の情報
要求入力有無の判定で入力ありと判定する。そこで、ス
テップ111で仮特定車C3を特定車とし、この情報を
表示する。この結果、表示は図13(b)のようにな
る。
【0032】即ち、コントローラ20は、運転者注視物
認識回路50で一定時間以上の凝視動作を識別した時点
の運転者注視物を、運転者注視物認識回路50で認識し
た注視物から選択し、CRT30に表示する。このよう
に、従来は特定車を選択する場合、CRT30において
カーソルを特定車に合わせて指示を要求しなければなら
なかったが、この実施例では、目で特定車に視線を合わ
せ、一定時間以上、凝視するだけで、指示要求できる。
この一定時間は1.0秒に限るものではなく、もっと長
くても、またもっと短くてもよいが、通常は運転者が見
ているものの情報がほしいと判断し、どの程度の長さ凝
視すれば情報がほしいとするかに応じて、変えればよ
い。
【0033】実施例5.図6は、例えばこの発明の実施
例5による運転支援システムの構成を示すブロック図で
ある。この実施例では実施例2に車外通信回路60、車
外通信用アンテナ61と、GPSなどによる自車位置認
識回路62が加わっている。なお、自車以外の設備とし
て交通情報センタ−100が必要である。図7はCRT
に出力する情報の一例を示す説明図であり、図7(a)
は従来例で説明した表示と同様である。即ち、CRTの
左側には他車との速度の情報が自車近傍の他車の数だ
け、複数個(車両C1〜C4)表示されている。また、
CRTの右側にはデフォルトとして前方車両C2の情報
が表示されている。この実施例では交通情報の表示が可
能であり、交通情報を表示しているかしていないかを示
す印C5がCRTの左側に表示されている。今、印C5
は白丸であり、表示していないことを示している。
【0034】この状態で、運転者が他車両を見て音声を
発したときは、実施例2と同様、他車両の情報を表示す
る。また、運転者が道路を見て音声を発したときは、交
通情報センタ−100より道路交通情報を車外通信用ア
ンテナ61、車外通信回路60を介して交通情報を入力
する。同時に自車位置検出回路62で自車位置を検出す
る。例えば、今、自車両が名神高速の上り車線を走って
いるとする。この時、コントローラ20は入力した道路
交通情報のうち自車位置に関係ある情報を表示する。こ
のCRTへの表示を図7(b)に示す。CRTの右側に
名神高速の上り車線の情報が表示されている。CRTの
左側に表示されている、交通情報を表示しているかして
いないかを示す印C6は黒丸であり、表示していること
を示している。図7(a)の印C5は下り車線側に表示
しており、図7(b)の印C6は上り車線側を示してい
る。
【0035】この表示は、一定時間表示したら自動的に
元の周囲車両の情報を表示するようにしてもよいし、運
転者がスイッチなどで切り替えるようにしてもよい。ま
た、上記実施例では、運転者が音声で情報要求をするも
のについて説明したが、これに限るものではなく、スイ
ッチ、動作などで要求するように構成してもよい。
【0036】また、実施例5では交通情報を表示した
が、表示するデ−タは交通情報にこだわるものではな
く、路面情報や運転者が見ている前方のカ−ブの情報等
であってもよい。
【0037】この実施例では、運転者は運転しながら、
音声で指示したり、動作で指示するなどの簡単な操作
で、走行中の道路に関する交通情報を得ることができ
る。
【0038】実施例6.図8は、例えばこの発明の実施
例6による運転支援システムの構成を示すブロック図で
ある。この実施例は運転支援システムを車載ナビゲ−シ
ョンに適応した例であり、実施例5に、地図デ−タベ−
スを備えたナビゲ−ション回路63が加わったものであ
る。また、車外設備として図示はしないが建造物のデ−
タを備えたデ−タベ−スセンタ−が必要である。近年、
車載ナビゲ−ションが幅広く開発されている。ここでは
詳しく説明しないが、CRT上に道路地図、自車位置、
道路上の特徴点となる、市役所やデパ−トなどのランド
マ−クが記載されており、運転者は、これらをもとに自
車位置を確認することができる。
【0039】ところが、地図上のランドマ−クと実際の
物との対応づけは簡単でない。この実施例におけるコン
トローラ20の処理の一部を図9のフローチャートに示
す。コントローラ20は、音声認識回路42を介して情
報要求用の音声を検知する。このとき、ステップ112
で運転者注視物認識回路50より運転者が見ている注視
物を認識する。例えば運転者が建造物を見ているとす
る。ステップ113で自車位置を自動車用ナビゲ−ショ
ン回路63により入力し、この情報を基に、ステップ1
14で運転者の見ている建造物の位置を知る。この建造
物の位置情報を車外通信回路60を通じて交通情報セン
ター100に送る。交通情報センタ−100では、送ら
れてきた建造物の位置情報を基に、デ−タベ−スセンタ
−(図示せず)から建造物に関する情報をもらい、要求
のあった車両の車外通信回路60を介してコントローラ
20に知らせる(ステップ115)。
【0040】コントローラ20は車外通信回路60から
建造物の情報を受けとると、CRT30上の、対象とす
る建造物の表示を点滅させるなどして変更する。これに
よって、運転者に表示中であることを知らせる。これと
同時に、CRT30上に建造物の情報を表示する。例え
ば、デパ−トを見ていた場合は「阪急デパ−ト、池田、
休業曜日は木曜」などの情報をCRT30に表示する。
なお、運転者への情報の提示は音声で行ってもよい。ま
た、上記実施例では、運転者が音声で情報要求をするも
のについて説明したが、これに限るものではなく、スイ
ッチ、動作などで要求するように構成してもよい。
【0041】また、上記実施例では見ている建造物その
ものの情報を表示したが、見ている物の種類に対応した
情報を表示してもよい。例えば、運転者が駐車場を見て
いた場合は近辺の駐車場に関する情報を表示したり、映
画館を見ている場合は、近辺の映画館に関する情報を表
示するようにしてもよい。
【0042】この実施例では、運転者は運転しながら、
音声で指示したり、動作で指示するなどの簡単な操作
で、走行中の周辺のさまざまな情報を得ることができ
る。
【0043】実施例7.図10は、例えばこの発明の実
施例7による運転支援システムの構成を示すブロック図
である。この実施例は運転支援システムを信号機や道路
標識の見落としに対応した例である。ここでは説明の都
合上、信号機の見落としに対応するシステムについて説
明する。図において、102は交通制御機で、例えば信
号機用送信機であり、信号のそれぞれに設置され、信号
機の表示に対応した信号を、対象とする車に送信する。
この実施例における周辺検出回路11は信号機の位置を
検出するように構成されている。
【0044】この実施例におけるコントローラ20の処
理の一部を図11のフローチャートに示す。周辺検出回
路11で信号機を検出したという情報をコントローラ2
0に出力する。コントローラ20はこの情報を得た後、
車外通信回路60を介して信号機用送信機102から、
信号機の表示に関する情報、例えば、表示中の色や、あ
何秒で信号が変わるかなどの情報を入力する(ステッ
プ117)。コントローラ20は信号機が赤または黄色
かどうかを判断し(ステップ118)、青の場合は終了
する。赤または黄色の場合、自車両が信号機に到達する
までの時間を計算する(ステップ119)。この時間は
信号機までの距離と、自車両の速度とから計算できる。
信号機までの到達時間が例えば3秒以上かどうかステッ
プ120で判断し、3秒以上の時はステップ121に進
む。ここで、運転者注視物認識回路50は、周辺検出回
路11と視点検出回路51により運転者が信号機を見た
かどうかを検出してコントローラ20に出力する。コン
トローラ20は運転者が信号機を見たかどうかを判断し
(ステップ122)、見ていない場合はステップ119
に戻る。
【0045】信号機までの到達時間が3秒以内になるま
でに、運転者が信号機を見た場合には、運転者が信号機
に気づいたと判断し、この処理を終了する。信号機まで
の到達時間が3秒以内になるまで、運転者が信号機を見
ない場合には、信号機が他車の影になり見えなかったり
して、運転者が信号機に気づかなかったと判断し、ステ
ップ123で音声合成回路31はスピーカ32を介し
て、信号が赤または黄色であることを運転者に報知す
る。
【0046】なお、上記実施例において判断基準となる
到達時間を3秒にしたが、これにこだわるものではな
い。また、信号機にかかわらず、遮断機などの交通制御
機や、さらには進入禁止や一方通行の道路に入ろうとす
るときなどに適用することもできる。この実施例では、
周辺検出回路11と運転者注視物認識回路50を備えた
のに加えて、車外通信回路60を備えているので、運転
者の視線が正しい運転をしているかどうかを検出し、運
転者の気づいていない情報を報知できる。
【0047】また、対象とする運転者は、自動車に限る
ものではなく、航空機や船舶、電車などでもよい。
【0048】
【発明の効果】以上のように、請求項1の発明によれ
ば、種々の車外情報を収集する車外情報入力手段、運転
者の視線を検出する視線検出手段、視線検出手段により
検出した視線と車外情報入力手段により入力した車外情
報から、運転者の見ている運転者注視物を認識する運転
者注視物認識手段、運転者注視物に基づいて種々の車外
情報の中から出力する情報を選択する情報選択手段、及
び情報選択手段が選択した車外情報を出力する出力手段
を備えたことにより、運転者の視線により必要な情報対
象を特定するので、運転者が周囲の情報を簡単にかつ安
全に得ることができる運転支援システムが得られる効果
がある。
【0049】また、請求項2の発明によれば、種々の車
外情報を収集する車外情報入力手段、運転者の視線を検
知する視線検出手段、視線検出手段により検出した視線
と車外情報入力手段により入力した車外情報から、運転
者の見ている運転者注視物を認識する運転者注視物認識
手段、運転者の情報要求の意図を入力する情報要求手
段、運転者注視物に基づいて種々の車外情報の中から出
力する情報を選択する情報選択手段、及び情報選択手段
が選択した車外情報を出力する出力手段を備え、情報要
求手段から情報要求信号が入力された時点の運転者注視
物の情報を選択して出力手段に出力するように構成した
ことにより、運転者が周囲の情報を簡単にかつ安全に得
ることができる運転支援システムが得られる効果があ
る。
【0050】また、請求項3の発明によれば、請求項1
の発明において、車外情報入力手段は走行中の道路の交
通制御機または道路標識の情報を入力し、運転者注視物
認識手段は運転者が交通制御機または道路標識を見なか
ったことを検出し、情報選択手段は交通制御機または道
路標識に関する情報を選択し、出力手段は選択された情
報を出力するものとすることにより、運転者が気付いて
いない情報を運転者に知らせることにより、事故を予防
して安全な運転に導くことのできる運転支援システムが
得られる効果がある。
【0051】また、請求項4の発明によれば、請求項2
の発明に加えて、車外情報通信手段を備え、運転者注視
物認識手段は運転者が見た周辺物を認識し、車外情報通
信手段は車外のデータベースセンターと通信を行って周
辺物に関する情報を入力し、この入力した情報を出力手
段に出力するようにしたことにより、運転者が周囲の情
報を簡単にかつ安全に得ることができる運転支援システ
ムが得られる効果がある。
【図面の簡単な説明】
【図1】この発明の実施例1による運転支援システムの
構成を示すブロック図である。
【図2】実施例1に係る処理過程を示すフローチャート
である。
【図3】この発明の実施例2による運転支援システムの
構成を示すブロック図である。
【図4】この発明の実施例3による運転支援システムの
構成を示すブロック図である。
【図5】この発明の実施例4による運転支援システムの
構成を示すブロック図である。
【図6】この発明の実施例5による運転支援システムの
構成を示すブロック図である。
【図7】実施例5に係る出力例を示す説明図である。
【図8】この発明の実施例6による運転支援システムの
構成を示すブロック図である。
【図9】実施例6に係る処理過程を示すフローチャート
である。
【図10】この発明の実施例7による運転支援システム
の構成を示すブロック図である。
【図11】実施例7に係る処理過程を示すフローチャー
トである。
【図12】従来の運転支援システムの構成を示すブロッ
ク図である。
【図13】従来の運転支援システムに係る出力例を示す
説明図である。
【図14】従来の運転支援システムに係る処理過程を示
すフローチャートである。
【符号の説明】
10 周辺検出用カメラ 11 周辺検出回路 12 自車状態検出回路 20 コントローラ 30 CRT 41 情報要求スイッチ 42 音声認識回路 43 マイクロホン 44 運転者動作識別回路 45 運転者動作検出用カメラ 50 運転者注視物認識回路 51 視線検出回路 52 視線検出用カメラ 60 車外通信回路 61 車外通信用アンテナ 62 自車位置検出回路 63 自動車用ナビゲーション回路 100 交通情報センター
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭58−72235(JP,A) 特開 平4−349599(JP,A) 特開 平5−270296(JP,A) 特開 昭60−180100(JP,A) (58)調査した分野(Int.Cl.7,DB名) G08G 1/0969 G08G 1/16 G01C 21/00 G09B 29/00 - 29/10 G06F 3/00 - 3/18

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 種々の車外情報を収集する車外情報入力
    手段、運転者の視線を検出する視線検出手段、上記視線
    検出手段により検出した視線と上記車外情報入力手段に
    より入力した車外情報から、上記運転者の見ている運転
    者注視物を認識する運転者注視物認識手段、上記運転者
    注視物に基づいて上記種々の車外情報の中から出力する
    情報を選択する情報選択手段、及び上記情報選択手段が
    選択した上記車外情報を出力する出力手段を備えたこと
    を特徴とする運転支援システム。
  2. 【請求項2】 種々の車外情報を収集する車外情報入力
    手段、運転者の視線を検知する視線検出手段、上記視線
    検出手段により検出した視線と上記車外情報入力手段に
    より入力した車外情報から、上記運転者の見ている運転
    者注視物を認識する運転者注視物認識手段、上記運転者
    の情報要求の意図を入力する情報要求手段、上記運転者
    注視物に基づいて上記種々の車外情報の中から出力する
    情報を選択する情報選択手段、及び上記情報選択手段が
    選択した上記車外情報を出力する出力手段を備え、上記
    情報要求手段から情報要求信号が入力された時点の運転
    者注視物の情報を選択して上記出力手段に出力するよう
    に構成したことを特徴とする運転支援システム。
  3. 【請求項3】 車外情報入力手段は走行中の道路の交通
    制御機または道路標識の情報を入力し、運転者注視物認
    識手段は運転者が上記交通制御機または道路標識を見な
    かったことを検出し、情報選択手段は上記交通制御機ま
    たは道路標識に関する情報を選択し、この選択した情報
    を出力手段に出力するようにしたことを特徴とする第1
    項記載の運転支援システム。
  4. 【請求項4】 車外情報通信手段を備え、運転者注視物
    認識手段は運転者が見た周辺物を認識し、上記車外情報
    通信手段は車外のデータベースセンターと通信を行って
    上記周辺物に関する情報を入力し、この入力した情報を
    出力手段に出力するようにしたことを特徴とする請求項
    第2項記載の運転支援システム。
JP03331093A 1993-02-23 1993-02-23 運転支援システム Expired - Fee Related JP3160108B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03331093A JP3160108B2 (ja) 1993-02-23 1993-02-23 運転支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03331093A JP3160108B2 (ja) 1993-02-23 1993-02-23 運転支援システム

Publications (2)

Publication Number Publication Date
JPH06251287A JPH06251287A (ja) 1994-09-09
JP3160108B2 true JP3160108B2 (ja) 2001-04-23

Family

ID=12382993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03331093A Expired - Fee Related JP3160108B2 (ja) 1993-02-23 1993-02-23 運転支援システム

Country Status (1)

Country Link
JP (1) JP3160108B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0883093A (ja) * 1994-09-14 1996-03-26 Canon Inc 音声認識装置及び該装置を用いた情報処理装置

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004061259A (ja) * 2002-07-29 2004-02-26 Mazda Motor Corp 情報提供装置、情報提供方法及び情報提供用プログラム
JP2004177315A (ja) * 2002-11-28 2004-06-24 Alpine Electronics Inc 視線方向判定装置及びそれを利用した対話システムならびに運転支援システム
DE10345809A1 (de) * 2003-09-30 2005-04-21 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung und Einstellung des Verkehrssinns
JP4277678B2 (ja) * 2003-12-17 2009-06-10 株式会社デンソー 車両運転支援装置
JP4649400B2 (ja) * 2004-05-11 2011-03-09 エルビット・システムズ・リミテッド オーディオビジュアル通信向上方法及びシステム
JP4604597B2 (ja) * 2004-07-30 2011-01-05 トヨタ自動車株式会社 状態推定装置、状態推定方法、及びそれを用いた情報提供装置、情報提供方法
JP4556586B2 (ja) * 2004-09-22 2010-10-06 トヨタ自動車株式会社 運転支援装置
JP4581767B2 (ja) * 2005-03-16 2010-11-17 株式会社デンソー 通信装置
JP4910787B2 (ja) * 2006-03-06 2012-04-04 オムロン株式会社 駐車支援装置および方法、駐車位置設定装置および方法、記録媒体、並びに、プログラム
JP4752686B2 (ja) * 2006-09-01 2011-08-17 トヨタ自動車株式会社 車両用障害物検知装置
JP2008070978A (ja) * 2006-09-12 2008-03-27 Xanavi Informatics Corp 盗難車発見システム、ナビゲーション装置および車載機器
JP5342748B2 (ja) * 2007-03-26 2013-11-13 株式会社デンソーアイティーラボラトリ 車載装置及び路側装置
JP5071270B2 (ja) * 2008-06-25 2012-11-14 トヨタ自動車株式会社 運転支援装置
JP2010123100A (ja) * 2008-10-24 2010-06-03 Kinki Univ 交通信号検出・通知システム
JP5017242B2 (ja) * 2008-12-03 2012-09-05 本田技研工業株式会社 視覚支援装置
JP2010134640A (ja) * 2008-12-03 2010-06-17 Honda Motor Co Ltd 情報取得装置
JP2010218568A (ja) * 2010-04-26 2010-09-30 Panasonic Corp 通信車両表示装置
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
JP6136237B2 (ja) * 2012-12-19 2017-05-31 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援方法及びコンピュータプログラム
JP2014120111A (ja) * 2012-12-19 2014-06-30 Aisin Aw Co Ltd 走行支援システム、走行支援方法及びコンピュータプログラム
JP6136238B2 (ja) * 2012-12-19 2017-05-31 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援方法及びコンピュータプログラム
JP6851133B2 (ja) * 2014-01-03 2021-03-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド ユーザに方向付けられた個人情報アシスタント
JP6323074B2 (ja) * 2014-03-06 2018-05-16 株式会社デンソー 表示物情報表示装置
JP2019079085A (ja) * 2017-10-19 2019-05-23 アイシン精機株式会社 運転支援装置
JP7466985B2 (ja) * 2019-12-02 2024-04-15 アルパイン株式会社 周辺監視システム
JPWO2021149594A1 (ja) * 2020-01-21 2021-07-29
JP7442933B2 (ja) 2020-03-20 2024-03-05 アルパイン株式会社 車両用画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0883093A (ja) * 1994-09-14 1996-03-26 Canon Inc 音声認識装置及び該装置を用いた情報処理装置

Also Published As

Publication number Publication date
JPH06251287A (ja) 1994-09-09

Similar Documents

Publication Publication Date Title
JP3160108B2 (ja) 運転支援システム
US6919866B2 (en) Vehicular navigation system
US10882398B2 (en) System and method for correlating user attention direction and outside view
US10640123B2 (en) Driver monitoring system
CN110892351A (zh) 车辆控制装置和车辆控制方法
US10636301B2 (en) Method for assisting operation of an ego-vehicle, method for assisting other traffic participants and corresponding assistance systems and vehicles
US20140098008A1 (en) Method and apparatus for vehicle enabled visual augmentation
US9969266B2 (en) Display control device, projection device, and non-transitory storage medium for vehicle speed limit notifications
JP2004519788A (ja) 運転に対するドライバーの注意力を監視するシステム
CN103732480A (zh) 用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备
JP2004535971A (ja) ヘッドアップディスプレイシステム及び方法
CN109849788B (zh) 信息提供方法、装置及系统
US10067341B1 (en) Enhanced heads-up display system
JP6891926B2 (ja) 車両システム、車両システムで実行される方法、および運転者支援システム
JP6969509B2 (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
WO2018220774A1 (ja) 運転支援装置、運転支援システムおよび運転支援方法
US8200422B2 (en) Information presentation apparatus, information presentation method, information presentation program, and computer-readable recording medium
JP2019010919A (ja) 走行支援装置及びコンピュータプログラム
JP2015108519A (ja) 情報表示装置
US9495871B2 (en) Display control device, display control method, non-transitory recording medium, and projection device
JP2018100008A (ja) 車両用表示装置
JP2017167623A (ja) 情報表示装置、情報表示方法及びプログラム
JP2013182521A (ja) ネットワークシステムおよび検知システム
WO2022224753A1 (ja) 車両用表示システム、車両用表示方法、及び車両用表示プログラム
JP2020126478A (ja) 表示制御装置及び表示制御プログラム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080216

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090216

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees