JPH0761257A

JPH0761257A - 車両用表示装置

Info

Publication number: JPH0761257A
Application number: JP5211702A
Authority: JP
Inventors: Takuo Ishiwaka; 卓夫石若
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1993-08-26
Filing date: 1993-08-26
Publication date: 1995-03-07

Abstract

(57)【要約】【目的】警報表示に対する運転者の意識レベルの度合い
に応じて注意を喚起し、運転者が警報を見落とすことが
ないようにする。【構成】障害物を障害物検出部３で検出し、ウィンドシ
ールド31上に障害物をＨＵＤ表示像として表示する。ま
たドライバ20の視線方向を視線方向検出部８で検出し、
視線分布演算部10で視線分布状態を演算する。そしてＨ
ＵＤ表示像への運転者の視線の頻度に応じてウィンドシ
ールド31上に表示されたＨＵＤ表示像の輝度レベルを変
化させる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両用表示装置に関
し、特に表示されたものへの運転者の視線の頻度を考慮
して、監視対象に係る警報レベルを変化させる技術に関
する。

【０００２】

【従来の技術】従来の車両用表示装置としては、例えば
図16に示すような装置がある。かかる装置は、例えば赤
外線カメラにより歩行者21、あるいは道路上の障害物等
を検知した時、フロントガラス22全面をヘッドアップデ
ィスプレイ（以後「ＨＵＤ」と記す）とした表示装置に
前記歩行者21等、障害物を強調して表示するものであ
る。

【０００３】このＨＵＤでは、運転者から実際に見えて
いる歩行者21の実像上に、歩行者21の虚像23が重ねて表
示されるので、その実像がより強調され、運転者は対象
物の存在を見落とすことなく発見でき、視界不良下であ
っても安全な走行を可能にする。またＨＵＤに障害物を
表示する場合、インストルメントパネルにＣＲＴを設置
してこのＣＲＴに障害物を表示する場合と比較して、視
線を運転の状態から大きく変化させることがなく、障害
物そのものと、その強調表示像との対応もとり易いこと
から、ＨＵＤは表示装置として有効なものであると考え
られる。

【０００４】

【発明が解決しようとする課題】ところで、従来の車両
用表示装置では、障害物が運転者の意識状態の如何によ
らず表示される構成となっていた。しかし、人間は、表
示に対して一度気付いてしまうと、逆に表示し続けるこ
とが不快であると感じることがある。また、人間は、表
示内容を理解した後は、表示レベルを落としたり表示を
消去したりして必要以上の表示を行わない方が快適であ
ると考えることがある。

【０００５】一方、人間が気付いてから一度、表示を行
わない状態に切り換えたとしても、人間である以上、警
報に一度気付いて表示レベルを落としたはずの警報を、
再び忘れてしまうことがあると考えられる。しかし警報
表示である以上、このようなことは望ましいことではな
い。本発明はこのような従来の課題に鑑みてなされたも
ので、警報表示に対する運転者の意識レベルの度合いに
応じて注意を喚起することのできる車両用表示装置を提
供することを目的とする。

【０００６】

【課題を解決するための手段】このため本発明は、監視
対象を監視する監視手段と、該監視手段によって得られ
た監視情報を表示する表示手段と、運転者の視線方向を
検出する視線検出手段と、該視線検出手段により検出さ
れた視線方向情報に基づいて、前記表示手段へ表示され
たものへの運転者の視線の頻度を演算する視線分布演算
手段と、該視線分布手段の演算結果に基づいて、前記監
視対象に係る警報レベルを演算する警報レベル演算手段
と、該警報レベル演算手段により演算された警報レベル
に基づいて、所定表示方法にしたがった警報を発生する
警報発生手段と、を備えるようにした。

【０００７】

【作用】上記の構成によれば、監視対象は監視手段によ
り監視され、監視手段によって得られた監視情報は表示
手段に表示される。一方、運転者の視線方向は視線検出
手段により検出され、この視線方向情報に基づいて、視
線分布演算手段により表示手段へ表示されたものへの運
転者の視線の頻度が演算される。

【０００８】そして視線分布演算手段により演算された
結果に基づいて、警報レベル演算手段により警報レベル
が演算される。この演算された警報レベルに基づいて、
警報発生手段から所定表示方法にしたがった警報が発生
する。このように運転者が確実に表示内容を読み取った
か、あるいは一定時間以上その表示に対する注意を怠っ
ているかを、表示手段へ表示されたものへの視線頻度に
よって判断し、この視線頻度に応じて、所定表示方法に
したがった警報の警報レベルを変化させるようにしたの
で、運転者に対して不快感を与えずに、しかも確実に注
意を喚起させることが可能となる。

【０００９】

【実施例】以下、本発明の実施例を図１〜15に基づいて
説明する。尚、図16と同一要素のものについては同一符
号を付して説明は省略する。本実施例を示す図１におい
て、赤外線撮影装置１は、例えば歩行者等、道路上の障
害物を検知する装置であって、外部から入射する赤外線
を集光する光学系１ａと、入射した赤外線量を検知する
例えばInSbやHgCdTe等の赤外線検出素子１ｂと、を含ん
で構成されている。赤外線検出素子１ｂには、単一素
子、リニアアレイ、エリアアレイといった種類がある
が、前２者の場合、光学系１ａに例えば平面ミラーとポ
リゴンミラーとを組み合わせたスキャナ機構を内蔵さ
せ、２次元の画像信号が得られるようにする。

【００１０】Ａ／Ｄ変換器２は、赤外線撮影装置１に接
続し、前記赤外線検出素子１ｂの出力をディジタル信号
に変換する。障害物検出部３は、Ａ／Ｄ変換器２から出
力された赤外線検出素子１ｂのディジタル信号に基づい
て走行路近傍の障害物を検出するブロックであり、障害
物が監視対象であり、障害物検出部３が監視手段に相当
する。

【００１１】表示位置演算部４は、障害物検出部３の出
力に基づいてＨＵＤによる虚像表示を行う位置を演算す
るブロックである。赤外線照明装置５は、ドライバ20の
顔近傍に可視域外の赤外線を照明する装置である。赤外
線カメラ６は、ドライバ20の視線を検出するためのもの
であり、ドライバ20の顔近傍を観測し、ドライバ20の目
の眼球から反射した反射光を捕捉する。

【００１２】尚、位置センサは、図示しないが、車両の
天井等に取り付けられ、ドライバ20の頭の位置が検出さ
れる。この頭の位置と、視線情報とからドライバ20がウ
ィンドシールド上の視線位置が特定される。ウィンドシ
ールドとは、特開昭６２−５２８８号公報に記載されて
いるように、ガラスに例えばホログラムを挟み込んだも
のであり、このホログラムにレーザビームをスキャニン
グすることにより任意画像が表示される。

【００１３】図２に示すように、このウィンドシールド
31はフロントガラス22全面に配設され、メッシュ化され
てｍ×ｎの領域に区分されている。Ａ／Ｄ変換器７は、
赤外線カメラ６の出力信号をディジタル信号に変換する
ものである。視線方向検出部８は、Ａ／Ｄ変換器７から
出力された赤外線カメラ６のディジタル信号に基づいて
ドライバ20の視線方向を検出するブロックであり、視線
検出手段に相当する。

【００１４】視線分布演算部10は、視線方向検出部８の
出力に基づいて、例えばウィンドシールド31上のドライ
バ20の視線分布状態を演算するブロックであり、視線分
布演算手段に相当する。表示方法演算部９は、表示位置
演算部４と視線分布演算部10の出力に基づいてドライバ
20が視線を配っているウィンドシールド31上の位置に対
する累積頻度を演算し、所定表示方法にしたがって出力
する警報の警報レベルを演算するブロックであり、警報
レベル演算手段に相当する。

【００１５】表示ユニット11は、表示方法演算部９から
の信号に基づいて表示を行うユニットであり、インスト
ルメントパネル上面に設置され、前述のウィンドシール
ド31のホログラムに向けて照射されるレーザのビームの
スキャニングを制御するユニットである。尚、この表示
ユニット11とウィンドシールド31とが表示手段、及び警
報発生手段に相当する。

【００１６】次に動作を説明する。車両前方、又は車両
側方、後方から入射する赤外線は光学系１ａで集光され
赤外線検出素子１ｂの上に結像される。赤外線検出素子
１ｂからの信号はＡ／Ｄ変換器２によってＡ／Ｄ変換さ
れる。Ａ／Ｄ変換された赤外線信号は、障害物検出部３
に入力され、図３に示すフローチャートに基づいて障害
物が検出される。

【００１７】次にこのフローチャートに基づいて障害物
検出処理について説明する。ステップ（図中では「Ｓ」
と記してあり、以下同様とする）１、２では、ウィンド
シールド31上のメッシュの領域を（ｘ，ｙ）とし、ｘ＝
０、ｙ＝０として座標位置を初期設定する（０＜ｘ＜
ｍ，０＜ｙ＜ｎ）。ステップ３では、所定上限値、下限
値を夫々（Ｔｈ＋ｐ）、（Ｔｈ−ｐ）として、赤外線検
出素子１ｂからの赤外光の検出信号を、この上限値、下
限値と比較する。

【００１８】赤外光の検出信号は、一般に温度が高いほ
ど大きな数値がストアされ、人間の皮膚の表面温度は、
気温21℃の下では32℃程度であると言われている。した
がって赤外光の検出信号を上限値、下限値と比較するこ
とにより、人間等から発せられた赤外光を検出すること
が出来る。比較は、ウィンドシールド31上の領域（ｘ，
ｙ）に対応した検出値をＩ_L（ｘ，ｙ）として、領域毎
に行う。そして（Ｔｈ−ｐ）＜Ｉ_L（ｘ，ｙ）＜（Ｔｈ
＋ｐ）であれば、領域（ｘ，ｙ）に対応した位置に人間
等が存在していると判定される。

【００１９】もし、人間等が存在していると判定された
時には、ステップ４に進み、人間検出結果をＪ（ｘ，
ｙ）として、Ｊ（ｘ，ｙ）＝１に設定する。もし、検出
値Ｉ_L（ｘ，ｙ）が、（Ｔｈ−ｐ）≧Ｉ_L（ｘ，ｙ）、
あるいはＩ _L（ｘ，ｙ）≧（Ｔｈ＋ｐ）であれば、Ｊ
（ｘ，ｙ）＝０とする。そしてステップ２、又は３に戻
ってこの処理をｘ＝ｍ、ｙ＝ｎとなるまで繰り返し行
い、全ての領域について人間検出結果Ｊ（ｘ，ｙ）が計
算される。

【００２０】その結果、Ｊ（ｘ，ｙ）＝１の点が、ある
一定面積以上の固まりとして検出されたら、前方に人間
が存在すると判断される。この人間検出結果Ｊ（ｘ，
ｙ）は、表示位置演算部４に入力される。一方、赤外線
照明装置５から発せられた目に見えない視線検出用の赤
外光は運転中のドライバ20の目に照射され、反射した参
照光が赤外線カメラ６によって捕らえられる。赤外線カ
メラ６の検出信号はＡ／Ｄ変換器７に入力されてＡ／Ｄ
変換され、視線方向検出部８に入力される。

【００２１】本実施例では、視線方向を検出する方法と
しては、瞳孔と角膜反射像の組み合わせから視線方向を
検出する方法を用いる。この方法によれば、ドライバ20
の運転中に視線検出用の赤外線照明装置５でドライバ20
の目を照射し、赤外線カメラ６によって反射光を捕捉し
てドライバ20の目を映し出し、瞳孔中心と角膜球中心と
を計算する。赤外線カメラ６と赤外線照明装置５の３次
元的位置関係は既知であるから、図４に示すように角膜
球中心と瞳孔中心をコンピュータにより３次元的に結ん
だ線を計算すれば、ドライバ20の視線方向が検出され
る。

【００２２】視線方向検出部８では、この検出信号に基
づいて前述の瞳孔中心と角膜球中心とが計算され、視線
方向を検出する処理が行われる。次にその処理を、図５
〜７のフローチャート、及び図８に基づいて説明する。
図５において、ステップ11では、瞳孔領域ｋ（ｘ，ｙ）
を計算する。この瞳孔領域ｋ（ｘ，ｙ）は、図６のフロ
ーチャートに基づいて計算される。

【００２３】図６において、ステップ21、22では、ｘ＝
０、ｙ＝０として領域を（０，０）に初期設定する。ス
テップ23では、Ａ／Ｄ変換された赤外線カメラ６からの
検出信号であり、領域（ｘ，ｙ）における検出信号Ｌ₂
（ｘ，ｙ）が、各領域毎に所定閾値ｓ（０＜ｓ）と比較
される。

【００２４】瞳孔については、図８（Ａ）に示すよう
に、明るい網膜上の反射像を観測すると、この像の明る
さは角膜反射像よりも暗くなるので、所定閾値ｓを瞳孔
の輝度値に対応した部分が抽出できるように設定するこ
とにより、（Ｂ）のように瞳孔候補領域が抽出される。
領域（ｘ，ｙ）における瞳孔検出結果をｋ（ｘ，ｙ）と
して、検出信号Ｌ₂（ｘ，ｙ）が閾値ｓ未満であれば、
ステップ24に進んでｋ（ｘ，ｙ）＝１に設定して瞳孔を
表すものとし、閾値ｓ以上であれば、ステップ25に進ん
でｋ（ｘ，ｙ）＝０に設定する。

【００２５】そしてステップ22、又は23に戻ってこの処
理をｘ＝ｍ、ｙ＝ｎとなるまで繰り返し行い、全ての領
域について瞳孔検出結果ｋ（ｘ，ｙ）が計算される。全
ての領域について瞳孔検出結果ｋ（ｘ，ｙ）が求められ
ると、次に図５のステップ12に進み、全ての領域におけ
る瞳孔検出結果ｋ（ｘ，ｙ）から重心（Ｘ_g1，Ｙ_g1）を
求める。この重心（Ｘ_g1，Ｙ_g1）が瞳孔中心に一致す
る。

【００２６】ステップ13では、ドライバの目の角膜に反
射したプルキンエ像から角膜反射像位置が計算される。
この領域（ｘ，ｙ）における角膜反射像検出結果ｑ
（ｘ，ｙ）は図７のフローチャートに基づいて計算され
る。図７において、ステップ31、32では、ｘ＝０、ｙ＝
０として領域を（０，０）に初期設定する。

【００２７】ステップ33では、前記検出信号Ｌ₂（ｘ，
ｙ）が、各領域毎に所定閾値ｔ（０＜ｓ＜ｔ）と比較さ
れる。角膜反射像については、図８（Ｃ）に示すよう
に、角膜上の反射像を観測すると非常に明るい起点とし
て観測されるため、検出信号Ｌ₂（ｘ，ｙ）から角膜反
射像の輝度値に対応した部分が抽出できるように所定閾
値ｔを設定し、この所定閾値ｔで２値化処理することに
よって、（Ｄ）のように角膜反射像位置の候補領域が抽
出される。

【００２８】領域（ｘ，ｙ）における角膜反射像検出結
果をｑ（ｘ，ｙ）とし、検出信号Ｌ ₂（ｘ，ｙ）が閾値
ｔを越えていれば、ステップ34に進んで角膜反射像検出
結果ｑ（ｘ，ｙ）＝１とし、閾値ｔ以下であれば、ステ
ップ35に進んでｑ（ｘ，ｙ）＝０に設定する。そしてス
テップ32、又は33に戻ってこの処理をｘ＝ｍ、ｙ＝ｎと
なるまで繰り返し行い、全ての領域について角膜反射像
検出結果ｑ（ｘ，ｙ）が計算される。

【００２９】全ての領域について角膜反射像検出結果ｑ
（ｘ，ｙ）が計算されると、次に図５のステップ14に進
み、全ての領域における角膜反射像検出結果ｑ（ｘ，
ｙ）から重心（Ｘ_g2，Ｙ_g2）を求める。この重心
（Ｘ_g2，Ｙ_g2）が角膜反射像位置となる。ステップ15で
は、角膜反射像位置より角膜球中心を演算する。

【００３０】人間の角膜球の半径は、人によらず略一定
であるので、角膜球面上の赤外線照明装置５と赤外線カ
メラ６との正反射点からこの角膜球半径距離の位置を計
算すれば、角膜球中心が演算される。ステップ16では、
視線方向を計算する。前述のように、演算された瞳孔中
心と角膜球中心、即ち、図８（Ｅ）の重心（Ｘ_g1，
Ｙ_g1）、（Ｘ_g2，Ｙ_g2）とを結べば、この結んだ直線が
視線方向となる。

【００３１】尚、視線検出の精度を上げるためには、赤
外線カメラ６を複数台設置してドライバの目が最も大き
く検出できた画像を用いる方法、又は赤外線カメラ６を
可動させてドライバ20の目を追跡する方法等を用いるこ
とが考えられる。またプルキンエ像から視線方向を検出
する検出手法については、一般的に知られており、「非
接触視線検出のための特徴点抽出法」（伴野他著、1988
年11月17日社団法人電子情報通信学会出版、電子情報
通信学会技術研究報告Vol.88 No.279)に詳しい。

【００３２】次に、表示位置演算部４における処理につ
いて説明する。図９は、ドライバ20から見た実シーン
と、それらのウィンドシールド31上の位置との対応を示
す図である。既に述べたように、ドライバ20の眼球位置
は検出され、赤外線検出素子１ｂ、ウィンドシールド31
との位置関係から、ドライバ20が歩行者33を見る時に、
その視線が通過するウィンドシールド31上の領域を計算
できるから、ドライバ20からみて歩行者33に重なるＨＵ
Ｄ表示位置34を計算することができる。表示位置演算部
４では、このＨＵＤ表示位置が演算され、その位置が表
示方法演算部９に出力される。この位置にＨＵＤ表示像
35を表示すれば例えば雨や露等により視界不良の状況で
あっても、歩行者33を強調して表示することが出来る。

【００３３】次に視線分布演算部10における処理につい
て説明する。視線分布演算部10では、ドライバ20の視線
分布が演算される。即ち、図９において、実シーン上の
運転者視線領域35に対応するウィンドシールド31上の運
転者視線領域36は、既に述べたように視線方向検出部８
において計算されている。視線頻度は、図２に示すよう
に、ウィンドシールド31を数センチ角程度のメッシュ状
に区切り、この視点のウィンドシールド31上における停
留点の領域毎の累積度数が計算される。また障害物が複
数存在する場合、視線頻度は検出された障害物毎に演算
され、障害物ｎに対するＨＵＤ表示領域中に視線停留点
が１回カウントされると、障害物ｎに対する視線累積頻
度に１を加える。

【００３４】一般に、視線は0.2 秒〜0.4 秒毎に移動す
るため、0.1 秒以上停止した位置を視線停留点とすれば
よい。視線累積頻度分布は例えば過去５秒程度の範囲を
もとに計算される。次に表示方法演算部９における処理
について説明する。表示方法演算部９では、表示位置演
算部４から出力された表示像31の位置と、視線分布演算
部10より出力された視点位置の累積度数と、が比較され
る。

【００３５】図10は、ＨＵＤ表示像34の位置と視点位置
との関係を示す図である。図10において、ある時点にお
ける視点停留点を（Ｐｉ，Ｑｊ）（１≦ｉ≦ｍ，１≦ｊ
≦ｎ）とし、またＨＵＤ像が表示されている領域を（Ｐ
ｓ，Ｑｕ），（Ｐｓ，Ｑｖ），（Ｐｔ，Ｑｕ），（Ｐ
ｔ，Ｑｖ）（１≦ｓ≦ｔ≦ｍ，１≦ｕ≦ｖ≦ｎ）で囲ま
れた領域とする。視線分布演算部10の出力に基づいて、
この領域内の点のいずれかの累積度数が１以上であれ
ば、過去、例えば５秒間程度の一定時間内にＨＵＤ表示
像付近に視線を動かしたと考えることが出来るので、こ
の場合、表示を低輝度レベルとする表示信号が表示ユニ
ット11に出力され、反対に、累積度数が全て０であれ
ば、高輝度レベルとする表示信号が表示ユニット11に出
力される。

【００３６】低輝度レベルの表示信号が出力された場合
には、インストルメントパネル上面に設置されたＨＵＤ
に、虚像が低輝度にて表示され、高輝度レベル表示指令
信号が出力された場合には、虚像が高輝度にて表示され
る。尚、この場合の高輝度表示とは、背景輝度によって
異なるが、夜間であれば高輝度として100 cd／ｍ²程
度、低輝度として５cd／ｍ²程度を設定すればよい。

【００３７】図11、12はドライバ20から見た時のＨＵＤ
表示像34とドライバ20の視線分布状態を示した図であ
り、図11は、ドライバ20が、比較的正面に注意を払って
おりＨＵＤ表示像34に対するドライバ20の意識レベルが
低下している状態を示している。この場合、ドライバ20
の視線分布は、正面から順に高密度分布領域、中密度分
布領域となっており、ＨＵＤ表示像34の表示位置は低密
度分布領域となっている。この場合、表示ユニット11に
よりＨＵＤ表示像34の虚像が高輝度で表示されて強調さ
れ、ドライバ20の注意が喚起される。

【００３８】また図12は、ドライバ20が、ＨＵＤ表示像
34にも注意を払っている状態を示し、ＨＵＤ表示像34の
表示位置は中密度分布領域となっている。この場合に
は、ＨＵＤ表示像34の虚像は低輝度で表示され、ドライ
バ20に対して不快感を与えない程度に注意を喚起するこ
とになる。かかる構成によれば、障害物を検知した時に
ウィンドシールド31上の適切な位置に虚像表示する際
に、ドライバ20の視線方向を画像処理によって検出し、
運転者の表示されたものへの視線の頻度に応じて警報レ
ベルを変化させる構成とすることにより、一度表示内容
が理解された後は必要以上の表示が行われず、またドラ
イバ20がその警報を忘れてしまったと考えられる時には
再び警報レベルが上げられ、注意が喚起されるので、ド
ライバ20に不快感を与えることなく確実に警報を発する
ことができ、したがってドライバ20が警報を見落とすこ
とがなく、安全性が極めて高くなる。

【００３９】尚、本実施例では、監視手段を障害物検知
手段として、赤外線カメラを用いて歩行者等道路上の障
害物を検知する場合について説明したが、監視手段はこ
のような障害物検知手段に限らないことはいうまでもな
い。例えば監視手段を予め決まった位置のみに表示部が
ある燃料残量計として、本発明を用いれば、燃料残量不
足などの警告表示を運転者視線位置に表示するのではな
く、固定位置に行う場合（予め決まった位置のみにしか
表示できない場合）でも、この表示領域付近の視線累積
度数を計算して本発明を適用でき、一旦警報レベルを落
とした後も、その警報を見落とすことのない極めて安全
な表示装置とすることができる。尚、燃料残量不足等の
警告の場合には、障害物警報よりも緊急度が低いため、
視線分布演算部10にて累積度数を計算する際の時間を、
５秒程度ではなく、数分程度としてもよい。

【００４０】また、表示手段としては、ＨＵＤに限ら
ず、インストルメントパネル内の（ヘッドダウンディス
プレイの）表示等、例えば燃料残警告灯、排気温警告
灯、パーキングブレーキ作動表示灯（特に走行中に表示
灯が点灯している場合）としてもよく、同様に適用する
ことが出来る。ただし、この場合は視線がインストルメ
ントパネル内の各メータを向いている累積頻度と比較す
ることになることはいうまでもない。

【００４１】また、本実施例では、運転者視線が停留し
た場合を検知して表示レベルを落とすようにしたが、こ
れに限らず、警報レベルを落とすスイッチを予め設け、
運転者が表示に気付いた場合、運転者自身がスイッチを
操作して表示レベルを落とすように構成してもよく、こ
のように構成しても同様の効果が得られることはいうま
でもない。

【００４２】次に例えば車両又は人間等のように、累積
頻度演算対象が移動するような場合における演算方法に
ついて説明する。累積頻度演算対象が移動するような場
合、ドライバ20の対象物に対する視線が通るウィンドシ
ールド31上の位置も変化することになる。その場合、視
線累積頻度分布は障害物毎に演算する。この場合の処理
を図13のフローチャートに基づいて説明する。

【００４３】例えば図14に示すように、障害物ｎを、あ
る時点において検出した時には、ステップ41→42に進
み、障害物ｎに対する視線頻度を０に初期化する。ステ
ップ43では、障害物ｎに対するタイマｔ_nをスタートさ
せる。障害物ｎが存在しなくなった時には、ステップ44
→45に進み、ｎをインクリメントしてステップ41に戻
り、存在している時には、ステップ46に進む。

【００４４】ステップ46では、障害物ｎのＨＵＤ表示像
の位置を演算する。ステップ47では、ＨＵＤの表示像存
在エリアを演算する。ステップ48では、視線位置を演算
する。視線位置の演算方法は前述と同様の方法である。
ステップ49では、障害物ｎに対するウィンドシールド31
上の視線累積分布Ｃを演算する。図14に示すように、障
害物ｎのＨＵＤ表示像存在エリアに視線位置が入ってい
る時には、障害物ｎへの累積頻度に１を加える。

【００４５】障害物ｎに対するタイマｔ_nが所定値Ｔを
越えていれば、ステップ50→51に進む。そして視線累積
頻度Ｃ＞０であれば、ステップ52に進み、低輝度レベル
で表示させる表示信号を表示ユニット11に出力し、視線
累積頻度Ｃ＝０であれば、ステップ53に進み、高輝度レ
ベルで表示させる表示信号を出力する。また図15に示す
ように、対象物ｎが移動した場合、ウィンドウシールド
31上の位置、及びＨＵＤ表示像存在エリアも変化する
が、この場合、再びＨＵＤの表示位置が演算され（ステ
ップ46）、表示像存在エリアが演算され（ステップ4
7）、視線位置が演算される（ステップ48）。そして図1
5に示すように、視線位置がＨＵＤ表示像存在エリアの
領域内に入っている場合には、同様にして障害物ｎへの
累積頻度に１を加える。

【００４６】このように演算すれば、障害物ｎ毎の視線
累積頻度が演算され、予め指定された時間を経過して
も、視線累積頻度が０である障害物ｎに対してＨＵＤ表
示の輝度を上げるなど、表示の視認性を向上させるよう
にすれば、障害物を見落とすことがなく、安全な走行が
可能となる。尚、上記処理は障害物ｎについての処理中
に、センサにて新たな障害物（ｎ＋１）が検知されれ
ば、検知される毎に、個々の障害物ｎ，（ｎ＋１），…
について処理が行われるものとする。

【００４７】次に、警報の表示方法について説明する。
本実施例では、警報を発生させる所定表示方法として、
ＨＵＤへの表示を輝度の高低にて警報レベルに差を持た
せるようにしたが、点滅表示（高レベル出力の警報）、
定常発光（低レベル出力の警報）のように変化を持たせ
る方法もある。また所定表示方法は、このように視覚的
に表示レベルを変化させる方法ではなくても、音声表示
による方法でもよく、この場合でも同様に行うことが出
来る。

【００４８】音声表示による方法の場合、音声の変化
は、音の高低や大小で、警報レベルを変化させることが
考えられる。具体的には以下のように行えば良い。例え
ば、車両側で障害物ｎを検知した時には、その時点で小
さな音を発生し、同時に障害物ｎに対する視線累積頻度
の演算を開始する。尚、小さな警報音を発生させた後の
処理内容は、図13のフローチャートのステップ42以降に
準ずる。

【００４９】予め定められた時間Ｔが経過しても障害物
ｎに対する視線累積頻度が０となっている場合には、警
報音の音量を大きくする。運転者の視線が障害物ｎに向
けられれば、即ち、視線累積頻度が１以上になった時に
は警報音の発生を停止する。あるいは別のやり方とし
て、車両側で障害物ｎを検知した時点で、障害物ｎに対
する視線累積頻度の演算を開始する。この処理内容も図
13のフローチャートに準ずる。

【００５０】予め定められた時間Ｔが経過しても障害物
ｎに対する視線累積頻度が０となっている場合には、警
報音を発生させる。運転者視線が障害物ｎに向けられれ
ば、即ち、視線累積頻度が１以上になった時に警報音の
発生を停止する。音声で警告を発生する場合には、車両
左側に障害物が検出された場合には左側のスピーカから
警報音を発生させ、車両右側に障害物が検出された場合
には右側のスピーカから警報音を発生させる。このよう
にすれば、運転者は障害物の存在する方向も同時に知覚
出来るので、より安全性の高い警報を発生させることが
出来る。

【００５１】

【発明の効果】以上説明したように本発明によれば、監
視対象を監視してその監視情報を表示し、表示されたも
のへの運転者の視線の頻度に応じて、運転者に対する警
報レベルを変化させるようにしたので、その警報を運転
者が忘れてしまったと考えられる時には再び警報レベル
が上げられ注意が喚起されるので、運転者に不快感を与
えることなく確実に警報を発することができ、安全性が
極めて高くなる。

【図面の簡単な説明】

【図１】本発明の実施例の構成を示すブロック図。

【図２】ウィンドシールドをメッシュ化した例を示す
図。

【図３】図１の障害物検出部の障害物検出処理を示すフ
ローチャート。

【図４】図１の視線方向検出部の視線検出の例を示す説
明図。

【図５】図１の視線検出部の視線検出処理のフローチャ
ート。

【図６】図５の瞳孔検出処理のフローチャート。

【図７】図５の角膜反射像検出のフローチャート。

【図８】図１の視線検出部の視線検出の例を示す説明
図。

【図９】図１の視線分布演算部における表示位置演算例
を示す説明図。

【図10】図９のウィンドシールド上の表示例を示す説明
図。

【図11】図１の視線分布演算部において演算された表示
像の近傍の視線累積頻度が低い場合のの例を示す図。

【図12】図１の視線分布演算部において演算された表示
像の近傍の視線累積頻度が高い場合の例を示す図。

【図13】表示方法演算処理のフローチャート。

【図14】図13のウィンドシールド上の表示例を示す説明
図。

【図15】図13のウィンドシールド上の表示例を示す説明
図。

【図16】ヘッドアップディスプレイによる障害物を強調
して表示した時の説明図。

【符号の説明】

１赤外線撮影装置１ａ光学系１ｂ赤外線検出素子３障害物検出部４表示位置演算部８視線方向検出部９表示方法演算部 10 視線分布演算部 11 表示ユニット 31 ウィンドシールド

Claims

【特許請求の範囲】

【請求項１】監視対象を監視する監視手段と、該監視手段によって得られた監視情報を表示する表示手
段と、運転者の視線方向を検出する視線検出手段と、該視線検出手段により検出された視線方向情報に基づい
て、前記表示手段へ表示されたものへの運転者の視線の
頻度を演算する視線分布演算手段と、該視線分布手段の演算結果に基づいて、前記監視対象に
係る警報レベルを演算する警報レベル演算手段と、該警報レベル演算手段により演算された警報レベルに基
づいて、所定表示方法にしたがった警報を発生する警報
発生手段と、を備えたことを特徴とする車両用表示装
置。