JPH06233306A

JPH06233306A - 車両用表示装置

Info

Publication number: JPH06233306A
Application number: JP1619893A
Authority: JP
Inventors: Hiroshi Imai; ひろし今井; Haruhiko Iizuka; 晴彦飯塚
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1993-02-03
Filing date: 1993-02-03
Publication date: 1994-08-19

Abstract

(57)【要約】【目的】車両外部の撮像画像を運転者に対して見易い
ように表示する車両用表示装置を提供する。【構成】赤外線発光デバイス４、カメラ５、画像処理
装置６からなる視線検知手段で車両の運転者の視線を検
知し、運転者の視線が表示手段を見ていることを検知し
た場合、表示視認判定手段７から表示制御手段８を制御
して、ＣＣＤカメラ１で撮像した画像を増幅手段２を介
してモニタ装置３に表示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両の外部を撮像して
車両の運転者に表示し、運転者に対する視覚補助を行う
車両用表示装置に関する。

【０００２】

【従来の技術】この種の従来の車両用表示装置は、例え
ば車両の後方等の車両の外部をＣＣＤカメラ等で撮像
し、この撮像した画像を単に増幅器を介して車両内のセ
ンターコンソールやメータクラスタ等の付近に設置され
たモニタテレビ等のモニタ装置に表示し、これにより運
転者に車両後方等の車両外部の状況を知らせ、運転者に
対する視覚補助を行っている。

【０００３】

【発明が解決しようとする課題】上述した従来の車両用
表示装置は、撮像画像を単に増幅してモニタ装置に表示
するだけであるとともに、センターコンソールやメータ
クラスタ等のような車両のセンターライン付近に設置さ
れたモニタ装置に表示するものであるため、前方を見な
がら運転している運転者がモニタ装置を見ようとする場
合には、運転者は視線を移動する必要があり、視線の移
動に時間がかかるという問題がある。

【０００４】なお、このような問題を解決するため、運
転者が前方を見ながら運転している場合の視線の方向で
ある運転者の真前のインストパネルの若干上方にモニタ
装置を設置した場合には、運転者は視線をあまり動かさ
ずにモニタ装置の表示を見ることができるが、常にモニ
タ装置の表示が目につき、すなわち誘目性があがり、見
る必要のない時も画像が気になるという問題がある。

【０００５】更に、運転者は、各人それぞれが異なる視
覚特性を有しているが、撮像画像を単に増幅してモニタ
装置に表示しただけでは、カメラの位置で直視した場合
以上の表示情報をモニタ画像から得ることはできないと
いう問題がある。

【０００６】本発明は、上記に鑑みてなされたもので、
その目的とするところは、車両外部の撮像画像を運転者
に対して見易いように表示する車両用表示装置を提供す
ることにある。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、本発明の車両用表示装置は、車両の外部を撮像して
車両の運転者に表示する車両用表示装置であって、画像
を表示する表示手段と、車両の外部を撮像する撮像手段
と、車両の運転者の視線を検知し、該視線が前記表示手
段を見ていることを検知する視線検知手段と、該視線検
知手段により運転者の視線が前記表示手段を見ているこ
とを検知した場合、前記撮像手段で撮像した画像を前記
表示手段に明瞭に表示するように制御する表示制御手段
とを有することを要旨とする。

【０００８】また、本発明の車両用表示装置は、車両の
外部を撮像して車両の運転者に表示する車両用表示装置
であって、車両の外部を撮像する撮像手段と、車両の運
転者の視覚に関するデータを記憶する記憶手段と、該記
憶手段に記憶された運転者の視覚に関するデータに基づ
いて前記撮像手段で撮像した画像を運転者が見やすくな
るように画像処理する画像処理手段と、該画像処理手段
で画像処理された前記撮像手段からの画像を表示する表
示手段とを有することを要旨とする。

【０００９】更に、本発明の車両用表示装置は、車両の
外部を撮像して車両の運転者に表示する車両用表示装置
であって、画像を表示する表示手段と、車両の外部を撮
像する撮像手段と、車両の運転者の視覚に関するデータ
を記憶する記憶手段と、該記憶手段に記憶された運転者
の視覚に関するデータに基づいて前記撮像手段で撮像し
た画像を運転者が見やすくなるように画像処理する画像
処理手段と、車両の運転者の視線を検知し、該視線が前
記表示手段を見ていることを検知する視線検知手段と、
該視線検知手段により運転者の視線が前記表示手段を見
ていることを検知した場合、前記画像処理手段で画像処
理された前記撮像手段からの画像を前記表示手段に明瞭
に表示するように制御する表示制御手段とを有すること
を要旨とする。

【００１０】

【作用】本発明の車両用表示装置では、車両の運転者の
視線を検知し、運転者の視線が表示手段を見ていること
を検知した場合、撮像画像を表示手段に明瞭に表示する
ように表示制御手段によって制御している。

【００１１】また、本発明の車両用表示装置では、記憶
手段に記憶された運転者の視覚に関するデータに基づい
て撮像画像を運転者が見やすくなるように画像処理し、
この画像処理された画像を表示している。

【００１２】更に、本発明の車両用表示装置では、記憶
手段に記憶された運転者の視覚に関するデータに基づい
て撮像画像を運転者が見やすくなるように画像処理し、
車両の運転者の視線を検知し、運転者の視線が表示手段
を見ていることを検知した場合、前記画像処理された画
像を表示手段に明瞭に表示している。

【００１３】

【実施例】以下、図面を用いて本発明の実施例を説明す
る。

【００１４】図１は、本発明の一実施例に係わる車両用
表示装置の構成を示すブロック図である。同図に示す車
両用表示装置は、車両の運転者の視線を検知し、前方注
視中の運転者の中心視に近い車両のインストパネルの若
干上方に配設されたモニタ装置に対して運転者の視線が
向けられた場合に該モニタ装置に車両の外部の撮像画像
を表示するとともに、また障害物体を識別した場合に
も、該障害物体をモニタ装置に表示しようとするもので
ある。従って、本車両用表示装置は、運転者の視線を検
知し、該視線が前記モニタ装置を見ていることを検知す
るための赤外線発光デバイス４、複数のカメラ５および
画像処理装置６からなる視線検知手段を有している。こ
の視線検知手段は例えば特開昭第３−７４２３１号公報
に開示されているものと同じである。

【００１５】視線検知手段を構成する画像処理装置６か
らの視線情報は表示視認判定手段７に供給され、該表示
視認判定手段７において画像処理装置６からの視線（紅
彩）情報から該視線がモニタ装置を見ているか否かを判
定するものである。

【００１６】また、図１の車両用表示装置は、例えば車
両の後方等の外部を撮像するＣＣＤカメラ１を有し、該
ＣＣＤカメラ１で撮像した画像は表示制御手段８を介し
て増幅手段２に供給され、増幅手段２で増幅されてから
モニタ装置３で表示されるようになっている。ＣＣＤカ
メラ１からの撮像画像を供給される表示制御手段８は、
前記表示視認判定手段７からの出力信号で制御され、こ
れによりＣＣＤカメラ１からの撮像画像を増幅手段２に
供給し、モニタ装置３で表示し得るようにしている。更
に詳しくは、表示視認判定手段７が運転者の視線を検知
し、該視線がモニタ装置３を見ていることを検知する
と、該表示視認判定手段７からの検知出力信号が表示制
御手段８に供給され、これにより表示制御手段８はＣＣ
Ｄカメラ１からの撮像画像を増幅手段２に供給するよう
に制御し、増幅手段２で増幅してからモニタ装置３で表
示するようにしている。すなわち、運転者の視線がモニ
タ装置３を見ていることを検知すると、ＣＣＤカメラ１
で撮像した画像がモニタ装置３に表示されるようになっ
ている。

【００１７】更に、図１の車両用表示装置は、車速セン
サ１０を有し、該車速センサ１０で検知した車速情報お
よびＣＣＤカメラ１で撮像した画像情報が障害物体識別
手段９に供給されている。障害物体識別手段９は、車速
情報および画像情報に基づいて障害物体、例えば後方か
ら接近してくる後続車等の障害物体を識別し、障害物体
を識別した場合には、表示制御手段８を制御し、該障害
物体を増幅手段２を介してモニタ装置３に表示するよう
にしている。

【００１８】図２は、前記モニタ装置３の設置場所を示
している図である。モニタ装置３は、同図に示すよう
に、メータクラスタ内部やインスト内部等の前方注視中
の運転者の中心視に近い位置、すなわち車両のステアリ
ング１３の少し上方の真中に設けられ、運転者が前方を
見ながら運転中でもあまり視線を動かさないで適確に見
ることができるように取り付けられている。なお、図２
において、１１はクラスタリッドであり、１４はフロン
トウィンドシールドであり、１２はモニタ装置３に表示
された後方車両である。

【００１９】図２に示すように、モニタ装置３を比較的
高い位置に配設することにより、視線の移動距離が短く
なり、視認時間が短くなる反面、このモニタ装置３に運
転者の視線が引き付けられ、すなわち誘目性があがり、
見る必要の無い場合にもモニタ装置３の画像が気になっ
てしまうが、本車両用表示装置では、このような問題を
解決するために前記視線検知手段により運転者の視線を
検知し、運転者がモニタ装置３を見ようとした時や、後
方に障害物体が接近してきた時のみ、モニタ装置３に画
像を表示したり、または明瞭に表示するようにしてい
る。

【００２０】次に、図３および図４に示すフローチャー
トを参照して作用を説明する。

【００２１】まず、図３においては、変数ｎを０に設定
してから（ステップ１５０）、運転者がモニタ装置３を
見ているか否かを前記視線検知手段により判定する（ス
テップ１６０）。このステップでは、画像処理装置６の
出力フレームの１つ１つについて運転者がモニタ装置３
を見ているか否かを判定している。

【００２２】運転者がモニタ装置３を見ていない場合に
は、次のフレームの分析を行い（ステップ１７０）、ス
テップ１５０に戻る。

【００２３】運転者がモニタ装置３を見ている場合に
は、変数ｎを＋１インクリメントし、該変数ｎが１０以
上になったか否かを判定する（ステップ１８０，１９
０）。なお、ここでは、１フレームの処理時間を１０ｍ
Ｓと仮定し、運転者によるモニタ装置３の表示視認を１
００ｍＳとしているので、変数ｎが１０以上で判定を行
っている。

【００２４】ステップ１９０の結果、変数ｎが１０以上
の場合には、表示を視認していると判定し、表示視認判
定手段７から表示制御手段８に出力信号が供給され、こ
れにより表示制御手段８を制御し、ＣＣＤカメラ１から
の撮像画像を表示制御手段８、増幅手段２を介してモニ
タ装置３で表示するように制御している（ステップ２１
０）。また、変数ｎが１０未満の場合には、次のフレー
ムの分析を行い（ステップ２００）、ステップ１６０に
戻る。

【００２５】次に、図４のフローチャートを参照して、
障害物体を識別する場合の作用を説明する。なお、障害
物体は、例えば人、車両、二輪車、荷物等であるが、こ
こでは車両を例として説明する。

【００２６】図４において、前記車速センサ１０からの
出力から自車両の速度Ｖ_oを検知する（ステップ２２
０）。それから、ＣＣＤカメラ１で撮像した原画像を画
像処理して、臨角抽出を行い、臨角をもった物体を認識
する（ステップ２３０）。そして、抽出した物体の中か
ら車両があるか否かをピックアップする（ステップ２４
０）。車両がない場合には、最初に戻るが、車両がある
場合には、臨角のマップから車両の大きさを推定する
（ステップ２５０）。

【００２７】車両の大きさを推定すると、車両の大きさ
とその画像の大きさとから該車両までの車間距離Ｌを算
出する（ステップ２６０）。それから、抽出した車両の
画像の大きさの時間変化ΔＳを算出する（ステップ２７
０）。そして、前記時間変化ΔＳ、車間距離Ｌ、自車速
Ｖ_oから後続車との相対速度Ｖ_cを算出する（ステップ
２８０）。

【００２８】そして、この相対速度Ｖ_cが０より大きい
か否か、すなわち正であるか否かをチェックし、後続車
が近づいてくる車両であるか否かを判定する（ステップ
２９０）。正でない場合には、次の物体を判定する処理
に進むが、正の場合には、後続車が接近して衝突する可
能性があるので、車間時間Ｔ（＝Ｌ／Ｖ_c）を算出し
（ステップ３００）、この車間時間Ｔが所定の設定基準
値Ｔ_A以下であるか否かをチェックする（ステップ３１
０）。所定の設定基準値Ｔ_A以下でない場合には、最初
に戻るが、該基準値Ｔ_A以下の場合には、障害車両と判
定する。

【００２９】そして、この判定に応じて、障害物体識別
手段９は表示制御手段８を制御し、これによりＣＣＤカ
メラ１で撮像した画像を表示制御手段８、増幅手段２を
介してモニタ装置３に該障害車両と判定された後続車を
表示する。

【００３０】前記表示制御手段８は、表示視認判定手段
７および障害物体識別手段９のうち少なくとも一方の出
力信号を受信すると、ＣＣＤカメラ１からの画像を取り
込んで、増幅手段２を介してモニタ装置３に表示するよ
うに制御したり、またはＣＣＤカメラ１からの画像の焦
点を合わせるように制御して、解像度を上げたり、明る
さを増大して、明瞭にモニタ装置３に表示するように制
御し、これにより表示視認性を上げる。

【００３１】なお、上記実施例においては、車両の後方
をカメラで撮像して表示する車両用表示装置について説
明したが、本発明はこれに限定されるものでなく、車両
用表示装置一般について適用可能なものであり、例えば
スピードメータ、タコメータ、警告灯、ナビゲーション
のモニタ等にも適用することができる。

【００３２】次に、図５を参照して、本発明の他の実施
例に係わる車両用表示装置について説明する。同図に示
す車両用表示装置は、運転者個々に異なる視覚特性に応
じて撮像画像を画像処理して運転者に見やすくして表示
するものであり、運転者の視覚特性を記録している磁気
記憶カード１４を有し、この磁気記憶カード１４に記憶
された運転者の視覚特性の情報はカードリーダ１５で読
み取られ、網膜像合成装置１６に供給される。また、車
両の外部を撮像するＣＣＤカメラ１で撮像した原画像
は、画像比較装置１７および画像処理装置１８に供給さ
れるとともに、網膜像合成装置１６にも供給され、この
網膜像合成装置１６において前記カードリーダ１５から
の視覚特性とによって運転者の網膜像（正確には、網膜
以後の視神経を介して大脳皮質視覚領に送られる画像情
報であり、便宜上網膜像と表す）が合成される。

【００３３】前記網膜像合成装置１６で合成された網膜
像は画像比較装置１７においてＣＣＤカメラ１からの原
画像と比較され、この画像比較装置１７からの出力信号
が画像処理装置１８に供給され、該出力信号に応じてＣ
ＣＤカメラ１からの原画像が画像処理される。そして、
この画像処理された画像情報は増幅手段２で増幅され、
それからモニタ装置３に表示されるようになっている。

【００３４】一般に、眼の屈折系（角膜、前房水、水晶
体、硝子体）は完全な光学系ではなく、網膜像は回折、
色収差、球面収差等の要因で乱れ、網膜像は原画像に比
較して多少とも鋭さの落ちたものとなることが知られて
いる。Ｆｒｙ＆Ｃｏｂｂは線像のぼけを仮説的に求
め、ガウス分布を仮定している。一般に、像のぼけの分
布をその光学系の点（または線）ひろがり関数という。
像平面での強度分布Ｉ_i（ｘ）は線ひろがり関数ｗ
（ξ）と刺激平面での強度分布Ｉ_o（ｘ）との次式に示
すたたみこみ積分

【数１】によって表現できる。Ｆｌａｍａｎｔ，Ｗｅｓｔｈｅｉ
ｍｅｒ＆Ｃａｍｐｂｅｌｌらの計測によればｗ（ｘ）＝ｋｅ^-0.7x ・・・（２）で近似できる。

【００３５】ひろがり関数ｗ（ξ）のフーリエ変換を光
学的伝達関数ｗ（ν）と呼ぶ。すなわち、

【数２】ここにおいて、ξは像平面の空間軸、θは位相偏寄、｜
Ｗ（ν）｜は変調度伝達関数である。

【００３６】従って、像の空間周波数スペクトルＩ
_i（ν）は対象の空間周波数スペクトルＩ_o（ν）と伝
達関数との積Ｉ_i（ν）＝Ｉ_o（ν）・Ｗ（ν）・・・（４）で表される。

【００３７】ここで、ひろがり関数ｗ（ξ）または光学
的伝達関数Ｗ（ν）は眼の瞳孔径、焦点距離、神経的要
因等によって変化するため個人差の影響を受ける。参考
として、図６に加齢によるＣＳＦ（construst sensitiv
ity function）の空間周波数特性変化のデータ例を示
す。

【００３８】本発明では、個人差の影響を含んだ運転者
個人の光学的伝達関数Ｗ（ν）を予め記録しておき、こ
の情報をもとに運転者の網膜像の推定を時々刻々行っ
て、これに応じて視覚補助を行う画像の強弱等を行い、
個々の運転者にとって最適な視覚補助を行うことを目的
としている。

【００３９】次に、図５に示す車両用表示装置の作用を
更に詳しく説明する。

【００４０】図５において、磁気記憶カード１４に記録
された運転者個人個人の上式（３）で示した光学的伝達
関数Ｗ（ν）はカードリーダ１５で読み取られ、網膜像
合成装置１６において上式（４）で示したＩ_i（ν）＝
Ｉ_o（ν）・Ｗ（ν）の演算を行い、像の空間周波数分
布Ｉ_i（ν）を求める。このようにして求めた網膜像と
原画像との差（Ｉ_i（ν）−Ｉ_o（ν）が画像比較装置
１７で求められ、その出力により画像処理装置１８を作
動させ、必要な画像のエッジ強調や焦点外れ修正等が行
われる。

【００４１】以上の説明は視覚特性の１つである空間周
波数を例にとって行われているが、同様のことが色覚に
ついても成り立つ。すなわち、光学的伝達関数Ｗ（ν）
の代わりに次の色方程式Ｆ＝ａ₁ｍ₁＋ａ₂ｍ₂＋ａ₃ｍ₃ における三色係数

【数３】を当てはめれば、運転者が知覚する色相を対象の波長分
布に対して推定することが可能である。このように本発
明の考え方は空間周波数、色覚に限らず、あらゆる視覚
特性に関して応用可能である（感覚＋知覚ハンドブッ
ク、ｐ２７１〜２７３，ｐ３０２〜３０５参照）。

【００４２】図７は、本発明の別の実施例に係わる車両
用表示装置の構成を示すブロック図である。図５で示し
た実施例が網膜像と原画像を比較して、画像処理する箇
所を特定する方式であるのに対して、本実施例では、原
画像の代わりに原画像から障害物体等を判定し、これら
の物体の像と網膜像とを比較し、画像処理箇所を決定す
る方式である。

【００４３】すなわち、図７に示す車両用表示装置は、
図５で示した実施例に加えて、図４で作用を説明した図
１の実施例の障害物体識別手段９と同様な障害物体判定
装置１９を有し、これにより障害物体を判定するととも
に、更に強調特性決定装置２０、画像処理装置２１、画
像合成装置２２を有する。

【００４４】図７の車両用表示装置において、画像比較
は危険物体判定装置１９の出力と網膜像合成装置１６の
出力の反転とのアンドを取ることにより達成され、これ
により画像比較装置１７の出力では運転者の視覚特性上
で見えていないまたは見えにくい障害物体を抽出してい
る。また、強調特性決定装置２０は、カードリーダ１５
で読み取った運転者の視覚特性に従って見えるように画
像変換するための伝達特性を決定する。そして、画像比
較装置１７の出力と強調特性決定装置２０の出力とを画
像処理装置２１に入力し、これにより運転者に見えない
または見えにくい障害物体のみを運転者に見える状態に
変換強調することができる。

【００４５】例えば、運転者の知覚する色相の方程式が
ｆ＝ａｍ₁＋ｂｍ₂＋ｃｍ₃であり、ｂ＝０でｍ₂が緑
を表すとすると、緑が見えないことになるので、強調特
性決定装置２０では伝達特性を緑以外の色相方程式ｆ’
＝ａ’ｍ₁＋ｃ’ｍ₃と決定し、画像処理装置２１で強
調すべき物体の色相変換を行う。そして、画像処理装置
２１で作成した強調画像と網膜像合成装置１６の出力画
像とを画像合成装置２２に供給して、合成した画像を作
成し、増幅手段２を介してモニタ装置３に表示するよう
になっている。このような車両用表示装置は、図５に示
した実施例よりも緊急度の高い画像警報装置として作用
することができる。

【００４６】また、本実施例の車両用表示装置は、画像
による警報のみでなく、運転者の網膜像の推定から見え
ていない障害物体を判定して警報音を発するような装置
にも適用可能である。

【００４７】

【発明の効果】以上説明したように、本発明によれば、
車両の運転者の視線を検知し、運転者の視線が表示手段
を見ていることを検知した場合、撮像画像を表示手段に
明瞭に表示するように表示制御手段によって制御してい
るので、運転者が表示を見ない場合には表示は例えば消
えていたりまたはぼんやりしているため、運転者が前方
注視運転中であっても表示が目につき、画像が気になっ
て運転しにくくなるということがなくなるとともに、ま
たこのような表示のために運転者の真前のインストパネ
ルの上方に表示を設けても安全である上に視線をあまり
移動させなくても容易に見ることができる。

【００４８】更に、本発明によれば、記憶手段に記憶さ
れた運転者の視覚に関するデータに基づいて撮像画像を
運転者が見やすくなるように画像処理し、この画像処理
された画像を表示しているので、運転者または乗員個人
個人の視覚特性に合ったきめ細かい視覚補助を行うこと
ができ、運転者が撮像手段の位置に目をおいて視認した
場合以上に視覚情報を得ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる車両用表示装置の構
成を示すブロック図である。

【図２】図１の車両用表示装置に使用されているモニタ
装置の設置場所を示している図である。

【図３】図１の車両用表示装置の作用を示すフローチャ
ートである。

【図４】図１の車両用表示装置の作用を示すフローチャ
ートである。

【図５】本発明の他の実施例に係わる車両用表示装置の
構成を示すブロック図である。

【図６】各年齢層毎のＣＳＦ（construst sensitivity
function）の空間周波数特性変化のデータ例を示すグラ
フである。

【図７】本発明の別の実施例に係わる車両用表示装置の
構成を示すブロック図である。

【符号の説明】

１ＣＣＤカメラ３モニタ装置４赤外線発光デバイス７表示視認判定手段８表示制御手段９障害物体識別手段１０車速センサ

Claims

【特許請求の範囲】

【請求項１】車両の外部を撮像して車両の運転者に表
示する車両用表示装置であって、画像を表示する表示手
段と、車両の外部を撮像する撮像手段と、車両の運転者
の視線を検知し、該視線が前記表示手段を見ていること
を検知する視線検知手段と、該視線検知手段により運転
者の視線が前記表示手段を見ていることを検知した場
合、前記撮像手段で撮像した画像を前記表示装置に明瞭
に表示するように制御する表示制御手段とを有すること
を特徴とする車両用表示装置。
【請求項２】車両の外部を撮像して車両の運転者に表
示する車両用表示装置であって、車両の外部を撮像する
撮像手段と、車両の運転者の視覚に関するデータを記憶
する記憶手段と、該記憶手段に記憶された運転者の視覚
に関するデータに基づいて前記撮像手段で撮像した画像
を運転者が見やすくなるように画像処理する画像処理手
段と、該画像処理手段で画像処理された前記撮像手段か
らの画像を表示する表示手段とを有することを特徴とす
る車両用表示装置。
【請求項３】車両の外部を撮像して車両の運転者に表
示する車両用表示装置であって、画像を表示する表示手
段と、車両の外部を撮像する撮像手段と、車両の運転者
の視覚に関するデータを記憶する記憶手段と、該記憶手
段に記憶された運転者の視覚に関するデータに基づいて
前記撮像手段で撮像した画像を運転者が見やすくなるよ
うに画像処理する画像処理手段と、車両の運転者の視線
を検知し、該視線が前記表示手段を見ていることを検知
する視線検知手段と、該視線検知手段により運転者の視
線が前記表示手段を見ていることを検知した場合、前記
画像処理手段で画像処理された前記撮像手段からの画像
を前記表示手段に明瞭に表示するように制御する表示制
御手段とを有することを特徴とする車両用表示装置。