JPH11263145A - 夜間運転視界支援装置 - Google Patents

Abstract

(57)【要約】 【課題】車両前方を撮影する赤外線カメラの映像をヘッ
ドアップディスプレイ装置に表示する夜間運転視界支援
装置において、ドライバの視線位置を常に計測すること
なく適切な安全走行を実現する。 【解決手段】近赤外線カメラ３からの画像を処理してド
ライバの瞳孔位置を検出し、この瞳孔位置が予め定めた
所定位置に存在するか否かを判定し、存在する場合のみ
ＨＵＤ表示装置２を駆動して赤外線カメラ１の出力画像
による夜間の前方視界を表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は夜間運転視界支援装
置に関するものであり、特に車両前方視界支援装置とし
て赤外線カメラを介して車室内のヘッドアップディスプ
レイ（以下、ＨＵＤと略称する）装置によって表示する
夜間運転視界支援装置（ナイトビジョン）に関するもの
である。

【０００２】夜間の安全な走行を実現するため、可視光
では確認できない歩行者などの存在を事前に認知できる
ような夜間運転視界支援装置が求められている。

【０００３】

【従来の技術】従来から知られている車両前方視界支援
装置としては、例えば、特開平７−２５７２２８号公報
が挙げられる。ここでは、特にドライバの視線を検出す
る技術が提案されており、赤外線カメラを用いてドライ
バの眼球画像を検出し、この検出した画像を処理してナ
ビ情報（地図データとＧＰＳなどを用いて目的地への自
動誘導を行う際の矢印情報等）をＨＵＤ装置により道路
面画像上に仮想的に重ねて表示するものである。

【０００４】すなわち、車両前方道路の誘導経路に対す
る交差点位置とドライバの眼球位置とを結んだ直線上
（視線）に、進行方向を示すナビの矢印情報をＨＵＤ装
置により表示している。これにより、ＨＵＤ表示を見て
から該交差点位置を探すという視線の移動を不必要にし
ている。

【０００５】一方、従来から知られている夜間運転視界
支援装置としては、可視光が少ない夜間時の前方視界を
赤外線カメラを使って撮影し、その映像をドライバへ提
示する技術（ナイトビジョン）が既に提案されている。

【０００６】

【発明が解決しようとする課題】上記の特開平７−２５
７２２８号公報による従来技術においては、ドライバの
視点から撮影された映像を前方の視界に重ねて表示させ
るために常に変動するドライバの視線を計測し、それに
合わせてＨＵＤ表示位置を変化させることが必須であ
る。このためには、ドライバの視線計測を行い、これに
応じてＨＵＤ表示位置を適切に計算して表示させなけれ
ばならない。

【０００７】ここで、リアルタイムでＨＵＤ装置を前方
視界に重ねて表示するには、コンピュータへの負荷が非
常に大きくなり、旋回などの車両運動が激しい場合には
計算処理しきれない可能性がある。

【０００８】一方、現在提案されている視線計測技術に
おいても、常にドライバの視線を計測できるわけではな
く、ドライバの頭部が大きく揺れたり光環境条件が悪い
場合には視線計測が不可能となり、そのような状況では
前方視界にＨＵＤ表示を重ねて表示することは不可能と
なってしまう。

【０００９】したがって、このような車両前方視界支援
装置は信頼性が十分でなく、特に上記のような夜間運転
視界支援装置に適用した場合には危険を伴うことにな
る。したがって本発明は、車両前方を撮影する赤外線カ
メラの映像をヘッドアップディスプレイ装置に表示する
夜間運転視界支援装置において、ドライバの視線位置を
常に計測することなく適切な安全走行を実現できるよう
にすることを目的とする。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
め、本発明に係る夜間運転視界支援装置は、ドライバの
眼球を撮影する顔面撮影カメラと、該顔面撮影カメラで
撮影された画像を処理する画像処理部と、該画像処理部
の処理データから該眼球の瞳孔位置を検出する瞳孔位置
検出部と、該瞳孔位置検出部で得られた瞳孔位置が、該
ＨＵＤ装置により表示される映像における実際の風景と
重なって見える所定範囲内に有るか否かを判定する瞳孔
位置判定部と、該瞳孔位置検出部で瞳孔位置が該所定範
囲内にあると判定された時のみ該ＨＵＤ装置を駆動する
制御装置と、を備えたことを特徴としている。

【００１１】端的に言えば、本発明では、常にＨＵＤ表
示を行うのではなく、ドライバの眼球位置（視線位置）
が特定の位置にあるときだけＨＵＤ表示を行おうとする
ものである。

【００１２】すなわち、本発明においては、顔面撮影カ
メラによってドライバの眼球位置（視線位置）を計測す
る。この顔面撮影カメラから出力された映像を画像処理
部により画像処理を施す。

【００１３】そして、画像処理部から出力されたデータ
により瞳孔位置検出部がドライバの瞳孔位置（眼球位置
又は視点位置）を検出する。そして、制御部は、該瞳孔
位置がＨＵＤ装置に表示される映像における実際の風景
と重なって見える所定範囲内に存在するか否かを判定
し、この判定結果によりＨＵＤ表示装置を制御する。

【００１４】したがって、該所定範囲内に瞳孔位置が存
在する場合には制御部はＨＵＤ装置を駆動し（ＯＮ）、
赤外線カメラ１からの映像をドライバの特定の視点位置
から前方の視界と一致させてＨＵＤ表示させる。しかし
ながら、該所定範囲内に瞳孔位置が無い場合には、ＨＵ
Ｄ装置を駆動せず（ＯＦＦ）、ＨＵＤ表示を行わない。

【００１５】このようにすることで、ドライバの視線が
常に計測される必要が無く、ドライバの視線に応じてＨ
ＵＤ表示位置を自動調整する必要も無くなる。

【００１６】さらに、ドライバが意識的に前方の様子を
確認したい時には自分の頭を動かして特定の視点位置に
視点を合わせれば前方視界と重なるＨＵＤ表示を積極的
に得ることができ、それとは逆に視点をずらせてしまえ
ば意識的にＨＵＤ表示を行わないようにすることも可能
である。

【００１７】なお、上記のような特定のドライバの視点
位置からは前方視界とＨＵＤ表示が一致するように初期
設定として調整しておくことが望ましい。

【００１８】また、上記の顔面撮影カメラは、カメラと
該カメラの先端部においてその光軸上に設けた赤外線Ｌ
ＥＤとで構成された近赤外線カメラである。

【００１９】

【発明の実施の形態】図１は、本発明に係る夜間運転視
界支援装置の実施例を示したもので、図中、１は例えば
監視カメラ等に用いられる赤外線カメラを示し、この赤
外線カメラ１の出力映像はＨＵＤ表示装置２に常に送ら
れている。

【００２０】また、３は顔面撮影用の近赤外線カメラで
あり特にドライバの視線位置（眼球位置）を計測するも
のである。この近赤外線カメラ３はその映像をデジタル
信号データに変換するとともにこのデータに対して前処
理としての画像処理を行う画像処理部４に接続されてい
る。また、画像処理部４はドライバの瞳孔位置（眼球位
置又は視点位置）を検出する瞳孔位置検出部５に接続さ
れており、瞳孔位置検出部５は検出された瞳孔（眼球）
位置が所定範囲内に存在するか否かを判定する制御部６
に接続されている。

【００２１】制御部６はＨＵＤ表示装置２に接続され、
ＨＵＤ表示装置２を駆動してＨＵＤ表示をさせるか、或
いは駆動せずにＨＵＤ表示させないように制御を行うも
のである。図２には図１に示した本発明に係る夜間運転
視界支援装置を実際に車両に搭載した時の実施例が概略
的に示されており、図中、１０は、商業車両のキャブを
示しており、１１はキャブ１０内のドライバである。

【００２２】ＨＵＤ表示装置２は、図示のように車両キ
ャブ１０の天井部分に設けられたプロジェクタ２１とウ
インドウガラスに取り付けられたコンバイナ２２とで構
成されている。プロジェクタ２１には赤外線カメラ１が
接続されており、その出力画像を取り込むようになって
いる。また、顔面撮影用近赤外線カメラ３は車両キャブ
１０のダッシュボードに取り付けられており、その先端
部分には赤外線ＬＥＤ３０が設けられている。

【００２３】図３には図２に示した実施例の変形例が示
されており、ここでは、プロジェクタ２１がダッシュボ
ードの内部に設けられており、このプロジェクタ２１の
出力映像は反射部２３を介してコンバイナ２２に写し出
されるように構成している点が異なっている。

【００２４】なお、赤外線カメラ１は監視用に使用され
ているもので、数ルクスというほどんど可視光が無い状
態でも物体が特有の放射熱により物体の形状が映像とし
て見えるものが使用されている。

【００２５】ここで上記のＨＵＤ表示装置２は、周知の
如く、駆動されたとき図４に示すように赤外線カメラ１
からの出力映像を仮想的な映像面ＶＰが前方視界とオー
バラップしてドライバ１１に見えるようにするものであ
る。

【００２６】図５は図１に示した本発明に係る夜間運転
視界支援装置における動作を示したフローチャートであ
り、以下、このフローチャートを参照して上記の実施例
の動作を説明する。

【００２７】まず、キースイッチ（図示せず）が入った
時点でシステムが動作を開始し、この制御プログラムが
実行される。次に、制御部６は運転中か否かを判定する
（ステップＳ１）。これは、例えば車速センサ（図示せ
ず）を用いて車速を検出し走行中か否かを判定してもよ
いし、或いはペダル操作やハンドル操作等から判断して
もよい。

【００２８】次に、制御部６は夜間か否かを判定する
（ステップＳ２）。これは、ヘッドライトを点灯させた
か否かで判断することができ、或いは顔面撮影用の近赤
外線カメラの自動絞り機能を使って判断することができ
る。

【００２９】ここで、赤外線カメラ１によるＨＵＤ表示
例を図６により説明する。同図（１）は昼間の道路映像
を示しており、この状態において夜間になると同図
（２）に示すような上半分が暗くなった映像になってし
まい、その視界はハイビームにしない限り遠方までの視
界が得られない。これは、対向車両がある場合など、ロ
ービームで走行しなければならないことが多々あるから
である。

【００３０】そこで、同図（３）に示すように赤外線カ
メラ１による映像を用いて前方視界にＨＵＤ表示を重ね
て表示させれば、ハイビーム状態と同様の前方視界が得
られることになる。

【００３１】図５に戻って、ステップＳ３により近赤外
線カメラにより顔面画像を取得する。図７には、このよ
うして取得したドライバ１１の顔面画像が示されてい
る。

【００３２】さらに、このような顔面画像を画像処理部
４により画像処理してドライバ１１の眼球の瞳孔位置の
検出を行う（ステップＳ４）。

【００３３】ここで、ドライバの瞳孔位置（眼球位置）
を検出する方法について説明する。ドライバの瞳孔位置
を検出するための一つの方法は、夜間、ストロボを照射
して写真撮影した時に人物などの被写体の目が赤く輝く
ことがあるが、これと同様の原理を応用したものであ
る。

【００３４】すなわち、図８に示すように、近赤外線カ
メラ３の光軸に非常に近い光源を用いることによりドラ
イバの眼球１１０の網膜からの反射像をカメラで捉える
ことができる。こうすることにより画像処理を行う上で
瞳孔を抽出し易くできる。

【００３５】この時、可視光の光源であればドライバに
対して眩惑光となり、その運転に支障を来すこととなる
ので、人間の目には感知できない近赤外線（７６０ｎｍ
以上で８００ｎｍ付近の波長域の光線）の赤外線ＬＥＤ
（発光ダイオード）３０を光源とし、近赤外線の領域ま
で感度が高いＣＣＤカメラを用いることでドライバを眩
惑せずに眼球１１０の網膜反射像を得ることができる。

【００３６】図９にはこのような瞳孔反射像が示されて
おり、同図（１）に示す場合においては、カメラ３の光
軸上にない赤外線ＬＥＤ（光源）３０を用いた場合を示
しており、瞳孔が暗く見える像（暗瞳孔反射像）が得ら
れるが、カメラ３の光軸上に光源３０がある場合には同
図（２）に示すように瞳孔部分が明るく光る網膜反射像
（明瞳孔反射像）が得られることになる。

【００３７】従って、図２及び図３に示す近赤外線カメ
ラ３の位置は図８及び図９の原理を考慮して設定する必
要がある。

【００３８】この結果、図７に示したドライバの顔面画
像に二値化処理などの画像処理を行って図１０に示す瞳
孔位置ＥＰを抽出することができる。

【００３９】図５に戻って、このようにして瞳孔位置の
検出（ステップＳ４）が行われた後、瞳孔位置が所定範
囲内に有るか否かを判定する（ステップＳ５）。

【００４０】このステップは、ドライバの瞳孔位置（視
点）による前方視界と赤外線カメラ１によるＨＵＤ表示
像が丁度重なる特定の視点位置（所定の範囲内）に来て
いるか否かを判定するものであり、図１１に示すよう
に、黒枠で示した部分ＳＰに瞳孔位置ＥＰが有るか否か
で判断することができる。

【００４１】この時、瞳孔として検出される瞳孔位置が
二つ検出されるが、いずれかが黒枠の位置にあればドラ
イバの視点が該所定範囲内にあると判断する。

【００４２】ここで、図１１に示すような所定範囲はド
ライバの個人差に応じてドライバ自身で調節し初期設定
を行う必要がある。このような初期設定は例えば、ドラ
イバがＨＵＤ表示画像が前方視界と重なって見えて欲し
い位置に自分の頭を固定し、ＨＵＤ表示画像を見ながら
プロジェクタ２１を調整してＨＵＤ表示画像が前方視界
に重なるようにする。そして、プロジェクタ２１の調整
が終了した時点で所定範囲を例えば制御部６に記憶して
おく。

【００４３】一度記憶してしまえば次に同じドライバが
運転する場合、シートポジションをずらさない限り初期
設定を行わなくてもよいことになる。

【００４４】このようにして瞳孔位置が所定範囲内にあ
ると分かった時には、制御部６はＨＵＤ装置２をＯＮと
し赤外線カメラ１による前方映像をＨＵＤ表示させる。

【００４５】しかしながら、所定範囲内になければＨＵ
Ｄ装置２をＯＦＦとし、赤外線カメラ１による前方映像
表示を行わない（ステップＳ７）。

【００４６】

【発明の効果】以上説明したように、本発明に係る夜間
運転視界支援装置によれば、近赤外線カメラからの画像
を処理してドライバの瞳孔位置を検出し、この瞳孔位置
が予め定めた所定位置に存在するか否かを判定し、存在
する場合のみＨＵＤ表示装置を駆動して赤外線カメラの
出力画像による夜間の前方視界を表示するように構成し
たので、ドライバの視線が常に計測される必要が無く、
ドライバの視線に応じてＨＵＤ表示装置を自動調整する
必要も無く赤外線カメラによる前方視界のＨＵＤ表示を
ドライバの前方視線に重ねて表示できることとなる。さ
らに、ＨＵＤ表示をさせるか否かに対するドライバの意
識を反映させることができる。

【図面の簡単な説明】

【図１】本発明に係る夜間運転視界支援装置の実施例を
示したブロック図である。

【図２】本発明に係る夜間運転視界支援装置を実際の車
両に搭載した時の実施例（１）を概略的に示した図であ
る。

【図３】本発明に係る夜間運転視界支援装置を実際の車
両に搭載した時の実施例（２）を概略的に示した図であ
る。

【図４】ＨＵＤ表示装置によるＨＵＤ表示例を示した図
である。

【図５】本発明に係る夜間運転視界支援装置の動作を示
したフローチャート図である。

【図６】赤外線カメラによるＨＵＤ表示例（ナイトビジ
ョン）を示した図である。

【図７】本発明に係る夜間運転視界支援装置で撮影され
たドライバの顔面画像を示した図である。

【図８】本発明に係る夜間運転視界支援装置における瞳
孔反射像の撮影原理を示した図である。

【図９】本発明に係る夜間運転視界支援装置における瞳
孔反射像を説明するための図である。

【図１０】本発明に係る夜間運転視界支援装置において
抽出されたドライバの瞳孔位置を示した図である。

【図１１】本発明に係る夜間運転視界支援装置における
瞳孔位置と特定位置との関係を示した図である。

【符号の説明】

１ 赤外線カメラ ２ ＨＵＤ（ヘッドアップディスプレイ）表示装置 ３ 顔面撮影用近赤外線カメラ ４ 画像処理部 ５ 瞳孔位置検出部 ６ 制御部 １０ キャブ １１ ドライバ ２１ プロジェクタ ２２ コンバイナ ３０ 赤外線ＬＥＤ １１０ 眼球 図中、同一符号は同一又は相当部分を示す。

Claims (3)

【特許請求の範囲】
1. 【請求項１】車両前方を撮影する赤外線カメラの映像を
   ヘッドアップディスプレイ装置に表示する夜間運転視界
   支援装置において、 ドライバの眼球を撮影する顔面撮影カメラと、 該顔面撮影カメラで撮影された画像を処理する画像処理
   部と、 該画像処理部の処理データから該眼球の瞳孔位置を検出
   する瞳孔位置検出部と、 該瞳孔位置検出部で得られた瞳孔位置が、該ヘッドアッ
   プディスプレイ装置により表示される映像における実際
   の風景と重なって見える所定範囲内に有るか否かを判定
   する瞳孔位置判定部と、 該瞳孔位置検出部で瞳孔位置が該所定範囲内にあると判
   定された時のみ該ヘッドアップディスプレイ装置を駆動
   する制御装置と、 を備えたことを特徴とする夜間運転視界支援装置。
2. 【請求項２】請求項１において、 該所定範囲が、ドライバの視点位置からの前方視界と該
   ＨＵＤ装置による表示とが一致するように初期設定され
   ていることを特徴とした夜間運転視界支援装置。
3. 【請求項３】請求項１において、 該顔面撮影カメラが、カメラと該カメラの先端部におい
   てその光軸上に設けた赤外線ＬＥＤとで構成された近赤
   外線カメラであることを特徴とした夜間運転視界支援装
   置。