JP4720979B2

JP4720979B2 - 車両用監視装置

Info

Publication number: JP4720979B2
Application number: JP2005090994A
Authority: JP
Inventors: 宣章小林
Original assignee: Nippon Seiki Co Ltd
Current assignee: Nippon Seiki Co Ltd
Priority date: 2005-03-28
Filing date: 2005-03-28
Publication date: 2011-07-13
Anticipated expiration: 2025-03-28
Also published as: JP2006273002A

Description

本発明は、車両の周辺を撮像した周辺画像を表示する表示手段を備えた車両用監視装置に関する。

従来、車両の周辺を撮像する撮像カメラ（周辺撮像手段）を備えた車両用監視装置が種々提案されており、例えば特許文献１に開示されている。かかる車両用監視装置は、ドアミラーのハウジング内に前記撮像カメラを配設し、この撮像カメラにより車両の側方を撮像し、前記車両側方の画像（周辺画像）を車室内の表示パネル（表示手段）に表示するものである。なお、前記車両の周辺画像として、他に前記車両の後方あるいは前方の画像を表示することが考えられる。かかる車両用監視装置によれば、前記運転者は前記車両の運転時に運転席から目視できないエリアに障害物等がないかどうかを前記表示パネルで監視することができる。

また、かかる車両用監視装置において、例えば特許文献２には、表示器（表示手段）の画面を横方向に３つに分割し、車体の左側に取り付けられる側部カメラで撮影された画像を前記表示器の画面の左部に、車体の後部に取り付けられる後部カメラで撮影された画像を前記表示器の画面の中央に、車体の右側に取り付けられる側部カメラで撮影された画像を前記表示器の画面の右部にそれぞれ配置して表示する点が開示されている。かかる表示によれば運転者は車両後方の状況を一目で認識することが可能となる。
特開２００３−６１０８６号公報特開２００３−８１０１４号公報

前述の車両用監視装置は単一の表示器を用いて複数の周辺画像を同時に表示するものであり、表示器はそれ自体の視認性を考慮して車室前方の中央（例えば、インストルメントパネルの中央部）に配置されることが一般的である。しかしながら、前記車両の左側側方（左側後方を含む）を示す左側方画像及び前記車両の右側側方（右側後方を含む）を示す右側方画像は、前記車両が右左折あるいは車線変更をする際に特に必要とされるものであるが、運転者は前記車両を右左折あるいは車線変更させる際には前記車両が移動する方向である前記車両の左前方あるいは右前方に視線を向けており、前記表示器に表示される前記左側方画像あるいは前記右側方画像を視認するためには運転者は前記車室中央に視線を移動させなければならず、前記車両の運転を支援する機能としては改良の余地があった。

本発明は、上記の点に鑑み、車両の周辺を撮像した周辺画像を表示する車両用監視装置において、前記車両が右左折あるいは車線変更する場合であっても運転者が少ない視線移動で前記周辺画像を視認することが可能な車両用監視装置を提供することを目的とする。

前記課題を解決するために、本発明の車両用監視装置は、車両の左右側方を少なくとも撮像する周辺撮像手段と、車室前方の左端側に設けられる左側表示部と前記車室前方の右端側に設けられる右側表示部とを備え前記周辺撮像手段によって得られる周辺画像を前記左側，右側表示部に表示する表示手段と、前記周辺画像の選択を行うための操作手段と、前記操作手段からの操作信号に応じて、前記左側表示部に前記周辺画像として前記車両の左側方を示す左側方画像を表示させる、あるいは、前記右側表示部に前記周辺画像として前記車両の右側方を示す右側方画像を表示させる制御手段と、を備え、前記操作手段として運転者の視線方向を検出する視線検出手段を備え、前記制御手段は、前記視線検出手段から前記操作信号として前記運転者の視線方向を示す検出信号を入力し、前記検出信号から前記運転者の視線が前記車両前方の左側領域、前記車両前方の中央領域、前記車両前方の右側領域のいずれに向けられているかを判定し、前記運転者の視線が前記車両前方の左側領域に向けられている判定される場合は前記左側表示部に前記左側方画像を表示させ、前記運転者の視線が前記車両前方の右側領域に向けられていると判定される場合は前記右側表示部に前記右側方画像を表示させ、前記運転者の視線が前記車両前方の中央領域に向けられていると判定される場合は前記左側表示部及び前記右側表示部を非表示とすることを特徴とする。

また、前記操作手段は前記車両の方向指示器からなり、前記制御手段は、前記方向指示器から前記操作信号として左方指示信号を入力すると前記表示手段の前記左側表示部に前記左側方画像を表示させ、前記方向指示器から前記操作信号として右方指示信号を入力すると前記表示手段の前記右側表示部に前記右側方画像を表示させてなることを特徴とする。

また、前記制御手段は、前記周辺撮像手段によって前記車両の左側方から接近する対象物が撮像される場合に前記左側表示部に前記左側方画像を表示させ、前記周辺撮像手段によって前記車両の右側方から接近する対象物が撮像される場合に前記右側表示部に前記右側方画像を表示させてなることを特徴とする。

また、前記表示手段は、表示光を発する表示器と、前記表示光を利用者に向けて反射する反射手段と、を備えてなることを特徴とする。

また、前記反射手段は、前記車両のフロントガラスからなる、あるいは前記車両のフロントガラスに形成されてなることを特徴とする。

本発明は、車両の周辺を撮像した周辺画像を表示する表示手段を備えた車両用監視装置に関し、前記車両が右左折あるいは車線変更する場合であっても運転者が少ない視線移動で前記周辺画像を視認することが可能となる。

以下、添付図面に基づいて本発明の実施形態について説明する。

図１に示すように、車両用監視装置は、周辺撮像手段１と、操作スイッチ（操作手段）２と、方向指示器（操作手段）３と、視線検出手段（操作手段）４と、制御手段５と、表示手段６と、から主に構成されている。

周辺撮像手段１は、例えば車両Ａの左右のサイドミラー等の外装部品にそれぞれ設けられる高画角カメラが適用されるものであり、図２に示すように、運転者にとって死角となる車両Ａ近傍部分を含む車両Ａの左側方（左後方を含む）領域Ｂ及び車両Ａの右側方（右後方を含む）領域Ｃの風景を少なくとも撮像することができる。また、周辺撮像手段１は、前述した撮像によって得られる周辺情報（画像情報）を制御手段５に出力する。

操作スイッチ２は、運転者による操作によって表示手段６の表示内容を切り替えるためのものであり、操作内容を操作信号として制御手段５に出力する。

方向指示器３は、車両Ａの先端部及び後端部にそれぞれ設けられる左右のターンシグナルと各ターンシグナルを点滅駆動させる駆動回路と方向指示器３を操作するためのレバースイッチを有するものであり、表示手段６の表示内容を切り替えるべく、前記レバースイッチの左方あるいは右方指示操作に応じた左方あるいは右方指示信号を操作信号として制御手段５に出力する。

視線検出手段４は、車両Ａの運転席に座る運転者の視線方向を検出するものであり、例えばステレオカメラ４ａと画像解析回路とから構成される。ステレオカメラ４ａは、図３に示すように、例えば運転席の前方に位置するインストルメントパネルＰの上部に設けられる２つのカメラからなる。ステレオカメラ４ａは、内部パラメータおよび相対的な位置関係は既知であり、互いに同期した状態で同一の検出対象となる目を含む運転者の顔画像を撮像し、前記画像解析回路に出力する。前記画像解析回路は、前記顔画像に基づいて所定のアルゴリズムを用いて視線（眼球）の移動状態を検出し、視線方向を算出することができる。前記画像解析回路は、例えば、ステレオカメラ４ａの撮像に基づいて、運転者の目を特徴部分の３次元座標を算出し、この座標より算出される眼球中心座標と別に算出される黒目中心座標とを通過する線を視線として視線方向を算出し、この視線方向を含む視線データ（検出信号）を操作信号として制御手段５に出力する。

制御手段５は、画像処理回路と、制御回路と、表示用駆動回路と、を備えている。前記画像処理回路は、周辺撮像手段１によって撮像されて得た前記周辺情報を入力し、表示手段６に表示するための周辺画像として後述する左側方画像及び右側方画像を生成するものである。前記制御回路は、マイクロコンピュータから構成されており、ＲＯＭ，ＲＡＭ，ＣＰＵ及び入出力インターフェイス回路を有するものであり、前記画像処理回路にて生成された前記左側方画像あるいは前記右側方画像を操作手段である操作スイッチ２，方向指示器３あるいは視線検出手段４からの操作信号の入力に応じて表示手段６に選択的に表示させるものである。前記表示用駆動回路は、前記制御回路による制御信号に基づいて、表示手段６に所定の表示を行わせるための駆動制御回路である。

表示手段６は、車両ＡのダッシュボードＤ内に配設されＴＦＴ型の液晶表示パネルや有機ＥＬパネルからなる左側表示器６ａ及び右側表示器６ｂを有するものであり、左側，右側表示器６ａ，６ｂの表示光をフロントガラス（反射手段）Ｗにて運転者に向けて反射して虚像表示をなすいわゆるヘッドアップディスプレイ装置である。なお、表示手段６は、反射手段としてフロントガラスＷにコンバイナ層を形成するものであってもよい。左側表示器６ａの表示光はフロントガラスＷの運転席側から見て左端部側に位置する左側反射部Ｗ１にて反射され、また、右側表示器６ｂの表示光はフロントガラスＷの運転席側から見て右端部側に位置する右側反射部Ｗ２にて反射される。すなわち、表示手段６は、左側表示器６ａと左側反射部Ｗ１とによって図４に示す左側方画像１０を表示する左側表示部を構成しており、左側方画像１０は車室前方の左端側に虚像表示される。また、表示手段６は、右側表示器６ｂと右側反射部Ｗ２とによって図５に示す右側方画像１１を表示する右側表示部を構成しており、右側方画像１１は車室前方の右端側に虚像表示される。左側表示器６ａによって表示される左側方画像１０は、図４に示すように、周辺撮像手段１によって得られる周辺情報に基づいた車両Ａの左側方の風景を示すものである。左側方画像１０は、車両Ａを撮像した車両画像１０ａを含む車両Ａの左側方及び左後方の路面の画像からなる。また、左側表示器６ａは、左側方画像１０に車両Ａからの距離を示す距離ライン１０ｂを重畳させて表示する。右側表示器６ｂによって表示される右側方画像１１は、図５に示すように、周辺撮像手段１によって得られる周辺情報に基づいた車両Ａの右側方の風景を示すものである。右側方画像１１は、車両Ａを撮像した車両画像１１ａを含む車両Ａの右側方及び右後方の路面の画像からなる。また、右側表示器６ａは、右側方画像１１に車両Ａからの距離を示す距離ライン１１ｂを重畳させて表示する。制御手段５は、周辺撮像手段１によって得られる周辺情報を運転者に視認しやすい明るさやコントラストなどに補正を行いつつ描画処理することによって、表示手段６に表示させるべく左側方画像１０及び右側方画像１１を生成し、表示手段６に出力する。左側方画像１０及び右側方画像１１の表示によって、車両Ａの運転者は、車両Ａの右左折時あるいは車線変更時に死角となる車両Ａの左側方領域Ｂ及び右側方領域Ｃの状況を監視することができる。

次に、制御手段５による左側方画像１０及び右側方画像１１の表示選択について説明する。

制御手段５は、操作スイッチ２の所定操作によって左側方画像１０あるいは右側方画像１１の表示選択を行う。すなわち、制御手段５は、操作スイッチ２から左側方画像１０の表示選択を示す操作信号を入力すると、左側表示器６ａに駆動信号を出力し、左側表示器６ａに左側方画像１０を表示させる。また、制御手段５は、操作スイッチ２から右側方画像１１の表示選択を示す操作信号が入力されると、右側表示器６ｂに駆動信号を出力し、右側表示器６ｂに右側方画像１１を表示させる。なお、操作スイッチ２の所定操作によって、左側方画像１０と右側方画像１１とが同時に表示されるものであっても良い。

また、制御手段５は、方向指示器３の前記レバースイッチの左方あるいは右方指示操作に応じて左側方画像１０あるいは右側方画像１１の表示選択を行う。すなわち、制御手段５は、方向指示器３から前記左方指示信号を入力すると、左側表示器６ａに駆動信号を出力し、左側表示器６ａに左側方画像１０を表示させる。なお、このとき、右側表示器６ｂは非表示とされる。また、制御手段５は、方向指示器３から前記右方指示信号を入力すると、右側表示器６ｂに駆動信号を出力し、右側表示器６ｂに右側方画像１１を表示させる。なお、このとき、左側表示器６ａは非表示とされる。

また、制御手段５は、車両Ａの運転者の視線方向に応じて左側方画像１０あるいは右側方画像１１の表示選択を行う。すなわち、制御手段５は、視線検出手段４から前記視線データを入力すると、前記視線データに基づいて運転者の視線が車両Ａ前方の左側領域，車両Ａ前方の中央領域，車両Ａ前方の右側領域のいずれに向けられているかを判定する。なお、例えば、前記中央領域としてはフロントガラスＷにおいて車両Ａが直進している場合に運転者が前方の道路を視認するべく視線を向ける領域が設定され、前記左側領域及び前記右側領域としては、ぞれぞれ前記中央領域よりも運転席側から見て左側及び右側の領域が設定される。制御手段５は、前記視線データに基づいて運転者の視線が前記中央領域に向けられていると判定される場合は、左側表示器６ａ及び右側表示器６ｂを非表示とする。また、制御手段５は、前記視線データに基づいて運転者の視線が所定時間以上前記左側領域に向けられていると判定される場合は、左側表示器６ａに駆動信号を出力し、左側表示器６ａに左側方画像１０を表示させる。なお、このとき、右側表示器６ｂは非表示とされる。また、制御手段５は、前記視線データに基づいて運転者の視線が所定時間以上前記右側領域に向けられていると判定される場合は、右側表示器６ｂに駆動信号を出力し、右側表示器６ｂに右側方画像１１を表示させる。なお、このとき、左側表示器６ａは非表示とされる。

また、制御手段５は、周辺撮像手段１によって得られる前記周辺情報に基づいて、車両Ａに接近する対象物（他車両や歩行者等）が撮像される場合に、左側方画像１０あるいは右側方画像１１を表示させるものである。例えば、制御手段５は、過去に生成された左側方画像１０及び右側方画像１１と新たに生成される左側方画像１０及び右側方画像１１とを比較し、最新の画像に含まれる対象物を示す領域が過去の画像に含まれる同一の対象物を示す領域と比較して所定値以上拡大している場合に、前記対象物が車両Ａに接近していると判定する。制御手段５は、前記対象物が左側方画像１０に含まれる場合、すなわち、周辺撮像手段１によって車両Ａの左側方から接近する前記対象物が撮像される場合に左側表示器６ａに駆動信号を出力し、左側表示器６ａに左側方画像１０を表示させる。また、制御手段５は、前記対象物が右側方画像１１に含まれる場合、すなわち、周辺撮像手段１によって車両Ａの右側方から接近する前記対象物が撮像される場合に右側表示器６ｂに駆動信号を出力し、右側表示器６ｂに右側方画像１１を表示させる。なお、前記対象物の接近に応じて左側方画像１０あるいは右側方画像１１を表示させる場合、左側方画像１０あるいは右側方画像１１の周辺を囲む赤色の枠状マークを点滅表示させる等によって運転者に前記対象物の接近を報知するべく警告表示することが望ましい。また、スピーカ等の音声出力手段を備え、左側方画像１０あるいは右側方画像１１の表示に伴って警告音を出力して運転者に前記対象物の接近を報知するものであってもよい。

かかる車両用監視装置は、車両Ａの左右側方を少なくとも撮像する周辺撮像手段１と、前記車室前方の左端側に設けられる前記左側表示部と前記車室前方の右端側に設けられる前記右側表示部とを備え前記周辺撮像手段によって得られる前記周辺画像を左側，右側表示器６ａ，６ｂに表示する表示手段６と、前記周辺画像の選択を行うための操作手段である操作スイッチ２，方向指示器３及び視線検出手段４と、前記操作手段からの前記操作信号に応じて、表示手段６の前記左側表示部に前記周辺画像として車両Ａの左側方を示す左側方画像１０を表示させる、あるいは、表示手段６の前記右側表示部に前記周辺画像として車両Ａの右側方を示す右側方画像１１を表示させる制御手段５と、を備えてなるものである。また、表示手段６は、表示光を発する左側，右側表示器６ａ，６ｂと、前記表示光を運転者に向けて反射するフロントガラスＷと、を備え、左側表示器６ａとフロントガラスＷの左側反射部Ｗ１とで前記左側表示部を構成し、右側表示器６ｂとフロントガラスの右側反射部Ｗ２とで前記右側表示部を構成してなるものである。

したがって、車両Ａが右左折あるいは進路変更する際に運転者の視線が車両Ａ前方の左側あるいは右側に向けられる場合であっても、車両Ａの移動方向の死角を示す周辺画像である左側方画像１０及び右側方画像１１はそれぞれ前記車室前方の左端側及び右端側にて表示されるため、運転者は少ない視線移動で車両Ａの移動方向の死角の状況を示す前記周辺画像を視認することが可能となる。

また、前記操作手段として車両Ａの方向指示器３を備え、制御手段５によって、方向指示器から３前記操作信号として前記左方指示信号を入力すると表示手段６の左側表示器６ａに左側方画像１０を表示させ、方向指示器３から前記操作信号として前記右方指示信号を入力すると表示手段６の右側表示器６ｂに右側方画像１１を表示させることによって、特別な操作を行うことなく、車両Ａが右左折あるいは進路変更する際に、車両Ａの移動方向の死角を示す前記周辺画像を表示させることが可能となる。

また、前記操作手段として運転者の視線方向を検出する視線検出手段４を備え、制御手段５によって、視線検出手段４から前記操作信号として運転者の視線方向を示す前記視線データを入力し、前記視線データから運転者が車両Ａ前方の左側を見ていると判定される場合は表示手段６の左側表示器６ａに左側方画像１０を表示させ、前記視線データから運転者が車両Ａ前方の右側を見ていると判定される場合は表示手段６の右側表示器６ｂに右側方画像１１を表示させることにより、特別な操作を行うことなく、車両Ａが右左折あるいは進路変更する際に、車両Ａの移動方向の死角を示す前記周辺画像を表示させることが可能となる。

また、制御手段５によって、周辺撮像手段１によって車両Ａの左側方から接近する前記対象物が撮像される場合に左側表示器６ａに左側方画像１０を表示させ、周辺撮像手段１によって車両Ａの右側方から接近する前記対象物が撮像される場合に右側表示器６ｂに右側方画像１１を表示させることにより、運転者に車両Ａの死角方向から接近する前記対象物を報知することが可能となり、車両用監視装置としての商品性を向上させることができる。

なお、本発明は、本発明の実施の形態に限定されるものではなく、その構成は同様の効果が得られるものであればよい。本発明の実施の形態では、表示手段６として、表示光を発する左側，右側表示器６ａ，６ｂと、この表示光を運転者の方向へ虚像として投射する反射手段であるフロントガラスＷとを少なくとも備えたヘッドアップディスプレイ装置を用いたものを例に上げて説明したが、表示手段として液晶表示パネルや有機ＥＬパネルからなる表示器を直視するものを適用してもよい。

本発明の実施の形態である車両用監視装置のブロック図。同上の車両用監視装置の撮像範囲を示す図。同上の車両用監視装置が備えられる車両の車室前方を示す図。同上の車両用監視装置の表示例を示す図。同上の車両用監視装置の表示例を示す図。

符号の説明

１周辺撮像手段
２操作スイッチ（操作手段）
３方向指示器（操作手段）
４視線検出手段（操作手段）
５制御手段
６表示手段
６ａ左側表示器
６ｂ右側表示器
１０左側方画像
１０ａ車両画像
１０ｂ距離ライン
１１右側方画像
１１ａ車両画像
１１ｂ距離ライン
Ａ車両
Ｂ左側方領域
Ｃ右側方領域
Ｗフロントガラス（反射手段）
Ｗ１左側反射部
Ｗ２右側反射部

Claims

車両の左右側方を少なくとも撮像する周辺撮像手段と、
車室前方の左端側に設けられる左側表示部と前記車室前方の右端側に設けられる右側表示部とを備え前記周辺撮像手段によって得られる周辺画像を前記左側，右側表示部に表示する表示手段と、
前記周辺画像の選択を行うための操作手段と、
前記操作手段からの操作信号に応じて、前記左側表示部に前記周辺画像として前記車両の左側方を示す左側方画像を表示させる、あるいは、前記右側表示部に前記周辺画像として前記車両の右側方を示す右側方画像を表示させる制御手段と、を備え、
前記操作手段として運転者の視線方向を検出する視線検出手段を備え、前記制御手段は、前記視線検出手段から前記操作信号として前記運転者の視線方向を示す検出信号を入力し、前記検出信号から前記運転者の視線が前記車両前方の左側領域、前記車両前方の中央領域、前記車両前方の右側領域のいずれに向けられているかを判定し、前記運転者の視線が前記車両前方の左側領域に向けられている判定される場合は前記左側表示部に前記左側方画像を表示させ、前記運転者の視線が前記車両前方の右側領域に向けられていると判定される場合は前記右側表示部に前記右側方画像を表示させ、前記運転者の視線が前記車両前方の中央領域に向けられていると判定される場合は前記左側表示部及び前記右側表示部を非表示とすることを特徴とする車両用監視装置。
さらに前記車両の方向指示器を前記操作手段とし、前記制御手段は、前記方向指示器から前記操作信号として左方指示信号を入力すると前記表示手段の前記左側表示部に前記左側方画像を表示させ、前記方向指示器から前記操作信号として右方指示信号を入力すると前記表示手段の前記右側表示部に前記右側方画像を表示させてなることを特徴とする請求項１に記載の車両用監視装置。
前記制御手段は、前記周辺撮像手段によって前記車両の左側方から接近する対象物が撮像される場合に前記左側表示部に前記左側方画像を表示させ、前記周辺撮像手段によって前記車両の右側方から接近する対象物が撮像される場合に前記右側表示部に前記右側方画像を表示させてなることを特徴とする請求項１に記載の車両用監視装置。
前記表示手段は、表示光を発する表示器と、前記表示光を運転者に向けて反射する反射手段と、を備えてなることを特徴とする請求項１に記載の車両用監視装置。
前記反射手段は、前記車両のフロントガラスからなる、あるいは前記車両のフロントガラスに形成されてなることを特徴とする請求項４に記載の車両用監視装置。