JP5310602B2 - 車両用周辺監視システム - Google Patents

Description

本発明は、車両用周辺監視システムに関するものである。

従来から、ドアミラー、フェンダーミラー、ルームミラー等の光学式のミラーからなる後写鏡で映す車両の後方や後側方の領域をカメラで撮像し、撮像した画像を車室内に設置されたモニタに表示する電子ミラーシステムが検討されている。

例えば、特許文献１には、ドアミラーの視野よりも広い撮像範囲を有するカメラをドアミラーの前側に設置し、運転席シートの位置から求めたドライバの視点とドアミラーの反射角度とから視点変換方向を決定して、カメラの撮像画像をドアミラーに映し出される画像と同じ視点の画像に変換して表示部に表示する電子ミラーシステムが開示されている。

特許第３８７６７６１号公報

光学式のミラーでは、ドライバが後方や後側方の視野を変更したいときに、手動やモータ駆動によりミラー角度を調整したり、ドライバが体や頭を動かして視点を移動させたりすることによって、視野の変更を行っていた。

しかしながら、特許文献１に開示の電子ミラーシステムは、運転席シートの位置とドアミラーの反射角度とから、表示部に表示される撮像画像の範囲が決まることになるので、例えばドライバが死角を無くそうと体や頭を動かして視点を移動させても、表示部に表示される撮像画像の範囲は変化しない。このように、特許文献１に開示の電子ミラーシステムは、光学式ミラーに比べ、ドライバにとっての使い勝手が低下するという問題点を有していた。

本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、ドライバにとっての使い勝手をより向上させることを可能にする車両用周辺監視システムを提供することにある。

光学式のミラーからなる後写鏡では、後写鏡の反射面に映る画像の範囲は、後写鏡の反射面と車両のドライバの目や顔など視点に関連する部分との相対関係の変化に応じてずれる。

請求項１の車両用周辺監視システムによれば、相対関係変化検出部で検出した表示部の表示面と車両のドライバの視点に関連する部分の位置であるドライバ視点関連位置との相対関係の変化に応じて表示部に表示させる後写鏡様画像（車両の後写鏡に映し出される画像に相当する画像）の範囲をずらすので、ドライバが体や頭を動かして視点を移動させた場合に、後写鏡の反射面に映る画像の範囲のずれと同様にして、表示部に表示させる後写鏡様画像の範囲をずらすことが可能になる。

また、ドライバが体や頭を動かして視点を移動させた場合に、後写鏡の反射面に映る画像の範囲のずれと同様にして表示部に表示させる後写鏡様画像の範囲をずらすことにより、後写鏡と同様の使い勝手を車両用周辺監視システムにおいて実現することが可能になるので、以上の構成によれば、ドライバにとっての車両用周辺監視システムの使い勝手をより向上させることが可能になる。
他にも、後写鏡様画像に障害物が含まれる場合には、この障害物を含む後写鏡様画像を表示部に表示するので、車両の周辺の障害物の見落としを防ぐことができる。

また、請求項２のように、車両のドライバを撮像するドライバ撮像部とドライバ撮像部で撮像したドライバの画像からドライバ視点関連位置を検出するドライバ視点関連位置検出部とを備え、相対関係変化検出部が、ドライバ視点関連位置検出部で検出したドライバ視点関連位置をもとに、表示部の表示面とドライバ視点関連位置との相対関係の変化として、表示部の表示面に対してのドライバ視点関連位置の変化を検出する態様としてもよい。

なお、光学式のミラーからなる後写鏡では、後写鏡の反射面に映る画像の範囲は、後写鏡の反射面に対して車両のドライバの視点に関連する部分が上下左右に移動する場合に、当該ドライバの視点に関連する部分が移動する方向と逆方向にずれる。

請求項３の構成によれば、相対関係変化検出部で検出した表示部の表示面に対してのドライバ視点関連位置の上下左右のいずれかの方向への変化に対して、表示部に表示させる後写鏡様画像の範囲を当該変化の方向とは逆方向にずらすので、後写鏡の反射面に映る画像の範囲のずれと同様にして、表示部に表示させる後写鏡様画像の範囲をずらすことができる。従って、以上の構成によれば、ドライバにとっての車両用周辺監視システムの使い勝手をより向上させることができる。

また、請求項４の構成によれば、相対関係変化検出部で検出した表示部の表示面に対してのドライバ視点関連位置の上下左右のいずれかの方向への変化量に応じた分だけ、表示部に表示させる後写鏡様画像の範囲を当該変化の方向とは逆方向にずらすので、表示部に表示させる後写鏡様画像の範囲を、後写鏡の反射面に映る画像の範囲のずれに一層似通った具合にずらすことができる。従って、以上の構成によれば、ドライバにとっての車両用周辺監視システムの使い勝手をさらに向上させることができる。

また、請求項５のように、表示部の表示面は、手動および電動のうちの少なくともいずれかで向きを変えることが可能なものであって、表示面の向きを検出する表示面向き検出部を備え、相対関係変化検出部が、表示面向き検出部で検出した表示面の向きをもとに、表示部の表示面とドライバ視点関連位置との相対関係の変化として、ドライバ視点関連位置に対しての表示部の表示面の向きの変化を検出する態様としてもよい。

なお、光学式のミラーからなる後写鏡では、後写鏡の反射面に映る画像の範囲は、車両のドライバの視点に関連する部分に対して後写鏡の反射面の向きが上下左右に移動する場合に、当該後写鏡の反射面が向く方向と同方向にずれる。

請求項６の構成によれば、相対関係変化検出部で検出したドライバ視点関連位置に対しての表示部の表示面の向きの上下左右のいずれかの方向への変化に対して、表示部に表示させる後写鏡様画像の範囲を当該変化の方向と同方向にずらすので、後写鏡の反射面に映る画像の範囲のずれと同様にして、表示部に表示させる後写鏡様画像の範囲をずらすことができる。従って、以上の構成によれば、ドライバにとっての車両用周辺監視システムの使い勝手をより向上させることができる。

また、請求項７の構成によれば、相対関係変化検出部で検出したドライバ視点関連位置に対しての表示部の表示面の向きの上下左右のいずれかの方向への変化量に応じた分だけ、表示部に表示させる後写鏡様画像の範囲を当該変化の方向と同方向にずらすので、表示部に表示させる後写鏡様画像の範囲を、後写鏡の反射面に映る画像の範囲のずれに一層似通った具合にずらすことができる。従って、以上の構成によれば、ドライバにとっての車両用周辺監視システムの使い勝手をさらに向上させることができる。

また、請求項８のように、ドライバ視点関連位置が、車両のドライバの顔および目のうちのいずれかの位置である態様としてもよい。

また、請求項９のように、車両の周辺の障害物を検出する第２障害物検出部と、車両の周辺を撮像する第１周辺撮像部以外の第２周辺撮像部と、を備え、表示制御部が、第２障害物検出部で障害物を検出した場合には、表示部に後写鏡様画像を表示することに優先して、第２障害物検出部で検出した障害物を含む第２周辺撮像部で撮像した画像を表示部に表示させる態様としてもよい。これによれば、第２障害物検出部で車両の周辺の障害物を検出した場合には、後写鏡様画像の表示に優先して第２障害物検出部で検出した障害物を表示部に表示し、車両の周辺の障害物の見落としをより防ぐことができる。

また、請求項１０のように、車両の後退を検知する車両後退検知部を備え、表示制御部が、車両後退検知部で車両の後退を検知した場合には、表示部に表示させる後写鏡様画像の範囲を下方向にずらす態様としてもよい。これによれば、後退駐車時などにドライバが駐車区画線を確認し易くなり、より利便性が向上する。
また、請求項１１のように、表示制御部が、第１障害物検出部で障害物を検出している間は、当該障害物が含まれる後写鏡様画像を表示部に表示し続ける態様としてもよい。

電子ミラーシステム１００の概略的な構成を示すブロック図である。 第１撮像装置１、第２撮像装置２、および第３撮像装置３の設置場所ならびに撮像範囲を説明するための模式図である。 表示装置５に表示させる後写鏡様画像の範囲をずらす処理について説明を行うための模式図である。 （ａ）はドライバの視点の移動とルームミラーの反射面に映る画像の範囲のずれとの関係を示す模式図であり、（ｂ）はドライバの視点の移動と表示装置５に表示される後写鏡様画像の範囲のずれとの関係を示す模式図である。 （ａ）はルームミラーの反射面の傾きの変化とルームミラーの反射面に映る画像の範囲のずれとの関係を示す模式図であり、（ｂ）はルームミラーの反射面の傾きの変化と表示装置５に表示される後写鏡様画像の範囲のずれとの関係を示す模式図である。

以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用された電子ミラーシステム１００の概略的な構成を示すブロック図である。図１に示す電子ミラーシステム１００は、車両に搭載されるものであり、第１撮像装置１、第２撮像装置２、第３撮像装置３、第１ポテンショメータ４、表示装置５、第２ポテンショメータ６、シフトポジションセンサ７、およびこれらと接続された制御装置８を含んでいる。なお、電子ミラーシステム１００が請求項の車両用周辺監視システムに相当する。また、電子ミラーシステム１００を搭載している車両を以降では自車両と呼ぶ。

電子ミラーシステム１００は、自車両にルームミラーを設置した場合のそのルームミラーで映す自車両の後方や後側方の領域を第１撮像装置１で撮像し、第１撮像装置１で撮像した画像を車室内に設置された表示装置５に表示することによって、上記ルームミラーに映し出される画像に相当する画像をドライバに提示するものである。

なお、ここでは、便宜上、ルームミラーに映し出される領域の画像に相当する画像を表示装置５に表示する構成を例に挙げて説明を行うが、必ずしもこれに限らない。例えばルームミラー以外の後写鏡（つまり、ドアミラーやフェンダーミラー）に映し出される領域の画像についても、ルームミラーに映し出される領域の画像の場合と同様にして本発明を適用できるものとする。つまり、以降の説明については、ルームミラーにドアミラーやフェンダーミラーを置き換える構成としてもよい。なお、ルームミラーにドアミラーやフェンダーミラーを置き換えた場合、その置き換えに合わせて他の構成を適宜変更することは言うまでもない。

また、ルームミラー以外の後写鏡（つまり、ドアミラーやフェンダーミラー）に映し出される領域の画像に相当する画像も表示装置５に表示する構成としてもよいし、これらを組み合わせる構成としてもよい。さらに、異なる種類の後写鏡に映し出される領域の画像に相当する画像を１つの画面で表示する構成としてもよいし、複数の画面にそれぞれ表示する構成としてもよい。

第１撮像装置１は、例えば広角レンズによって撮像範囲が広角に設定された公知のＣＣＤカメラ等によって構成されており、例えば自車両の車室内に設置されている。また、第２撮像装置２は、例えば広角レンズによって撮像範囲が広角に設定された公知のＣＣＤカメラ等によって構成されており、例えば自車両の車室外に設置されている。さらに、第３撮像装置３は、公知のＣＣＤカメラ等によって構成されており、例えば自車両の車室内に設置されている。また、第１撮像装置１、第２撮像装置２、第３撮像装置３で撮像した画像情報は、制御装置８に供給される。

ここで、図２を用いて、第１撮像装置１、第２撮像装置２、および第３撮像装置３の設置場所ならびに撮像範囲についての説明を行う。図２は、第１撮像装置１、第２撮像装置２、および第３撮像装置３の設置場所ならびに撮像範囲を説明するための模式図である。なお、図２中の破線で示す矢印が第１撮像装置１、第２撮像装置２、第３撮像装置３の各カメラの光軸を示している。

また、以降では、自車両の前進方向を前方、後退方向を後方、自車両の天井方向を上方、自車両の床方向を下方、上記前進方向に対して右手側を右方、上記前進方向に対して左手側を左方とする。

第１撮像装置１は、図２に示すように、例えば運転席よりも後方であってリアウインドよりも前方の車室天井等に取り付けられているものとする。また、第１撮像装置１は、カメラの光軸がリアウインドを向くように設置される。そして、第１撮像装置１は、自車両後方に所定角範囲で広がる領域を逐次撮像する。詳しくは、第１撮像装置１は、自車両にルームミラーを設置した場合のそのルームミラーで安全確認を行うことができる範囲を少なくとも撮像する。また、ルームミラーで安全確認を行うことができる範囲は、運転席のシート位置の調整が可能な範囲やルームミラーの角度の調整が可能な範囲や仮想上のドライバの身長（例えば人間の平均身長）等をもとに求めればよい。なお、以下では、第１撮像装置１によって撮像された画像を車両後方画像と呼ぶ。また、第１撮像装置１が請求項の第１周辺撮像部に相当する。

なお、本実施形態では、第１撮像装置１が、運転席よりも後方であってリアウインドよりも前方の車室天井等に取り付けられる構成を示したが、必ずしもこれに限らない。例えば、第１撮像装置１が車室外の車体後部に取り付けられ、自車両後方に所定角範囲で広がる領域を撮像する構成としてもよい。

第２撮像装置２は、図２に示すように、例えば自車両の後部バンパーよりも上方の車体後部に設置されているものとする。また、第２撮像装置２は、カメラの光軸が車体後部の路面を向くように設置される。そして、第２撮像装置２は、自車両後方の近傍に所定角範囲で広がる領域を逐次撮像する。なお、以下では、第２撮像装置２によって撮像された画像を車両後方近傍画像と呼ぶ。また、第２撮像装置２が請求項の第２周辺撮像部に相当する。

第３撮像装置３は、図２に示すように、例えば運転席よりも前方の上方に設置されているものとする。また、第３撮像装置３は、カメラの光軸が運転席にドライバが着座しているものと仮定した場合の仮想上のドライバの顔を向くように設置される。そして、第３撮像装置３は、運転席に着座しているドライバの顔を逐次撮像する。また、仮想上のドライバの顔の位置は、運転席のシート位置の調整が可能な範囲や仮想上のドライバの身長（例えば人間の平均身長）等をもとに求めればよい。なお、以下では、第３撮像装置３によって撮像された画像をドライバ画像と呼ぶ。また、第３撮像装置３が請求項のドライバ撮像部に相当する。

図１に戻って、第１ポテンショメータ４は、自車両にルームミラーを設置した場合のそのルームミラーの角度を検出するセンサである。第１ポテンショメータ４は、基準となるポジションに対しての上下方向、左右方向の角度を検出するものとすればよい。なお、本実施形態では、第１ポテンショメータ４で検出した角度をルームミラーの反射角度として扱うものとする。

表示装置５は、自車両の車室内におけるドライバが視認可能な位置に設けられており、制御装置８から出力される画像を逐次表示する。よって、表示装置５が請求項の表示部に相当する。例えば表示装置５は、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等を用いて構成することができる。また、表示装置５は、画像を表示するディスプレイ面（つまり、表示面）の向きを手動および電動のうちの少なくともいずれかで変えることが可能なものとする。ディスプレイ面の向きは例えば上下左右に変えることが可能なものとする。なお、以降では、表示装置５は、例えばダッシュボードに設けられているものとして説明を続ける。

また、ディスプレイ面の向きを手動で変える場合には、ドライバ等の乗員からの物理的な外力によってディスプレイ面の向きを変えるものとすればよい。また、ディスプレイ面の向きを電動で変える場合には、ディスプレイ面の向きを変える旨のユーザからの入力（例えばディスプレイ面の向きを変える方向を指示する入力）を受け付ける操作スイッチで受け付けた入力に従って、ディスプレイ面を駆動する電動のモータ等の駆動手段を動作させることによって、ディスプレイ面の向きを変えるものとすればよい。

なお、本実施形態では、表示装置５がダッシュボードに設けられる構成を示したが、必ずしもこれに限らない。例えば、表示装置５をダッシュボード以外の場所に設ける構成としてもよく、ルームミラーの代わりにルームミラーを設ける場所に設ける構成としてもよい。また、車載ナビゲーション装置に設けられたディスプレイを表示装置５として利用する構成としてもよい。さらに、ウインドシールド（例えばフロントウインド）に画像を投影するヘッドアップディスプレイ（ＨＵＤ）を表示装置５とする構成としてもよい。なお、ＨＵＤを表示装置５とする構成とした場合には、ウインドシールドが表示装置５の表示面となる。

第２ポテンショメータ６は、表示装置５のディスプレイ面の角度を検出するセンサである。よって、第２ポテンショメータ６が請求項の表示面向き検出部に相当する。第２ポテンショメータ６は、基準となるポジションに対しての上下方向、左右方向に対する角度を検出するものとすればよい。なお、本実施形態では、第２ポテンショメータ６で検出した角度を表示装置５のディスプレイ面の傾きとして扱うものとする。

また、シフトポジションセンサ７は、自車両のシフトポジション（またはドライビングレンジ）の位置を検出するセンサであって、検出した位置を示す信号を出力する。なお、自車両が後退する場合に、シフトポジションセンサ７は、自車両のシフトポジション（またはドライビングレンジ）が後退位置（Ｒ）に入ったことを検出する。よって、シフトポジションセンサ７が請求項の車両後退検知部に相当する。

制御装置８は、通常のコンピュータとして構成されており、内部には周知のＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ及びこれらの構成を接続するバスライン（いずれも図示せず）が備えられている。制御装置８は、第１撮像装置１、第２撮像装置２、第３撮像装置３、第１ポテンショメータ４、第２ポテンショメータ６、シフトポジションセンサ７から入力された各種情報に基づき各種処理を実行する。

ここで、制御装置８の概略的な構成について説明を行う。図１に示すように制御装置８は、視点関連位置検出部８１、相対関係変化検出部８２、第１障害物検出部８３、第２障害物検出部８４、および表示制御部８５を備えている。

視点関連位置検出部８１は、第３撮像装置３で撮像したドライバ画像から、自車両のドライバの視点に関連する部分の位置であるドライバ視点関連位置を検出する。よって、視点関連位置検出部８１が請求項のドライバ視点関連位置検出部に相当する。ここでは、視点関連位置検出部８１は、例えばドライバ視点関連位置として自車両のドライバの視点の位置を検出するものとして以降の説明を続ける。また、ドライバ視点関連位置は、例えば上下方向の軸および左右方向の軸からなる２軸の平面上の座標で表されるものとすればよい。

なお、ドライバ視点関連位置としては、自車両のドライバの視点の位置の移動と連動して移動する箇所であれば、視点（つまり、目）以外の位置を検出する構成としてもよく、自車両のドライバの顔の位置や目以外の顔の一部の位置等を検出する構成としてもよい。

また、視点関連位置検出部８１は、ドライバ画像の画像解析により前後方向におけるドライバの視点の位置も検出する構成としてもよい。本実施形態では、視点関連位置検出部８１で前後方向におけるドライバの視点の位置も検出するものとして以降の説明を続ける。

なお、本実施形態では、第３撮像装置３で撮像したドライバ画像からドライバ視点関連位置を検出する構成を示したが、必ずしもこれに限らない。撮像装置以外にもドライバ視点関連位置を検出することが可能な装置があれば、その装置を用いてドライバ視点関連位置を検出する構成としてもよい。例えば、ドライバの頭部に装着された３軸加速度センサによってドライバ視点関連位置を検出する構成としてもよい。

相対関係変化検出部８２は、視点関連位置検出部８１で検出したドライバ視点関連位置と第２ポテンショメータ６で検出した表示装置５のディスプレイ面の傾きとをもとに、表示装置５のディスプレイ面とドライバ視点関連位置との相対関係の変化を検出するものである。

例えば、相対関係変化検出部８２は、表示装置５のディスプレイ面の傾きの基準となる値（以下、傾き基準値）を予め保持しており、傾き基準値と第２ポテンショメータ６で検出したディスプレイ面の傾きとを比較し、ディスプレイ面の傾きの基準となるポジションからのディスプレイ面の傾きの変化方向および変化量を検出する。なお、例えば表示装置５のディスプレイ面の傾きが上下方向および左右方向のいずれに対しても生じないポジションにある場合の値、つまり、上下方向および左右方向のいずれに対しても０を傾き基準値とすればよい。

また、相対関係変化検出部８２は、ドライバ視点関連位置の基準となる位置（以下、視点関連位置基準値）を保持しており、視点関連位置基準位置と視点関連位置検出部８１で検出したドライバ視点関連位置とを比較し、ドライバ視点関連位置の基準となる位置からのドライバ視点関連位置の変化方向および変化量を検出する。なお、運転席のシート位置が決まったところで視点関連位置検出部８１によって検出したドライバ視点関連位置を視点関連位置基準値とする構成とすればよい。また、運転席のシート位置が決まったことは、例えばパーキングブレーキの解除が行われたことを検出したことやシフトポジションセンサ７で自車両のシフトポジションが後退位置や前進位置に入ったことを検出したことをもって制御装置８が判断する構成とすればよい。

第１障害物検出部８３は、第１撮像装置１で撮像した車両後方画像から歩行者等の障害物を検出するものである。なお、車両後方画像からの障害物の検出は、例えば画像認識用の辞書を用いて画像中の物体を認識する公知の画像認識によって行う構成とすればよい。この場合、例えば、予め対象とする障害物について機械学習した辞書（具体的には、矩形の輝度差を特徴とするhaar-like特徴による、cascade of boostedクラス判別器）を用いて、車両後方画像からの障害物の検出を行うようにすればよい。

第２障害物検出部８４は、第２撮像装置２で撮像した車両後方近傍画像から障害物を検出するものである。なお、第２障害物検出部８４でも第１障害物検出部８３と同様にして車両後方近傍画像から障害物を検出する構成とすればよい。

表示制御部８５は、車両の後写鏡に映し出される画像に相当する画像である後写鏡様画像を表示装置５に表示させる後写鏡様画像表示処理を行う。後写鏡様画像表示処理では、表示制御部８５が、例えば第１ポテンショメータ４で検出した角度（つまり、ルームミラーの反射角度）と視点関連位置検出部８１で検出した自車両のドライバの視点の位置とをもとに、第１撮像装置１で撮像された車両後方画像を自車両のルームミラーに映し出される画像と同じ視点の画像（つまり、後写鏡様画像）に変換する。なお、第１撮像装置１で撮像された車両後方画像を自車両のルームミラーに映し出される画像と同じ視点の画像に変換する方法としては、特許文献１に開示されている撮像画像をドアミラーに映し出される画像と同じ視点の画像に変換する方法と同様の方法により行う構成とすればよい。

そして、表示制御部８５は、後写鏡様画像表示処理によって得た後写鏡様画像のうちの一部を切り出し、切り出した後写鏡様画像を表示装置５に表示させる。詳しくは、第１撮像装置１は広角レンズを用いることによって、自車両のルームミラーに映し出される画像の範囲よりも広い範囲を撮像するので、車両後方画像から自車両のルームミラーに映し出される画像に少なくとも一部が対応する領域を切り出し、ルームミラーに映し出される画像に相当する後写鏡様画像を表示装置５に表示させる。

なお、自車両のルームミラーに映し出される画像を少なくとも含む領域を切り出し、表示装置５に表示させる構成としてもよい。また、自車両のルームミラーに映し出される画像と同じ範囲の領域を切り出し、表示装置５に表示させる構成としてもよい。これによれば、表示装置５に表示させる後写鏡様画像に自車両のルームミラーに映し出される画像が含まれることになるので、表示装置５をルームミラー（つまり、光学式のミラー）の補助だけでなく、代用として用いることも可能になる。

また、本実施形態では、第１ポテンショメータ４で検出した角度と視点関連位置検出部８１で検出した自車両のドライバの視点の位置とをもとに、第１撮像装置１で撮像された車両後方画像を後写鏡様画像に変換する構成を示したが、必ずしもこれに限らない。例えば、自車両のドライバの視点の位置は、運転席のシート位置および仮想上のドライバの身長（例えば人間の平均身長）等をもとに求める構成としてもよい。また、第１ポテンショメータ４を備えず、予め定めた仮想上のルームミラーの反射角度と自車両のドライバの視点の位置とをもとに、第１撮像装置１で撮像された車両後方画像を後写鏡様画像に変換する構成としてもよい。

なお、自車両にルームミラーを備えず、ルームミラーの代わりに表示装置５を用いる構成とする場合にも、予め定めた仮想上のルームミラーの反射角度と自車両のドライバの視点の位置とをもとに、第１撮像装置１で撮像された車両後方画像を後写鏡様画像に変換する構成とすればよい。また、自車両のドライバの視点の位置についても、平均的な運転席のシート位置や人間の平均身長等をもとに予め定めたものを用いる構成としてもよい。

また、表示制御部８５は、相対関係変化検出部８２で検出した相対関係の変化に応じて表示装置５に表示させる後写鏡様画像の範囲をずらす表示範囲移動処理を行う。表示範囲移動処理では、表示制御部８５が、相対関係変化検出部８２で検出したドライバ視点関連位置の変化方向および変化量や表示装置５のディスプレイ面の傾きの変化方向および変化量をもとに、表示装置５に表示させる後写鏡様画像の範囲をずらす。

例えば、表示制御部８５は、相対関係変化検出部８２で検出したドライバ視点関連位置の上下左右のいずれかの方向への変化に対して、表示装置５に表示させる後写鏡様画像の範囲を当該変化の方向とは逆方向にずらす。一例としては、相対関係変化検出部８２で検出したドライバ視点関連位置の変化方向が右方向であった場合には、表示装置５に表示させる後写鏡様画像の範囲を左方向にずらす。これによれば、ルームミラーの反射面に映る画像の範囲のずれと同様にして、表示装置５に表示させる後写鏡様画像の範囲をずらすことができる。

また、表示制御部８５は、相対関係変化検出部８２で検出したドライバ視点関連位置の変化量に応じた分だけ、表示装置５に表示させる後写鏡様画像の範囲をずらすことが好ましい。なお、ドライバ視点関連位置の変化量に応じてどの程度表示装置５に表示させる後写鏡様画像の範囲をずらすかについては、ドライバ視点関連位置の変化量に対するルームミラーの反射面に映る画像の範囲のずれを考慮し、このルームミラーの反射面に映る画像の範囲のずれに相当する程度とすればよい。これによれば、表示装置５に表示させる後写鏡様画像の範囲を、ルームミラーの反射面に映る画像の範囲のずれに一層似通った具合にずらすことができる。

さらに、表示制御部８５は、相対関係変化検出部８２で検出した表示装置５のディスプレイ面の傾きの上下左右のいずれかの方向への変化に対して、表示装置５に表示させる後写鏡様画像の範囲を当該変化の方向と同方向にずらす。一例としては、相対関係変化検出部８２で検出した表示装置５のディスプレイ面の傾きの変化方向が右方向（つまり、ディスプレイ面が右に向く方向）であった場合には、表示装置５に表示させる後写鏡様画像の範囲を右方向にずらす。これによれば、ルームミラーの反射面に映る画像の範囲のずれと同様にして、表示装置５に表示させる後写鏡様画像の範囲をずらすことができる。

また、表示制御部８５は、相対関係変化検出部で検出した表示装置５のディスプレイ面の傾きの変化量に応じた分だけ、表示装置５に表示させる後写鏡様画像の範囲をずらすことが好ましい。なお、表示装置５のディスプレイ面の傾きの変化量に応じてどの程度表示装置５に表示させる後写鏡様画像の範囲をずらすかについては、ルームミラーの反射面の傾きの変化量に対するルームミラーの反射面に映る画像の範囲のずれを考慮し、このルームミラーの反射面に映る画像の範囲のずれに相当する程度とすればよい。これによれば、表示装置５に表示させる後写鏡様画像の範囲を、ルームミラーの反射面に映る画像の範囲のずれに一層似通った具合にずらすことができる。

なお、相対関係変化検出部８２でドライバ視点関連位置の変化と表示装置５のディスプレイ面の傾きの変化との両方を検出した場合には、ドライバ視点関連位置の変化量に応じて後写鏡様画像の範囲をずらす量（以下、ドライバ視点関連位置依存ずれ量）と表示装置５のディスプレイ面の傾きの変化量に応じて後写鏡様画像の範囲をずらす量（以下、ディスプレイ面傾き依存ずれ量）とを考慮して、表示装置５に表示させる後写鏡様画像の範囲をずらす構成とすればよい。

例えば、ドライバ視点関連位置の変化量に応じて後写鏡様画像の範囲をずらす方向（以下、ドライバ視点関連位置依存変化方向）と表示装置５のディスプレイ面の傾きの変化量に応じて後写鏡様画像の範囲をずらす方向（以下、ディスプレイ面傾き依存変化方向）とが同方向の場合には、ドライバ視点関連位置依存ずれ量とディスプレイ面傾き依存ずれ量とを足し合わせた量だけ表示装置５に表示させる後写鏡様画像の範囲をずらす構成とすればよい。また、ドライバ視点関連位置依存変化方向とディスプレイ面傾き依存変化方向とが逆方向の場合には、ドライバ視点関連位置依存ずれ量とディスプレイ面傾き依存ずれ量との差分だけ表示装置５に表示させる後写鏡様画像の範囲をずらす構成とすればよい。

ここで、図３を用いて、表示装置５に表示させる後写鏡様画像の範囲をずらす処理についての説明を行う。図３は、表示装置５に表示させる後写鏡様画像の範囲をずらす処理について説明を行うための模式図である。なお、図３の破線で示す範囲Ａが後写鏡様画像表示処理によって得た後写鏡様画像の範囲（つまり、第１撮像装置１の撮像範囲に相当する範囲）を示しており、実線で示す範囲Ｂが表示装置５に実際に表示させる後写鏡様画像の範囲を示している。また、図３のＣが上方向、Ｄが下方向、Ｅが右方向、Ｆが左方向を示している。

表示制御部８５の表示範囲移動処理において表示装置５に表示させる後写鏡様画像の範囲をずらす場合には、後写鏡様画像表示処理によって得た後写鏡様画像の範囲Ａから範囲Ｂを切り出す場所をずらすことによって、表示装置５に表示させる後写鏡様画像の範囲をずらす構成とすればよい。例えば、表示範囲移動処理において表示装置５に表示させる後写鏡様画像の範囲を上方向にずらすことになった場合には、範囲Ａから範囲Ｂを切り出す場所をＣの方向にずらす構成とすればよい。

なお、表示装置５に表示させる後写鏡様画像の範囲をずらす方向が下方向になった場合は切り出す場所をＤの方向にずらせばよい。また、表示装置５に表示させる後写鏡様画像の範囲をずらす方向が右方向になった場合は切り出す場所をＥの方向にずらせばよい。さらに、表示装置５に表示させる後写鏡様画像の範囲をずらす方向が左方向になった場合は切り出す場所をＦの方向にずらせばよい。

また、表示制御部８５は、第１障害物検出部８３で障害物を検出した場合には、表示範囲移動処理に優先して、第１障害物検出部８３で検出した障害物が表示装置５に表示させる後写鏡様画像に含まれるようにしてもよい。例えば、表示制御部８５が表示範囲移動処理を行わず、第１障害物検出部８３で障害物を検出している間は当該障害物が含まれる後写鏡様画像を表示装置５に表示する構成とすればよい。

これによれば、表示装置５に表示されている後写鏡様画像に第１障害物検出部８３で検出した障害物が含まれている場合には、第１障害物検出部８３で当該障害物を検出している間、当該障害物を含む後写鏡様画像を表示装置５に表示し続け、自車両の周辺の障害物の見落としをより防ぐことができる。

また、表示制御部８５は、第２障害物検出部８４で障害物を検出した場合には、表示装置５に後写鏡様画像を表示することに優先して、第２障害物検出部８４で検出した障害物が含まれる第２撮像装置２で撮像した車両後方近傍画像を表示装置５に表示させるようにしてもよい。例えば、第２障害物検出部８４で障害物を検出している間は、後写鏡様画像の表示に切換えて、当該障害物が含まれる車両後方近傍画像の表示を表示制御部８５が表示装置５に行なわせる構成とすればよい。

これによれば、第２障害物検出部８４で自車両の周辺の障害物を検出した場合には、後写鏡様画像の表示に優先して当該障害物が含まれる車両後方近傍画像を表示装置５に表示し、自車両の周辺の障害物の見落としをより防ぐことができる。

なお、本実施形態では、制御装置８に第１障害物検出部８３および第２障害物検出部８４を含む構成を示したが、必ずしもこれに限らず、制御装置８に第１障害物検出部８３や第２障害物検出部８４を含まない構成としてもよい。

また、表示制御部８５は、シフトポジションセンサ７で自車両の後退を検知した場合に、表示装置５に表示させる後写鏡様画像の範囲を下方向にずらす構成としてもよい。これによれば、後退駐車時などにドライバが駐車区画線を確認し易くなり、より利便性が向上する。なお、本実施形態では、電子ミラーシステム１００にシフトポジションセンサ７を含む構成を示したが、必ずしもこれに限らず、電子ミラーシステム１００にシフトポジションセンサ７を含まない構成としてもよい。

電子ミラーシステム１００では、相対関係変化検出部８２で検出した表示装置５のディスプレイ面と自車両のドライバの視点に関連する部分の位置であるドライバ視点関連位置との相対関係の変化に応じて表示装置５に表示させる後写鏡様画像の範囲をずらすので、ドライバが体や頭を動かして視点を移動させた場合に、ルームミラーの反射面に映る画像の範囲のずれと同様にして、表示装置５に表示させる後写鏡様画像の範囲をずらすことが可能になる。

また、ドライバが体や頭を動かして視点を移動させた場合に、ルームミラーの反射面に映る画像の範囲のずれと同様にして表示装置５に表示させる後写鏡様画像の範囲をずらすことにより、ルームミラーと同様の使い勝手を電子ミラーシステムにおいて実現することができるので、以上の構成によれば、ドライバにとっての電子ミラーシステムの使い勝手をより向上させることが可能になる。

ここで、本発明における作用効果について、具体的に図４（ａ）〜図５（ｂ）を用いて説明を行う。なお、図４（ａ）はドライバの視点の移動とルームミラーの反射面に映る画像の範囲のずれとの関係を示す模式図である。また、図４（ｂ）はドライバの視点の移動と表示装置５に表示される後写鏡様画像の範囲のずれとの関係を示す模式図である。さらに、図５（ａ）はルームミラーの反射面の傾きの変化とルームミラーの反射面に映る画像の範囲のずれとの関係を示す模式図である。また、図５（ｂ）はルームミラーの反射面の傾きの変化と表示装置５に表示される後写鏡様画像の範囲のずれとの関係を示す模式図である。

なお、図４（ａ）および図５（ａ）のＧは上方から見たルームミラーを示しており、図４（ａ）〜図５（ｂ）のＨは上方から見たドライバを示している。また、図４（ａ）のＩは移動前のドライバの視線を示しており、Ｊは移動後のドライバの視線を示している。さらに、図５（ａ）のＫはルームミラーの反射面の傾きの変化前のドライバの視線を示しており、Ｌはルームミラーの反射面の傾きの変化後のドライバの視線を示している。

また、ドライバが体や頭を動かして視点を移動させた場合に、後写鏡の反射面に映る画像の範囲のずれと同様にして表示部に表示させる後写鏡様画像の範囲をずらすことにより、後写鏡と同様の使い勝手を車両用周辺監視システムにおいて実現することが可能になるので、以上の構成によれば、ドライバにとっての車両用周辺監視システムの使い勝手をより向上させることが可能になる。

なお、光学式のミラーからなるルームミラーでは、ルームミラーの反射面に映る画像の範囲は、ルームミラーの反射面に対して自車両のドライバの視点が上下左右に移動する場合に、当該ドライバの視点が移動する方向と逆方向にずれる。例えば、図４（ａ）に示すように、ルームミラーＧの反射面に対してドライバＨの視点が白抜きの矢印で示すように右方向に移動すると、ルームミラーＧの反射面に対するドライバＨの視線の入射角および反射角が大きくなるため、ルームミラーＧの反射面に映る画像は破線の矢印で示すように左方向にずれることになる。

電子ミラーシステム１００では、第３撮像装置３によって撮像したドライバ画像をもとに、ドライバの視点の変化を検出し、表示装置５に表示させる後写鏡様画像の範囲をドライバの視点の変化方向とは逆方向にずらす。例えば、図４（ｂ）に示すように、ドライバＨの視点が白抜きの矢印で示すように右方向に移動すると、表示装置５に表示させる後写鏡様画像の範囲を破線の矢印で示すように左方向にずらすことになる。

よって、電子ミラーシステム１００では、ルームミラーの反射面に映る画像の範囲のずれと同様にして、表示装置５に表示させる後写鏡様画像の範囲をずらすことができる。従って、以上の構成によれば、ドライバにとっての電子ミラーシステムの使い勝手をより向上させることができる。

また、光学式のミラーからなるルームミラーでは、ルームミラーの反射面に映る画像の範囲は、自車両のドライバの視点に対してルームミラーの反射面の向きが上下左右に移動する（つまり、ルームミラーの反射面が上下左右に向けて傾く）場合に、ルームミラーの反射面が向く方向と同方向にずれる。例えば、図５（ａ）に示すように、ドライバＨの視点に対してルームミラーＧの反射面が実線の矢印で示すように左方向に向く（傾く）と、ルームミラーＧの反射面に対するドライバＨの視線の入射角および反射角が大きくなるため、ルームミラーＧの反射面に映る画像は破線の矢印で示すように左方向にずれることになる。

電子ミラーシステム１００では、第２ポテンショメータ６で検出した表示装置５のディスプレイ面の角度をもとに、表示装置５のディスプレイ面の向きの変化を検出し、表示装置５に表示させる後写鏡様画像の範囲を表示装置５のディスプレイ面の向きの変化方向とは同方向にずらす。例えば、図５（ｂ）に示すように、表示装置５のディスプレイ面が実線の矢印で示すように左方向に向く（傾く）と、表示装置５に表示させる後写鏡様画像の範囲を破線の矢印で示すように左方向にずらすことになる。

よって、電子ミラーシステム１００では、この点でも、ルームミラーの反射面に映る画像の範囲のずれと同様にして、表示装置５に表示させる後写鏡様画像の範囲をずらすことができる。従って、以上の構成によっても、ドライバにとっての電子ミラーシステムの使い勝手をより向上させることができる。

なお、前述の実施形態では、後写鏡様画像表示処理によって得た後写鏡様画像から切り出す範囲をずらすことで表示装置５に表示させる後写鏡様画像の範囲をずらす構成を示したが、必ずしもこれに限らない。例えば、第１撮像装置１を上下左右に駆動させるモータ等の駆動手段を備え、その駆動手段を表示制御部８５が制御することによって第１撮像装置１の撮像範囲を上下左右に移動し、表示装置５に表示させる後写鏡様画像の範囲をずらす構成としてもよい。

また、前述の実施形態では、第２障害物検出部８４が第２撮像装置２で撮像した車両後方近傍画像から障害物を検出する構成を示したが、必ずしもこれに限らない。例えば、第２撮像装置２の撮像範囲内の障害物を検知する超音波ソナーやミリ波レーダ等の障害物センサの信号をもとに障害物を検出する構成としてもよい。なお、この場合には、第２障害物検出部８４が障害物センサの信号をもとに障害物を検出したときに、表示制御部８５が第２撮像装置２で撮像した車両後方近傍画像を表示する構成とすればよい。また、障害物センサの検知範囲が第２撮像装置２の撮像範囲をカバーするように複数の障害物センサを設ける構成としてもよい。

なお、第２撮像装置２で撮像した車両後方近傍画を、第２障害物検出部８４で障害物を検出したときに表示装置５に表示する構成を示したが、第２障害物検出部８４で障害物を検出するまでは第２撮像装置２で撮像した車両後方近傍画を表示装置５以外の図示しない表示装置に表示する構成としてもよい。さらに、第２障害物検出部８４で障害物を検出した後も、第２撮像装置２で撮像した車両後方近傍画を表示装置５以外のその表示装置に表示する構成としてもよい。

また、前述の実施形態では、第２撮像装置２を車体後部に設置し、自車両後方の近傍に所定角範囲で広がる領域を撮像する構成を示したが、必ずしもこれに限らない。例えば、第２撮像装置２を車体後部以外の場所に設置し、自車両後方の近傍以外の死角の領域を撮像する構成としてもよい。なお、第２撮像装置２を複数設置し、自車両の周辺の様々な死角の領域を撮像する構成としてもよい。また、この場合、自車両後方の近傍に所定角範囲で広がる領域も撮像する構成としてもよいのは言うまでもない。

なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 第１撮像装置（第１周辺撮像部）、２ 第２撮像装置（第２周辺撮像部）、３ 第３撮像装置（ドライバ撮像部）、４ 第１ポテンショメータ、５ 表示装置（表示部）、６ 第２ポテンショメータ（表示面向き検出部）、７ シフトポジションセンサ（車両後退検知部）、８ 制御装置、８１ 視点関連位置検出部（ドライバ視点関連位置検出部）、８２ 相対関係変化検出部、８３ 第１障害物検出部、８４ 第２障害物検出部、８５ 表示制御部、１００ 電子ミラーシステム（車両用周辺監視システム）

Claims (11)

1. 車両に搭載され、
   車両の周辺を撮像する第１周辺撮像部と、
   画像を表示する表示部と、
   前記第１周辺撮像部で撮像した画像をもとに、車両の後写鏡に映し出される画像に相当する画像である後写鏡様画像を前記表示部に表示させる表示制御部と、を備えている車両用周辺監視システムであって、
   前記表示部の表示面と前記車両のドライバの視点に関連する部分の位置であるドライバ視点関連位置との相対関係の変化を検出する相対関係変化検出部と、
   前記第１周辺撮像部で撮像した画像から前記車両の周辺の障害物を検出する第１障害物検出部とを備え、
   前記表示制御部は、前記相対関係変化検出部で検出した前記相対関係の変化に応じて前記表示部に表示させる後写鏡様画像の範囲をずらす一方、前記第１障害物検出部で前記障害物を検出した場合には、前記相対関係変化検出部で検出した前記相対関係の変化に応じて前記表示部に表示させる後写鏡様画像の範囲をずらすことに優先して、前記第１障害物検出部で検出した障害物が前記表示部に表示させる後写鏡様画像に含まれるようにすることを特徴とする車両用周辺監視システム。
2. 請求項１において、
   前記車両のドライバを撮像するドライバ撮像部と、
   前記ドライバ撮像部で撮像したドライバの画像から、前記ドライバ視点関連位置を検出するドライバ視点関連位置検出部と、を備え、
   前記相対関係変化検出部は、前記ドライバ視点関連位置検出部で検出したドライバ視点関連位置をもとに、前記表示部の表示面と前記ドライバ視点関連位置との相対関係の変化として、前記表示部の表示面に対しての前記ドライバ視点関連位置の変化を検出することを特徴とする車両用周辺監視システム。
3. 請求項２において、
   前記表示制御部は、前記相対関係変化検出部で検出した前記表示部の表示面に対しての前記ドライバ視点関連位置の上下左右のいずれかの方向への変化に対して、前記表示部に表示させる後写鏡様画像の範囲を当該変化の方向とは逆方向にずらすことを特徴とする車両用周辺監視システム。
4. 請求項３において、
   前記表示制御部は、前記相対関係変化検出部で検出した前記表示部の表示面に対しての前記ドライバ視点関連位置の上下左右のいずれかの方向への変化量に応じた分だけ、前記表示部に表示させる後写鏡様画像の範囲を当該変化の方向とは逆方向にずらすことを特徴とする車両用周辺監視システム。
5. 請求項１〜４のいずれか１項において、
   前記表示部の表示面は、手動および電動のうちの少なくともいずれかで向きを変えることが可能なものであって、
   前記表示面の向きを検出する表示面向き検出部を備え、
   前記相対関係変化検出部は、前記表示面向き検出部で検出した前記表示面の向きをもとに、前記表示部の表示面と前記ドライバ視点関連位置との相対関係の変化として、前記ドライバ視点関連位置に対しての前記表示部の表示面の向きの変化を検出することを特徴とする車両用周辺監視システム。
6. 請求項５において、
   前記表示制御部は、前記相対関係変化検出部で検出した前記ドライバ視点関連位置に対しての前記表示部の表示面の向きの上下左右のいずれかの方向への変化に対して、前記表示部に表示させる後写鏡様画像の範囲を当該変化の方向と同方向にずらすことを特徴とする車両用周辺監視システム。
7. 請求項６において、
   前記表示制御部は、前記相対関係変化検出部で検出した前記ドライバ視点関連位置に対しての前記表示部の表示面の向きの上下左右のいずれかの方向への変化量に応じた分だけ、前記表示部に表示させる後写鏡様画像の範囲を当該変化の方向と同方向にずらすことを特徴とする車両用周辺監視システム。
8. 請求項１〜７のいずれか１項において、
   前記ドライバ視点関連位置は、前記車両のドライバの顔および目のうちのいずれかの位置であることを特徴とする車両用周辺監視システム。
9. 請求項１〜８のいずれか１項において、
   前記車両の周辺の障害物を検出する第２障害物検出部と、
   前記車両の周辺を撮像する前記第１周辺撮像部以外の第２周辺撮像部と、を備え、
   前記表示制御部は、前記第２障害物検出部で前記障害物を検出した場合には、前記表示部に前記後写鏡様画像を表示することに優先して、前記第２障害物検出部で検出した障害物を含む前記第２周辺撮像部で撮像した画像を前記表示部に表示させることを特徴とする車両用周辺監視システム。
10. 請求項１〜９のいずれか１項において、
    前記車両の後退を検知する車両後退検知部を備え、
    前記表示制御部は、前記車両後退検知部で前記車両の後退を検知した場合には、前記表示部に表示させる後写鏡様画像の範囲を下方向にずらすことを特徴とする車両用周辺監視システム。
11. 請求項１〜１０のいずれか１項において、
    前記表示制御部は、前記第１障害物検出部で障害物を検出している間は、当該障害物が含まれる前記後写鏡様画像を前記表示部に表示し続けることを特徴とする車両用周辺監視システム。

Images