以下、本発明の実施形態を図面に基づいて説明する。
《第1実施形態》
図1は、本発明の実施形態に係る運転支援装置のブロック図である。なお、図1に示す構成は、車両の構成のうち、運転支援装置100に関係する構成を示している。図1に示すように、本実施形態に係る運転支援装置100は、制御装置10、自車両の外部に固定された4つのカメラ1a〜1d、レーダ2、車速センサ3、操舵角センサ4、加速度センサ5、モニタ6、およびナビゲーションシステム20を備えている。これらの各装置はCAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができる。
カメラ1a〜1dは、自車両の近傍を撮像するための車載用のカメラであって、車両の外部の異なる位置に各々設置され、車両周囲の4方向の画像をそれぞれ撮像する。図2に、カメラ1a〜1dの配置例を示す。たとえば、図2に示すように、フロントグリル近傍などの車両前方の所定位置に設置されたカメラ1aは、車両前方の所定撮像エリアの画像(フロントビュー画像)を撮像する。左サイドミラーなどの車両左側方の所定位置に設置されカメラ1bは、車両左側方の所定撮像エリアの画像(左サイドビュー画像)を撮像する。ルーフスポイラーなどの車両後方の所定位置に設置されたカメラは、車両後方の所定撮像エリアの画像(リアビュー画像)を撮像する。右サイドミラーなどの車両右側方の所定位置に設置されたカメラ1dは、車両右側方の所定撮像エリアの画像(右サイドビュー画像)を撮像する。これら4台のカメラ1a〜1dは所定周期で撮像画像を制御装置10へ送出する。制御装置10は、カメラ1a〜1dから撮像画像をそれぞれ取得する。カメラ1a〜1dは、例えばCCD(Charge Coupled Device)カメラやCMOS(Complementary Metal-Oxide Semiconductor)カメラで構成されている。これらカメラ1a〜1dは、車両周辺を所定の周期で撮像し、得られた撮像画像を制御装置10に出力する。
レーダ2は、ミリ波レーダ等を発信し、発信された電波の反射信号を測定する装置であって、車両の外部に対して電波を発信できる位置に設けられている。レーダ2は、自車両の周囲に配置された構造物からの反射波を測定することで、自車両の周囲を走行する他車両や、電柱、壁等の障害物を検出する。レーダ2は、検出信号を制御装置10に出力する。
車速センサ3、及び操舵角センサ4は、自車両の挙動を検出する。具体的には、車速センサ2は、自車両の車速を検出する。また、操舵角センサ4は、自車両のハンドル操舵角を検出する。ターンシグナルスイッチ5は、ドライバの操作により、方向指示器を操作するためのスイッチである。
車速センサ3、操舵角センサ4および加速度センサ5は、自車両の挙動を検出する。具体的には、車速センサ2は、自車両の車速を検出する。また、操舵角センサ4は、自車両のハンドル操舵角を検出する。さらに、加速度センサ5は、自車両の加速度を検出する。なお、車速センサ3、操舵角センサ4および加速度センサ5による、車速の検出、加速度の検出、及び操舵角の検出は所定の周期で繰り返し実行される。そして、車速センサ3、操舵角センサ4および加速度センサ5は、車速信号、加速度信号、および操舵角信号を制御装置10に出力する。なお、自車両の挙動を検出するセンサは、上記の車速センサ3等に限らず、他のセンサであってもよい。
本実施形態の運転支援装置100は、運転操作を支援する各種情報を運転者に提示するモニタ6を備える。モニタ6は、自車両の近傍から遠方までの自車両の外部画像を表示画面上に表示させる。モニタ6は、図2に示すように、運転手の前方のインストルメントパネルに設けられる。なお、ディスプレイ6の表示画面は後述する。
制御装置10は、各種プログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えている。
ナビゲーションシステム20は、車両の現在地を測位し、目的地までの走行ルートを検索し、モニタ6に表示することで、運転を支援するシステムである。ナビゲーションシステム20は、データベース21、受信器22、及びCPU23を有している。データベース21は、半導体メモリ、ハードディスクドライブなどの記憶媒体であり、地図データ等を記憶している。受信器22は、衛星受信用のアンテナ、渋滞や交通規制などの道路交通情報を受信するアンテナ等である。CPU23は、データベース21に記録されている地図データと、受信器22を利用した衛星通信によるグローバルポジションシステムとを組みあわせることで、車両の現在地、目的地までの経路誘導を行うコントローラである。また、CPU23は、受信器22で受信した交通情報をモニタ6への表示などで報知している。ナビゲーションシステム20による制御信号はモニタ6及び制御装置10に出力される。
次に、図1〜図6を用いて、運転支援装置100により、モニタ6に表示される表示画面の制御について説明する。制御装置10は、表示画像を生成し、生成した画像をモニタ6に表示させるために、撮像画像取得機能と、画像変換機能と、画像生成機能と、白線検出機能と、地図データ取得機能と、運転支援機能と、表示制御機能とを備えている。制御装置10は、上記各機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。
図3は、運転支援装置100のブロック図である。図3では、制御装置10のうち、上記機能を発揮するための構成を示している。図4は、モニタ6の表示画面を説明するための図であって、図2のうちモニタ6の部分の拡大図である。ただし、図4の表示画面では、運転支援機能により表示される画像を含んでいない。図5は、図4の表示画面を説明するための図である。
図3に示すように、制御装置10は、近傍画像制御部110、接続画像生成部120、遠方画像制御部130、画像結合部140、波動画像制御部150、及び速度計制御部160を有している。近傍画像制御部110は、カメラ1a〜1dの撮像画像等に基づき、自車両の近傍を示す近傍画像を生成しつつ、生成した画像の検出を行う。
ここで、図3に示す各構成を説明する前に、運転支援装置100で生成され、モニタ6で表示される表示画面について、図4及び図5を用いて説明する。本例の運転支援装置100により生成され、モニタ6に表示される表示画面は、自車両の近傍から遠方までの外部の状況を示す画像と、スピードメータを示す画像により構成されている。そして、外部の状況を示す画像は、近傍画像201、接続画像202、及び遠方画像203を有している。
近傍画像201は、自車両上方の仮想視点から自車両および自車両周囲を見下ろした俯瞰画像であって、自車両の左右の周囲と、車両前方及び後方の近傍部分を表示している。近傍画像201において、自車両Aの前方及び後方のそれぞれの距離は、例えばレーダ2の検出範囲等に設定され、数十メートル程度である。
遠方画像203は、自車両の近傍よりも遠方の位置を示す画像であって、後述する接続画像202よりも遠方の位置を表している。遠方画像203は、ナビゲーションシステムで利用される地図データから生成される画像あって、自車両の位置から進行方向に向かって数百メートルの位置を示している。近傍画像201が、自車両の周囲を画像で示しているのに対して、遠方画像202は、交差点などの道路形状(道路線形)、走行経路上の目標物(例えば、右左折などの進路変更の際に目印になる建物など)を画像で示している。
接続画像202は、近傍画像201で示す位置より遠方を表し、かつ、遠方画像203で示す位置より近傍を表し、近傍画像201と遠方画像203とを接続する仮想画像である。接続画像202は、モニタ6に、近傍画像201、接続画像202、及び遠方画像203を表示したときに、表示画面上の平面内で、近傍画像201を近くに、遠方画像を遠くに写すための画像である。近傍画像201、接続画像202、及び遠方画像203は、それぞれ、平面視で長方形に形成されている。ただし、傍画像201、接続画像202、及び遠方画像203は、モニタ6に表示した場合には、各画像で継ぎ目の無い、1枚の連続画像で表示される。
上記のとおり、近傍画像201と遠方画像203は、それぞれ表している位置が異なるため、近傍画像201と遠方画像203とを1画面で表示させるためには、近傍画像201と遠方画像203とを、滑らかに、言い換えると連続画像として接続するような、画像が必要となる。この画像が、接続画像202に相当する。そして、モニタ6の表示画面上で、ドライバに近い側から、近傍画像201、接続画像202、及び遠方画像203の順で配置される。
図4に示すように、近傍画像201が表示する車線と、遠方画像203の前後方向(自車両Aの進行方向に沿った方向)の車線とが同一の車線を示している。この車線は、表示画面の中央に位置し、近傍画像201で示される当該車線の幅は、遠方画像203で示される当該車線の幅より広がっている。接続画像202は、近傍画像201の車線、遠方画像の203の車線とを滑らかに接続させるために、車線の両側に位置する白線aと白線bとの間の間隔が徐々に狭まるような、曲線で、白線a、bを描いている。また2車線の走行車線の中央線(図4の点線c)、自車両Aと反対側の走行車線の中央線(図4の点線d)、及び自車両Aの走行車線と反対側の走行車線との境界線(図4の点線e)も、同様に曲線で描かれている。
さらに曲線a〜eの形状について、それぞれの曲線の接点における傾きは、近傍画像201から離れるに連れて増加し、その傾きの増加量は徐々に減少し、傾きが、曲線上の中央付近の点で、増加から減少に転じて、その傾きの減少量が徐々に増加して、さらに減少するように、曲線a〜eが描かれている。言い換えると、接続画像上で表示される曲線(車線を示す線)は、近傍画像201から遠方画像203に向けて、中央の線(表示画像で、車両Aの進行方向に沿った中心線)に収束するように描かれている。
モニタ6の表示画面は、水平方向に対して傾斜している。水平方向の面と傾斜面とで作られる角度は鋭角になっている。そして、この傾斜面に、近傍画像201、接続画像202、及び遠方画像203を表示すると、運転手は、モニタ6の表示画面のうち、運転手に近い側の画像(手前側の画像)を、近くの画像として認識し、モータ6の表示画面の遠い位置ほど、遠くの画像として認識する。
車両が走行すると、図4の遠方画像203で表示される交差点は、自車両Aに近づいてくる。そのため、遠方画像203の交差点の位置は、車両の走行に伴い、遠方画像203から接続画像202に、モニタ6の画面上で移動し、さらに車両の走行に伴い、接続画像202から近傍画像201に移動する。これにより、遠方画像で表示される道路線形が、車両の走行に伴い、自車両Aに近づくように表示される。そして、表示画面上における道路線形の移動速度は、自車両Aの車速に対応している。
また、図4に示すように、近傍画像201において、自車両Aが走行する走行車線の道幅が、当該走行車両に隣接する隣接車線の道幅よりも大きくなっている。これにより、車両のユーザは、自車両Aの走行車線の道路の状況、及び、自車両Aの進行方向と同方向に走行する走行車線の道路の状況を、容易に認識できる。
図3に戻り、近傍画像制御部110は、近傍画像生成部111、及び第1接続点設定部112を有している。近傍画像生成部111は、カメラ1a〜1dの撮像画像、レーダ2の検出値、及び車速センサ3で検出された車速から、自車両の外部画像のうち、自車両の近傍画像を生成する。近傍画像生成部111は、生成した近傍画像を、第1接続点設定部112及び画像結合部140に出力する。
近傍画像生成部111は、各カメラ1a〜1dから撮像画像を取得して、自車両上方の仮想視点から自車両および自車両周囲を見下ろした俯瞰画像に変換するとともに、これらを繋ぎ合わせて、一つの合成俯瞰画像を生成する。具体的には、制御装置10は、異なる位置のカメラ1a〜1dによって取得された各撮像画像を、各撮像画像の画素アドレスと合成俯瞰画像におけるアドレスとの対応関係を示す変換テーブルを参照して、合成俯瞰画像の座標へ変換する。
また近傍画像生成部111は、合成俯瞰画像の座標へ変換する際、自車両Aの走行方向と、同方向を走行する走行車線の道幅を、反対側の車線の道幅よりも大きくなるように、画像を生成する。そして、制御装置10は、座標変換された各撮像画像を繋ぎ合せ、自車両周囲の様子を示す一つの合成俯瞰画像を生成する。
さらに、近傍画像生成部111は、レーダ2で検出した構造物を画像で表して、上記で合成した俯瞰画像にさらに合成する。これにより、図5に示す近傍画像201が生成される。カメラ1a〜1dは、車両の走行中に、所定の周期で撮影を行っている。そして、近傍画像生成部111は、撮影周期の間の画像を生成するために、合成した画像が、車速センサ3で検出された車速で、モニタ6上を移動するように、合成画像を生成している。
第1接続点設定部112は、近傍画像生成部111で生成された近傍画像201と接続画像202とを接続する第1接続線上の第1接続点を設定する。第1接続点は、接続画像202で描かれる曲線の基準点(始点)であり、言い換えると、接続画像202内で道路を示す中央線又は境界線の基準点(始点)である。第1接続点は、近傍画像201と接続画像202の接続線上の点である。
図5を用いて、第1接続点設定部112による接続点の設定の制御について説明する。図5は、図4の表示画面から、自車両A等を省略して、道路のみを表している。図5のX方向は車線の道幅方向(自車両Aの進行方向に対して垂直な方向)を示し、Y方向は車線に対して平行な方向(自車両Aの進行方向)を示している。
第1接続点設定部112は、第1接続点を設定するために、まず近傍画像201から画像認識により車線f1〜f5を検出する。そして、第1接続点設定部112は、近傍画像201内で検出された車線を示す線(境界線又は中央線)と、近傍画面201の周囲に位置する4辺のうち接続画面202と接する側の1辺(図のL1)との交点を、第1接続点に設定する。直線L1は第1接続線に相当する。
本例では、第1接続線上の5つの交点の内、最も外側(Y方向への外側)の交点を、第1接続点P1、P3とし、自車両Aの走行側の走行車線(直線f1〜f3で描かれる2車線)と反対側の走行車線(直線f3〜f5で描かれる2車線)との境界線(直線f3で描かれる車線)と直線L1との交点を、第1接続点P2としている。すなわち、第1接続点(P1〜P3)は走行車線の道幅に相当する線分の両端の二点をそれぞれ示している。ここで、走行車線は、必ずしも1車線に限らず複数車線であってもよく、また一方向の車線に限らず、反対方向の車線も含めた複数車線でもよい。
第1接続点(P1〜P3)は、表示画面上の座標により表される。そして、第1接続点設定部112は、設定した第1接続点(P1〜P3)の情報を、接続画像生成部120に出力する。
遠方画像制御部130は、遠方画像生成部131、及び第2接続点設定部132を有している。遠方画像生成部131は、ナビゲーションシステム20のデータベース21に記憶されている地図データから、自車両の外部画像のうち、遠方画像203を生成する。自車両の位置に対して、遠方画像203で表示する道路線形までの距離は予め決まっている。そのため、遠方画像生成部131は、自車両の位置に対して遠方画像203として表示される画像内の地図データをデータベース21から抽出する。そして、遠方画像生成部131は、遠方画像地図データに含まれる道路線形のデータ及び目標物のデータから、遠方画像203を作成する。遠方画像には、道路線形及び目標物が配置される。これにより、遠方画像203が生成される。遠方画像生成部131は、遠方画像203を、第2接続点設定部132及び画像結合部140に出力する。
第2接続点設定部132は、遠方画像生成部131で生成された遠方画像203と接続画像202とを接続する第2接続線上の第2接続点を設定する。第2接続点は、接続画像202で描かれる曲線の基準点(終点)であり、言い換えると、接続画像202内で道路を示す中央線又は境界線の基準点(終点)である。第2接続点は、近傍画像203と接続画像202の接続線上の点である。
第2接続点設定部132による接続点の設定の制御について説明する。第2接続点設定部132は、遠方画像203の周囲に位置する4辺のうち接続画面202と接続する接続線(第2接続線L2に相当)を特定する。そして、第2接続点設定部132は、第2接続線L2の中点の位置に、第2接続点Q2を設定する。また、第2接続点設定部132は、第2接続線L2上で、第2接続点Q2に対して所定の間隔を空けた位置に、第2接続点Q1、Q3を設定する。所定の間隔は、遠方画面203上で、表示画面の中心線と平行な車線の道幅(X方向への道幅)に相当する。
すなわち、第2接続点(P1〜P3)は走行車線の道幅に相当する線分の両端の二点をそれぞれ示している。第2接続点Q1とQ2との間隔、及び、第2接続点Q2とQ3との間隔は、表示画面上の中心線に沿う車線の幅に応じて設定してもよく、車線の幅が広いほど、それぞれの間隔が広くなるように設定してもよい。ただし、第2接続点Q1とQ2との間隔、及び、第2接続点Q2とQ3との間隔は、第1接続点P1とP2との間隔、及び、第2接続点P2とP3との間隔より狭くなっている。第2接続点(Q1〜Q3)は、表示画面上の座標により表される。そして、第2接続点設定部132は、設定した第2接続点(Q1〜Q3)の情報を、接続画像生成部120に出力する。
接続画像生成部120は、第1接続点(P1〜P3)と第2接続点(Q1〜Q3)とを連続した曲線で接続した接続画像を生成する。
曲線gを表すための変換式は予め決まっており、変換式の変数を変えることで、曲線gの軌跡が変わる。また曲線gの始点及び終点の特徴として、近傍画像201の中央線又は境界線を示す直線L1〜L5と曲線g1〜g5との接続点、及び、遠方画像203のY方向に沿う中央線又は境界線を示す直線と曲線g1〜g5との接続点で、それぞれ屈曲点とならないように、曲線gの変換式あるいは軌跡を表す式が設定されている。
接続画像202で描かれる曲線gのうち、Y方向の長さは固定されているため、X方向の長さを圧縮することで、曲線gが描かれる。曲線gの始点及び終点に相当する第1接続点(P1〜P3)及び第2接続点(Q1〜Q3)の座標について、Y方向の成分は固定されており、X方向の成分が変化する。そのため、第1接続点(P1〜P3)のX成分の座標から、曲線gでつながれて、曲線gの終点が第2接続点(Q1〜Q3)のX成分の座標になるように、接続画像生成部120は、変数及び接続点の座標を曲線gの変換式に代入して、曲線gを算出する。接続画像生成部120で変数を設定することは、曲線gのX方向への圧縮率を設定することと等価関係にある。
図5の例では、第1接続点(P1、P2、P3)は、第2接続点(Q1、Q2、Q3)にそれぞれ対応しているため、接続画像生成部120は、第1接続点(P1)を始点として、曲線の終点が第2接続点(Q1)になるような変数を、変換式に代入して、曲線g1を算出する。また、接続画像生成部120は、第1接続点(P2、P3)と第2接続点(Q2、Q3)とを接続する曲線g2、g3についても、同様に算出する。さらに、曲線g1とg3との間の曲線g2(直線f2と接続する曲線)については、接続画像生成部120は、曲線g1とg3との中点の軌跡から曲線を算出する。曲線g1とg5との間の曲線g4(直線f4と接続する曲線)についても同様に、接続画像生成部120は、曲線g3とg5との中点の軌跡から曲線を算出する。これにより、曲線(g1、g3、g5)は、第1接続点(P1、P2、P3)と第2接続点(Q1、Q2、Q3)をそれぞれ接続しつつ、複数の曲線(g1、g3、g5)の間隔で、走行車線の道幅を表している。
そして、接続画像生成部120は、算出した曲線gが表示画面上で表示されるように、合成画像を生成する。また、接続画像生成部120は、遠方画像制御部130により生成された交差点の道路線形を表示する場合には、車両の車速に応じて、道路線形が連続的に、接続画像内で移動するように、道路線形の画像を生成する。さらに、接続画像生成部120は、カメラ1aの撮像画像又はレーダ2の検出値から、接続画像202の範囲内に他車両を検出する場合には、接続画像202内に、検出した他車両の画像を加える。これにより、接続画像202が生成される。接続画像生成部120は、生成した接続画像202を画像結合部140に出力する。
画像結合部140は、近傍画像201、接続画像202、及び遠方画像203の順で、図5のY方向に沿って配列しつつ、各画像を結合し、結合画像をモニタ6に出力する。モニタ6は、画像結合部140により結合された画像を表示することで、図4に示す画像を表示する。また、画像結合部140は、波動画像制御部150から波動画像を取得した場合には、波動画像も結合する。波動画像の情報には、表示画面上の座標により、画像の合成位置が示されている。そのため、画像結合部は、合成位置に基づいて、近傍画像201及び接続画像202に、波動画像を合成する。
次に、制御装置10による運転支援機能の制御について、図3及び図6を用いて、説明する。図6は、図4に示す表示画像に対して、運転支援機能の制御により生成された画像を合成した画面であって、モニタ6の表示画面を示す図である。
波動画像制御部150は、車両状態検出部151と、接近度算出部152と、波動関数算出部153と、波動画像生成部154とを有している。波動画像制御部150は、カメラ1a〜1dの撮像画像等を取得し、自車両の周囲で、他車両を検出すると、自車両に対する他車両のリスクを表示するために、波動画像の生成するための制御を開始する。
車両状態検出部151は、自車両の状態と、他車両の状態を検出する。車両状態検出部151は、車速センサの検出値、及び、ナビゲーションシステム20で管理されている自車両の位置情報から、自車両の状態を示す情報として、自車両の車速及び自車両の位置を検出する。
また、車両状態検出部151は、カメラ1a〜1dの撮像画像、レーダの検出値、及びナビゲーションシステム20の地図データから、他車両の状態として、他車両の車速及び位置を検出する。車両状態検出部151は、カメラ1a〜1dの撮像画像を取得すると、撮像画像から、画像認識により車両を特定する。また、車両状態検出部151は、撮像画像に写っている車両の大きさから、自車両と撮像画像に写っている他車両までの距離を測定することできる。そして、車両状態検出部151は、カメラ1a〜1dで周期的に撮像される画像から、他車両までの距離の変化を測定することで、他車両の車速を検出することでき、また、他車両の位置も検出することができる。
さらに、車両状態検出部151は、他車両の状態として、他車両の車格も検出している。車両状態検出部151には、例えば小型自動車、大型自動車、自動二輪車などに区分された車格のそれぞれの車両の画像が予め記録されている。そして、車両状態検出部151は、カメラ1a〜1dの撮像画像と、予め記憶されている画像とを、画像認識で比較することで、他車両の車格を検出している。なお、車格の検出は、撮像画像から、車両のナンバープレートの情報を取得することで、検出してもよい。
車両状態検出部151による他車両の検出範囲は、近傍画像201に含まれる範囲と、接続画像202に含まれる範囲である。なお、車両状態検出部151による他車両の検出範囲は、近傍画像の201に含まれる範囲、又は、接続画像202に含まれる範囲のいずれか一方であってもよい。そして、車両状態検出部151は、自車両及び他車両の状態の検出結果を、接近度算出部152に出力し、他車両の位置の状態を示す情報を波動関数算出部153に出力する。
接近度算出部152は、他車両の接近度を算出する。接近度は、他車両が自車両に向かってどのぐらい接近しているのかを示す値(接近度合いを示す値)であって、接近度が高いほど、他車両が自車両に近づいていることを示す。接近度は、他車両に対する自車両の相対距離から、他車両に対する自車両の相対速度を除算することで算出される。
まず、図6に示すように、隣接車線(自車両の走行車線と隣接した車線)を走行する他車両Xの接近度の算出制御について説明する。接近度算出部152は、自車両Aの位置及び他車両Xの位置から相対距離を算出し、自車両Aの速度と他車両Xの速度から相対速度を算出する。そして、接近度算出部152は、相対距離から相対速度を除算することで、他車両Xの接近度を算出する。例えば、図6の例では、自車両Aと他車両Xとの速度差が小さい場合には、他車両の位置が自車両の位置に近いほど、接近度が高くなる。また、例えば、他車両と自車両との相対距離を一定な距離として比較すると、他車両Xが自車両Aよりも速いほど、言い換えると、自車両に対する他車両の相対速度が大きいほど、接近度が高くなる。
接近度算出部152は、車両状態検出部151により他車両が複数、検出された場合には、各車両の接近度をそれぞれ算出する。例えば、図6の例では、自車両Aの周囲に、4台の他車両W〜Zが走行しているため、接近度算出部152は、4台の他車両の接近度を算出する。また、接近度算出部152は、所定の周期で、他車両の接近度を算出する。接近度算出部152は、算出した接近度の情報を、波動関数算出部153及び波動画像生成部154に出力する。
波動関数算出部153は、他車両の状態を示した波動画像を生成するために、波動関数を算出する。
ここで、波動画像について説明する。波動画像は、図6に示すように、表示画面上で、波源からの距離が遠くなるほど、球面状の波面が狭まって進むような球面波の画像である。波動画像は、他車両の状態を示している。具体的には、波面の大きさと、波面の間隔、波面の数、を変化させることで、他車両の状態が表される。
例えば、モニタ6の表示画面上において、波面が大きい波が、自車両Aの後方を走行する他車両の位置に表示された場合には、乗員は、モニタ6をみることで、大型車などの大きな車両が接近していることを認識でき、又は、後方の他車両との距離が短くなっていることを認識できる。また、波面の間隔が短い波が、自車両Aの後方を走行する他車両の位置に表示された場合には、乗員は、速度又は相対速度の大きい車両が接近していることを認識できる。
そして、波動画像で示される球面波の波面の大きさ、及び、波面の間隔は、波動関数における振幅及び角振動数で示すことができる。波動関数の一般式は、式(1)で等価的に示すことができる。
ただし、rは波源からの距離を示し、tは時間を示し、Aは振幅を示し、ωは角振動数を示す。
波動関数算出部153は、車両状態検出部151で検出された他車両の状態に基づいて、上記の波動関数に含まれる変数を設定する。変数は、式(1)で示した振幅、角振動数に相当する。波動関数算出部154は、他車両の車格が大きいほど、振幅(A)を大きくし、自車両に対する他車両の相対距離が小さいほど、振幅(A)を大きくする。また、波動関数算出部154は、自車両に対する他車両の相対速度が大きいほど、角振動数(ω)を大きくする。車格と振幅との関係、相対距離と振幅の関係、及び相対速度と振動数(ω)との関係は、テーブル等により予め設定されている。そして、波動関数算出部154は、自車両又は他車両の状態を示す情報から、他車両の車格、相対距離、及び他車両の距離を取得して、記憶されたテーブルを参照することで、波動関数の変数を算出する。波動関数算出部154は、算出した振幅(A)及び角振動数(ω)を、波動画像生成部154に出力する。
波動画像生成部154は、自車両に対する他車両の状態を波動で表示した波動画像を生成する。波動画像生成部154は、接近度算出部152により検出された接近度に基づいて、波動画像の生成の対象となる他車両を特定する。波動画像生成部154には、接近度に閾値が予め設定されている。当該閾値は、波動画像を生成することで、乗員に対してリスクを知らせる対象車両を特定するための値である。自車両の周囲に多くの車両が検出され、例えば、自車両の後方の他車両が自車両から遠ざかっているときなど、接近度の低い他車両が検出された場合に、接近度の低い車両を含めて、全ての他車両に対して、モニタ6上で、波動を表示すると、表示される波動の数が不必要に多くなり、乗員が、接近の高い車両を見落とす可能が高くなる。そのため、本例では閾値を設定している。
波動画像生成部154は、接近度算出部152で算出された接近度と閾値を比較し、接近度が閾値以上である場合には、当該接近度をもつ他車両を、波動の表示する対象車両として特定する。一方、接近度が閾値未満である場合には、波動画像生成部154は、当該車両を波動の表示する対象車両として特定しない。波動画像生成部154は、車両状態検出部151で検出された全ての他車両について、接近度と閾値との比較を行い、対象車両を特定する。
波動画像生成部154は、対象車両の他車両と対応する波動関数の振幅及び角振動数を、波動関数算出部153の出力から特定する。そして、波動画像生成部154は、特定した振幅に応じて波動画像の波の波面の大きさを設定し、また、特定した角振動数に応じて波面の間隔を設定する。表示画面上において、1台の他車両に対して、波動画像で表示される波面の数は、角振動数に応じて予めきまっており、角振動数が大きいほど、波面の数も大きくなる。そのため、振幅が大きいほど、又は、角振動数が大きいほど、モニタ6の画面上で、波動画像の表示範囲は広くなる。
波動画像生成部154は、対象車両の他車両に対して、表示する波動画像を生成すると、近傍画像201、前方画像202で表示される他車両の位置と対応するように、波動画像の波源の位置を設定する。波源の位置は、モニタ6の表示画面上の座標で表される。
また、波動画像生成部154は、他車両の位置と、他車両の接近度に基づき、波動の伝搬方向を設定する。波動の伝搬方向は、自車両からみたときに、接近している他車両の方向を示している。伝搬方向は、車両の進行方向と平行な方向で、かつ、自車両に向けた方向になるよう設定される。すなわち、自車両の前方を走行する他車両に対して波動画像を設ける場合には、波動の伝搬方向は、当該他車両に対して後方を向くことになる。また、車両の後方を走行する他車両に対して波動画像を設ける場合には、波動の伝搬方向は、当該他車両に対して前方を向くことになる。
波動画像生成部154は、波動画像の位置及び波動の伝搬方向の情報を含めた上で、波動画像の情報を画像結合部140に出力する。
画像結合部140は、近傍画像201等を含む表示画像上で、波動画像の位置に、波動画像を加えることで、波動画像を近傍画像201及び接続画像202に合成する。そして、波動画像を含む表示画像を含む制御信号が、画像結合部140からモニタ6に出力されることで、図6に示ように、波動画像、近傍画像201、接続画像202、及び遠方画像203がモニタ6に表示される。
図6を用いて、他車両に表示される波動画像について、説明する。4台の他車両の前提条件として、以下の通りに仮定する。他車両Xの車格は、トラックなどの大型自動車であり、他車両W、Y、Zの車格は、普通自動車である。他車両X、Yの車速は、自車両Aの車速より大きく、他車両Xの車速は、他車両Yの車速より大きい。また、他車両Wの車速は、自車両Aの車速より小さく、他車両Zの車速は自車両Aよりも早い。自車両Aから他車両X、Y、Zまでの距離は、ほぼ等距離である。一方、自車両Aから他車両Wまでの距離は、自車両Aから他車両X、Y、Zまでの距離よりも長い。さらに、自車両Aに対する他車両Wの相対速度は、自車両Aに対する他車両Yの相対速度よりも大きい。
他車両X、Yの接近度について、他車両X、Yの位置は、自車両Aから近く、他車両X、Yの車速は自車両Aの車速よりも大きいため、他車両X、Yの接近度は、波動の表示対象を定めた上記の閾値も高くなる。
他車両Wの接近度について、他車両Wの位置は、他車両から遠いが、他車両Wの車速は、自車両Aの車速より小さい。そのため自車両の車速に対する他車両の車速の相対速度は、大きくなるため、他車両Wの接近度は、上記の閾値よりも高くなる。一方、他車両Zの接近度について、他車両Zの位置は、自車両Aから近いが、他車両Zの車速は自車両Aの車速よりも大きい。そのため、他車両Zの接近度は、上記の閾値よりも低くなる。
上記の条件において、波動関数生成部154は、他車両W、X、Yを、波動画像の表示車両の対象車両として特定し、他車両Zを当該対象車両から除外する。波動関数算出部153は、他車両W、X、Yの車格、相対距離、及び車速に基づいて、各車両の波動関数の振幅及び角振動数を算出する。自車両Aに対する他車両X、Yの相対距離は、ほぼ等距離であるが、他車両Xの車格は他車両Yの車格よりも大きく、他車両Xの車速は他車両Yの車速よりも大きい。そのため、波動関数算出部153は、他車両Xの波動関数の振幅及び角振動数を、他車両Yの波動関数の振幅及び角振動数よりも大きくする。
自車両Aから他車両Wまでの距離は、自車両Aから他車両Yまでの距離よりも長いため、波動関数生成部154は、他車両Wの波動関数の振幅を、他車両Yの波動関数の振幅よりも小さくする。一方、自車両Aに対する他車両Wの相対速度は、自車両Aに対する他車両Yの相対速度よりも大きいため、波動関数生成部154は、他車両Wの波動関数の角振動数を、他車両Yの波動関数の角振動数よりも大きくする。
そして、上記のように算出された波動関数の振幅及び角振動数に基づいて、表示対象の他車両W、X、Yに対して、波動画像を表示すると、図6のような表示画面となる。すなわち、他車両Xは、車格及び相対速度が大きく、前方の他車両Wに比べて、自車両Aまでの距離が短いため、波面の大きさは最も大きく、波面の数は、他車両Yよりも多くなる。他車両Wは、他車両Yと比較して、車格は同一であるが、距離が長いため、波面の大きさは小さく、相対速度が大きいため、波面数は多くなる。
一方、他車両Zは、自車両Aから相対的に遠くなっているため、波動画像は表示されない。
さらに、図6の表示状態(すなわち上記の前提条件の状態)から、例えば、他車両Zの車速が減速し、自車両Aの車速よりも小さくなったとする。この場合には、他車両Wの接近度が高くなり、閾値を超えることで、他車両Zに波動が表示される。また、他の例として、自車両Aの車速が増加した場合には、自車両Aに対する他車両W、Zの相対距離は小さくなり、自車両Aから他車両X、Yまでの相対距離が長くなる。このとき、他車両X、Yの接近度が閾値より高い状態であれば、他車両X、Yには波動が表示されるが、表示される波動の波面の大きさは、図6よりも小さくなり、また、波面の数も、図6の数より少なくなる。
これにより、本例は、自車両の状態又は他車両の状態に応じて、波の動きを変化させることで、自車両の動き又は他車両の動きによって新たに発生する他車両のリスクを、モニタ6上に表示している。
次に、図7を用いて、制御装置10の制御のうち、運転を支援する際の制御について説明する。図7は、制御装置10の車線変更の支援制御の制御フローを示すフローチャートである。
ステップS1にて、車両状態検出部151は、車速センサ3の検出値及びナビゲーションシステム20で管理されている自車両の位置情報を取得することで、自車両の状態を検出する。ステップS2にて、車両状態検出部151は、カメラ1a〜1dの撮像画像等に基づいて自車両の周囲を走行する他車両の状態を検出する。
ステップS3にて、接近度算出部152は、車両状態検出部151で検出された自車両の状態を示す位置と車速、他車両の状態を示す位置と車速から、他車両の接近度を算出する。ステップS4にて、波動関数算出部153は、車両状態検出部151で検出された自車両の状態を示す情報、他車両の状態を示す情報に基づき、波動関数を算出する。
ステップS5にて、波動画像生成部154は、接近度算出部152で算出された接近度と閾値とを比較することで、波動画像の表示対象となる車両を特定し、波動関数算出部153で算出された波動関数に基づき、対象車両に対して表示される波動画像を生成する。ステップS6にて、近傍画像制御部110、接続画像生成部120、及び遠方画像制御部130は、近傍画像201、接続画像202、及び遠方画像203を生成する。
ステップS7にて、画像結合部140は、波動画像、近傍画像201、接続画像202、及び遠方画像203を合成する。ステップS8にて、画像結合部140は、合成した画像をモニタ6に出力することで、モニタ6に、波動画像を含む表示画像が表示される。
上記のように、本例は、車両状態検出部151により検出された情報に基づき、自車両に対する他車両の状態を波動で表示した波動画像を生成し、自車両の外部を示す外部画像として、近傍画像201及び接続画像220を生成し、波動画像と外部画像を合成し、合成された画像をモニタ6に表示する。これにより、自車両に対する他車両の状態の変化を波の動きでモニタに表示しているため、モニタをみた乗員は、波動の変化から、他車両を要因として新たに発生するリスクを把握することができる
また、本例は、波動画像に含まれる波動を示す関数として、波動関数を算出し、自車両の状態に対する他車両の状態に応じて、波動関数に含まれる変数を設定する。これにより、自車両又は他車両の状態の変化に応じて、波動の表示形態を変化させることができるため、モニタをみた乗員は、波動の変化から、リスクの変化を把握することができる。
また、本例は、他車両の車格を検出し、車格が大きいほど、波動関数の振幅を大きくする。これにより、車格の大きい車両が接近したときに、乗員に対して、より注意喚起を促すことができる。
また、本例は、自車両の位置に対する他車両の位置の相対距離が、自車両と他車両との接近方向に小さくなるほど、波動関数の振幅を大きくする。これにより、車両が接近したときに、乗員に対して、より注意喚起を促すことができる。
また、本例は、自車両の車速に対する他車両の車速の相対速度が、自車両と他車両との接近方向に大きくなるほど、波動関数の角振動数を大きくする。これにより、相対速度の大きい車両が接近したときに、乗員に対して、より注意喚起を促すことができる。
また、本例は、モニタ6の表示画面に表す波動を、球面波で表している。これにより、球面波の波面の大きさ又は波面数から、リスクの大きさを、容易に把握することができる。
また、本例は、波動画像の波源の位置を、近傍画像201及び接続画像202に含まれる他車両に位置に対応させている。これにより、乗員は、モニタ6の表示画面上で、リスクの要因となっている他車両の位置を、容易に把握することができる。
また、本例は、近傍画像201及び接続画像202に含まれる複数の車両のうち、波動画像の表示対象となる他車両を、接近度に基づいて特定している。これにより、自車両から遠ざかっている他車両や、自車両に対して遠くの位置で走行している他車両には、波動画像が表示されないため、乗員は、モニタ6の表示画面上で、リスクの要因となっている他車両の位置を、容易に把握することができる。
また、本例は、波動の伝搬方向を、他車両の走行車線に沿った方向にして、モニタ6に表示させている。これにより、自車両に対する他車両の進行方向が、波動の伝搬方向と合うため、乗員は、モニタ上で、波の動きの変化を容易に把握することができる。
また、本例は、波動の伝搬方向を、自車両からみたときに、接近している他車両の方向と合うように、モニタ6に表示させている。これにより、自車両の前方又は後方に位置する他車両が、自車両に接近しているのか否かを、乗員は容易に把握することができる。
また本例は、近傍画像201と接続画像202とを接続する第1接続線上の第1接続点と、遠方画像203と接続画像202とを接続する第2接続線上の第2接続点とを連続した曲線で接続した接続画像を生成し、近傍画像201、接続画像202、及び遠方画像203を連続的に接続してモニタ6に表示する。これにより、自車両Aの近傍部分と、自車両Aの遠方部分を同時に、モニタ6に表示しつつ、これらの部分を表す近傍画像201及び遠方画像203を、接続画像202で滑らかにつないで、モニタ6に表示することができる。その結果として、例えば、自車両が左右方向に大きく動くような場合や、自車両の速度が大きい場合であっても、遠方画像203及び近傍画像201を含んだ画像を、1枚の連続した表示画像で表示することができる。
また本例は、近傍画像201で表示される他車両に対して、波動画像を加えることで、自車両の周囲を走行する他車両のリスクを、モニタ6上で表示させることができる。さらに、本例は、接続画像202で表示される他車両に対して、波動画像を加えることで、自車両の周囲よりも前方に位置する他車両のリスクを、モニタ6上で表示させることができる。ゆえに、乗員は、例えば、遠くに位置する車両が自車両に接近していることを、モニタ6上で容易に把握することができる。
なお、本発明の変形として、他車両の車速が大きくなるほど、波動関数の角振動数を大きくする。これにより、速度の大きい車両が接近したときに、乗員に対して、より注意喚起を促すことができる。
また、本発明の変形例として、他車両の加速度が大きくなるほど、波動関数の角振動数を大きくする。これにより、加速度の大きい車両が接近したときに、乗員に対して、より注意喚起を促すことができる。
なお、本例では、接近度算出部152で算出された接近度と、閾値との大小を比較することで、波動画像の表示対象となる他車両を特定したが、例えば、接近度の変位量に基づいて、表示対象の他車両を特定してもよい。あるいは、接近度が増加している他車両を、表示対象の他車両として特定しつつ、接近度が減少している他車両を、表示対象の他車両から除外してもよい。
なお、本例では、他車両が複数、検出された場合に、各車両の接近度を検出したが、例えば、他車両の検出範囲が広いときには、自車両から近い範囲で走行する車両を、検出対象としてもよい。
なお、本例では、接近度を、他車両に対する自車両の相対距離から、他車両に対する自車両の相対速度を除算することで算出したが、他車両に対する自車両の相対距離から自車両の車速を除算した値を、接近度としてもよい。または、他車両に対する自車両の相対距離から他車両に対する自車両の相対速度を除算した値に、他車両に対する自車両の相対距離から自車両の車速を除算した値を加算した加算値を、接近度としてもよく、加算される値に重みを付けてもよい。
なお、本例において、近傍画像生成部111は、カメラ1a〜1dのうち少なくとも一つのカメラの撮像画像から、近傍画像201を生成してもよい。
上記の車両状態検出部151が本発明の「自車両状態検出部」及び「他車両状態検出部」に相当し、波動画像生成部154が本発明の「波動画像生成手段」に相当し、近傍画像制御部110及び接続画像生成部112が本発明の「外部画像生成手段」に相当し、画像結合部140が「画像結合手段」に相当し、波動関数算出部153が本発明の「波動関数生成手段」に相当し、接近度算出部152が本発明の「接近度算出手段」に相当する。
《第2実施形態》
図8は、発明の他の実施形態に係る運転支援装置100のブロック図を示す。また図9は、モニタ6の表示画面を示す。本例では上述した第1実施形態に対して、近傍画像201及び遠方画像203に、案内表示をそれぞれ加えている点が異なる。また、波動画像制御部に走行進路予測部155を設けている点が異なる。これ以外の構成は上述した第1実施形態と同じであり、第1実施形態の記載を適宜、援用する。
ナビゲーションシステム20は、ユーザの入力に基づき、目的地を取得すると、自車両の目的地までの走行経路を演算する。そして、ナビゲーションシステム20は、演算した走行経路を、近傍画像生成部111、接続画像生成部120、遠方画像生成部131、及び波動画像制御部150に出力する。
遠方画像生成部131は、遠方画像203を生成する際に、走行経路で示される走行方向を、遠方画像203に加える。例えば、図10に示すように、目的地への走行経路が、遠方画像203の交差点で左折することを示している場合には、当該交差点での左折を示す案内表示203aを、遠方画像203に含まれる。
近傍画像生成部201は、走行経路で示される交差点の走行方向に対応した車線を、走行を推奨する車線として、案内表示205を近傍画像201に表示する。走行経路は、遠方画像203の交差点で左折を示している。近傍画像201の走行車線は2車線であるため、遠方画像203の交差点で左折するために、自車両Aは、2車線のうち左側車線を走行した方がよい。一方、図9に示す状態では、自車両Aは2車線のうち右側車線を走行している。すなわち、走行経路で示される交差点の走行方向(左折方向)に適した車線(近傍画像201で表示される車線のうち最も左側の車線)と、自車両の走行車線が異なっている。そのため、近傍画像生成部201は、案内表示201aの表示により、複数の車線のうち走行を推奨する車線を、近傍画像205で表す。
走行進路予測部155は、車両状態検出部151の検出結果に基づき、自車両の走行進路と、他車両の走行進路を予測し、予測結果を波動画像生成部154に出力する。
自車両の走行進路の予測について、走行進路予測部155は、車両状態検出部151で検出される自車両の位置と車速の情報を取得し、ナビゲーションシステムで管理されている地図データから、自車両の走行車線の情報を取得する。そして、走行進路予測部155は、自車両の位置が走行車線の境界線に近づき、かつ、車速が減速していない場合には、自車両が、当該境界線に近づく方向への隣接車線に向けて車線変更をするような走行進路をとる、と予測することができる。
他車両の走行進路の予測について、走行進路予測部155は、車両状態検出部151で検出される他車両の位置と車速の情報を取得する。そして、走行進路予測部155は、他車両の位置と車速から、例えば一定速度で、かつ、車線の幅方向への移動が検出されない場合には、他車両は直線の走行進路をとる、と予測することができる。
波動画像生成部154は、走行進路予測部155で予測された自車両の走行進路と他車両の走行進路とを比較して、自車両の走行進路と干渉する他車両の走行進路を特定する。走行進路が干渉するとは、予測された自車両の走行進路及び他車両の走行進路が、部分的に重なることを示す。例えば、図9の例では、自車両Aの予想走行進路は、二車線の道路のうち、右側の車線から左側の車線へ車線変更するような、進路をとっている。他車両W〜Zの予想走行進路は、直線の走行進路である。このとき、自車両Aの車線変更先の車線には、他車両Wと他車両Xが走行している。そのため、自車両Aの予想走行進路は、他車両X、Wの走行進路と干渉する。
波動画像生成部154は、自車両の走行進路と干渉する走行進路の他車両を、波動画像の表示対象の車両として特定する。そして、波動画像生成部154は、特定した他車両に対して波動画像を生成する。一方、波動画像生成部154は、特定していない他車両、すなわち、自車両の走行進路と干渉しない走行進路の他車両に対しては、波動画像を生成しない。図9の例では、他車両X、Wに対して、波動画像が生成され、他車両Y、Zに対しては、波動画像が生成されない。
次に、図10を用いて、制御装置10の制御のうち、運転を支援する際の制御について説明する。図10は、制御装置10の車線変更の支援制御の制御フローを示すフローチャートである。なお、図10に示すステップS11〜S14、及び、ステップS20〜S22の制御処理は、図7に示すステップS1〜S4、及び、ステップS6〜S8の制御処理と同様であるため、説明を省略する。
ステップS14の制御の後、走行進路予測部155は、車両状態検出部151の検出結果に基づき、自車両の走行進路を予測する(ステップS15)。ステップS16にて、走行進路予測部155は、車両状態検出部151の検出結果に基づき、他車両の走行進路を予測する
ステップS17にて、波動画像生成部154は、自車両の予測走行進路と、他車両の予測走行進路とを比較し、他車両の予測走行進路が自車両の予想走行進路と干渉するか否かを判定する。このとき、複数の車両が検出された場合には、複数の車両の走行進路について、それぞれ判定する。そして、全ての他車両の予測走行進路が自車両の予測走行進路と干渉しない場合には、波動画像を生成することなく、ステップS20に進む。
一方、いずれか一つの他車両の予測走行進路が自車両の予測走行進路と干渉する場合には、ステップS18にて、波動画像生成部154は、走行進路が干渉する他車両を特定する。ステップS19にて、波動画像生成部154は、特定した他車両に対して波動画像を生成し、ステップS20に進む。
上記のように、本例は、自車両の予想走行進路と干渉する走行進路の他車両に対して、波動画像を生成し、自車両の予想走行進路と干渉しない走行進路の他車両に対して、波動画像を生成しない。これにより、自車両の予想走行進路と関係のある他車両に限って、波動画像を表示させることができる。その結果として、乗員は、モニタ6の表示画面上で、リスクの要因となっている他車両の位置を、容易に把握することができる。
なお、本発明の変形例として、波動画像生成部154は、自車両の予想走行進路で示される先の車線を走行する他車両に対して、波動画像を生成し、当該先の車線を走行しない他車両に対して、波動画像を生成しない、ように制御してもよい。例えば、図9の例では、自車両Aの予想走行進路で示される車線変更の先の車線の他車両W、Xに対して、波動画像が生成される。車両の予想走行進路と関係のある他車両に限って、波動画像を表示させることができる。その結果として、乗員は、モニタ6の表示画面上で、リスクの要因となっている他車両の位置を、容易に把握することができる。
上記の走行進路予測部155が本発明の「走行進路予測手段」に相当する。