JPWO2019193715A1 - 運転支援装置 - Google Patents

Abstract

ドライバーによる車線変更を容易とするために、ドライバーが視認する表示部（３）に、自車両と周辺車両とをシンボル化し、それらの相互配置をリアルタイムに表示する運転支援装置（１００）を得る。運転支援装置（１００）は、車両の周囲に位置する周辺車両を検知する車両検知部（１）、車両検知部（１）にて得た車両情報から、車両および周辺車両の位置を表す画像を生成する画像生成部（２）を含み、画像生成部（２）は、車両および周辺車両の各々を示すシンボルを用い、車両と周辺車両との相互配置を表した車両情報を含む運転支援用の画像（３０）を生成する。画像生成部（２）は、運転支援用の画像（３０）の元データを生成する画像重畳部（２０）と、元データから必要部分を切り取る画像制御部（２１）を含む。

Description

本願は、車両を運転するドライバーに対し、安全に車線変更を行うための情報を提供する運転支援装置に関するものである。

従来の技術として、自車両を隣接車線へ車線変更させる際、自車両の周囲の状況をレーダなどで検知し、車線変更が可能であるか、車線変更可能な残時間はいつまでであるのかを示すとともに、自車両と周辺車両との配置を３行３列の行列矩形画像上に示す車両用情報提供装置が開示されている（例えば、特許文献１参照）。

特開２０１５-１１４５８号公報

従来の車両用情報提供装置は、その装置による判断が妥当であるのか、また提示された時間内に車線変更が完了できるのか等をドライバーが直感的に見極めなくてはならず、スムーズに車線変更することが困難な場合があった。

また、自車両と周辺車両との配置を示す行列矩形画像の表示では、自車両を３行３列の中心に位置する矩形に割り当てた場合に、周辺車両が残りの矩形のどこに割り当てられるか、つまり、自車両に対する左右方向と前後方向の別を表示するだけであった。そのため、ドライバーが行列矩形画像を参照したとしても、実際の自車両と周辺車両の相対位置を正確に視認することができないという問題があった。

本願は、上記のような課題を解決するための技術を開示するものであり、自車両と周辺車両との正確な相互配置を、ドライバーがリアルタイムに視認可能となる運転支援用の画像を示す運転支援装置を提供することを目的とする。

本願に開示される運転支援装置は、車両に搭載され、上記車両の周囲に位置する周辺車両を検知する車両検知部、上記車両検知部において得られた情報から、上記車両および上記周辺車両の配置を表す画像を生成する画像生成部、上記車両を運転するドライバーにより視認可能な場所に設けられ、上記画像を表示する表示部を備え、上記画像生成部は、上記車両および上記周辺車両の各々を示すシンボルを用い、上記車両と上記周辺車両との相互配置を表した車両情報を含む上記画像を生成するようにしたものである。

本願に開示される運転支援装置によれば、表示部に表示される運転支援用の画像に、自車両および周辺車両の正確な相互配置が、シンボルを用いてリアルタイムに示される。そのため、ドライバーは自車両と周辺車両との相対的な位置関係を、シンボルの配置を確認することによって正確に把握でき、安全に車線変更等の運転を行うことが可能となる。

実施の形態１に係る運転支援装置の構成図である。 運転支援装置の表示部に示される運転支援用の画像の例を示す図である。 ルームミラーディスプレイの正面図である。 サイドミラーディスプレイの斜視図である。 運転支援装置の動作を示すフロー図である。 車両検知部の動作を示すフロー図である。 画像生成部の構成要素である画像重畳部の動作を示すフロー図である。 画像生成部の構成要素である画像制御部の動作を示すフロー図である。 車線変更意思検知部の動作を示すフロー図である。 運転支援装置のハードウェア構成を示す図である。

実施の形態１．
図１は、実施の形態１による運転支援装置１００を示す構成図であり、ドライバーが運転する車両（自車両）に搭載された運転支援装置１００と、車両に既存の装置および道路等に設置されたカメラ等とのデータ授受の関係性を示す図である。
運転支援装置１００は、ドライバーが車線変更を行う際に、ドライバーに有用となる自車両と周辺車両との相互配置の情報を画像上に示して情報提供するための装置である。

この運転支援装置１００には、図１に示すように、自車両の周囲に位置する周辺車両を検知する車両検知部１、車両検知部１で検知した車両情報を取り込み、自車両と周辺車両との相対位置関係を俯瞰的に示す運転支援用の画像を生成する画像生成部２、画像生成部２で生成された画像を表示する表示部３、ドライバーが車線変更の意思を有しているのか否かを判断するための車線変更意思検知部４を備えている。この表示部３は、車両に既存のディスプレイを利用する以外に、専用の表示画面をドライバーが視認可能な場所に取り付けて用いることも可能である。

車両検知部１は、レーダ装置１１および車両認識装置１３から周辺車両の情報（車両情報）を得、重複するデータを除外して誤認の無い車両情報とする。このレーダ装置１１は、車両に搭載された既存の装置であり、例えば、発射した電波の反射波より、自車両からの対象物（周辺車両）までの距離と対象物への方向の情報を得る装置である。車両認識装置１３は、車両に搭載された周囲カメラ装置１２によって得られた自車両周辺の周辺画像から、周辺車両を検知する装置である。
ここで、周囲カメラ装置１２で得る周辺画像とは、例えば、カメラ画像を変形して上から俯瞰して見たような、サラウンドビューと呼ばれる俯瞰画像である。
また、車両認識装置１３は、車両に搭載された既存のものを利用することができるが、既存の装置として車両に搭載されていない場合は、本願の運転支援装置１００の構成要素の一部として設けることも可能である。

画像生成部２は、例えば、車両情報、周辺画像情報、車線情報などをもとに、各々の画像を重ね合わせる処理をし、表示部３に出力する運転支援用の画像の元データを生成する画像重畳部２０と、この画像重畳部２０で生成された元データから必要な部分のみを切り取って表示部３に出力する画像制御部２１を主な構成要素として備えている。

画像重畳部２０は、車両検知部１から車両情報を、周辺画像生成装置２２から周辺画像情報を、車線境界認識装置２５から車線情報を受け取り、それらすべての情報を重ね合わせて元データを生成する。周辺画像生成装置２２は、周囲カメラ装置１２の撮影データ以外に、路車間通信装置２３を介して路上監視カメラ２４から撮影データを受け取って、自車両の周囲の周辺画像（道路の両脇に見える背景画像）を生成する。例えば、この周辺画像は俯瞰図を用いて表すことができる。

ここで、俯瞰図とは、道路を上側から見下ろした図を言う。そして、この俯瞰図は、注目すべき部分を強調するようなデフォルメした図に変形することもできる。そして、道路の部分は真下に見下ろしたように平面図的に表現し、道路の周囲の景色（周辺画像）は斜め下に見下ろした、ノーマルビューよりも広範囲を示すような表現（サラウンドビュー）とするなど、適宜、異なる表示方法を組み合わせて運転支援用の画像を生成してもよい。

車線境界認識装置２５には、車両の前方に搭載された前方カメラ装置２６の撮影データが取り込まれ、車両が走行する車線の両端に位置する車線境界を示す車線情報が生成され、この車線情報が画像重畳部２０に送信される。

画像制御部２１は、画像重畳部２０で生成された元データから必要な部分のみを切り取る加工部（トリミング部）であり、車線変更意思検知部４にてドライバーが左（または右）へ車線変更する意思があると判断した情報を受けて、元データから自車両を含む左側（または右側）を中心とした領域の画像を切り取り、表示部３にその画像データを送信する。

ここで、ドライバーの車線変更意思の有無と車線変更の方向を検知する車線変更意思検知部４では、ウインカースイッチ４１からの出力信号（車線変更情報）に基づき、ドライバーが左（または右）にウインカーを出し、該当方向の方向指示器が点滅した場合に、ドライバーが左側（または右側）の隣接車線に車線変更しようとする意思があると判定する。

なお、画像制御部２１は、ドライバーが車線変更しようとする方向の画像を切り取るトリミング加工以外に、ドライバーが車線変更しようとする方向に位置する周辺車両を、より目立つ（強調する）デザインに変更するなど、ドライバーによる視認を助ける様々な加工を行うことが可能である。

また、ウインカースイッチ４１からの車線変更情報以外に、車内カメラ装置４２にてドライバーを撮影し、得られたドライバーの映像をドライバー視線認識装置４３にて解析して車線変更情報を得ることもできる。
このとき、ドライバー視線認識装置４３にてドライバーの視線を認識し、ドライバーの視線が左または右のサイドミラーを注視する場合は、左または右への車線変更意思があると判断する。このようにドライバーの視線に基づいて車線変更情報を得ることができる。

画像生成部２においては、車両の相互配置を示す車両情報、車両の周辺画像を示す周辺画像情報、車線境界線の位置を示す車線情報等の全ての情報を含む運転支援用の画像の元データが生成され、その元データからドライバーが必要とする部分を抽出することで、表示領域が最適化された運転支援用の画像が生成される。
よって、ドライバーは車線変更の行動に移る前に、表示部３に表示された運転支援用の画像を視認すれば、自車両の周囲のどの位置に要注意車両が存在するか等の状況を容易に把握することが可能である。

また、この運転支援装置１００は、衝突可能性のある要注意車両の発生にともなって、車両に搭載された警報装置３４に、画像生成部２から信号を送信し、音声表示または各種のディスプレイへの警報表示を行うように構成されている。

なお、警報装置３４は、警報を発する以外に、運転サポートの音声案内装置として用いることができ、要注意車両が存在せず、車線変更を安全に行えるタイミングであることを画像生成部２において検知した場合に、「車線変更できます」などのメッセージを発することも可能である。

表示部３は、車両を運転するドライバーにより視認可能な場所に設けられ、例えば、ドライバーが車線変更時に視認するルームミラー３１０またはサイドミラー３２０の鏡面部に、ルームミラーディスプレイ３１またはサイドミラーディスプレイ３２を配設して、表示部３とすることができる。

ここで、車両に既存の画像表示機能を持つルームミラー３１０またはサイドミラー３２０を用い、その表示画面の一部を運転支援装置１００の表示部３、すなわち、ルームミラーディスプレイ３１またはサイドミラーディスプレイ３２として用いる以外に、既存の画像表示機能を持たないルームミラー３１０またはサイドミラー３２０に、後付けで、ルームミラーディスプレイ３１またはサイドミラーディスプレイ３２となる薄型の表示画面を貼り付けて用いることも可能である。

なお、後付けの表示画面は、背景が透明の（透過性が高い）ものを用いることで、運転支援用の画像を非表示とするタイミングにおいて、運転支援用の画像が鏡面の一部を占めることがなく、鏡面全面を有効に使って後方確認を行うことが可能となることは言うまでもない。

また、ルームミラー３１０またはサイドミラー３２０以外に、ドライバーから視認可能となる別の場所（リム、オーディオ等）に表示部３を設けることも可能であり、フロントガラスの内面に表示画面を貼り付けること、あるいは、フロントガラスに向かって運転支援用の画像を投影させることによって表示させることも可能である。
この表示部３の形態については、画像生成部２にて得られた運転支援用の画像を表示することができれば、上記の表示方法に限らず、他の表示方法とすることも可能であることは言うまでもない。

図２は、画像生成部２で生成された運転支援用の画像３０の例を示すものであり、この図２の例では、進行方向（紙面上方向）を同じとする複数の車線を上から下に向かって俯瞰した、自車両１０を中心とする領域に、複数の周辺車両１４、１５、１６が走行している状態を示している。ドライバーが運転する自車両１０および周辺車両１４、１５、１６はシンボル化して表示され、それらシンボルが車両の相互配置に合わせて配置された状態が、運転支援用の画像３０上に示されている。そして、走行車線の両サイドには、隣接車線との境界線となる車線境界線２５ａ、２５ｂが表示されている。

この図２の例では、周辺車両１４は、自車両１０と同じ車線の前方を走行しており、この車両を示すシンボルにウインカー表示部１４ａが重畳され、左へ車線変更する意思があることを示している。周辺車両１５は、自車両１０と同じ車線の後方を走行しており、そのシンボルに重畳されたウインカー表示部１５ａが、右へ車線変更する意思があることを示している。周辺車両１６は、自車両１０が走行する車線の右側に隣接する隣接車線を走行しており、後方から自車両１０に近づきつつある状態を示している。

そして、自車両１０を運転するドライバーは、右側車線に車線変更する意思を持っており、周辺車両１４、１５、１６のうち、自車両１０の右側の車線を走行し、自車両１０に所定のスピード（例えば、３秒以内に自車両１０に追いつき並ぶようなスピード）以上で接近する周辺車両１６が要注意車両（衝突可能性がある車両）とみなされ、その周辺車両１６を示すシンボルは、色または形状、もしくは色と形状の両方が強調されて表示されている。

例えば、要注意車両となる周辺車両１６は、シンボルをべた塗（またはコントラストを変更して明るく表示）として強調し、他の周辺車両１４、１５はシンボルを白抜きとし、自車両１０はシンボルの輪郭を太くするなどして強調させることができる。その他、色分けによっても、表示されたシンボルの識別をサポートすることができる。
なお、周辺車両のうち、要注意車両のみを運転支援用の画像３０上にシンボルとして表示し、他を表示しない方法で、他の周辺車両よりも強調させて表示することもできる。

ここでは、自車両の周囲に位置する周辺車両のうち、自車両に対して近づく車両であって、３秒以内に自車両に並ぶと予測されることを条件を設定し、その条件に当てはまる車両を衝突可能性が有る要注意車両、その条件に当てはまらない車両を衝突可能性が無い車両と判別している。

なお、自車両に近づく周辺車両とは、自車両が走行する車線の隣接車線を、進行方向を同じとして走行する車両のうち、自車両の後方を自車両よりも速いスピードで走行していて自車両に追い付く状況にある周辺車両と、自車両の前方を自車両よりも遅いスピードで走行していて自車両に追い付かれる状況にある周辺車両が該当する。

さらに、図２の例では、要注意車両となる周辺車両１６が、自車両１０に対して後方から接近しており、危険な状況であることを示すために、自車両１０に対する周辺車両１６の相対移動方向（移動方向情報）を、矢印（移動方向表示部１６ａ）で指し示している。要注意車両の場合は、矢印の向きは、自車両に並ぶ位置に向く状態となる。
また、表示する矢印（移動方向表示部１６ａ）の大きさにより、自車両と周辺車両との相対速度の大小を表現することも可能である。

そして、要注意車両となる周辺車両１６が存在することをドライバーに啓示するために、運転支援用の画像３０の車両相互配置を示す領域の外側（例えば下部）に、警告表示部３５（「ＣＡＵＴＩＯＮ！」等の表示）が設けられている。

図２に示す運転支援用の画像３０は、例えば、図３に示すように、ルームミラー３１０の鏡面部となるルームミラーディスプレイ３１の一部に表示することができる。ルームミラー３１０は、単なる鏡として後方視認用に用いられる以外に、その鏡面部をディスプレイとして用いるために、あらかじめ表示装置が作りこまれた構成のものを適用することができる。なお、ルームミラー３１０に対し、後付けで、薄型の表示装置を貼り合せ、配線する方法で表示部３を構成することも可能であり、後述するサイドミラー３２０に設けるサイドミラーディスプレイ３２についても同様の構成とすることができる。

そして、図３に示すように、右ハンドル（または左ハンドル）の車であれば、ルームミラー３１０の鏡面部の右側（または左側）を表示部３のルームミラーディスプレイ３１として用いることで、ドライバーから表示部３までの距離が遠くならず、表示部３の視認が容易となる。

また、図４に示すように、サイドミラー３２０の鏡面部の一部にサイドミラーディスプレイ３２を配設し、図２のような運転支援用の画像３０を表示させることが可能であり、右側（または左側）へ車線変更しようとする場合には、右側（または左側）のサイドミラー３２０に、この運転支援用の画像３０を表示させることで、ドライバーによる画像の視認が容易となる。

なお、表示部３は、ルームミラー３１０とサイドミラー３２０の両方の場所に設け、それらの表示画面に運転支援用の画像３０を各々表示することも可能であり、さらに、ドライバーから視認可能な場所に表示部３を追加的に搭載させた形態とすることも可能であることは言うまでもない。

次に、運転支援装置１００の動作について、図５のフロー図を用いて説明する。図５は、運転支援装置１００の大まかな動作を示すフローチャートである。
まず、車両検知部１において、自車両の周囲に位置する周辺車両を検知するレーダ装置１１および車両認識装置１３から周辺車両の検知情報が集められ、それらの情報が解析されて、重複するデータが除外されるなどして誤認のない車両情報が生成される。その車両情報は、画像生成部２の画像重畳部２０に送信される（ステップＳ−１（車両情報を取得））。

次に、画像生成部２を構成する画像重畳部２０において、車両検知部１にて取得された車両情報をもとに、自車両と周辺車両との相対的な位置関係が分かる車両画像（例えば俯瞰図）が生成される（ステップＳ−２（車両相互配置を示す俯瞰図を生成））。

次に、周辺画像生成装置２２において、周囲カメラ装置１２によって撮影した自車両周辺の画像から、例えば俯瞰図よりなる周辺画像が生成され、その周辺画像（周辺画像情報）が、ステップＳ−１で生成された車両相互配置を示す車両画像に重ね合わされる（ステップＳ−３（周辺画像を重畳））。なお、ここでは、実際の画像が重ね合わされるのではなく、それらの情報が同じ座標上にて合成される状態を、画像の重畳と表現している。

続けて、画像重畳部２０においては、車線境界認識装置２５から、車線境界の位置を示す車線情報が取得され、ステップＳ-３で生成した図に車線境界線（車線画像）が重ね合わされる（ステップＳ−４（車線画像を重畳））。

次に、車線変更意思検知部４において、ウインカースイッチ４１およびドライバー視線認識装置４３から出力される車線変更情報が取得され（ステップＳ-５（車線変更情報を取得））、ドライバーが車線変更しようとしているのか、否かが、車線変更意思の有無により判定される（ステップＳ−６（車線変更意思有り？））。

上述のステップＳ−６にて、車線変更意思が有る（Ｙｅｓ）と判定された場合、画像制御部２１において、画像重畳部２０から取得された運転支援用の画像３０の元データから必要な部分のみが切り取られ、表示部３のルームミラーディスプレイ３１、サイドミラーディスプレイ３２のいずれか一方若しくは両方に送信され、トリミング後の運転支援用の画像３０が表示される（ステップＳ−７（運転支援用の画像を表示））。
また、ステップＳ−６にて、車線変更意思が無い（Ｎｏ）と判定された場合は、運転支援用の画像３０の元データの加工制御は行われず、その表示も行われない。

そして、ステップＳ−１に戻り、ステップＳ-１からＳ-７の制御を繰り返す。この繰り返し周期を調整し、最新の画像に更新し続けることで、リアルタイムに、正確な車両相互配置を表示部３に表示させることが可能となる。

この運転支援装置１００によれば、例えば、ドライバーが右へ車線を変更する際に、衝突の可能性のある車両があれば、図４に示すように、右側のサイドミラーへ運転支援用の画像３０の表示を行い、自車両と、車線変更する先の隣接車線を走行する周辺車両の位置をドライバーが容易かつ正確に把握できるようになる。

次に、運転支援装置１００を構成する車両検知部１の構成と動作について、より詳細に説明する。
車両検知部１には、自車両の周囲に存在する周辺車両を反射波の計測によって検出するレーダ装置１１と、周囲カメラ装置１２から取得した自車両の周囲を撮像した周辺画像から、画像認識処理により周辺車両を認識する車両認識装置１３が接続されている。車両検知部１においては、検知方法が異なる二つの車両情報を取得し、必要となるデータ処理を行った上で、得られた車両情報を、画像生成部２の画像重畳部２０に送信する。
この時、レーダ装置１１と車両認識装置１３の両方において、同じ周辺車両を重複して検出した場合は、一方のデータを削除し、データの重複を避けることで、後段の画像生成部２において誤認識を起こさないように対策することができる。

図６は、車両検知部１の動作を示すフロー図であり、自車両の周囲に位置する周辺車両の検出に関するフローチャートである。
車両検知部１の動作が開始されると、まず、車両検知部１において、レーダ装置１１から車両情報が取得される。レーダ装置１１は、例えば車両に既存の装置である。このレーダ装置１１は、反射波を用いて対象物の位置および大きさを検出でき、自車両の周囲に位置する周辺車両を検知し、検知により得られた車両情報を車両検知部１に送信する（ステップＦ-１（レーダ装置から車両情報を取得））。

次に、車両検知部１において、車両認識装置１３から車両情報が取得される。この車両認識装置１３は、例えば車両に既存の装置である。そして、この車両認識装置１３が解析するデータは、同じく車両に既存の装置である周囲カメラ装置１２にて撮影された自車両の周囲の周辺画像である。周囲カメラ装置１２で得た周辺画像は、周期的に車両認識装置１３に送信される（ステップＦ-２（周辺画像情報を車両認識装置に送信））。

続いて、車両認識装置１３では、周囲カメラ装置１２で得られた周辺画像を解析し、自車両の周囲に位置する周辺車両を検出し、得られた周辺車両の配置等を示す車両情報を車両検知部１に送信される（ステップＦ-３（車両認識装置から車両情報を取得））。

次に、車両検知部１において、レーダ装置１１と車両認識装置１３から得られた２種類の車両情報が照らし合わせられ、必要な情報のみが抽出される。つまり、全ての車両情報の中から、周辺車両の位置が重複しているものは、レーダ装置１１と車両認識装置１３の両方で検知されたものとみなして、どちらか一方を削除する（ステップＦ−４（重複するデータを削除））。
ステップＦ-４において得られた車両情報は、画像生成部２の画像重畳部２０に送信される（ステップＦ−５）。
この一連の動作（ステップＦ−１からＦ−５）は繰り返し行われる。

上述の、ステップＦ-１およびＦ-２において得られる車両情報は、いずれも、検知対象となる周辺車両の大きさの情報を含んでいる。そこで、検出した周辺車両の大きさによって、最終的に表示部３に示すシンボルの大きさを、車両の種別に応じて変えることで、ドライバーに対して表示する情報の質を向上させることができる。
その際、普通車を示すシンボルのサイズを中とすれば、普通車よりも外形が小さいバイクを示すシンボルを小、普通車よりも外形が大きい大型車を示すシンボルを大と表現することができる。

また、ステップＦ-１およびＦ-２において得られる車両情報が、検知対象となる周辺車両の車体の色の情報を含んでいる場合、最終的に表示部３に表示されるシンボルの色を、周辺車両の車体の色と同色（あるいはそれに相当する色）とすることができ、ドライバーに、より質の高い情報を提供でき、状況把握をサポートすることができる。

さらに、ステップＦ-３においては、周囲カメラ装置１２で得られた周辺画像に、周辺車両のウインカーの点滅状態が確認された場合には、ウインカーの表示情報（左側または右側のウインカーが点滅）も同時に検知することができ、車両情報の検知内容に含めるように処理を行う。

ここで、最終的に表示部３に表示される運転支援用の画像３０には、ドライバーが車線変更の際に参照すべき情報が示され、少なくとも、その画像にはリアルタイムな周辺車両の配置が示されている。
図６の例では、レーダ装置１１からの車両情報の取得（ステップＦ-１）を受けて車両認識装置１３からの車両情報の取得（ステップＦ-３）に移行する流れを示しているが、データ取得の周期を同期させる処理に限ることはなく、短い方の周期に合わせて処理を繰り返す等、最新の情報を後段に送信できるように処理を行うことで、運転支援用の画像の表示内容の信頼性を向上させることが可能となる。

次に、運転支援装置１００を構成する画像生成部２の構成と動作について、より詳細に説明する。表示部３に表示する運転支援用の画像を生成する画像生成部２は、画像重畳部２０と画像制御部２１の二つの構成部を含む構成となっている。
そして、画像重畳部２０は、車両検知部１から取得する車両情報をはじめ、車両に既存の装置である周辺画像生成装置２２から取得する周辺画像情報、同じく車両に既存の装置である車線境界認識装置２５から取得する走行車線と隣接車線の間に位置する境界線の位置を示す車線情報を取得し、それらの画像を重畳させて、運転支援用の画像の元データを生成する。この運転支援用の画像の元データは、画像生成部２の構成要素の一つである画像制御部２１に出力される（画像制御部２１の構成、動作については後述する）。

ここで、周辺画像生成装置２２は、周囲カメラ装置１２において撮影された自車両の周辺画像と、車両が走行する道路に設けられた路上監視カメラ２４において撮影された自車両の周辺画像を、車両に既存の路車間通信装置２３を介して取り込み、自車両の周囲を俯瞰的に示す周辺画像情報を生成し、画像重畳部２０に送信する。

さらに、車両に既存の装置である前方カメラ装置２６において撮像された車両進行方向の画像は車線境界認識装置２５に取り込まれ、その画像から走行車線の両サイドに位置する車線境界線の位置が抽出されて車線情報が生成される。そして、その車線情報は画像重畳部２０に送信される。

図７は、画像重畳部２０の動作を示すフロー図であり、車両情報、周辺画像情報、車線情報を取得して、それらの情報に基づく画像を重ね合わせ、運転支援用の画像３０の元データを生成するフローチャートを示している。
画像重畳部２０は、車両検知部１から自車両の周囲の車両情報を受信し（ステップＴ−１（車両情報を取得））、周辺車両の位置情報をもとに、自車両の位置を中心とした、検知した周辺車両の相対位置を示す俯瞰図（例えば、図２）を生成する。ここで、検知された周辺車両の車両情報にウインカーの点滅情報が含まれる場合は、そのウインカーが表示する情報（ウインカー表示情報）を、車両相互配置を示す俯瞰図の該当の車両を示すシンボル上に付加的に描画する（ステップＴ−２（車両の相互配置を示す俯瞰図を生成、ウインカー表示を重畳））。

次に、画像重畳部２０は、前方カメラ装置２６からの画像をもとに、画像処理によって車線の境界を認識する車線境界認識装置２５から、車線境界位置を示す車線情報を取得する（ステップＴ−３（車線情報を取得））。
そして、ステップＴ-２で生成した俯瞰図（車両相互配置を示す画像）に、車線の境界位置を示す線（車線画像）を付加的に重畳して表示する（ステップＴ−４（車線画像を重畳））。

ステップＴ-１で取得した車両情報と、ステップＴ-３で取得した車線情報をもとに、画像重畳部２０は、自車両と周辺車両との相対速度の関係から、周辺車両の衝突可能性の有無を見極める。例えば、自車両の走行する車線に隣接する隣接車線上において、後方を走行する周辺車両が自車両に近づき、自車両と並ぶ位置に到達するまでの時間が３秒以内となる車両については、衝突の可能性がある車両であるとみなす（ステップＴ−５（衝突可能性有りとする条件を設定））。
そして、車両情報によって得られた周辺車両の中に、衝突可能性のある周辺車両があるか否かを判定する（ステップＴ-６（衝突可能性のある車両の有無を判定））。

なお、ステップＴ-５、Ｔ-６においては、後方から周辺車両が自車両に近づき並ぶまでの時間を３秒以内か否かで衝突可能性の見極めをしているが、それは、運転時に車線変更を行う場合、３秒前にウインカー表示を出すという道路交通法に基づく時間である。この条件は一例を示すものであり、走行する道路の種類（一般道、高速道路の別など）に依存して、３秒以外の時間に変更するなどして別の基準で衝突可能性の有無を判定してもよいことは言うまでもない。

ステップＴ-６においてＹｅｓであり、衝突可能性のある周辺車両が自車両の周囲に存在する場合は、ステップＴ-７に進み、衝突可能性のある周辺車両を示すシンボルを強調して表示するとともに、当該車両の相対的な移動方向（各車線の走行方向に沿った相対移動方向）を示す矢印を、ステップＴ-４で得られた俯瞰図上に重畳させて表示する（ステップＴ−７（衝突可能性のある車両を強調表示、相対移動方向を表示））。なお、ステップＴ-６においてＮｏであり、衝突可能性のある周辺車両が存在しない場合は、後述のステップＴ-１０に進む。

次に、画像重畳部２０は、車両に既存の装置である警報装置３４へ、衝突可能性がある周辺車両が存在することを通知し、アラームを発生させると同時に、警告を知らせるメッセージ（警告画像）、例えば、「ＣＡＵＴＩＯＮ！」を、ステップＴ-７で得られた俯瞰図に重畳する（Ｔ−８（警告画像を重畳））。

なお、ここで、検知される周辺車両の数が多く、画像上に表示すべきシンボルが多数となる場合等においては、衝突可能性のない周辺車両の情報を不要データとみなし、衝突可能性のない車両を俯瞰図上に表示しないように、表示対象から除外することもできる（ステップＴ−９（衝突可能性のない車両を表示対象から除外））。

次に、周辺画像生成装置２２は、周囲カメラ装置１２において撮像された自車両の周囲の周辺画像を取得する（ステップＴ−１０（周辺画像生成装置が、周囲カメラ装置で撮影された周辺画像を取得））。
次に、Ｔ-１０の周辺画像を、例えば、自車両を中心とする俯瞰画像に変換する（ステップＴ-１１）。

次に、自車両の近くに路上監視カメラ２４が有るか、否かを判断する（ステップＴ-１２（路上監視カメラ有り？））。
ここで、周辺画像生成装置２２は、路上監視カメラ２４が存在する場合（ステップＴ−１２でＹｅｓの場合）、路上監視カメラ２４から路車間通信装置２３を経由して、そのカメラにて撮影された自車両の周辺画像を取得する（ステップＴ−１３（周辺画像生成装置が、路上監視カメラから周辺画像を取得））。
なお、路上監視カメラ２４が存在しない場合（ステップＴ-１２でＮｏの場合）、後述のステップＴ-１６へ進む。
次に、ステップＴ-１３の路上監視カメラ２４の周辺画像を変形させて、車両周辺を見渡せる周辺画像（例えば、俯瞰画像）を生成する（ステップＴ−１４（Ｔ-１３の周辺画像から俯瞰画像を生成））。

次に、ステップＴ-１１で生成した周辺画像とステップＴ-１４で生成した俯瞰画像とを合成し（ステップＴ-１５（Ｔ-１１とＴ-１４の俯瞰画像を合成））、合成されたステップＴ-１５の俯瞰画像の周辺画像情報を画像重畳部２０に送信する（ステップＴ-１６（周辺画像生成装置より、Ｔ-１５の俯瞰画像を周辺画像情報として取得））。

ここで、周囲カメラ装置１２で得た映像から生成した俯瞰図と、路上監視カメラ２４で得た映像から生成した俯瞰画像とを合成することによって、合成後の画像は、合成前の各画像が検知していなかった範囲の情報が足し合わされ、より広範囲の周辺画像情報を表示できるものとなる。

次に、ステップＴ-１６で生成した俯瞰画像を、ステップＴ-９で生成した俯瞰図に重畳させて、運転支援用の画像３０の元データを生成し、画像制御部２１に送信する（ステップＴ-１７（Ｔ-９の俯瞰図をＴ-１６の俯瞰画像に重畳し画像制御部に送信））。

次に、画像生成部２を構成する画像制御部２１の構成と動作について、より詳細に説明する。画像制御部２１は、上述の画像重畳部２０にて生成された運転支援用の画像の元データを取得し、ドライバーの車線変更意思（左側または右側に車線変更したいという意思）に従って、元データから必要となる部分のみをトリミングして運転支援用として適した表示範囲の画像情報を生成し、その画像情報を表示部３に送信するように構成されている。

図１に示すように、画像制御部２１には、画像重畳部２０と車線変更意思検知部４が接続され、それぞれから運転支援用の画像３０の元データおよび車線変更意思の検知情報を取得する構成となっている。
また、画像制御部２１は、トリミング後の運転支援用の画像３０を表示させる表示部３に接続されている。この表示部３は、例えば、車両のルームミラー３１０またはサイドミラー３２０の鏡面部を表示画面とするルームミラーディスプレイ３１またはサイドミラーディスプレイ３２で構成される。

表示部３は、運転支援装置１００の構成要素の一部であるが、車両に既存の表示部３（ルームミラーディスプレイ３１またはサイドミラーディスプレイ３２に相当する表示画面）が存在する場合は、画像生成部２と既存の表示部３とを接続し、既存の表示画面の最表面に、運転支援用の画像を割り込み表示させればよい。つまり、この運転支援装置１００を車両に搭載する際に、新たに表示部３となる表示画面を設ける必要はない。
なお、既存のルームミラー３１０またはサイドミラー３２０が単なる鏡面部材によって構成されている場合、表示部３を後付けにより配設して、運転支援装置１００を得る。

さらに、図１に示すように、運転支援装置１００に接続された外部構成として、衝突可能性のある要注意車両が存在する場合に、音響手段により警報を表す警報装置３４が設けられている。この警報装置３４としては、車両に既存のステレオ等を利用することができるが、運転支援装置１００の専用の警報装置３４を新たに車両に搭載して用いることもできる。この警報装置３４には、画像生成部２から、周辺車両の中に要注意車両が存在する場合に、ドライバーに対して警告を示す音を発生させるための信号が出力される。

図８は、画像制御部２１の動作を示すフロー図であり、ドライバーの車線変更意思を検知し、その検知情報をもとに運転支援用の画像の元データを切り取り、その画像情報を表示部３に送信するフローチャートを示している。
画像制御部２１は、まず、画像重畳部２０より、運転支援用の画像３０の元データを取得する（ステップＤ−１（画像重畳部より運転支援用の画像の元データを取得））。
次に、車線変更意思検知部４より、ドライバーの車線変更意思を示す車線変更情報を取得する（ステップＤ−２（車線変更意思検知部より車線変更情報を取得））。

次に、得られた車線変更情報を解析し、ドライバーが左側車線への車線変更意思を有しているのか、否か（右側への車線変更意思を有しているのか、または、車線変更をする意思がないのか）を判定する（ステップＤ−３（左へ車線を変更する意思有り？）。
左側へ車線変更する意思が有る場合（ステップＤ-３においてＹｅｓの場合）は、取得した運転支援用の画像３０の元データの内、自車両の走行車線と、その左側に隣接する走行車線の領域のみを切り出し、表示部３に表示する要部（表示適正範囲）のみを示した運転支援用の画像を得る（ステップＤ−４（左側へ車線変更する場合の画像トリミング））。
次に、ルームミラーディスプレイ３１と車両の左側のサイドミラーディスプレイ３２に、トリミング後の運転支援用の画像を表示部３に送信し、表示部３において運転支援用の画像３０を表示させる（ステップＤ−５（トリミングした画像を運転支援用の画像として表示部に送信））。
その後、ステップＤ-１に戻る。

ここで、ステップＤ-３においてＮｏの場合、車線変更情報をもとに、ドライバーが右側車線への車線変更意思を有しているのか、否か（車線変更をする意思がないのか）を判定する（ステップＤ−６（右へ車線を変更する意思有り？）。
右側へ車線変更する意思が有る場合（ステップＤ-６においてＹｅｓの場合）は、取得した画像の内、自車両の走行車線と右に隣接する走行車線の領域のみを切り出す（ステップＤ−７（右側へ車線変更する場合の画像トリミング））。
次に、ルームミラーディスプレイ３１と右のサイドミラーディスプレイ３２にステップＤ-７で得たトリミング画像を送信する（ステップＤ−８（トリミングした画像を運転支援用の画像として表示部に送信））。
その後、ステップＤ−１に戻り、この動作フローを繰り返す。
ドライバーの車線変更意思が検出されない場合（ステップＤ-６においてＮｏの場合）、表示部３に、車線変更のための運転支援用の画像は表示されない状態となり、ドライバーにとって不要な情報は表示部３に表示されないように制御される。

上述のように、画像生成部２の画像制御部２１では、車線変更意思検知部４から得た車線変更情報をもとに、運転支援用の画像３０の元データを切り取る制御を行っている。
上述したように、ドライバーの車線変更意思を検知する車線変更意思検知部４は、運転支援装置１００の構成要素の一部であり、車両に既存のウインカースイッチ４１と、車両に既存の車内カメラ装置４２およびドライバー視線認識装置４３に接続されている。ドライバー視線認識装置４３は、車内カメラ装置４２が撮像したドライバーの画像からドライバーの視線を認識する装置である。ウインカースイッチ４１またはドライバー視線認識装置４３の出力信号は車線変更情報として、車線変更意思検知部４に送信され、解析を経て、ドライバーの車線変更意思が検知されるように構成される。

例えば、ウインカースイッチ４１が操作された場合は、ウインカースイッチ４１が指し示す方向に車線を変更しようとする意思があると判定され、ドライバー視線認識装置４３により、サイドミラー３２０へドライバーの視線が向いていると認識された場合にも、視線が向いている方向へ車線変更する意思があると判定るが、いずれか一方の車線変更意思有りの判定が出ていれば、表示部３へ運転支援用の画像３０は表示される。

図９は、車線変更意思検知部４の動作を示すフロー図であり、車線変更情報を取得するフローチャートを示している。
車線変更意思検知部４は、まず、ウインカースイッチ４１からウインカーの動作状態を示す車線変更情報を取得する（ステップＬ−１（ウインカー情報を取得））。
次に、ステップＬ-１にて得られたウインカー情報が、左ウインカーの点滅であるのか、否か（右ウインカーの点滅であるのか、ウインカーが点滅していないのか）を判定する（ステップＬ−２（左ウインカーが点滅？））。
左ウインカーの点滅が検出された場合（ステップＬ-２においてＹｅｓの場合）、画像制御部２１へ、左へ車線変更する意思がある旨の車線変更情報を送信する（ステップＬ−３（画像制御部へ左に車線変更する旨の車線変更情報を送信））。
その後、ステップＬ-１に戻る。

ステップＬ-２においてＮｏである場合、ステップＬ-１にて得られたウインカー情報が、右ウインカーの点滅であるのか、否か（ウインカーが点滅していないのか）を判定する（ステップＬ−４（右ウインカーが点滅？））。
右ウインカーの点滅が検出された場合（ステップＬ-４においてＹｅｓの場合）、画像制御部２１へ、右に車線変更する意思がある旨の検知情報（車線変更情報）を送信する（ステップＬ−５（画像制御部へ右に車線変更する旨の車線変更情報を送信））。
その後、ステップＬ-１に戻る。

ウインカースイッチ４１が点滅していない場合（ステップＬ-４においてＮｏの場合）、ドライバー視線認識装置４３から車線変更意思を検知するフローに移る。ドライバー視線認識装置４３は、車内カメラ装置４２からドライバーの目線がどちらに向いているかを示す画像を取得する（ステップＬ−６（ドライバーの視線を示す画像を取得））。
次に、ステップＬ-６で取得したドライバーの画像をもとに、ドライバー視線認識装置４３にて検出されたドライバーの視線の向きを示す車線変更情報を、車線変更意思検知部４が取得する（ステップＬ−７（ドライバーの視線から車線変更情報を取得））。
車線変更意思検知部４は、ドライバーが左右いずれかのサイドミラーに視線を動かしたことを検知した場合に、該当する方向へ車線方向する意思があると判断する。

その後、車線変更意思検知部４は、ドライバー視線認識装置４３から得られた車線変更情報が、ドライバーが左のサイドミラーを注視している情報であるのか、否か（右のサイドミラーを注視しているのか、または、いずれのサイドミラーも注視していないのか）の判定を行う（ステップＬ−８（左サイドミラーを注視？））。
ステップＬ-８においてＹｅｓであり、ドライバーが左サイドミラーを注視している情報が有れば、画像制御部２１へ、左に車線変更する意思がある旨の車線変更情報を送信する（ステップＬ−９（画像制御部へ左に車線変更する旨の車線変更情報を送信））。
その後、ステップＬ-１に戻る。

ステップＬ-８においてＮｏであり、ドライバーが右サイドミラーを注視しているのか、否か（いずれのサイドミラーも注視していないのか）の判定を行う（ステップＬ-１０（右サイドミラーを注視？））。
ステップＬ-１０においてＹｅｓであり、ドライバーが右サイドミラーを注視している情報が有れば、画像制御部２１へ、右に車線変更する意思がある旨の車線変更情報を送信する（ステップＬ−１１（画像制御部へ右に車線変更する旨の車線変更情報を送信））。
その後、ステップＬ-１に戻る。
なお、ステップＬ-１０においてＮｏであり、ドライバーが左右のサイドミラーのいずれも注視していない場合も、ステップＬ-１へ戻って、一連の車線変更意思の検出フローを繰り返す。

なお、図２から図４に示す運転支援用の画像３０には、車両の相互配置情報を示す車両画像、車線境界線を示す車線画像、および、警告表示の画像が重畳された例を示しており、周辺画像情報にもとづく周辺画像が示されていないが、この周辺画像としては、走行車線と隣接車線の外側に、ドライバーが実際に見ている街並みなどの景色の情報を俯瞰図として映し出すことができる。よって、周辺画像として、２本の車線の外側の景色を取り込み、運転支援用の画像３０に表示することで、自車両が走行する位置と周辺車両が走行する位置を、ランドマーク等を含む周辺画像の景色に合わせて把握でき、車両の走行位置を認識しやすく、また、運転支援用の画像３０として表示した情報の正確性が裏打ちされるため、安心感が得られるという効果が得られる。

このように、運転支援装置１００を車両に搭載することによって、ドライバーが車線変更する際の状況確認を、ルームミラーおよびサイドミラーの視認による後方確認だけでなく、表示部３に表示された運転支援用の画像３０の視認によっても行うことができるため、より安全に車線変更を行うことが可能となる。

さらに、この運転支援装置１００は、パワーステアリングシステムに連動させることで、安全梶取システムとして活かすことができる。例えば、ドライバーが車線変更しようとしている隣接車線に要注意車両が走行しており、その方向に車線変更することが危険な状況である場合に、当該の方向にハンドルを切ろうとすれば、パワーステアリングのアシスト機能がＯＦＦとなり、当該方向にはハンドルを切りにくくなるというような制御を行うことで、安全運転のサポートをすることができる。

また、最終的に得られる運転支援用の画像３０は、複数の情報が重畳された図となるが、同じ座標上に複数の情報が位置する場合は、その情報の表示の優先順位に応じて、優先度が高いものが上（表面）に表示されるように、画像生成部２において画像の調整が行われる。例えば、車両画像、車線画像、周辺画像の順で、表示が優先され、警報画像は最優先されるように設定することができる。

さらに、上述の例では、自車両が走行する車線の境界線を、前方カメラ装置２６で撮影したデータから車線境界認識装置２５にて認識し、車線情報を得る例を示したが、これに限ることなく、車両に既存のカーナビゲーションシステムから、自車両が走行している道路の車線情報を取得することも可能である。
また、車線境界認識装置２５とカーナビゲーションシステムの両方のデータをマッチングさせて、より正確な車線情報を得、運転支援用の画像３０の生成に活かすことも可能であることは言うまでもない。

ここで、図１０に運転支援装置１００のハードウェア構成を示すように、この運転支援装置１００は、プロセッサ４００とメモリ４１０をハードウェアとして備えている。そして、車両検知部１、画像生成部２（画像重畳部２０および画像制御部２１）、および、車線変更意思検知部４の処理を実行するプログラムをメモリ４１０が記憶している。メモリ４１０に記憶されたプログラムは、プロセッサ４００において実行され、得られた運転支援用の画像３０は、表示部３に出力される。

本願は、例示的な実施の形態が記載されているが、実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合が含まれるものとする。

１ 車両検知部、 ２ 画像生成部、 ３ 表示部、 ４ 車線変更意思検知部、 １０ 自車両、 １１ レーダ装置、 １２ 周囲カメラ装置、 １３ 車両認識装置、 １４、１５、１６ 周辺車両、 １４ａ、１５ａ ウインカー表示部、 １６ａ 移動方向表示部、 ２５ａ、２５ｂ 車線境界線、 ２０ 画像重畳部、 ２１ 画像制御部、 ２２ 周辺画像生成装置、 ２３ 路車間通信装置、 ２４ 路上監視カメラ、 ２５ 車線境界認識装置、 ２６ 前方カメラ装置、 ３０ 運転支援用の画像、 ３１ ルームミラーディスプレイ、 ３２ サイドミラーディスプレイ、 ３４ 警報装置、 ３５ 警告表示部、 ４１ ウインカースイッチ、 ４２ 車内カメラ装置、 ４３ ドライバー視線認識装置、 １００ 運転支援装置、 ３１０ ルームミラー、 ３２０ サイドミラー、 ４００ プロセッサ、 ４１０ メモリ

Claims (16)

1. 車両に搭載され、
   上記車両の周囲に位置する周辺車両を検知する車両検知部、
   上記車両検知部において得られた情報から、上記車両および上記周辺車両の配置を表す画像を生成する画像生成部、
   上記車両を運転するドライバーにより視認可能な場所に設けられ、上記画像を表示する表示部を備え、
   上記画像生成部は、上記車両および上記周辺車両の各々を示すシンボルを用い、上記車両と上記周辺車両との相互配置を表した車両情報を含む上記画像を生成することを特徴とする運転支援装置。
2. 上記画像生成部は、上記車両および上記車両の周囲を俯瞰して表した図を含む上記画像を生成することを特徴とする請求項１記載の運転支援装置。
3. 上記画像生成部において生成される上記画像には、上記周辺車両を示す上記シンボルのうち、上記車両に対して近づく要注意車両を示す上記シンボルが、他の上記シンボルよりも強調されて表示されることを特徴とする請求項１または請求項２記載の運転支援装置。
4. 上記画像生成部において生成される上記画像には、上記周辺車両のうち、上記車両に対して近づく要注意車両が上記シンボルとして表示され、上記要注意車両以外の上記周辺車両は表示されないことを特徴とする請求項１または請求項２記載の運転支援装置。
5. 上記画像生成部は、上記周辺車両の中に上記要注意車両が存在する場合、ドライバーに対して警告を示す警告情報を含む上記画像を生成することを特徴とする請求項３または請求項４記載の運転支援装置。
6. 上記画像生成部は、上記周辺車両の中に上記要注意車両が存在する場合、ドライバーに対して警告を示す音を発生させるための信号を外部に出力することを特徴とする請求項３から５のいずれか一項記載の運転支援装置。
7. 上記画像生成部は、上記車両に対する上記要注意車両の相対的な移動方向を示す移動方向情報を含む上記画像を生成することを特徴とする請求項３から６のいずれか一項記載の運転支援装置。
8. 上記画像生成部は、上記車両検知部による検知領域の上記車両の走行車線および上記走行車線と隣り合う隣接車線との境界線を表した車線情報を含む上記画像を生成することを特徴とする請求項１から７のいずれか一項記載の運転支援装置。
9. 上記画像生成部は、上記車両に搭載されたカメラまたは道路に設置されたカメラから得られた情報を含む上記画像を生成することを特徴とする請求項１から８のいずれか一項記載の運転支援装置。
10. 上記車両検知部は、上記周辺車両の車体の色を検知し、上記画像生成部は、上記車両検知部において得られた上記周辺車両の車体の色の情報を反映した上記シンボルを含む上記画像を生成することを特徴とする請求項１から９のいずれか一項記載の運転支援装置。
11. 上記車両検知部は、上記周辺車両のウインカーの表示状態を検知し、上記画像生成部は、上記車両検知部において得られたウインカー表示情報を含む上記画像を生成することを特徴とする請求項１から１０のいずれか一項記載の運転支援装置。
12. 上記車両を運転する上記ドライバーが走行車線を変更する車線変更意思を示していることを検知する車線変更意思検知部を備え、上記車線変更意思検知部において上記ドライバーの車線変更意思が検知された場合に、上記表示部に上記画像が表示されることを特徴とする請求項１から１１のいずれか一項記載の運転支援装置。
13. 上記車線変更意思検知部は、上記車両の左右いずれかのウインカースイッチが入力された場合に、該当する方向への車線変更意思が示されていると判断することを特徴とする請求項１２記載の運転支援装置。
14. 上記車線変更意思検知部は、上記ドライバーが上記車両の左右いずれかのサイドミラーに視線を動かしたことを検知した場合に、該当する方向への車線方向意思が示されていると判断することを特徴とする請求項１２記載の運転支援装置。
15. 上記画像生成部は、上記画像の元データを生成する画像重畳部と、上記元データから、上記車両が走行する走行車線および車線変更意思が示されている方向の隣接車線を含む領域を切り取って運転支援用の上記画像とする画像制御部を含むことを特徴とする請求項１２から１４のいずれか一項記載の運転支援装置。
16. 上記表示部は、上記車両のルームミラーまたはサイドミラーの鏡面部に設けられたことを特徴とする請求項１から１５のいずれか一項記載の運転支援装置。

Images