JP7220027B2 - 運転支援装置 - Google Patents

Description

本発明は、運転支援装置に関する。

従来、車両前部と車両後部との間が屈曲可能なアーティキュレート式作業機械に設けた周囲監視装置が知られている。その周囲監視装置は、車体に装着されたカメラと、車両前部にある運転席に設置されたモニタとを有している。カメラが車体の周辺を撮像して得られた画像は俯瞰画像に視点変換されてモニタに表示される（例えば、特許文献１参照）。

特許第５７７９２４４号

しかしながら、上述したアーティキュレート式作業機械は、ドライバのいる車両前部と、これに連結された車両後部とが異なる向きに動いたり、特有の転回動作をしたりする。そのため、運転状況によっては、常に車両前部を中心とした俯瞰画像ではドライバは車両後部について十分な注意を払えない。

本発明は、上記課題に鑑みてなされたもので、運転状況に応じて十分な注意を払うことのできる運転支援装置及び運転支援システムを提供することを目的とする。

本発明に係る運転支援装置は、トラクタに取り付けられた複数の第１撮像部により前記トラクタの周辺を撮像して得られた複数の画像を視点変換して、前記トラクタの上方を視点とする第１俯瞰画像を生成する第１俯瞰画像生成部と、前記トラクタに連結されたトレーラに取り付けられた複数の第２撮像部により前記トレーラの周辺を撮像して得られた複数の画像を視点変換して、前記トレーラの上方を視点とする第２俯瞰画像を生成する第２俯瞰画像生成部と、前記第１俯瞰画像と前記第２俯瞰画像を合成して、前記トラクタ及び前記トレーラを含む領域の合成俯瞰画像を生成する合成俯瞰画像生成部と、前記トラクタの中心軸が上下方向を向いた状態で固定された前記合成俯瞰画像である第１合成俯瞰画像及び前記トレーラの中心軸が上下方向を向いた状態で固定された前記合成俯瞰画像である第２合成俯瞰画像の何れかを、前記トラクタ及び前記トレーラの運転状況に応じて切り替えて表示部に表示する表示制御部と、前記トレーラの周辺に存在する障害物を検知する障害物検知部を備え、前記トラクタ及び前記トレーラの駐車枠への駐車が開始されたか否かを判定する第１判定部を備え、前記第１判定部により前記駐車が開始されたと判定された場合には、前記表示制御部は、前記第１合成俯瞰画像に切り替えて前記表示部に表示し、前記第１判定部により前記駐車が開始されたと判定され、且つ前記障害物検知部により前記障害物が検知された場合には、前記表示制御部は、前記第２合成俯瞰画像に切り替えて前記表示部に表示することを特徴とする。

本発明に係る運転支援装置は、トラクタに取り付けられた複数の第１撮像部により前記トラクタの周辺を撮像して得られた複数の画像を視点変換して、前記トラクタの上方を視点とする第１俯瞰画像を生成する第１俯瞰画像生成部と、前記トラクタに連結されたトレーラに取り付けられた複数の第２撮像部により前記トレーラの周辺を撮像して得られた複数の画像を視点変換して、前記トレーラの上方を視点とする第２俯瞰画像を生成する第２俯瞰画像生成部と、前記第１俯瞰画像と前記第２俯瞰画像を合成して、前記トラクタ及び前記トレーラを含む領域の合成俯瞰画像を生成する合成俯瞰画像生成部と、前記トラクタの中心軸が上下方向を向いた状態で固定された前記合成俯瞰画像である第１合成俯瞰画像及び前記トレーラの中心軸が上下方向を向いた状態で固定された前記合成俯瞰画像である第２合成俯瞰画像の何れかを、前記トラクタ及び前記トレーラの運転状況に応じて切り替えて表示部に表示する表示制御部と、前記トラクタ及び前記トレーラの駐車枠への駐車が開始されたか否かを判定する第１判定部を備え、前記トレーラが駐車枠に対して所定の範囲に到達したか否かを判定する第２判定部を備え、前記第１判定部により前記駐車が開始されたと判定された場合には、前記表示制御部は、前記第１合成俯瞰画像に切り替えて前記表示部に表示し、前記第２判定部により前記トレーラが前記駐車枠に対して所定の範囲に到達したと判定された場合には、前記表示制御部は、前記第２合成俯瞰画像に切り替えて前記表示部に表示することを特徴とする。

この発明によれば、運転状況に応じて十分な注意を払うことができる。

実施例１に係る運転支援装置を実装した連結車両と駐車枠との関係を俯瞰視点で例示した図である。 実施例１に係る運転支援装置を適用した運転支援システムを構成するハードウェア要素を示すハードウェアブロック図である。 実施例１に係る運転支援装置の構成を示すブロック図である。 近距離確認用の合成俯瞰画像の一例を示す説明図である。 遠距離確認用の合成俯瞰画像の一例を示す説明図である。 俯瞰画像の生成処理を説明するための説明図である。 実施例１に係る運転支援装置で行われる運転支援処理を示すフローチャートである（その１）。 実施例１に係る運転支援装置で行われる運転支援処理を示すフローチャートである（その２）。 実施例１に係る運転支援装置によって行われる運転支援処理の概要について説明する図である（その１）。 実施例１に係る運転支援装置によって行われる運転支援処理の概要について説明する図である（その２）。 実施例１に係る運転支援装置によって行われる運転支援処理の概要について説明する図である（その３）。 実施例１に係る運転支援装置によって行われる運転支援処理の概要について説明する図である（その４）。 実施例１に係る運転支援装置によって行われる運転支援処理の概要について説明する図である（その５）。 第１合成俯瞰画像の一例を示す図である。 第１合成俯瞰画像の別の一例を示す図である。 第２合成俯瞰画像の一例を示す図である。 第２合成俯瞰画像の別の一例を示す図である。

以下、本発明に係る運転支援装置及び運転支援システムの具体的な実施形態について、図面を参照して説明する。

本実施例は、本発明の運転支援装置を連結車両に実装して、連結車両の運転状況に応じて運転を支援するシステムを構成したものである。連結車両１は、トラクタ２と、トラクタ２に連結されたトレーラ３とからなる。トラクタ２とトレーラ３とは、不図示の連結器により連結軸ＣＳ（図１）を中心に回転可能に連結されている。図１中の角度θは、トラクタ２の中心線Ｃ１に対してトレーラ３の中心線Ｃ２がなす角度である。図１中の角度γは、トレーラ３の中心線Ｃ２に対して目標駐車枠ＰＳの中心線Ｃ３がなす角度である。

（実施例１の構成の説明）
図２は、実施例１の運転支援装置１００を適用した運転支援システム１０を構成するハードウェア要素を示すハードウェアブロック図である。まず、運転支援装置１００を適用したシステム構成について、図２を用いて説明する。

運転支援システム１０は、カメラ２０ａ，２０ｂ，２０ｃ，２０ｄ（第１撮像部）と、カメラ２１ａ，２１ｂ，２１ｃ，２１ｄ（第２撮像部）と、カメラＥＣＵ（Electronic Control Unit）２２と、ソナー３０ａ，３０ｂ，３０ｃ，３１ａ，３１ｂ，３１ｃと、ソナーＥＣＵ３２（障害物検知部）と、操舵角センサ４０と、表示装置５０（表示部）と、音声出力装置６０とを有する。

前方カメラ２０ａは、トラクタ２の前方に向けてトラクタ２の前部に取り付けられる。後方カメラ２０ｂは、トラクタ２の後方に向けてトラクタ２の後部に取り付けられる。左側方カメラ２０ｃは、トラクタ２の左方に向けてトラクタ２の左側部に取り付けられる。右側方カメラ２０ｄは、トラクタ２の右方に向けてトラクタ２の右側部に取り付けられる。

前方カメラ２０ａ，後方カメラ２０ｂ，左側方カメラ２０ｃ，右側方カメラ２０ｄには、それぞれ広角レンズや魚眼レンズが搭載されている。４台のカメラ２０ａ，２０ｂ，２０ｃ，２０ｄでトラクタ２の周囲の路面を含む領域を漏れなく観測することができるようになっている。なお、以下では、前方カメラ２０ａ，後方カメラ２０ｂ，左側方カメラ２０ｃ，右側方カメラ２０ｄを特に区別しないときは、単にカメラ２０とする。

前方カメラ２１ａは、トレーラ３の前方に向けてトレーラ３の前部に取り付けられる。後方カメラ２１ｂは、トレーラ３の後方に向けてトレーラ３の後部に取り付けられる。左側方カメラ２１ｃは、トレーラ３の左方に向けてトレーラ３の左側部に取り付けられる。右側方カメラ２１ｄは、トレーラ３の右方に向けてトレーラ３の右側部に取り付けられる。

前方カメラ２１ａ，後方カメラ２１ｂ，左側方カメラ２１ｃ，右側方カメラ２１ｄには、それぞれ広角レンズや魚眼レンズが搭載されている。４台のカメラ２１ａ，２１ｂ，２１ｃ，２１ｄでトレーラ３の周囲の路面を含む領域を漏れなく観測することができるようになっている。なお、以下では、前方カメラ２１ａ，後方カメラ２１ｂ，左側方カメラ２１ｃ，右側方カメラ２１ｄを特に区別しないときは、単にカメラ２１とする。

カメラＥＣＵ２２は、カメラ２０，２１を制御するとともに、カメラ２０，２１が検知した情報を用いて、例えば駐車枠の検知を行う。カメラＥＣＵ２２で検知された情報は、運転支援装置１００に入力される。

前方ソナー３０ａは、トラクタ２の前方に向けてトラクタ２の前部に取り付けられる。左側方ソナー３０ｂは、トラクタ２の左方に向けてトラクタ２の左側部に取り付けられる。右側方ソナー３０ｃは、トラクタ２の右方に向けてトラクタ２の右側部に取り付けられる。すなわち、トラクタ２には、３つのソナー３０ａ，３０ｂ，３０ｃが搭載される。なお、以下では、ソナー３０ａ，３０ｂ，３０ｃを特に区別しないときは、単にソナー３０ともいう。

後方ソナー３１ａは、トレーラ３の後方に向けてトレーラ３の後部に取り付けられる。左側方ソナー３１ｂは、トレーラ３の左方に向けてトレーラ３の左側部に取り付けられる。右側方ソナー３１ｃは、トレーラ３の右方に向けてトレーラ３の右側部に取り付けられる。すなわち、トレーラ３には、３つのソナー３１ａ，３１ｂ，３１ｃが搭載される。なお、以下では、ソナー３１ａ，３１ｂ，３１ｃを特に区別しないときは、単にソナー３１ともいう。

ソナー３０，３１は、ソナーＥＣＵ３２からの指示に基づいて、トラクタ２の周囲に所定周波数の測定波を逐次照射する。ソナー３０，３１は、その測定波の照射範囲内の物体に当たって反射した反射波を逐次受信する。

ソナーＥＣＵ３２は、ソナー３０，３１を制御するとともに、ソナー３０，３１が検知した情報を用いて、トラクタ２及びトレーラ３の周辺に存在する障害物を検知する。ソナーＥＣＵ３２で検知された情報は、運転支援装置１００に入力される。

操舵角センサ４０は、トラクタ２のステアリングの操舵角を検知する。操舵角センサ４０は、トラクタ２が直進状態で走行するときの操舵角を中立位置（０度）とし、その中立位置からの回転角度を操舵角として出力する。操舵角センサ４０で検知された情報は、運転支援装置１００に入力される。

表示装置５０は、例えばフラットパネルディスプレイ（液晶、有機ＥＬ、プラズマなど）であり、ドライバが確認できる位置に配置される。表示装置５０は、タッチパネルの機能を有している。したがって、表示装置５０は、ドライバが表示装置５０の所定の位置を押下することによって、その押下された位置座標の入力を受け付けたり、自動駐車の開始指示を受け付けたりすることができる。

音声出力装置６０は、ドライバが容易に操作できる位置に設けられ、経路案内等の音声メッセージを出力する。

さらに、運転支援システム１０は、ステアリング制御装置７０と、スロットル制御装置８０と、ブレーキ制御装置９０と、運転支援装置１００とを有する。

ステアリング制御装置７０は、運転支援装置１００が決定した車両制御情報に基づいて、パワステアクチュエータ７２を駆動して、トラクタ２の操舵角を制御する。

スロットル制御装置８０は、運転支援装置１００が決定した車両制御情報に基づいて、スロットルアクチュエータ８２を駆動して、トラクタ２のスロットルを制御する。

ブレーキ制御装置９０は、運転支援装置１００が決定した車両制御情報に基づいて、ブレーキアクチュエータ９２を駆動して、トラクタ２のブレーキを制御する。

運転支援装置１００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されたマイコンを主体として構成される。運転支援装置１００は、カメラＥＣＵ２２、ソナーＥＣＵ３２、操舵角センサ４０及び表示装置５０（タッチパネル）等から入力された各種情報に基づいて、連結車両１の運転を支援する各種処理を実行する。

例えばタッチパネルをドライバが押下して運転支援システム１０を起動させると、運転支援装置１００は、各検知情報に基づいて、駐車枠を検知する検知処理等を実行する。

なお、カメラＥＣＵ２２、ソナーＥＣＵ３２、操舵角センサ４０、表示装置５０及び音声出力装置６０と、運転支援装置１００との間は、ＣＡＮ（Controller Area Network）によって接続される。

同様に、ステアリング制御装置７０、スロットル制御装置８０及びブレーキ制御装置９０と、運転支援装置１００との間は、ＣＡＮによって接続される。

（構成の説明）
次に、図３を用いて、運転支援装置１００の構成について説明する。

運転支援装置１００は、第１俯瞰画像生成部１０１と、第２俯瞰画像生成部１０２と、合成俯瞰画像生成部１０３と、表示制御部１０４と、判定部１０５と、第１予測走行軌跡生成部１０６と、第２予測走行軌跡生成部１０７と、出力制御部１０８と、設定部１０９とを有する。

第１俯瞰画像生成部１０１は、トラクタ２に取り付けられたカメラ２０ａ～２０ｄによりトラクタ２の周辺を撮像して得られた４枚の画像を視点変換して、トラクタ２の上方を視点とする第１俯瞰画像を生成する。第１俯瞰画像の詳細は後述する。

第２俯瞰画像生成部１０２は、トレーラ３に取り付けられたカメラ２１ａ～２１ｄによりトレーラ３の周辺を撮像して得られた４枚の画像を視点変換して、トレーラ３の上方を視点とする第２俯瞰画像を生成する。第２俯瞰画像の詳細は後述する。

合成俯瞰画像生成部１０３は、第１俯瞰画像と第２俯瞰画像を合成して、トラクタ２及びトレーラ３を含む領域の合成俯瞰画像を生成する。ここでの「合成」とは、例えば、これら２つの俯瞰画像を重ね合わせることが含まれる。

合成俯瞰画像生成部１０３は、第１マッピングテーブルＭ１を参照して、第１俯瞰画像と第２俯瞰画像とを合成し、近距離確認用の合成俯瞰画像Ｓ１（図４）を生成する。第１マッピングテーブルＭ１には、カメラ２０，２１で撮像された画像を平面スクリーンに投影して、合成俯瞰画像Ｓ１を生成するための変換が定義されている。

合成俯瞰画像生成部１０３は、第２マッピングテーブルＭ２を参照して、第１俯瞰画像と第２俯瞰画像とを合成し、遠距離確認用の合成俯瞰画像Ｓ２（図５）を生成する。第２マッピングテーブルＭ２には、カメラ２０，２１で撮像された画像を曲面スクリーンに投影して、合成俯瞰画像Ｓ２（図５）を生成するための変換が定義されている。曲面スクリーンに画像を投影して俯瞰画像を生成する技術は、例えば、国際公開第2013/018173号で提案されている。図６は、俯瞰画像の生成処理を説明するための説明図である。

この生成処理では、曲面スクリーン５（図６）を用いて、実空間での３次元座標値Ｐ_Ｒが、仮想空間の３次元座標値Ｐ_Ｖに座標変換される。図６中の座標値Ｐ_ＲＧは座標値Ｐ_Ｒと仮想視点位置Ｖ_Ｐとを含み路面に垂直な平面上の点である。座標値Ｐ_ＲＧは式（１）で表すことができる。

座標値Ｐ_ＲＧは仮想視点投影により、曲面スクリーン５上の座標値Ｐ_ＶＧに投影される。座標値Ｐ_ＶＧは、仮想視点位置Ｖ_Ｐと座標値Ｐ_ＲＧとを結ぶ線分５ｄと曲面スクリーン５との交点である。座標値Ｐ_Ｖは、座標値Ｐ_ＶＧと仮想視点位置Ｖ_Ｐとを含み路面に垂直な平面上の座標である。座標値Ｖ_Ｐは、線分５ｅと線分５ｇとの交点として定義される。線分５ｅは、座標値Ｐ_Ｒと仮想視点位置Ｖ_Ｐとを結ぶ線分である。線分５ｇは、座標Ｐ_ＶＧを通りかつ路面に対して垂直な線分とψの角度をなす線分である。ψの角度と、θの角度が等しいとすると、三角形Ｖ_ＰＰ_ＶＧＰ_Ｖと三角形Ｖ_ＰＰ_ＲＧＰ_Ｒは相似形となる。このため、座標値Ｐ_Ｖは式（２）で表すことができる。

表示制御部１０４は、第１合成俯瞰画像及び第２合成俯瞰画像の何れかを、トラクタ２及びトレーラ３の運転状況に応じて切り替えて表示装置５０に表示する。

判定部１０５（第１判定部）は、トラクタ２及びトレーラ３の駐車枠への駐車が開始されたか否かを判定する。判定部１０５（第２判定部）は、トレーラ３が駐車枠に対して所定の範囲に到達したか否かを判定する。判定部１０５（第３判定部）は、トレーラ３が駐車枠に対して直線状に重なる位置に到達したか否かを判定する。

第１予測走行軌跡生成部１０６は、操舵角センサ４０からの信号に基づいて、トラクタ２の予測される走行軌跡である第１予測走行軌跡を生成する。第１予測走行軌跡の詳細は後述する。

第２予測走行軌跡生成部１０７は、操舵角センサ４０からの信号に基づいて、トレーラ３の予測される走行軌跡である第２予測走行軌跡を生成する。第２予測走行軌跡の詳細は後述する。
出力制御部１０８は、連結車両１の運転状況に応じた音声誘導を行う。
設定部１０９は、タッチパネルへのドライバの入力操作に基づいて、目標駐車枠ＰＳ（図９）を設定する。

（運転支援装置１００で行われる運転支援処理の説明）
図７及び図８は、運転支援装置１００で行われる運転支援処理を示すフローチャートである。ここでは、図９，図１０，図１１，図１２，図１３の場面を想定して運転支援処理を説明する。図９～図１３は、運転支援装置１００を右側通行の道路に適用する場面を示している。また、図９～図１３は、運転支援装置１００の適用場面として連結車両１を後方の駐車枠に後退駐車させる場面を示している。

運転支援処理は、例えばドライバがタッチパネルを押下したことに基づいて開始される。なお、運転支援処理に含まれる判定処理は、カメラＥＣＵ２２やソナーＥＣＵ３２で検出された情報や、操舵角センサ４０で検出された情報等が必要に応じて使用される。

運転支援処理が開始されると、まず、表示制御部１０４は、遠距離確認用の合成俯瞰画像Ｓ２（図５）を表示装置５０に表示する（ステップＳ１）。これにより、ドライバはより遠方の状況を確認することができる。

次に、判定部１０５は、駐車枠に連結車両１を駐車できるか否かを判定する（ステップＳ２）。連結車両１を駐車できないと判定された場合（ステップＳ２におけるＮＯ）、運転支援装置１００で行われる運転支援処理は終了する。

一方、連結車両１を駐車できると判定された場合（ステップＳ２におけるＹＥＳ）、設定部１０９は、例えばドライバがタッチパネルを押下して駐車枠を選択したことに基づいて、その選択された駐車枠を目標駐車枠ＰＳ（図９）に設定する（ステップＳ３）。

次に、判定部１０５は、連結車両１が現在位置（図９）から目標駐車枠ＰＳに駐車可能か否かを判定する（ステップＳ４）。現在位置から目標駐車枠に駐車可能であると判定された場合（ステップＳ４におけるＹＥＳ）、処理はステップＳ１２（図８）に移行する。

一方、目標駐車枠ＰＳに駐車可能でないと判定された場合（ステップＳ４におけるＮＯ）、連結車両１を現在位置から駐車可能位置まで誘導する準備誘導処理が行われる。駐車可能位置とは、目標駐車枠ＰＳに対する駐車動作を連結車両１が後退走行で開始可能な位置のことをいう。

この準備誘導処理では、現在位置から目標駐車枠ＰＳへ誘導するのに必要なスペースと経路の計算が実施される。この準備誘導処理では、特に、連結車両１が十分に駐車開始位置に進んでいるか否かの確認や、障害物等が存在せず十分な横幅スペースが確保されているか否かの確認が行われる。

表示制御部１０４は、第１合成俯瞰画像Ｉ１（図１４）に第１予測走行軌跡Ｌ１（図１４）、第２予測走行軌跡Ｌ２（図１４）及び目標舵角線Ｌ３（図１４）をＯＳＤ（On Screen Display）重畳して表示装置５０に表示する（ステップＳ５）。図１４中の第１合成俯瞰画像Ｉ１は、トラクタ２の中心軸が上下方向を向いた状態で固定された合成俯瞰画像である。図１４中の予測走行軌跡Ｌ１，Ｌ２は、連結車両１が現在の舵角により移動する進路を示すものである。第１予測走行軌跡Ｌ１は、トラクタ２の予測される走行軌跡である。第２予測走行軌跡Ｌ２は、トレーラ３の予測される走行軌跡である。図１４中の目標舵角線Ｌ３は、システムが計算した最適な舵角をドライバに示す舵角線である。第１予測走行軌跡Ｌ１、第２予測走行軌跡Ｌ２及び目標舵角線Ｌ３は、夫々、ＯＮ／ＯＦＦできる機能を持つ。

第１予測走行軌跡Ｌ１は、ドライバがステアリングを操作する際に直感的に分かり易いように、例えば、ピンクや赤等の目立つ色でガイド線として表示装置５０に表示される。同様に、第２予測走行軌跡Ｌ２は、ドライバがステアリングを操作する際に直感的に分かり易いように、例えば、黄色や橙色等の目立つ色でガイド線として表示装置５０に表示される。第１予測走行軌跡Ｌ１及び第２予測走行軌跡Ｌ２は、異なる色でガイド線として表示装置５０に表示される。なお、第１予測走行軌跡Ｌ１及び第２予測走行軌跡Ｌ２は、同一色で線種を変えて表示装置５０に表示されても良い。このように、ガイド線が表示装置５０に表示されることで、どのようにステアリングを操作すれば想定の位置に連結車両１を導くことができるかがドライバに明示される。

ドライバは、目標舵角線Ｌ３（図１４）に基づいて、ステアリングを左に舵取りして、連結車両１を走行車線から対向車線に導く（図１０）。

連結車両１が駐車可能位置に向けて走行している最中も随時、カメラＥＣＵ２２において、連結車両１の辿る軌跡が第１予測走行軌跡Ｌ１（図１４）に一致するか否かの検出がカメラ画像を用いて行われる。出力制御部１０８は、連結車両１の運転状況に応じた音声誘導を行う（ステップＳ６）。具体的に、出力制御部１０８は、「もう少し左に切ってください」や「ステアリングの切り角が足りません」等の音声メッセージを音声出力装置６０から音声出力させる。

次に、判定部１０５は、準備誘導処理に問題があるか否か、すなわち、ステアリングの操作が目標舵角線Ｌ３（図１４）から逸脱して行われたか否かを判定する（ステップＳ７）。準備誘導処理に問題があると判定された場合（ステップＳ７におけるＹＥＳ）、処理はステップＳ８に進む。一方、準備誘導処理に問題が無いと判定された場合（ステップＳ７におけるＮＯ）、処理はステップＳ９に進む。

ステップＳ７で準備誘導処理に問題があると判定された場合（ステップＳ７におけるＹＥＳ）、準備誘導補正処理が行われる（ステップＳ８）。この準備誘導補正処理では、出力制御部１０８は、連結車両１の運転状況に応じた音声メッセージを音声出力装置６０から音声出力させる。具体的に、出力制御部１０８は、「もう少し左に切ってください」や「ステアリングの切り角が足りません」等の音声メッセージを音声出力装置６０から音声出力させる。その後、処理はステップＳ７に戻る。

一方、ステップＳ７で準備誘導処理に問題が無いと判定された場合（ステップＳ７におけるＮＯ）、判定部１０５は、準備誘導処理が終了したか否か、すなわち、連結車両１が駐車可能位置まで誘導されたか否かを判定する（ステップＳ９）。

準備誘導処理が終了していないと判定された場合（ステップＳ９におけるＮＯ）、処理はステップＳ７に移行する。一方、準備誘導処理が終了したと判定された場合（ステップＳ９におけるＹＥＳ）、表示制御部１０４は、第１合成俯瞰画像Ｉ１（図１４）から遠距離確認用の第２合成俯瞰画像Ｓ２（図５）に切り替えて表示装置５０に表示する（ステップＳ１０）。

次に、判定部１０５は待機時間が経過したか否かを判定する（ステップＳ１１）。この待機時間は連結車両１の目標駐車枠ＰＳへの駐車が開始されるまでの時間（例えば数秒）として予め設定される。ステップＳ１１で行われる処理は、特許請求の範囲における第１判定部の動作に相当する。待機時間が経過していない場合（ステップＳ１１におけるＮＯ）、処理はステップＳ１１を繰り返す。

待機時間が経過した場合（ステップＳ１１におけるＹＥＳ）、連結車両１を駐車可能位置から目標駐車枠ＰＳへ誘導する駐車誘導処理が開始される。この駐車誘導処理では、表示制御部１０４は、第１合成俯瞰画像Ｉ１（図１５）に第１予測走行軌跡Ｌ１（図１５）、第２予測走行軌跡Ｌ２（図１５）及び目標舵角線Ｌ３（図１５）をＯＳＤ重畳して表示装置５０に表示する（図８に示すステップＳ１２）。

ドライバは、目標舵角線Ｌ３（図１５）に基づいて、ステアリングを右に舵取りしてから左に舵取りして連結車両１を駐車可能位置から設定位置へ導く（図１１）。

図１１中の曲線は、トラクタ２が描くＳ字状の曲線を示している。設定位置とは、図１１中に二点鎖線で示す連結車両１のトレーラ３から目標駐車枠ＰＳまでの距離が所定距離以下となる位置のことをいう。

出力制御部１０８は、連結車両１の運転状況に応じた音声誘導を行う（ステップＳ１３）。具体的に、出力制御部１０８は、「もう少し右に切ってください」、「もう少し左に切ってください」、「ステアリングの切り角が足りません」等の音声メッセージを音声出力装置６０から音声出力させる。

次に、判定部１０５は、トレーラ３の周辺に例えば歩行者や他の車両等の障害物が存在するか否かを判定する（ステップＳ１４）。障害物が存在すると判定された場合（ステップＳ１４におけるＹＥＳ）、処理はステップＳ２３に移行する。

一方、障害物が存在しないと判定された場合（ステップＳ１４におけるＮＯ）、駐車誘導処理に問題があるか否か、例えば、ステアリングの操作が目標舵角線Ｌ３から逸脱して行われたか否かを判定する（ステップＳ１５）。

駐車誘導処理に問題があると判定された場合（ステップＳ１５におけるＮＯ）、処理はステップＳ２６に進む。一方、駐車誘導処理に問題が無かった場合（ステップＳ１５におけるＹＥＳ）、処理はステップＳ１６に進む。

次に、判定部１０５は、トレーラ３が目標駐車枠ＰＳに対して所定の範囲に到達したか否か、例えば、トレーラ３の位置が上述した設定位置に到達したか否かを判定する（ステップＳ１６）。ステップＳ１６で行われる処理は、特許請求の範囲における第２判定部の動作に相当する。

トレーラ３が目標駐車枠ＰＳに対して所定の範囲に到達していないと判定された場合（ステップＳ１６におけるＮＯ）、処理はステップＳ２６に移行する。

一方、トレーラ３が目標駐車枠ＰＳに対して所定の範囲に到達したと判定された場合（ステップＳ１６におけるＹＥＳ）、表示制御部１０４は、第２合成俯瞰画像Ｉ２（図１６）に第１予測走行軌跡Ｌ１（図１６）、第２予測走行軌跡Ｌ２（図１６）及び目標舵角線Ｌ３（図１６）をＯＳＤ重畳して表示装置５０に切り替え表示する（ステップＳ１７）。図１６中の第２合成俯瞰画像Ｉ２は、トレーラ３の中心軸が上下方向を向いた状態で固定された合成俯瞰画像である。

ドライバは、目標舵角線Ｌ３（図１６）に基づいて、ステアリングを右に舵取りして、連結車両１を設定位置から目標駐車枠ＰＳに導く（図１２）。

出力制御部１０８は、連結車両１の運転状況に応じた音声誘導を行う（ステップＳ１８）。具体的に、出力制御部１０８は、「もう少し右に切ってください」や「ステアリングの切り角が足りません」等の音声メッセージを音声出力装置６０から音声出力させる。

次に、判定部１０５は、トレーラ３が目標駐車枠ＰＳに対して直線状に重なる位置に到達したか否かを判定する（ステップＳ１９）。具体的には、トレーラ３の中心線と目標駐車枠ＰＳの中心線とが一致するか否かの判定が行われる。ステップＳ１９で行われる処理は、特許請求の範囲における第３判定部の動作に相当する。

トレーラ３が目標駐車枠ＰＳに対して直線状に重なる位置に到達していない場合（ステップＳ１９におけるＮＯ）、すなわち、図１に示した角度γ≠０の場合、処理はステップＳ５（図７）に移行する。

一方、トレーラ３が目標駐車枠ＰＳに対して直線状に重なる位置に到達した場合、すなわち、図１に示した角度γ＝０の場合（ステップＳ１９におけるＹＥＳ）、表示制御部１０４は、第１合成俯瞰画像Ｉ１（図１７）に第１予測走行軌跡Ｌ１（図１７）、第２予測走行軌跡Ｌ２（図１７）及び目標舵角線Ｌ３（図１７）をＯＳＤ重畳して表示装置５０に表示する（ステップＳ２０）。

ドライバは、目標舵角線Ｌ３（図１７）に基づいて、ステアリングを直進状態に戻して連結車両１を後退させ、目標駐車枠ＰＳ内の所定の位置で停止させる（図１３）。これにより、目標駐車枠ＰＳに対する駐車動作が完了する。

次に、判定部１０５は、図１に示した角度θ≒０であるか否かを判定する（ステップＳ２１）。角度θ≠０の場合、（ステップＳ２１におけるＮＯ）、処理はステップＳ２０に移行する。

一方、角度θ≒０の場合（ステップＳ２１におけるＹＥＳ）、近距離確認用の合成俯瞰画像Ｓ１（図４）を表示装置５０に表示する（ステップＳ２２）。これは、目標駐車枠ＰＳに対する駐車が完了しており、ドライバは近場の状況を確認できれば足りるからである。

一方、ステップＳ１４で障害物が存在すると判定された場合（ステップＳ１４におけるＹＥＳ）、表示制御部１０４は、第２合成俯瞰画像Ｉ２に第１予測走行軌跡Ｌ１（図１６）、第２予測走行軌跡Ｌ２（図１６）及び目標舵角線Ｌ３（図１６）をＯＳＤ重畳して表示装置５０に表示する（ステップＳ２３）。

次に、出力制御部１０８は、音声出力装置６０から警報音を出力する（ステップＳ２４）。例えば、出力制御部１０８は、「ピーッピーッピーッ」というビープ音を発生させたり、「ピピピ・・・」という連続音を発生させたりする。

次に、判定部１０５は、トレーラ３の周辺の障害物が存在しなくなったか否かを判定する（ステップＳ２５）。トレーラ３の周辺の障害物が存在する場合（ステップＳ２５におけるＮＯ）、処理はステップＳ２３に戻る。

一方、トレーラ３の周辺の障害物が存在しなくなった場合（ステップＳ２５におけるＹＥＳ）、表示制御部１０４は、ステップＳ１２同様、第１合成俯瞰画像Ｉ１（図１５）に第１予測走行軌跡Ｌ１（図１５）、第２予測走行軌跡Ｌ２（図１５）及び目標舵角線Ｌ３（図１５）をＯＳＤ重畳して表示装置５０に表示する（ステップＳ２６）。

次に、出力制御部１０８は、ステップＳ１３同様、連結車両１の運転状況に応じた音声誘導を行う（ステップＳ２７）。そして、処理はステップＳ１４に移行する。

上述した実施例１では、表示制御部１０４は、連結車両１の運転状況に応じて、第１合成俯瞰画像Ｉ１及び第２合成俯瞰画像Ｉ２の何れかを切り替えて表示装置５０する。これにより、第１合成俯瞰画像Ｉ１及び第２合成俯瞰画像Ｉ２のマップ切り替えが可能となる。

上述した実施例１の運転支援システム１０によれば、ドライバは音声誘導に従うとともに、第１合成俯瞰画像Ｉ１又は第２合成俯瞰画像Ｉ２とともに表示された各ガイド線Ｌ１，Ｌ２，Ｌ３に基づいて、ステアリング操作を直感的に行うことができる。このため、運転操作の習熟を容易にすることができる。したがって、ドライバの運転操作の習熟を早めることができる。

上述した実施例１の運転支援システム１０では、運転状況に応じて、音声誘導が行われたり、俯瞰画像の切り替え表示が行われたりする。したがって、ドライバは連結車両１の運転状況に応じて運転操作に十分な注意を払うことができる。

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

なお、上述した実施例１では、第１予測走行軌跡Ｌ１、第２予測走行軌跡Ｌ２及び目標舵角線Ｌ３の全てを第１合成俯瞰画像Ｉ１又は第２合成俯瞰画像Ｉ２に表示する例を説明した。本発明はこの態様に限らず、例えば、第１予測走行軌跡Ｌ１、第２予測走行軌跡Ｌ２及び目標舵角線Ｌ３のうちのいずれかを選択して表示してもよい。

なお、上述した実施例１では、超音波を利用したソナーを用いて連結車両１の周辺の障害物の有無を検知する例を説明した。本発明はこの態様に限らず、電波を利用したレーダを用いて連結車両１の周辺の障害物の有無を検出してもよい。

上述した実施例１では、第１予測走行軌跡Ｌ１はピンクや赤等の色で表示装置５０に表示される例を説明した。本発明はこの態様に限らず、例えば、第１予測走行軌跡Ｌ１を青緑、青、青紫等の寒色系の色又は黄緑、緑、紫、無彩色等の中性色で表示してもよい。第２予測走行軌跡Ｌ２についても同様である。

上述した実施例１では、第１合成俯瞰画像Ｉ１及び第２合成俯瞰画像Ｉ２のいずれかを連結車両１の運転状況に応じて切り替え表示する例を説明した。本発明はこの態様に限らず、第１合成俯瞰画像Ｉ１が表示装置５０に表示されているときに、ドライバがトレーラ３の部分をタッチ操作すると第１合成俯瞰画像Ｉ１が第２合成俯瞰画像Ｉ２に切り替え表示されても良い。同様に、第２合成俯瞰画像Ｉ２が表示装置５０に表示されているときに、ドライバがトラクタ２の部分をタッチ操作すると第２合成俯瞰画像Ｉ２が第１合成俯瞰画像Ｉ１に切り替え表示されても良い。

１・・・連結車両
２・・・トラクタ
３・・・トレーラ
１０・・・運転支援システム
２０ａ・・・前方カメラ（第１撮像部）
２０ｂ・・・後方カメラ（第１撮像部）
２０ｃ・・・左側方カメラ（第１撮像部）
２０ｄ・・・右側方カメラ（第１撮像部）
２１ａ・・・前方カメラ（第２撮像部）
２１ｂ・・・後方カメラ（第２撮像部）
２１ｃ・・・左側方カメラ（第２撮像部）
２１ｄ・・・右側方カメラ（第２撮像部）
３２・・・ソナーＥＣＵ（障害物検知部）
４０・・・操舵角センサ
５０・・・表示装置（表示部）
１００・・・運転支援装置
１０１・・・第１俯瞰画像生成部
１０２・・・第２俯瞰画像生成部
１０３・・・合成俯瞰画像生成部
１０４・・・表示制御部
１０５・・・判定部（第１判定部、第２判定部及び第３判定部）
１０６・・・第１予測走行軌跡生成部
１０７・・・第２予測走行軌跡生成部
Ｉ１・・・第１合成俯瞰画像
Ｉ２・・・第２合成俯瞰画像
Ｌ１・・・第１予測走行軌跡
Ｌ２・・・第２予測走行軌跡
Ｓ１、Ｓ２・・・合成俯瞰画像

Claims (5)

1. トラクタに取り付けられた複数の第１撮像部により前記トラクタの周辺を撮像して得られた複数の画像を視点変換して、前記トラクタの上方を視点とする第１俯瞰画像を生成する第１俯瞰画像生成部と、
   前記トラクタに連結されたトレーラに取り付けられた複数の第２撮像部により前記トレーラの周辺を撮像して得られた複数の画像を視点変換して、前記トレーラの上方を視点とする第２俯瞰画像を生成する第２俯瞰画像生成部と、
   前記第１俯瞰画像と前記第２俯瞰画像を合成して、前記トラクタ及び前記トレーラを含む領域の合成俯瞰画像を生成する合成俯瞰画像生成部と、
   前記トラクタの中心軸が上下方向を向いた状態で固定された前記合成俯瞰画像である第１合成俯瞰画像及び前記トレーラの中心軸が上下方向を向いた状態で固定された前記合成俯瞰画像である第２合成俯瞰画像の何れかを、前記トラクタ及び前記トレーラの運転状況に応じて切り替えて表示部に表示する表示制御部と、
   前記トレーラの周辺に存在する障害物を検知する障害物検知部を備え、
   前記トラクタ及び前記トレーラの駐車枠への駐車が開始されたか否かを判定する第１判定部を備え、
   前記第１判定部により前記駐車が開始されたと判定された場合には、前記表示制御部は、前記第１合成俯瞰画像に切り替えて前記表示部に表示し、
   前記第１判定部により前記駐車が開始されたと判定され、且つ前記障害物検知部により前記障害物が検知された場合には、前記表示制御部は、前記第２合成俯瞰画像に切り替えて前記表示部に表示することを特徴とする運転支援装置。
2. トラクタに取り付けられた複数の第１撮像部により前記トラクタの周辺を撮像して得られた複数の画像を視点変換して、前記トラクタの上方を視点とする第１俯瞰画像を生成する第１俯瞰画像生成部と、
   前記トラクタに連結されたトレーラに取り付けられた複数の第２撮像部により前記トレーラの周辺を撮像して得られた複数の画像を視点変換して、前記トレーラの上方を視点とする第２俯瞰画像を生成する第２俯瞰画像生成部と、
   前記第１俯瞰画像と前記第２俯瞰画像を合成して、前記トラクタ及び前記トレーラを含む領域の合成俯瞰画像を生成する合成俯瞰画像生成部と、
   前記トラクタの中心軸が上下方向を向いた状態で固定された前記合成俯瞰画像である第１合成俯瞰画像及び前記トレーラの中心軸が上下方向を向いた状態で固定された前記合成俯瞰画像である第２合成俯瞰画像の何れかを、前記トラクタ及び前記トレーラの運転状況に応じて切り替えて表示部に表示する表示制御部と、
   前記トラクタ及び前記トレーラの駐車枠への駐車が開始されたか否かを判定する第１判定部を備え、
   前記トレーラが駐車枠に対して所定の範囲に到達したか否かを判定する第２判定部を備え、
   前記第１判定部により前記駐車が開始されたと判定された場合には、前記表示制御部は、前記第１合成俯瞰画像に切り替えて前記表示部に表示し、
   前記第２判定部により前記トレーラが前記駐車枠に対して所定の範囲に到達したと判定された場合には、前記表示制御部は、前記第２合成俯瞰画像に切り替えて前記表示部に表示することを特徴とする運転支援装置。
3. 請求項２に記載の運転支援装置において、
   前記トレーラが前記駐車枠に対して直線状に重なる位置に到達したか否かを判定する第３判定部を備え、
   前記第２判定部により前記トレーラが前記駐車枠に対して所定の範囲に到達したと判定され、且つ前記第３判定部により前記トレーラが前記駐車枠に対して直線状に重なる位置に到達したと判定された場合には、前記表示制御部は、前記第１合成俯瞰画像に切り替えて前記表示部に表示することを特徴とする運転支援装置。
4. 請求項１に記載の運転支援装置において、
   前記トラクタの操舵角を検知する操舵角センサからの信号に基づいて、前記トラクタの予測される走行軌跡である第１予測走行軌跡を生成する第１予測走行軌跡生成部を備え、 前記表示制御部は、前記第１合成俯瞰画像に前記第１予測走行軌跡を重畳して前記表示部に表示することを特徴とする運転支援装置。
5. 請求項４に記載の運転支援装置において、
   前記トラクタの操舵角を検知する操舵角センサからの信号に基づいて、前記トレーラの予測される走行軌跡である第２予測走行軌跡を生成する第２予測走行軌跡生成部を備え、 前記表示制御部は、前記第２合成俯瞰画像に前記第２予測走行軌跡を重畳して前記表示部に表示することを特徴とする運転支援装置。

Images