以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。
<実施形態>
図1は、実施形態の駐車支援装置が搭載される牽引車両10及び被牽引車両20の平面図である。牽引車両10は、トラクタとも呼ばれ、被牽引車両20を牽引して走行可能に構成されている。牽引車両10は、例えば、内燃機関(例えば、エンジン)及び電動機(例えば、モータ)等の駆動源を有する自動車(例えば、ハイブリッド自動車)であってよい。また、牽引車両10は、種々の変速装置を搭載することができるし、内燃機関及び電動機を駆動するのに必要な種々の装置を搭載することができる。また、牽引車両10における車輪13の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
図1に示すように、牽引車両10は、車体12と、4個の車輪13と、1または複数(本実施形態では4個)の撮像部14a、14b、14c、14dと、方向指示器16a、16bと、牽引装置18とを備える。撮像部14a、14b、14c、14dを区別する必要がない場合、撮像部14と記載する。方向指示器16a、16bを区別する必要がない場合、方向指示器16と記載する。
車体12は、運転手を含む乗員が乗車する車室を構成する。車体12は、後述する駐車支援装置とともに、車輪13、及び、撮像部14等を収容または保持する。
4個の車輪13は、車体12の前後左右に設けられている。例えば、前側の2個の車輪13は、転舵輪として機能して、後側の2個の車輪13は、駆動輪として機能する。
撮像部14は、例えば、CCD(Charge Coupled Device)、または、CIS(CMOS Image Sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部14は、所定のフレームレートで生成される複数のフレーム画像を含む動画、または、静止画のデータを撮像画像のデータとして出力する。撮像部14は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向の140°~190°の範囲を撮影することができる。撮像部14の光軸は、斜め下方に向けて設定されている。従って、撮像部14は、路面を含む牽引車両10の周辺を撮像した撮像画像のデータを出力する。
撮像部14は、車体12の周囲に設けられている。例えば、撮像部14aは、車体12の前端部の左右方向の中央部(例えば、フロントバンパー)に設けられている。撮像部14aは、牽引車両10の前方の周辺を撮像した撮像画像を生成する。撮像部14bは、車体12の後端部の左右方向の中央部(例えば、リアバンパー)に設けられている。撮像部14bは、牽引車両10の後方の周辺を撮像した撮像画像を生成する。撮像部14cは、車体12の左端部の前後方向の中央部(例えば、左側のサイドミラー12a)に設けられている。撮像部14cは、牽引車両10の左方の周辺を撮像した撮像画像を生成する。撮像部14dは、車体12の右端部の前後方向の中央部(例えば、右側のサイドミラー12b)に設けられている。撮像部14dは、牽引車両10の右方の周辺を撮像した撮像画像を生成する。
方向指示器16a、16bは、車体12の左側(例えば、左側のサイドミラー12a)及び右側(例えば、右側のサイドミラー12b)のそれぞれに設けられている。方向指示器16は、LED(Light Emitting Diode:発光ダイオード)等の発光装置を有する。方向指示器16は、点灯することによって、周辺の車両に牽引車両10の進行方向を知らせる。
牽引装置18は、ヒッチともいわれる装置である。牽引装置18は、車体12の左右方向の中央部に設けられている。牽引装置18は、車体12の後端部から後方に突出している。牽引装置18は、例えば、鉛直方向に立設された柱状部材の上端部に設けられた球状のヒッチボール18aを有する。
被牽引車両20は、トレーラとも呼ばれ、牽引車両10に牽引されて走行する。被牽引車両20は、本体22と、複数(本実施形態では2個)のトレーラ車輪24と、連結部材26と、カプラ28とを備える。
本体22は、例えば、直方体の箱型に形成されている。本体22は、内部に荷物等を積載可能に中空状に構成されている。尚、本体22は、板状のフラット型であってもよい。
トレーラ車輪24は、本体22の左右にそれぞれ設けられている。トレーラ車輪24は、例えば、従動輪である。トレーラ車輪24は、エンジン等の駆動源と連結された駆動輪、または、ステアリングホイール等によって左右方向に転舵可能な転舵輪であってもよい。
連結部材26は、本体22の左右方向の中央部に設けられている。連結部材26は、本体22の前端部から前方へと延びる。
カプラ28は、連結部材26の前端部に設けられている。カプラ28には、ヒッチボール18aを覆う球状の凹部が形成されている。カプラ28がヒッチボール18aを覆うことによって、被牽引車両20は牽引車両10に対して旋回可能に連結される。
図2は、実施形態の牽引車両10の車室内のダッシュボード近傍の図である。図2に例示されるように、牽引車両10は、操舵部30と、変速部32と、方向指示スイッチ34と、モニタ装置36とを更に備える。
操舵部30は、前側の車輪13を転舵させて牽引車両10の進行方向を変更させるために運転手が操作する装置である。操舵部30は、例えば、センターコンソールから突出して、運転席の前方に設けられたステアリングホイールまたはハンドルである。
変速部32は、例えば、センターコンソールから突出したシフトレバー等を含み、牽引車両10の変速比または牽引車両10の前後の進行方向(ドライブ、パーキング、及び、リバース等)を変更させる装置である。
方向指示スイッチ34は、左右の方向指示器(即ち、ウィンカー)を操作するために、運転手が操作する部材である。方向指示スイッチ34は、例えば、操舵部30の外周部に設けられたレバー状の部材である。
モニタ装置36は、牽引車両10の車室内のダッシュボード等に設けられている。モニタ装置36は、表示部38と、音声出力部40と、操作入力部42とを有する。
表示部38は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、または、有機ELディプレイ(OELD:Organic Electroluminescent Display)等の表示装置である。表示部38は、ナビゲーションシステムの道案内等の画像、及び、駐車支援時に俯瞰画像を含む表示画像を表示する。
音声出力部40は、例えば、スピーカである。音声出力部40は、ナビゲーションにおける運転手を案内する音声等を出力する。
操作入力部42は、乗員の入力を受け付ける。操作入力部42は、例えば、タッチパネルである。操作入力部42は、表示部38の表示画面に設けられている。操作入力部42は、表示部38が表示する画像を透過可能に構成されている。これにより、操作入力部42は、表示部38の表示画面に表示される画像を乗員に視認させることができる。操作入力部42は、表示部38の表示画面に表示される画像に対応した位置を乗員が触れることによって入力した指示を受け付ける。例えば、操作入力部42は、牽引モード等のモード切り替え指示、駐車支援の開始指示、及び、目標駐車位置を選択する選択指示等を含む指示を乗員から受け付ける。なお、操作入力部42は、タッチパネルに限らず、押しボタン式等のハードスイッチであってもよい。
図3は、実施形態の駐車支援装置60を含む駐車支援システム50の全体構成を示すブロック図である。駐車支援システム50は、牽引車両10に搭載されて、牽引車両10の周辺の対象物に応じて、牽引車両10が駐車可能な位置を目標駐車位置として設定するとともに、牽引車両10の周辺を示す俯瞰画像を含む表示画像を生成して表示部38に表示させる。
図3に示すように、駐車支援システム50は、複数の撮像部14a、14b、14c、14dと、方向指示スイッチ34と、変速部センサ52と、操舵部センサ54と、車輪速センサ56と、モニタ装置36と、駐車支援装置60と、車内ネットワーク62とを備える。
複数の撮像部14は、牽引車両10の周辺を撮像した撮像画像を駐車支援装置60へ出力する。
方向指示スイッチ34は、運転手が操作した方向指示の方向を車内ネットワーク62へ出力する。
操舵部センサ54は、例えば、ホール素子等を含む角度センサであって、操舵部30がハンドル等の場合、ハンドル等の回転角を操舵部30の操舵角として検出する。操舵部センサ54は、検出した操舵部30の操舵角の情報を車内ネットワーク62に出力する。
変速部センサ52は、例えば、位置センサであって、変速部32がシフトレバーの場合、シフトレバーの位置を変速部32の位置として検出する。変速部センサ52は、検出した変速部32の位置を車内ネットワーク62に出力する。
車輪速センサ56は、例えば、牽引車両10の車輪13の近傍に設けられたホール素子を有し、車輪13の回転量または単位時間当たりの回転数等を示すパルス数を車輪速情報として検出するセンサである。車輪速センサ56は、車速等を算出するための値として、車輪速情報を車内ネットワーク62へ出力する。
駐車支援装置60は、ECU(Electronic Control Unit)等のマイクロコンピュータを含むコンピュータである。駐車支援装置60は、撮像部14から撮像画像のデータを取得する。駐車支援装置60は、撮像画像等に基づいて生成した画像または音声に関するデータをモニタ装置36へ送信する。駐車支援装置60は、乗員への指示、及び、乗員への通知等の画像または音声に関するデータをモニタ装置36へ送信する。駐車支援装置60は、乗員からの指示を車内ネットワーク62を介してモニタ装置36から受信する。駐車支援装置60は、目標駐車位置を設定するとともに、複数のモード、牽引車両10の進行方向、及び、選択された目標駐車位置等に応じた表示用俯瞰画像及び周辺画像を含む表示画像を表示部38に表示させて、運転手による駐車を支援する。駐車支援装置60は、CPU(Central Processing Unit)60aと、ROM(Read Only Memory)60bと、RAM(Random Access Memory)60cと、表示制御部60dと、音声制御部60eと、SSD(Solid State Drive)60fとを備える。CPU60a、ROM60b及びRAM60cは、同一パッケージ内に集積されていてもよい。
CPU60aは、ハードウェアプロセッサの一例であって、ROM60b等の不揮発性の記憶装置に記憶されたプログラムを読み出して、当該プログラムにしたがって各種の演算処理および制御を実行する。CPU60aは、例えば、牽引車両10の駐車支援の処理を実行する。
ROM60bは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。RAM60cは、CPU60aでの演算で用いられる各種のデータを一時的に記憶する。表示制御部60dは、駐車支援装置60での演算処理のうち、主として、撮像部14から得られた撮像画像の画像処理、表示部38に表示させる表示用の画像のデータ変換等を実行して、画像情報を表示部38へ出力する。音声制御部60eは、駐車支援装置60での演算処理のうち、主として、音声出力部40に出力させる音声の処理を実行して、音声データを音声出力部40へ出力する。SSD60fは、書き換え可能な不揮発性の記憶装置であって、駐車支援装置60の電源がオフされた場合にあってもデータを維持する。
車内ネットワーク62は、例えば、CAN(Controller Area Network)及びLIN(Local Interconnect Network)等を含む。車内ネットワーク62は、方向指示スイッチ34と、変速部センサ52と、操舵部センサ54と、車輪速センサ56と、モニタ装置36の操作入力部42と、駐車支援装置60とを互いに情報を送受信可能に接続する。
図4は、駐車支援装置60の機能を説明するブロック図である。図4に示すように、駐車支援装置60は、処理部64と、記憶部66とを有する。
処理部64は、CPU60aまたは表示制御部60dの機能として実現される。処理部64は、車両情報取得部70と、前進後退判定部72と、目標駐車位置方向判定部74と、入力情報取得部76と、牽引判定部78と、駐車モード判定部80と、画像取得部82と、目標駐車位置設定部84と、俯瞰画像生成部86と、俯瞰画像表示範囲設定部88と、表示画像生成部90と、表示画像出力部92と、を有する。処理部64は、記憶部66に格納されたソフトウェアである駐車支援プログラム94を読み込むことによって、車両情報取得部70、前進後退判定部72、目標駐車位置方向判定部74、入力情報取得部76、牽引判定部78、駐車モード判定部80、画像取得部82、目標駐車位置設定部84、俯瞰画像生成部86、俯瞰画像表示範囲設定部88、表示画像生成部90、及び、表示画像出力部92の機能を実現してよい。車両情報取得部70、前進後退判定部72、目標駐車位置方向判定部74、入力情報取得部76、牽引判定部78、駐車モード判定部80、画像取得部82、目標駐車位置設定部84、俯瞰画像生成部86、俯瞰画像表示範囲設定部88、表示画像生成部90、及び、表示画像出力部92の一部または全部は、ASIC(Application Specific Integrated Circuit)またはFPGA(Field-Programmable Gate Array)等のハードウェアによって実現してもよい。
車両情報取得部70は、牽引車両10に関する情報を取得する。具体的には、車両情報取得部70は、運転手が方向指示スイッチ34を操作して方向指示器16を点灯させている方向情報を方向指示スイッチ34から取得する。車両情報取得部70は、方向指示器16の方向情報を目標駐車位置方向判定部74へ出力する。車両情報取得部70は、変速部32のドライブ及びリバース等を判定するための位置情報を変速部センサ52から取得する。車両情報取得部70は、変速部32の位置情報を前進後退判定部72へ出力する。車両情報取得部70は、操舵部30の操舵角情報を操舵部センサ54から取得するとともに、車輪13の回転数等を示す車輪速情報を車輪速センサ56から取得する。車両情報取得部70は、操舵部30の操舵角情報及び車輪13の車輪速情報を俯瞰画像表示範囲設定部88へ出力する。
前進後退判定部72は、車両情報取得部70から取得した変速部32の位置情報に基づいて、前後方向における牽引車両10の進行方向を判定する。具体的には、前進後退判定部72は、変速部32の位置がリバースである場合、牽引車両10の進行方向を後退と判定し、リバース以外のドライブ等の場合、牽引車両10の進行方向を前進と判定する。前進後退判定部72は、牽引車両10の進行方向の判定結果を俯瞰画像表示範囲設定部88へ出力する。
目標駐車位置方向判定部74は、車両情報取得部70から取得した方向指示器16の方向情報に基づいて、左右方向における乗員が選択した目標駐車位置の方向を判定する。例えば、目標駐車位置方向判定部74は、方向指示器16が示す方向を左右方向における目標駐車位置の方向として判定してよい。目標駐車位置方向判定部74は、乗員が選択した目標駐車位置の左右方向の判定結果を俯瞰画像表示範囲設定部88へ出力する。
入力情報取得部76は、乗員が操作入力部42に入力した指示を、操作入力部42から取得する。入力情報取得部76は、通常モードまたは牽引モードに関する設定指示、駐車モードの設定指示、及び、目標駐車位置の選択指示等を操作入力部42から取得する。入力情報取得部76は、通常モードまたは牽引モードに関する設定指示を牽引判定部78へ出力する。入力情報取得部76は、駐車モードの設定指示を駐車モード判定部80へ出力する。入力情報取得部76は、目標駐車位置の選択指示を駐車モード判定部80へ出力する。
牽引判定部78は、牽引車両10が被牽引車両20を牽引しているか否かを判定する。例えば、牽引判定部78は、入力情報取得部76から取得した通常モードまたは牽引モードに関する設定指示に基づいて、乗員の設定したモードが通常モードまたは牽引モードかを判定する。通常モードは、牽引車両10が被牽引車両20を牽引していない場合に設定されるモードである。従って、牽引判定部78は、通常モードが設定された場合、牽引車両10が被牽引車両20を牽引していないと判定する。牽引モードは、牽引車両10が被牽引車両20を牽引している場合に設定されるモードである。牽引判定部78は、牽引モードが設定された場合、牽引車両10が被牽引車両20を牽引していると判定する。牽引判定部78は、判定したモードの情報または牽引しているか否かの情報を俯瞰画像表示範囲設定部88へ出力する。
駐車モード判定部80は、入力情報取得部76から取得した駐車モードの設定指示を受け付けたか否かを判定する。駐車モードは、目標駐車位置を設定して駐車を支援するモードである。尚、本実施形態では、駐車モードは、牽引車両10が後退している場合に選択されても、前進に切り替わるまでモードは切り替わらない。駐車モード判定部80は、駐車モードの設定指示を受け付けたと判定すると、駐車モードが設定された旨の判定結果を、俯瞰画像表示範囲設定部88及び目標駐車位置設定部84へ出力する。また、駐車モード判定部80は、目標駐車位置設定部84が設定した目標駐車位置を乗員が選択したか否かを判定する。駐車モード判定部80は、目標駐車位置を乗員が選択した場合、選択した旨を俯瞰画像表示範囲設定部88へ出力する。
画像取得部82は、各撮像部14から牽引車両10の周辺を撮像した撮像画像を取得する。画像取得部82は、取得した撮像画像を目標駐車位置設定部84、及び、俯瞰画像生成部86へ出力する。
目標駐車位置設定部84は、駐車モード判定部80から駐車モードが設定された旨の判定結果を取得すると、画像取得部82から取得した牽引車両10の周辺の複数の撮像画像に基づいて、目標駐車位置を設定する。具体的には、目標駐車位置設定部84は、撮像画像から牽引車両10及び被牽引車両20の周辺の障害物等の対象物を検出し、対象物の位置に基づいて牽引車両10及び被牽引車両20を駐車可能な位置を検出して目標駐車位置を設定する。目標駐車位置設定部84は、目標駐車位置を表示画像生成部90へ出力する。
俯瞰画像生成部86は、各撮像部14が撮像した牽引車両10の周辺の複数の撮像画像を画像取得部82から取得し、当該撮像画像から俯瞰画像を生成する。具体的には、俯瞰画像生成部86は、複数の撮像画像の視点を牽引車両10の上方に変換した仮想視点から見た画像に変換し、当該変換した画像を繋げる。これにより、俯瞰画像生成部86は、牽引車両10の上方に変換した仮想視点から牽引車両10の周辺を俯瞰した俯瞰画像を生成する。尚、俯瞰画像生成部86は、後述する表示画像生成部90が俯瞰画像から表示画像に含まれる表示用俯瞰画像をトリミングするために、表示用俯瞰画像に含まれる現実世界の領域よりも広い現実世界の領域を含む俯瞰画像を生成する。俯瞰画像生成部86は、生成した俯瞰画像を俯瞰画像表示範囲設定部88へ出力する。
俯瞰画像表示範囲設定部88は、第1表示範囲及び第1表示範囲よりも広い第2表示範囲を含む2つの表示範囲からトリミング範囲を選択して設定する。第1表示範囲及び第2表示範囲は、表示画像内の表示用俯瞰画像に割り当てられた領域に合わせて設定すればよく、例えば、四角形状であってよい。第2表示範囲は、牽引車両10の前後方向の範囲及び左右方向の範囲において第1表示範囲よりも広い。トリミング範囲は、表示画像に含まれる表示用俯瞰画像を生成するために、撮像画像から生成された俯瞰画像から切り取る範囲のことである。俯瞰画像表示範囲設定部88は、牽引判定部78、駐車モード判定部80、目標駐車位置方向判定部74、及び、前進後退判定部72から取得した情報に基づいて、第1表示範囲及び第2表示範囲からトリミング範囲を設定してよい。
例えば、俯瞰画像表示範囲設定部88は、牽引判定部78から取得した被牽引車両20が牽引されているか否かの判定結果に基づいて、第1表示範囲または第2表示範囲から、トリミング範囲を選択する。具体的には、俯瞰画像表示範囲設定部88は、通常モードが設定されて牽引車両10が被牽引車両20を牽引していないと牽引判定部78が判定した場合、第1表示範囲を選択する。一方、俯瞰画像表示範囲設定部88は、牽引モードが設定されて牽引車両10が被牽引車両20を牽引していると牽引判定部78が判定した場合、第2表示範囲を選択する。
俯瞰画像表示範囲設定部88は、俯瞰画像内での前後方向におけるトリミング範囲の位置を設定する。例えば、俯瞰画像表示範囲設定部88は、俯瞰画像内での前後方向におけるトリミング範囲の中心を、予め設定された第1前後位置、第2前後位置、及び、第3前後位置のいずれかから選択して、トリミング範囲の位置を設定してよい。第1前後位置は、俯瞰画像の中心よりも後方である。第2前後位置は、俯瞰画像の中心よりも前方であって、第1前後位置よりも前方である。第3前後位置は、第1前後位置よりも前方であって、第2前後位置よりも後方であって、俯瞰画像内の中央(例えば、中心)であってよい。
具体的には、俯瞰画像表示範囲設定部88は、駐車モードが設定される前であって、被牽引車両20が牽引されていると判定して、第2表示範囲を選択すると、牽引車両10が前進及び後退している場合のいずれにおいても、トリミング範囲の中心を第1前後位置に設定する。俯瞰画像表示範囲設定部88は、通常モードが設定されて第1表示範囲を選択した場合、トリミング範囲の中心を第3前後位置に設定する。
俯瞰画像表示範囲設定部88は、被牽引車両20を牽引していると判定されて、第2表示範囲を選択した、駐車モードが設定されると牽引車両10の前後方向の進行方向に応じて、前後方向におけるトリミング範囲の中心の俯瞰画像内での位置を設定してよい。俯瞰画像表示範囲設定部88は、前進後退判定部72が判定した判定結果に基づいて、牽引車両10の前後方向の進行方向を判定してよい。俯瞰画像表示範囲設定部88は、被牽引車両20を牽引していると判定されて、第2表示範囲を選択し、駐車モードが設定され、かつ、牽引車両10が前進している場合、トリミング範囲の中心を第2前後位置に設定する。尚、本実施形態では、牽引車両10の後退中に駐車モードは設定されないので、駐車モードかつ後退時におけるトリミング範囲の中心の設定はなくてもよい。
俯瞰画像表示範囲設定部88は、俯瞰画像内での左右方向におけるトリミング範囲の中心の位置を設定する。例えば、俯瞰画像表示範囲設定部88は、俯瞰画像内での左右方向におけるトリミング範囲の中心を、予め設定された第1左右位置、第2左右位置、及び、第3左右位置のいずれかから選択して設定してよい。第1左右位置は、俯瞰画像内で中心よりも右側である。第2左右位置は、俯瞰画像内で中心よりも左側である。第3左右位置は、俯瞰画像内で中央(例えば、中心)である。俯瞰画像表示範囲設定部88は、乗員によって目標駐車位置が選択されて、固定されるまで、トリミング範囲の中心を第3左右位置に設定する。
俯瞰画像表示範囲設定部88は、目標駐車位置が設定されるまでは、トリミング範囲の左右位置として第3左右位置を選択する。俯瞰画像表示範囲設定部88は、被牽引車両20を牽引していると判定されて、第2表示範囲を選択し、駐車モードにおいて乗員によって目標駐車位置が選択されると、左右方向において、トリミング範囲を俯瞰画像内で選択された目標位置側に設定してよい。例えば、目標駐車位置方向判定部74が乗員によって右側の目標駐車位置が選択されたと判定すると、俯瞰画像表示範囲設定部88は、第1左右位置を選択する。目標駐車位置方向判定部74が乗員によって左側の目標駐車位置が選択されたと判定すると、俯瞰画像表示範囲設定部88は、第2左右位置を選択する。
俯瞰画像表示範囲設定部88は、撮像画像及び俯瞰画像とともに、トリミング範囲として設定した第1表示範囲及び第2表示範囲のいずれかと、トリミング範囲の前後及び左右の位置と、牽引車両10の前後方向における進行方向と、目標駐車位置とを表示画像生成部90へ出力する。尚、トリミング範囲の前後及び左右の位置によって特定されるトリミング範囲の中心の位置をトリミング位置と記載する。
表示画像生成部90は、俯瞰画像のうちトリミング範囲をトリミングして表示用俯瞰画像を生成し、牽引車両10の画像を重畳させた表示用俯瞰画像を含む表示画像を生成する。例えば、表示画像生成部90は、俯瞰画像表示範囲設定部88から取得した俯瞰画像と、トリミング範囲と、トリミング位置とに基づいて、表示用俯瞰画像を生成する。具体的には、表示画像生成部90は、俯瞰画像内のトリミング位置にトリミング範囲を配置して、当該トリミング範囲内の俯瞰画像をトリミングして表示用俯瞰画像を生成する。更に、表示画像生成部90は、トリミングした表示用俯瞰画像に、通常モードの場合は牽引車両10の画像を重畳させ、牽引モードの場合は牽引車両10及び被牽引車両20の画像を重畳させてよい。表示画像生成部90は、俯瞰画像表示範囲設定部88から取得した目標駐車位置に基づいて、駐車モードが設定されると、表示用俯瞰画像に目標駐車位置の画像を重畳させてもよい。
また、表示画像生成部90は、牽引車両10の前後方向の進行方向に基づいて、複数の撮像画像から撮像画像を1つ選択し、当該撮像画像から視点変換することなく周辺画像を生成してよい。尚、表示画像生成部90は、撮像画像に画像処理を実行することなく周辺画像としてもよく、撮像画像に歪み除去等の画像処理を実行して周辺画像を生成してもよい。例えば、表示画像生成部90は、牽引車両10が前方に進行している場合、撮像部14aが撮像した前方周辺の撮像画像を周辺画像として選択する。一方、表示画像生成部90は、牽引車両10が後退している場合、撮像部14bが撮像した後方周辺の撮像画像を周辺画像として選択する。表示画像生成部90は、周辺画像に進路線等を重畳させて、表示用の周辺画像を生成してもよい。更に、表示画像生成部90は、牽引モードの場合、被牽引車両20の画像を周辺画像に重畳させてもよい。
表示画像生成部90は、表示用俯瞰画像、及び、周辺画像を含む表示画像を生成してよい。例えば、表示画像生成部90は、表示用俯瞰画像を左側に配置し、周辺画像を右側に配置した表示画像を生成してよい。表示画像生成部90は、表示画像を表示画像出力部92へ出力する。
表示画像出力部92は、表示画像生成部90から取得した表示画像を表示部38に出力して、表示させる。
記憶部66は、ROM60b、RAM60c、及び、SSD60f等の機能として実現される。記憶部66は、処理部64が実行するプログラム、プログラムの実行に必要なデータ、及び、プログラムの実行によって生成されたデータを格納する。記憶部66は、外部に設けられた記憶装置の機能として実現してもよい。例えば、記憶部66は、処理部64が実行する駐車支援プログラム94を記憶する。記憶部66は、駐車支援プログラム94の実行に必要な数値データ96を記憶する。数値データ96は、例えば、トリミング範囲の縦横の長さを含む第1表示範囲及び第2表示範囲の情報、俯瞰画像内におけるトリミング位置の前後方向及び左右方向の座標等を含む。記憶部66は、駐車支援プログラム94の実行によって生成された周辺画像、俯瞰画像、表示画像、及び、トリミング範囲の大きさ及び位置等を一時的に記憶する。
図5は、通常モード及び牽引モードを選択するモード設定画像IMaの一例を示す図である。図5に示すように、牽引判定部78は、通常モードボタンBt1及び牽引モードボタンBt2を含むモード設定画像IMaを表示部38に表示させて、乗員によるモードの選択を受け付ける。具体的には、牽引判定部78は、乗員が通常モードボタンBt1をタッチしたことを入力情報取得部76から取得すると通常モードが選択されたと判定し、牽引モードボタンBt2をタッチしたことを入力情報取得部76から取得すると牽引モードが選択されたと判定する。
図6は、俯瞰画像BVとトリミング範囲の大きさ及び位置を説明するための平面図である。図7は、被牽引車両20を牽引していないと判定され、牽引車両10が前進している場合の表示画像IMeの一例を示す図である。図8は、被牽引車両20を牽引していないと判定され、牽引車両10が後退している場合の表示画像IMeの一例を示す図である。図9は、被牽引車両20を牽引していると判定され、牽引車両10が前進している場合の表示画像IMeの一例を示す図である。図10は、被牽引車両20を牽引していると判定され、牽引車両10が後退している場合の表示画像IMeの一例を示す図である。図11は、被牽引車両20を牽引していると判定され、駐車モードが設定され、前進している場合の表示画像IMeの一例を示す図である。図12は、被牽引車両20を牽引していると判定され、駐車モードが設定され、右側の目標駐車位置が選択された場合の表示画像IMeの一例を示す図である。図13は、被牽引車両20を牽引していると判定され、駐車モードが設定され、左側の目標駐車位置が選択された場合の表示画像IMeの一例を示す図である。図14は、被牽引車両20を牽引していると判定され、駐車モードが設定され、右側の目標駐車位置が選択され、旋回しつつ後退している場合の表示画像IMeの一例を示す図である。
俯瞰画像生成部86は、画像取得部82を介して、複数(例えば、4個)の撮像部14のそれぞれから撮像画像を取得して、図6に太実線で示す俯瞰画像BVを生成する。図6に示す牽引車両10の画像(以下、自車画像IMf)は、俯瞰画像BV内での牽引車両10の位置を示す。牽引車両10の位置は、例えば、俯瞰画像BVの中心である。俯瞰画像表示範囲設定部88は、被牽引車両20を牽引しているか否か、駐車モードの設定の有無、及び、選択された目標駐車位置の左右方向の位置に基づいて、トリミング範囲の大きさ及び位置を設定する。
例えば、俯瞰画像表示範囲設定部88は、通常モードが選択されて被牽引車両20が牽引されていないと牽引判定部78が判定した場合、図6に細実線で示す第1表示範囲Ar1を選択し、第3前後位置及び第3左右位置をトリミング位置として選択して第1表示範囲Ar1を配置する。換言すれば、俯瞰画像表示範囲設定部88は、俯瞰画像BVの中央位置に第1表示範囲Ar1を設定する。表示画像生成部90は、俯瞰画像BVのうち、設定された第1表示範囲Ar1で囲まれる領域をトリミングして、表示用俯瞰画像を生成する。これにより、表示画像生成部90は、図7及び図8に示すように、自車画像IMfが中央に重畳された表示用俯瞰画像IMcを含む表示画像IMeを生成する。尚、表示画像生成部90は、牽引車両10が移動しても、表示用俯瞰画像IMc内での自車画像IMfの位置を移動させない。従って、表示画像生成部90は、操舵部センサ54から取得した操舵角の情報及び車輪速センサ56から取得した車輪速情報に基づいて牽引車両10の走行経路を算出して表示用俯瞰画像IMcを変化または移動させる。表示画像生成部90は、表示用俯瞰画像IMcとともに、牽引車両10の進行方向の周辺画像IMdを含む表示画像IMeを生成してもよい。例えば、表示画像生成部90は、牽引車両10が前進している場合、図7に示すように、撮像部14aが撮像した前方の周辺画像IMdを含む表示画像IMeを生成してよい。表示画像生成部90は、牽引車両10が後退している場合、図8に示すように、撮像部14bが撮像した後方の周辺画像IMdを含む表示画像IMeを生成してよい。また、表示画像生成部90は、表示画像IMeに走行を支援する支援線SLを重畳させてもよい。例えば、表示画像生成部90は、牽引車両10が前進している場合、牽引車両10の前方に走行する軌跡及び牽引車両10からの距離(例えば、1m)を示す支援線SLを表示用俯瞰画像IMc及び周辺画像IMdに重畳させてよい。表示画像生成部90は、牽引車両10が後退している場合、牽引車両10の前方及び後方に走行する軌跡及び牽引車両10からの距離(例えば、50cm、1m、2.5m)を示す支援線SLを重畳させてよい。
俯瞰画像表示範囲設定部88は、被牽引車両20を牽引していると牽引判定部78が判定した場合、図6に示す第2表示範囲Ar2a、Ar2b、Ar2c、Ar2dのいずれかをトリミング範囲として選択する。第2表示範囲Ar2a、Ar2b、Ar2c、Ar2dを区別する必要がない場合、第2表示範囲Ar2と記載する。尚、第2表示範囲Ar2a、Ar2b、Ar2c、Ar2dのうち、線の重複を避けるため一部左右の幅を変更しているが、第2表示範囲Ar2a、Ar2b、Ar2c、Ar2dの左右の幅は全て同じである。俯瞰画像表示範囲設定部88は、更に、牽引車両10の前後方向の進行方向、駐車モードの設定の有無、及び、駐車モードにおいて乗員が選択した目標駐車位置の左右方向の位置に基づいて、俯瞰画像BV内での第2表示範囲Ar2のトリミング位置を設定する。
表示画像生成部90は、俯瞰画像表示範囲設定部88が設定した第2表示範囲Ar2及び第2表示範囲Ar2の位置に基づいて、俯瞰画像BVをトリミングして表示用俯瞰画像IMcを生成し、当該表示用俯瞰画像IMc及び周辺画像IMdを含む表示画像IMeを生成する。ここで、第2表示範囲Ar2は第1表示範囲Ar1よりも大きく、表示画像IMe内での表示用俯瞰画像IMcの表示領域の大きさは第2表示範囲Ar2及び第1表示範囲Ar1のいずれにおいても同じである。従って、表示画像生成部90は、第1表示範囲Ar1における表示用俯瞰画像IMcよりも第2表示範囲Ar2における表示用俯瞰画像IMcをより縮小、または、第2表示範囲Ar2における表示用俯瞰画像IMcよりも第1表示範囲Ar1における表示用俯瞰画像IMcをより拡大する。
俯瞰画像表示範囲設定部88は、駐車モードが設定される前であって、被牽引車両20を牽引していると牽引判定部78が判定した場合、図6に示す第2表示範囲Ar2aのように、第1前後位置及び第3左右位置をトリミング位置として選択する。ここで、第1前後位置は、俯瞰画像BVの中心、及び、第2前後位置及び第3前後位置よりも後方である。この場合、表示画像生成部90は、図9及び図10に示すように、第2表示範囲Ar2aの俯瞰画像BVをトリミングして、自車画像IMfが中心よりも前方に配置された表示用俯瞰画像IMcを生成する。表示画像生成部90は、被牽引車両20の画像(以下、被牽引画像IMg)を表示用俯瞰画像IMcに重畳させてもよい。
また、表示画像生成部90は、被牽引車両20を牽引していると牽引判定部78が判定した場合においても、牽引車両10が前進している場合、図9に示すように、撮像部14aが撮像した前方の周辺画像IMdを含む表示画像IMeを生成してよい。表示画像生成部90は、牽引車両10が後退している場合、図10に示すように、撮像部14bが撮像した後方の周辺画像IMd及び現実に被牽引車両20が撮像された実被牽引画像IMhを含む表示画像IMeを生成してよい。表示画像生成部90は、表示画像IMeに走行を支援する支援線SLを重畳させてもよい。更に、表示画像生成部90は、表示画像IMeに駐車モードを受け付けるためのガイドボタンBt3を含めてよい。
俯瞰画像表示範囲設定部88は、被牽引車両20を牽引していると判定され、乗員がガイドボタンBt3を操作して駐車モードが設定されて、牽引車両10が前進している場合、図6に示す第2表示範囲Ar2bのように、第2前後位置及び第3左右位置をトリミング位置として選択する。ここで、第2前後位置は、俯瞰画像BVの中心、第1前後位置及び第3前後位置よりも前方である。この場合、表示画像生成部90は、図11に示すように、第2表示範囲Ar2bの俯瞰画像BVをトリミングして、自車画像IMfの中心が後半分に配置され、自車画像IMfの前端が中心近傍に配置された表示用俯瞰画像IMcを生成する。
また、表示画像生成部90は、被牽引車両20を牽引していると判定され、駐車モードが設定され、かつ、前進している場合、図11に示すように、撮像部14aが撮像した前方の周辺画像IMdを含む表示画像IMeを生成してよい。表示画像生成部90は、表示画像IMeに走行を支援する支援線SLを重畳させてもよい。ここで、表示画像生成部90は、駐車モードが設定されている状態で、目標駐車位置設定部84が検出した目標駐車位置の位置情報を取得すると、表示用俯瞰画像IMcに目標駐車位置の画像(以下、目標位置画像IMj)を重畳させてよい。更に、表示画像生成部90は、駐車モードを解消するためのキャンセルボタンBt5、及び、目標駐車位置を決定するためのネクストボタンBt4を表示画像IMeに含めてよい。
俯瞰画像表示範囲設定部88は、被牽引車両20を牽引していると判定され、駐車モードが設定されて、乗員によって目標駐車位置が選択されて、かつ、前進している場合、図6に示す第2表示範囲Ar2c、Ar2dのように、第2前後位置及び目標駐車位置の位置に応じた第1左右位置または第2左右位置のいずれかをトリミング位置として選択する。例えば、俯瞰画像表示範囲設定部88は、選択された目標駐車位置が右側であると目標駐車位置方向判定部74が判定した場合、第2前後位置及び第1左右位置をトリミング位置として選択する。尚、第1左右位置は、俯瞰画像BV内において中心よりも右側である。この場合、表示画像生成部90は、図12に示すように、俯瞰画像BV内で目標駐車位置側(即ち、右側)に配置された第2表示範囲Ar2c内の俯瞰画像BVをトリミングする。これにより、表示画像生成部90は、自車画像IMfが中心よりも左側に配置されて、目標駐車位置が設定される前よりも目標位置画像IMjが中心側に近づいた表示用俯瞰画像IMcを生成する。また、この場合においても、表示画像生成部90は、図12に示すように、撮像部14aが撮像した前方(即ち、進行方向側)の周辺画像IMdを含む表示画像IMeを生成してよい。表示画像生成部90は、目標駐車位置の選択の前後で目標位置画像IMjの色(例えば、灰色から青色)等を変更してもよい。表示画像生成部90は、表示画像IMeに走行を支援する支援線SLを重畳させてもよい。ここで、表示画像生成部90は、目標駐車位置が設定されると、キャンセルボタンBt5を消去して、目標駐車位置を再設定するためのガイドボタンBt3を再表示させてもよい。
俯瞰画像表示範囲設定部88は、選択された目標駐車位置が左側であると目標駐車位置方向判定部74が判定した場合、第2前後位置及び第2左右位置をトリミング位置として選択する。尚、第2左右位置は、俯瞰画像BV内において中心よりも左側である。この場合、表示画像生成部90は、図13に示すように、俯瞰画像BV内で目標駐車位置側(即ち、左側)に配置された第2表示範囲Ar2d内の俯瞰画像BVをトリミングする。これにより、表示画像生成部90は、自車画像IMfが中心よりも右側に配置されて、目標駐車位置が設定される前よりも目標位置画像IMjが中心側に近づいた表示用俯瞰画像IMcを生成する。この場合においても、表示画像生成部90は、前方の周辺画像IMd及びガイドボタンBt3を表示画像IMe内に表示させてよい。
尚、図6において、線の重複を避けるため、第2表示範囲Ar2b、Ar2c、Ar2dの前後の位置をずらして図示しているが、第2表示範囲Ar2b、Ar2c、Ar2dの前後の位置は同じである。
俯瞰画像表示範囲設定部88は、被牽引車両20を牽引していると判定され、駐車モードが設定され、牽引車両10が後退している場合、図6に示す第2表示範囲Ar2aのように、第1前後位置及び左右位置として第3左右位置をトリミング位置として選択する。換言すれば、俯瞰画像表示範囲設定部88は、被牽引車両20を牽引していると判定され、後退している場合、駐車モード及び目標駐車位置の設定の有無に関わらず、図6に示す第2表示範囲Ar2aの位置を選択する。従って、表示画像生成部90は、被牽引車両20を牽引していると判定され、駐車モード及び目標駐車位置が設定され、牽引車両10が後退している場合、図14に示すように、自車画像IMfが中心よりも前方に配置され、目標位置画像IMjを重畳させた表示用俯瞰画像IMcを生成する。
ここで、表示画像生成部90は、被牽引車両20を牽引していると判定され、駐車モード及び目標駐車位置が設定され、牽引車両10が旋回しつつ後退している場合、図14に示すように、被牽引車両20を示す被牽引画像IMgを自車画像IMfに対して傾斜させて配置する。尚、他のモードにおいても、表示画像生成部90は、牽引車両10が旋回している場合、当該旋回に対応させて被牽引画像IMgを自車画像IMfに対して傾斜させて配置してよい。表示画像生成部90は、当該表示用俯瞰画像IMcとともに、撮像部14bが撮像した後方の周辺画像IMdを含む表示画像IMeを生成してよい。
図15は、処理部64が実行する駐車支援処理の前半部分のフローチャートである。図16は、処理部64が実行する駐車支援処理の後半部分のフローチャートである。処理部64は、記憶部66に格納された駐車支援プログラム94を読み込むことによって、駐車支援処理を実行する。
図15に示すように、駐車支援処理では、まず、画像取得部82が、各撮像部14から撮像画像を取得して、目標駐車位置設定部84及び俯瞰画像生成部86へ出力する(S102)。俯瞰画像生成部86は、取得した撮像画像に基づいて、現実世界において、表示用俯瞰画像IMcよりも広い範囲を含む俯瞰画像BVを生成する(S104)。
次に、牽引判定部78は、牽引車両10が被牽引車両20を牽引しているか否かを判定する(S106)。例えば、牽引判定部78は、入力情報取得部76を介して取得した乗員による通常モードボタンBt1または牽引モードボタンBt2が選択されたか否かによって、牽引しているか否かを判定してよい。乗員が通常モードボタンBt1をタッチして選択した場合、牽引判定部78は、牽引していないと判定して(S106:No)、その旨を俯瞰画像表示範囲設定部88へ出力する。尚、牽引判定部78は、ボタンBt1、Bt2のいずれもタッチされていない場合、通常モードが選択されたと判定し、牽引していないと判定してもよい。俯瞰画像表示範囲設定部88は、牽引していない旨を牽引判定部78から取得すると、トリミング範囲として第1表示範囲Ar1を選択して、トリミング位置として第3前後位置及び第3左右位置を選択して、表示画像生成部90へ出力する(S202)。
表示画像生成部90は、俯瞰画像生成部86が生成した俯瞰画像BVのうち、第3前後位置及び第3左右位置に配置された第1表示範囲Ar1内をトリミングして、表示用俯瞰画像IMcを生成する(S220)。表示画像生成部90は、図7または図8に示すように、当該表示用俯瞰画像IMc及び周辺画像IMdを含む表示画像IMeを生成して表示画像出力部92へ出力する(S222)。表示画像出力部92は、取得した表示画像IMeを表示部38に出力して表示させる(S224)。この後、処理部64は、ステップS102以降を繰り返す。
乗員が牽引モードボタンBt2をタッチして選択した場合、牽引判定部78は、牽引車両10が被牽引車両20を牽引していると判定して(S106:Yes)、その旨を俯瞰画像表示範囲設定部88へ出力する。前進後退判定部72は、牽引車両10が前進しているか否かを判定する(S108)。例えば、前進後退判定部72は、車両情報取得部70を介して取得した変速部センサ52が検出した変速部32の位置情報に基づいて牽引車両10が前進しているか否かを判定してよい。前進後退判定部72は、変速部32の位置情報に基づいて、変速部32がリバースに設定されて後退している場合、前進していないと判定して(S108:No)、後退している旨を俯瞰画像表示範囲設定部88に出力する。俯瞰画像表示範囲設定部88は、牽引している旨及び後退である旨を取得すると、トリミング範囲として第2表示範囲Ar2を選択して、トリミング位置として第1前後位置及び第3左右位置を選択して、表示画像生成部90へ出力する(S204)。
表示画像生成部90は、俯瞰画像生成部86が生成した俯瞰画像BVのうち、第1前後位置及び第3左右位置に配置された第2表示範囲Ar2a内をトリミングして、表示用俯瞰画像IMcを生成する(S220)。表示画像生成部90は、図10に示すように、被牽引画像IMg及びガイドボタンBt3等を重畳させた当該表示用俯瞰画像IMc及び周辺画像IMdを含む表示画像IMeを生成して表示画像出力部92へ出力する(S222)。尚、表示画像生成部90は、後述するように、目標駐車位置が設定された後、ステップ102以降が繰り返された場合、図14に示す表示画像IMeを生成する。表示画像出力部92は、取得した表示画像IMeを表示部38に出力して表示させる(S224)。この後、処理部64は、ステップS102以降を繰り返す。
運転手が変速部32をドライブ等に設定している場合、前進後退判定部72は牽引車両10が前進していると判定して(S108:Yes)、前進中である旨を俯瞰画像表示範囲設定部88へ出力する。駐車モード判定部80は、駐車モードが設定されたか否かを判定する(S110)。例えば、駐車モード判定部80は、入力情報取得部76を介して取得した乗員によるガイドボタンBt3へのタッチによって駐車モードが設定されたか否かを判定してよい。乗員がガイドボタンBt3をタッチしていない場合、または、乗員がキャンセルボタンBt5をタッチした場合、駐車モードが設定されていないと判定する(S110:No)。俯瞰画像表示範囲設定部88は、被牽引車両20を牽引していると判定した旨、前進している旨及び駐車モードでない旨を取得すると、トリミング範囲として第2表示範囲Ar2を選択して、トリミング位置として第1前後位置及び第3左右位置を選択して、表示画像生成部90へ出力する(S204)。表示画像生成部90は、第1前後位置及び第3左右位置に配置された第2表示範囲Ar2a内をトリミングして、表示用俯瞰画像IMcを生成する(S220)。表示画像生成部90は、図9に示すように、被牽引画像IMg及びガイドボタンBt3等を重畳させた当該表示用俯瞰画像IMc及び周辺画像IMdを含む表示画像IMeを生成する(S222)。処理部64は、上述のステップS224以降を実行して、表示画像IMeを表示部38に表示させた後、ステップS102以降を繰り返す。
乗員がガイドボタンBt3をタッチして選択した場合、駐車モード判定部80は、駐車モードが選択されたと判定して(S110:Yes)、駐車モードが選択された旨を目標駐車位置設定部84及び俯瞰画像表示範囲設定部88へ出力する。目標駐車位置設定部84は、駐車モードが選択された旨を取得すると、画像取得部82から取得した撮像画像に基づいて目標駐車位置を設定して、俯瞰画像表示範囲設定部88へ出力する(S112)。
次に、駐車モード判定部80は、目標駐車位置が選択されたか否かを判定する(S114)。例えば、駐車モード判定部80は、入力情報取得部76を介して取得した乗員によるネクストボタンBt4の操作によって、目標駐車位置が選択されたか否かを判定してよい。乗員がネクストボタンBt4をタッチしていない場合、駐車モード判定部80は、目標駐車位置を選択していないと判定して(S114:No)、まだ目標駐車位置を選択していない旨を俯瞰画像表示範囲設定部88へ出力する。俯瞰画像表示範囲設定部88は、被牽引車両20を牽引していると判定した旨を牽引判定部78から取得し、前進かつ駐車モードにおいて、目標駐車位置が選択されていない旨を駐車モード判定部80から取得すると、トリミング範囲として第2表示範囲Ar2を選択して、トリミング位置として第2前後位置及び第3左右位置を選択して、表示画像生成部90へ出力する(S206)。
表示画像生成部90は、俯瞰画像生成部86が生成した俯瞰画像BVのうち、第2前後位置及び第3左右位置に配置された第2表示範囲Ar2b内をトリミングして、表示用俯瞰画像IMcを生成する(S220)。表示画像生成部90は、図11に示すように、目標位置画像IMj及びボタンBt4、Bt5等を重畳させた当該表示用俯瞰画像IMc及び周辺画像IMdを含む表示画像IMeを生成して表示画像出力部92へ出力する(S222)。表示画像出力部92は、取得した表示画像IMeを表示部38に出力して表示させる(S224)。この後、処理部64は、ステップS102以降を繰り返す。
乗員がネクストボタンBt4をタッチして選択した場合、駐車モード判定部80は、目標駐車位置が選択されたと判定して(S114:Yes)、目標駐車位置が選択された旨を俯瞰画像表示範囲設定部88へ出力する。目標駐車位置方向判定部74は、選択された目標駐車位置が左側か否かを判定する(S116)。例えば、目標駐車位置方向判定部74は、車両情報取得部70を介して取得した方向指示スイッチ34の位置情報に基づいて、目標駐車位置が左側か否かを判定してよい。目標駐車位置方向判定部74は、右側の方向指示器16が点灯している場合、方向指示スイッチ34の位置情報に基づいて、選択された目標駐車位置が右側であって左側でないと判定して(S116:No)、右側である旨を俯瞰画像表示範囲設定部88に出力する。俯瞰画像表示範囲設定部88は、被牽引車両20を牽引していると判定され、前進かつ駐車モードにおいて、右側の目標駐車位置が選択された旨を取得すると、トリミング範囲として第2表示範囲Ar2を選択して、トリミング位置として第2前後位置及び第1左右位置を選択して、表示画像生成部90へ出力する(S208)。
表示画像生成部90は、俯瞰画像生成部86が生成した俯瞰画像BVのうち、第2前後位置及び第1左右位置に配置された第2表示範囲Ar2c内をトリミングして、表示用俯瞰画像IMcを生成する(S220)。表示画像生成部90は、図12に示すように、ガイドボタンBt3等を重畳させ、左右方向において目標位置画像IMjが中心に寄り、自車画像IMfが左側に寄った当該表示用俯瞰画像IMc及び周辺画像IMdを含む表示画像IMeを生成して表示画像出力部92へ出力する(S222)。表示画像出力部92は、取得した表示画像IMeを表示部38に出力して表示させる(S224)。この後、処理部64は、ステップS102以降を繰り返す。
目標駐車位置方向判定部74は、左側の方向指示器16が点灯している場合、方向指示スイッチ34の位置情報に基づいて、選択された目標駐車位置が左側であると判定して(S116:Yes)、左側である旨を俯瞰画像表示範囲設定部88に出力する。俯瞰画像表示範囲設定部88は、被牽引車両20を牽引していると判定され、前進かつ駐車モードにおいて、左側の目標駐車位置が選択された旨を取得すると、トリミング範囲として第2表示範囲Ar2を選択して、トリミング位置として第2前後位置及び第2左右位置を選択して、表示画像生成部90へ出力する(S210)。
表示画像生成部90は、俯瞰画像生成部86が生成した俯瞰画像BVのうち、第2前後位置及び第2左右位置に配置された第2表示範囲Ar2d内をトリミングして、表示用俯瞰画像IMcを生成する(S220)。表示画像生成部90は、図13に示すように、ガイドボタンBt3等を重畳させ、左右方向において目標位置画像IMjが中心に寄り、自車画像IMfが右側に寄った当該表示用俯瞰画像IMc及び周辺画像IMdを含む表示画像IMeを生成して表示画像出力部92へ出力する(S222)。表示画像出力部92は、取得した表示画像IMeを表示部38に出力して表示させる(S224)。この後、処理部64は、ステップS102以降を繰り返す。
上述したように、駐車支援装置60では、被牽引車両20を牽引していると判定されると、俯瞰画像表示範囲設定部88が、第1表示範囲Ar1よりも広い第2表示範囲Ar2を選択し、表示画像生成部90は、撮像画像から生成された俯瞰画像BVのうち、当該第2表示範囲Ar2内を表示用俯瞰画像IMcとしてトリミングしている。これにより、駐車支援装置60は、被牽引車両20を牽引していると牽引判定部78が判定すると、牽引していないと判定した場合よりも、現実世界において広い範囲の表示用俯瞰画像IMcを含む表示画像IMeを表示させることができる。これにより、駐車支援装置60は、被牽引車両20を牽引して車両全体が長くなっている場合でも、牽引車両10及び被牽引車両20の周辺が見やすい表示画像IMeを提供できる。
駐車支援装置60では、被牽引車両20を牽引していると判定されると、俯瞰画像表示範囲設定部88が、第1表示範囲Ar1よりも左右方向の範囲が広い第2表示範囲Ar2を選択している。表示画像生成部90は、撮像画像から生成された俯瞰画像BVのうち、第2表示範囲Ar2内をトリミングして表示用俯瞰画像IMcを生成している。これにより、駐車支援装置60は、牽引車両10が旋回中で被牽引車両20によって遮られる領域が多くなっても、牽引車両10の左右の障害物等を含む周辺がより見やすい表示画像IMeを乗員に提供できる。
駐車支援装置60では、牽引車両10が後退している場合、俯瞰画像表示範囲設定部88が、第2表示範囲Ar2に設定されたトリミング範囲を俯瞰画像BVの中心よりも後方の第1前後位置に設定する。これにより、駐車支援装置60は、進行方向である後方の画像をより多く含む表示用俯瞰画像IMcによって、表示画像IMeをより見やすくすることができる。更に、駐車支援装置60は、広い第2表示範囲Ar2を選択しているので、後方の画像を多くしつつ、前方及び左右の画像の減少を低減できるので、後方以外の方向の障害物等が見やすい表示画像IMeを提供できる。
駐車支援装置60では、被牽引車両20を牽引し、駐車モードの指示を受け付け、かつ、牽引車両10が前進している場合、俯瞰画像表示範囲設定部88が、第2表示範囲Ar2に設定されたトリミング範囲を俯瞰画像BVの中心よりも前方の第2前後位置に設定する。これにより、駐車支援装置60は、進行方向である前方の画像をより多く含み目標位置画像IMjを重畳させた表示用俯瞰画像IMcによって、進行方向である前方及び目標駐車位置が見やすい表示画像IMeを提供できる。
駐車支援装置60では、被牽引車両20を牽引し、駐車モードの指示を受け付け、牽引車両10が前進し、かつ、目標駐車位置が選択されている場合、俯瞰画像表示範囲設定部88が、第2表示範囲Ar2に設定されたトリミング範囲を目標駐車位置側に設定する。これにより、駐車支援装置60は、牽引車両10及び被牽引車両20と選択した目標駐車位置とを表示用俯瞰画像IMcに含める確率を高めることができる。この結果、駐車支援装置60は、牽引車両10が旋回しつつ後退する場合であっても、選択した目標駐車位置近傍の画像をより多く含み目標位置画像IMjを重畳させた表示用俯瞰画像IMcを含む表示画像IMeを提供できる。従って、駐車支援装置60は、進行方向である前方、及び、選択した目標駐車位置の近傍の障害物等が見やすく、かつ、牽引車両10及び被牽引車両20と選択した目標駐車位置との位置関係等が把握しやすい表示画像IMeを提供できる。
駐車支援装置60では、表示画像生成部90が表示用俯瞰画像IMcとともに、牽引車両10の進行方向の周辺画像IMdを含む表示画像IMeを生成している。これにより、駐車支援装置60は、トリミング範囲を俯瞰画像BV内で前後に移動させて、表示用俯瞰画像IMcの前方または後方の一方の領域を増加させ他方の領域を減少させた場合でも、進行方向の状況が見やすい表示画像IMeを提供できる。
次に、表示画像IMeの一部を変更した変形例について説明する。
<第1変形例>
図17は、第1変形例の表示画像IMeの一例を示す図である。俯瞰画像表示範囲設定部88は、被牽引車両20を牽引していると牽引判定部78が判定すると、第2表示範囲Ar2を選択して、牽引車両10が前進している場合、図6に示す第2表示範囲Ar2bのように、トリミング範囲の中心を第2前後位置に設定してもよい。この場合、表示画像生成部90は、図17に示すように、自車画像IMfが中心よりも後方に配置された表示用俯瞰画像IMcを含む表示画像IMeを生成する。これにより、駐車支援装置60は、進行方向である前方の画像をより多く含む表示用俯瞰画像IMcによって、表示画像IMeをより見やすくすることができる。
<第2変形例>
図18は、第2変形例の表示画像IMeの一例を示す図である。俯瞰画像表示範囲設定部88は、被牽引車両20を牽引していると牽引判定部78が判定すると、第2表示範囲Ar2を選択し、駐車モードが設定され、かつ、牽引車両10が後退している場合、図6に示す第2表示範囲Ar2aのように、トリミング範囲の中心を第1前後位置に設定してもよい。この場合、表示画像生成部90は、図18に示すように、自車画像IMfが中心よりも前方に配置され、目標位置画像IMjが重畳された表示用俯瞰画像IMcを含む表示画像IMeを生成する。これにより、駐車支援装置60は、進行方向である後方の画像をより多く含み目標位置画像IMjを重畳させた表示用俯瞰画像IMcによって、進行方向である後方及び目標駐車位置が見やすい表示画像IMeを提供できる。
上述した各実施形態の構成の機能、接続関係、個数、配置等は、発明の範囲及び発明の範囲と均等の範囲内で適宜変更、削除等してよい。実施形態及び変形例を適宜組み合わせてもよい。実施形態の各ステップの順序を適宜変更してよい。
例えば、上述の実施形態では、牽引判定部78が、乗員によって牽引モードが設定された場合に被牽引車両20が牽引されていると判定する例を挙げたが、牽引判定部78は、別の判定方法によって被牽引車両20が牽引されているか否かを判定してもよい。例えば、牽引判定部78は、撮像部14bが撮像した牽引車両10の後方の撮像画像に基づいて、牽引車両10が被牽引車両20を牽引しているか否かを判定してもよい。尚、牽引判定部78は、撮像画像に代えて、測距センサ等による牽引車両10の後方の測距情報等に基づいて、牽引車両10が被牽引車両20を牽引しているか否かを判定してもよい。
上述の実施形態では、第2表示範囲Ar2が、左右方向及び前後方向のいずれにおいても第1表示範囲Ar1よりも広い例を挙げたが、第2表示範囲Ar2の形状は、これに限られない。例えば、第2表示範囲Ar2は、左右方向において第1表示範囲Ar1よりも広くてよい。また、第2表示範囲Ar2は、前後方向において第1表示範囲Ar1よりも広くてよい。
上述の実施形態では、俯瞰画像表示範囲設定部88が、第1表示範囲Ar1及び第2表示範囲Ar2の2つの表示範囲からトリミング範囲を選択する例を挙げたが、表示範囲の個数は2つに限定されない。例えば、俯瞰画像表示範囲設定部88は、第1表示範囲Ar1及び第2表示範囲Ar2を含む3個以上の表示範囲からトリミング範囲を選択してもよい。
上述の実施形態では、目標駐車位置方向判定部74が、方向指示器16が示す方向に基づいて、目標駐車位置の左右の位置を判定する方法を挙げたが、目標駐車位置方向判定部74による目標駐車位置の左右の位置の判定方法はこれに限定されない。例えば、目標駐車位置方向判定部74は、乗員が選択したときに表示画像に表示されている目標駐車位置に基づいて、乗員が選択した目標駐車位置の左右方向の位置を判定してもよい。