JP7110577B2 - 周辺監視装置 - Google Patents

Description

本発明の実施形態は、周辺監視装置に関する。

従来、被牽引車両（トレーラ）を牽引する牽引車両（トラクタ）が知られている。牽引車両の後部には、牽引ブラケットおよびカップリングボール（ヒッチボール）等で構成される牽引装置が設けられ、被牽引車両の先端には被牽引装置（カプラ）が設けられている。そして、ヒッチボールとカプラを接続することで、牽引車両は被牽引車両を旋回可能に牽引する。牽引車両に対して変化する被牽引車両の連結角度を、例えば、被牽引車両の前面に貼り付けた目標マークを牽引車両の後部に設けられたカメラで撮像し、画像処理により認識することで検出するシステムが知られている。

米国特許出願公開第２０１４／０２００７５９号明細書

しかしながら従来技術の場合、システムが被牽引車両を認識できているか否か分からない場合があった。例えば、目標マークの周辺が暗く撮像した画像の品質が低い場合、画像処理による目標マークの認識（検出）が十分にできない場合がある。また、目標マークが汚れている場合、目標マーク自体の撮像が不能になる場合があり、この場合も目標マークの認識ができないことになる。このような場合で、撮像画像に被牽引車両が映っているにも拘わらず、システムでは被牽引車両の認識ができておらず、被牽引車両を含めた車両制御（処理）が中断されてしまう場合がある。このような場合、運転者は、なぜ制御が中断されているのか分からず、状況把握が困難になってしまう場合があった。そこで、被牽引車両の認識（検出）状況が把握しやすい周辺監視装置が提供できればシステムの制御（処理）状況を理解させやすく有意義である。

本発明の実施形態にかかる周辺監視装置は、例えば、被牽引車両が連結可能な牽引車両から当該牽引車両の後方領域を撮像した撮像画像を取得する取得部と、上記撮像画像に基づき連結状態の上記被牽引車両を認識する認識部と、上記認識部の認識結果に基づいて、上記被牽引車両が検出できているか否かを判定し、当該判定の結果に応じて、上記牽引車両と上記被牽引車両との連結状態に基づく指標の表示態様を決定し表示させる制御部と、を備え、上記制御部は、上記牽引車両の舵角に基づき上記牽引車両が後退する場合に当該牽引車両の現在の舵角に基づく移動位置予測線を上記撮像画像に上記指標として重畳表示するとともに、上記被牽引車両の認識時と非認識時とで上記移動位置予測線の表示態様を異ならせる。この構成によれば、例えば、被牽引車両が認識できているか否かが明示されるため、現在どのような制御状態であるか等の状況把握を運転者にさせやすくなる。また、例えば、牽引車両を後退させる場合に、注目させやすい牽引車両の状態を示す指標としての移動位置予測線の表示態様が、被牽引車両の認識時と非認識時とで変化するので、被牽引車両を認識できていない状態（例えば、非接続の状態や見失いの状態等）であることを直感的に運転者にさらに認識させやすくなる。

また、実施形態にかかる周辺監視装置の上記制御部は、例えば、上記認識部が上記被牽引車両を認識できない場合、上記指標を非表示にするようにしてもよい。この構成によれば、例えば、被牽引車両を認識できていない状態（例えば、非接続の状態や見失いの状態等）であることを直感的に運転者に認識させやすくなる。

また、実施形態にかかる周辺監視装置において、例えば、上記取得部は、上記牽引車両の周辺の画像をさらに取得し、上記制御部は、上記指標として上記被牽引車両を示す車両マークを表示させる場合、上記周辺の画像に基づく車両周辺画像における上記被牽引車両の表示対応位置に重畳表示させるようにしてもよい。この構成によれば、例えば、被牽引車両を認識部が認識できない場合で、指標の表示態様によって制御上、被牽引車両が非認識であることを運転者が理解できる場合でも、車両周辺画像内に含まれる被牽引車両の画像から当該被牽引車両の状態が確認できるため、車両周辺画像上で指標が表示されるべき位置を確認することで、被牽引車両の有無や被牽引車両が連結されている場合は連結角度等を認識させやすくなる。

図１は、実施形態にかかる周辺監視装置を搭載する牽引車両と被牽引車両の連結状態の一例を模式的に示す側面図である。 図２は、実施形態にかかる周辺監視装置を搭載する牽引車両と被牽引車両の連結状態の一例を模式的に示す上面図である。 図３は、実施形態にかかる周辺監視装置を含む周辺監視システムの構成の例示的なブロック図である。 図４は、実施形態にかかる周辺監視装置のＣＰＵの構成の例示的なブロック図である。 図５は、実施形態にかかる周辺監視装置を含む周辺監視システムの撮像部で撮像された牽引車両と被牽引車両との連結部の画像であり、牽引車両に対して被牽引車両が連結角度θで連結されているときの画像の一例を示す模式図である。 図６は、実施形態にかかる周辺監視装置において、被牽引車両が認識できない場合に被牽引車両を示す指標が非表示になっている場合を示す画像の一例を示す模式図である。 図７は、実施形態にかかる周辺監視装置において、被牽引車両が認識されている場合に被牽引車両を示す指標が表示されている場合を示す画像の一例を示す模式図である。 図８は、実施形態にかかる周辺監視装置において、被牽引車両が認識できている場合に表示される被牽引車両を示す指標の表示態様の一例を示す模式図である。 図９は、実施形態にかかる周辺監視装置において、被牽引車両が認識できない場合に表示される被牽引車両を示す指標の表示態様の一例を示す模式図である。 図１０は、実施形態にかかる周辺監視装置において、被牽引車両が認識できない場合に表示される被牽引車両を示す指標の表示態様の他の例を示す模式図である。 図１１は、実施形態にかかる周辺監視装置において、被牽引車両が認識できていない場合に表示される被牽引車両を示す指標と、後退時の牽引車両の移動位置予測線の表示態様の一例を示す模式図である。 図１２は、実施形態にかかる周辺監視装置において、被牽引車両が認識できている場合に表示される被牽引車両を示す指標と、後退時の牽引車両の移動位置予測線の表示態様の一例を示す模式図である。 図１３は、実施形態にかかる周辺監視装置による指標の表示処理手順の一例を説明するフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

図１は、実施形態の周辺監視装置を搭載する牽引車両１０および牽引車両１０に牽引される被牽引車両１２が示された側面図である。図１では、紙面左方向を牽引車両１０を基準とする前方、紙面右方向を牽引車両１０を基準とする後方としている。図２は、図１に示す牽引車両１０および被牽引車両１２の上面図である。また、図３は、牽引車両１０に搭載される周辺監視装置を含む周辺監視システム１００の構成の例示的なブロック図である。

牽引車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。牽引車両１０は図１に示されるようなスポーツ用多目的車両（Sport Utility Vehicle：ＳＵＶ）であってもよいし、車両の後ろ側に荷台が設けられている、いわゆる「ピックアップトラック」であってもよい。また、一般的な乗用車であってもよい。牽引車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、牽引車両１０における車輪１４（前輪１４Ｆ、後輪１４Ｒ）の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

牽引車両１０のリヤバンパ１６の例えば車幅方向の中央部の下部からは、被牽引車両１２を牽引するための牽引装置１８（ヒッチ）が突出している。牽引装置１８は牽引車両１０の例えばフレームに固定されている。牽引装置１８は、一例として、垂直方向（車両上下方向）に立設された先端部が球状のヒッチボール１８ａを備え、このヒッチボール１８ａに、被牽引車両１２に固定された連結部材２０の先端部に設けられたカプラ２０ａが覆い被さる。その結果、牽引車両１０と被牽引車両１２とが連結されるとともに、牽引車両１０に対して被牽引車両１２が車幅方向に揺動（旋回）可能となっている。つまり、ヒッチボール１８ａは、被牽引車両１２（連結部材２０）に前後左右の動きを伝え、また加速や減速のパワーを受け止めることになる。

被牽引車両１２は、例えば、図１に示すように、搭乗空間、居住区間、収納空間等のうち少なくとも一つを含む箱形タイプであってもよいし、荷物（例えば、コンテナやボート等）を搭載する荷台タイプであってもよい。図１に示す被牽引車両１２は、一例として一対のトレーラ車輪２２を備える。図１の被牽引車両１２は、駆動輪や操舵輪を含まない従動輪を備える従動車両である。

牽引車両１０の後側のリヤハッチ１０ａの下方の壁部には、撮像部２４が設けられている。撮像部２４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部２４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部２４は、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮像することができる。また、撮像部２４の光軸は斜め下方に向けて設定されている。よって、撮像部２４は、牽引車両１０の後端部、連結部材２０および被牽引車両１２の少なくとも前端部を含む領域（例えば、二点鎖線で示す範囲、図１参照）を逐次撮影し、撮像画像データとして出力する。撮像部２４によって撮像された撮像画像データは、被牽引車両１２の認識および、牽引車両１０と被牽引車両１２の連結状態（例えば、連結角度、連結の有無等）の検出に用いることができる。この場合、撮像部２４の撮像した撮像画像データに基づき牽引車両１０と被牽引車両１２との連結状態や連結角度が取得できるので、システム構成が簡略化できるとともに、演算処理や画像処理の負荷が軽減できる。なお、牽引車両１０は、当該牽引車両１０のフロントバンパ１６ａの上方に牽引車両１０のフロントバンパ１６ａを含む前方領域を撮像する撮像部２４ａを備えている。そして、例えば、牽引車両１０が前進走行可能な状態のときに、牽引車両１０の前方の状況を示す画像を表示装置２６に表示できるように構成されている。なお、牽引車両１０は、側方を撮像する撮像部を備えてもよい。さらに、被牽引車両１２の側方や後方に撮像部を備えてもよい。複数の撮像部で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、牽引車両１０を上方から見た仮想的な俯瞰画像(平面画像)を生成したりしてもよい。

また、図３に示されるように、牽引車両１０の車室内には、表示装置２６や、音声出力装置２８等が設けられている。表示装置２６は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置２８は、一例として、スピーカである。また、本実施形態では、一例として、表示装置２６は、透明な操作入力部３０（例えば、タッチパネル等）で覆われている。運転者（利用者）は、操作入力部３０を介して表示装置２６の画面に表示される映像（画像）を視認することができる。また、運転者は、表示装置２６の画面に表示される映像（画像）に対応した位置で手指等により操作入力部３０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置２６や、音声出力装置２８、操作入力部３０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置３２に設けられている。モニタ装置３２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置３２とは異なる車室内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置３２の音声出力装置２８と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置３２は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けてもよい。

表示装置２６は、例えば、周辺監視システム１００において、牽引車両１０に連結される被牽引車両１２が認識（検出）できているか否かが判定され、その判定の結果に応じて、牽引車両１０または被牽引車両１２の状態を示す指標を表示するとともに、被牽引車両１２の認識（検出）状態に応じて指標の表示態様を変化させた表示を行うことができる。例えば、被牽引車両１２が認識できている場合には、表示装置２６の画面上の所定の領域に被牽引車両１２の状態を示す指標としてトレーラアイコン（車両マーク）を表示することができる。また、別の例では、表示装置２６に表示される牽引車両１０の状態を示す情報（例えば、牽引車両１０が後退移動するときに移動位置（方向）を示す移動位置予測線等）を被牽引車両１２が認識されているか否かを示す指標として兼用して、被牽引車両１２の認識時と非認識時とで表示形態を変化させて表示することができる。なお、表示装置２６の表示内容の詳細は後述するが、表示装置２６には、撮像部２４で撮像した被牽引車両１２に対応する画像や被牽引車両１２の実画像が表示可能で、指標としてのトレーラアイコンや移動位置予測線等が、その画像や実像に対応付けられて表示される。

また、牽引車両１０の車室内には、表示装置２６とは別の表示装置３４が設けられていてもよい。表示装置３４は、例えば、ダッシュボードの計器盤部に設けられてもよい。表示装置３４の画面の大きさは、表示装置２６の画面の大きさよりも小さくすることができる。表示装置３４は、牽引車両１０に連結された被牽引車両１２が認識できた場合に表示される被牽引車両１２を示すトレーラアイコンやマーク、メッセージを簡易的に示すことができる。表示装置３４で表示される情報量は、表示装置２６で表示される情報量より少なくてもよい。表示装置３４は、例えば、ＬＣＤや、ＯＥＬＤ等である。また、表示装置３４は、ＬＥＤ等で構成されてもよい。

また、周辺監視システム１００（周辺監視装置）では、ＥＣＵ３６（Electronic Control Unit）や、モニタ装置３２の他、舵角センサ３８、シフトセンサ４０等が、電気通信回線としての車内ネットワーク４２を介して電気的に接続されている。車内ネットワーク４２は、例えば、ＣＡＮ（Controller Area Network）として構成されている。ＥＣＵ３６は、車内ネットワーク４２を介して、舵角センサ３８、シフトセンサ４０等の検出結果や、操作入力部３０等の操作信号等を受け取り、制御に反映させることができる。

ＥＣＵ３６は、例えば、ＣＰＵ３６ａ（Central Processing Unit）や、ＲＯＭ３６ｂ（Read Only Memory）、ＲＡＭ３６ｃ（Random Access Memory）、ＳＳＤ３６ｄ（Solid State Drive、フラッシュメモリ）、表示制御部３６ｅ、音声制御部３６ｆ等を有している。ＣＰＵ３６ａは、例えば、表示装置２６，３４で表示される画像に関連した画像処理や、牽引車両１０に連結された被牽引車両１２の認識（検出）処理やその検出結果に基づく表示処理等、各種の演算処理および制御を実行することができる。ＣＰＵ３６ａは、ＲＯＭ３６ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ３６ｃは、ＣＰＵ３６ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部３６ｅは、ＥＣＵ３６での演算処理のうち、主として、表示装置２６，３４で表示される画像データの合成等を実行する。また、音声制御部３６ｆは、ＥＣＵ３６での演算処理のうち、主として、音声出力装置２８で出力される音声データの処理を実行する。また、ＳＳＤ３６ｄは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ３６の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ３６ａや、ＲＯＭ３６ｂ、ＲＡＭ３６ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ３６は、ＣＰＵ３６ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ３６ｄに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ３６ｄやＨＤＤは、ＥＣＵ３６とは別に設けられてもよい。

舵角センサ３８は、例えば、牽引車両１０のステアリングホイール等の操舵部の操舵量（牽引車両１０の舵角）を検出するセンサである。舵角センサ３８は、例えば、ホール素子などを用いて構成される。ＥＣＵ３６は、運転者による操舵部の操舵量や、自動操舵時の各車輪１４の操舵量等を、舵角センサ３８から取得して各種制御を実行する。なお、舵角センサ３８は、操舵部に含まれる回転部分の回転角度を検出する。舵角センサ３８は、角度センサの一例である。

シフトセンサ４０は、例えば、変速操作部（例えば、シフトレバー）の可動部の位置を検出するセンサである。シフトセンサ４０は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ４０は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

なお、上述した各種センサ等の構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

図４は、ＥＣＵ３６に含まれるＣＰＵ３６ａの構成の例示的なブロック図である。ＣＰＵ３６ａは、牽引車両１０に連結される被牽引車両１２を認識したり、認識結果を示す指標を表示したり、その表示態様を変化させたりする処理を実現するための各種モジュールを備える。各種モジュールは、ＣＰＵ３６ａがＲＯＭ３６ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される。例えば、ＣＰＵ３６ａは、図４に示されるように、取得部４４、認識部４６、画像変換部４８、制御部５０等のモジュールを備える。

取得部４４は、被牽引車両１２を認識しているか否かを示す指標として、例えば、トレーラアイコンを表示したり、被牽引車両１２を認識していることを示すとともに牽引車両１０の移動方向等を示すガイド線（例えば、目安線や移動位置予測線等）を表示したりするために用いる各種情報を取得する。取得部４４は、例えば、画像取得部４４ａ、舵角取得部４４ｂ、シフト位置取得部４４ｃ、連結角度取得部４４ｄ、監視要求取得部４４ｅ等を含む。

画像取得部４４ａは、牽引車両１０の後部に設置された撮像部２４が撮像する牽引車両１０の後方画像（後方領域の画像）を取得する。図５は、撮像部２４が撮橡した撮像画像データに基づく画像Ｐ（後方画像）の一例である。撮像部２４は、牽引車両１０の後部に固定され、撮像方向や撮像範囲が固定されている。そのため、撮像部２４が撮像する画像Ｐの所定位置（図５の場合、下端側領域）には、牽引車両１０のリヤバンパ１６、牽引装置１８（ヒッチボール１８ａ）等が映ることになる。また、被牽引車両１２が牽引車両１０に連結されている場合、画像Ｐにおいて、リヤバンパ１６等を基準に所定の領域に被牽引車両１２の前方部の一部および連結部材２０（カプラ２０ａ）が映ることになる。図５に示す画像Ｐは、牽引車両１０の牽引装置１８（ヒッチボール１８ａ）を支点として、連結部材２０（被牽引車両１２、カプラ２０ａ）が、例えば矢印Ｔ１方向に旋回して（曲がって牽引されて）、連結角度θ（車両中心軸Ｍと連結中心軸Ｎの角度）となっている状態を示している。この場合、被牽引車両１２は牽引車両１０の運転席から見て左側に旋回している（曲がっている）ことになる。ＣＰＵ３６ａは、この画像Ｐに画像処理を施すことにより、被牽引車両１２の認識や連結角度θの検出を行うことができる。また、画像取得部４４ａは、牽引車両１０のフロントバンパ１６ａに設けられた撮像部２４ａによって撮像された牽引車両１０の前方画像を取得可能で、ＣＰＵ３６ａは、例えば牽引車両１０が前進走行する場合に撮像部２４ａで撮像した前方画像を表示装置２６に表示することができる。なお、画像取得部４４ａは、さらに、牽引車両１０の左右の側方画像を撮像する撮像部からの撮像画像データを取得してもよい。このように、画像取得部４４ａが後方画像に加え、前方画像、左右の側方画像を取得することにより、ＣＰＵ３６ａは、牽引車両１０の周辺状況を示す車両周辺画像（例えば、俯瞰画像）を生成することができる。

舵角取得部４４ｂは、舵角センサ３８の検出した牽引車両１０の舵角を取得する。つまり、運転者がこれから牽引車両１０（被牽引車両１２)を走行させようとしている方向の舵角を取得する。また、シフト位置取得部４４ｃは、シフトセンサ４０が出力する変速操作部の可動部の位置に基づき、牽引車両１０が前進可能状態か後退可能状態かを取得する。舵角取得部４４ｂは、シフト位置取得部４４ｃの取得結果を参照して、現在の舵角が前進可能状態時の舵角か後退可能状態時の舵角かを識別してもよい。連結角度取得部４４ｄは、牽引車両１０に被牽引車両１２が連結されている場合の連結角度、つまり牽引車両１０の車両中心軸Ｍに対する被牽引車両１２の連結部材２０（連結中心軸Ｎ)の角度を取得する。連結角度取得部４４ｄは、画像取得部４４ａが取得した画像Ｐ（図５参照)に画像処理を施すことにより連結部材２０（連結中心軸Ｎ)を検出することができる。そして、連結角度取得部４４ｄは、車両中心軸Ｍに対する連結部材２０（連結中心軸Ｎ）の旋回方向（矢印Ｔ１または矢印Ｔ２）の変位角を検出することにより牽引車両１０と被牽引車両１２との連結角度θを取得することができる。また、別の実施形態では、牽引装置１８が角度検出センサを備える場合、連結角度取得部４４ｄは、角度検出センサの検出値に基づき連結角度θを取得してもよい。

監視要求取得部４４ｅは、周辺監視システム１００に対して、被牽引車両１２を認識しているか否かを監視する周辺監視モードへの移行が要求されているか否かを示す情報を取得する。監視要求取得部４４ｅは、例えば、運転者が操作する操作入力部３０を介して、周辺監視モードへ移行することを要求されているか否かの信号を受け付けることができる。

認識部４６は、画像取得部４４ａが取得した撮像部２４で撮像した画像Ｐ（後方画像)に対して、周知の画像処理を施すことにより牽引車両１０に連結可能な被牽引車両１２の認識（検出)を行う。認識部４６は、例えば、ＲＯＭ３６ｂやＳＳＤ３６ｄに認憶されたサンプル形状との比較により被牽引車両１２の形状認識を行い、画像Ｐ中の所定領域に被牽引車両１２が存在すると判定した場合に、被牽引車両１２が牽引車両１０に連結されている、つまり、周辺監視システム１００が被牽引車両１２を認識していると見なすことができる。また、認識部４６は、被牽引車両１２の一部、例えば前端面に付された目標マークを画像Ｐ中の所定領域に検出した場合に、被牽引車両１２が牽引車両１０に連結されている、つまり認識していると見なすようにしてもよい。また、別の実施形態では、認識部４６は、画像Ｐにおいて、牽引装置１８と接続された棒状の連結部材２０を検出することによって被牽引車両１２が牽引車両１０に連結されている、つまり認識していると見なすようにしてもよい。したがって、認識部４６は、画像Ｐの中に、被牽引車両１２、目標マークおよび連結部材２０の少なくとも一つが検出できない揚合には、被牽引車両１２が非認識(非検出〉状態であると判定する。なお、認識部４６は、画像Ｐの中に、被牽引車両１２、目標マークおよび連結部材２０等の形状と一致する画像を検出した場合でも、その画像が所定領域（例えばリヤバンパ１６を基準とする方向および位置)に含まれていない場合、被牽引車両１２は牽引車両１０の周辺に存在するものの牽引車両１０に連結されていないと判定する。この場合も認識部４６は、被牽引車両１２が非認識（非検出)状態であると判定する。

画像変換部４８は、撮像部２４が撮像した牽引車両１０の後方画像の撮像画像データや撮像部２４ａが撮像した牽引車両１０の前方画像の撮像画像データ、および左右の側方撮像部が撮像した左右の側方画像の撮像画像データ等を視点変換して合成することで、牽引車両１０を上空から見下ろしたような俯瞰画像に変換することができる。図６、図７は、画像変換部４８で変換された俯瞰画像Ｐ１と、撮像部２４または撮像部２４ａで撮像された実画像Ｐ２（図６、図７の場合、撮像部２４ａで撮像された前方画像の実画像Ｐ２)と、が表示装置２６の画面２６ａに並列表示されている一例を示している。周辺監視システム１００の制御状態が周辺監視モードに移行した場合、表示装置２６の画面２６ａは、通常表示されているナビゲーション画面やオーディオ画面から図６に示すような周辺監視画面に切り替えられる。俯瞰画像Ｐ１には、牽引車両１０に対応する自車画像１０ｐが表示されるとともに、撮像部２４が撮像した撮像画像データに図５に示すように被牽引車両１２が映っていた場合、トレーラ画像１２ｐが含まれる。この場合、撮像部２４から撮像した被牽引車両１２を二次元データに変換すると後方に向かって延びたトレーラ画像１２ｐとなる。なお、本実施形態の撮像部２４が撮像した後方画像において牽引車両１０は、リヤバンパ１６および牽引装置１８しか映らない。また、俯瞰画像Ｐ１を生成する場合に後方画像に加えて用いる前方画像や左右の側方画像にも牽引車両１０の一部分しか含まれない。そのため各撮像画豫データからは自車画像１０ｐに関する情報（形状データ）は取得できない。そのため、俯瞰画像Ｐ１を表示する場合、画像変換部４８は、ＲＯＭ３６ｂ等に予め保持された自車画像１０ｐの表示データを読み出し、俯瞰画像Ｐ１（二次元データ）に重畳表示する。その結果、俯瞰画像Ｐ１（車両周辺画像）上で、自車画像１０ｐとトレーラ画像１２ｐとが連結されたような画像の表示が可能になる。なお、画像変換部４８は、後方画像の撮像画像データのみを例えば、三次元データから二次元データに変換して、牽引車両１０の後方部分を上空から見たような簡易的な俯瞰画像Ｐ１を生成して、表示装置２６に表示してもよく、同様の効果を得ることができる。

制御部５０は、主として周辺監視モードを実行中の表示装置２６の画面２６ａに重畳表示する要素の制御を実行するために、例えば、指標態様制御部５０ａ、ガイド線生成部５０ｂ、表示切替部５０ｃ等のモジュールを含む。

指標態様制御部５０ａは、認識部４６の認識結果に基づき、牽引車両１０に連結された被牽引車両１２が認識できているか否かを示す指標の表示制御を実行するとともに、被牽引車両１２の認識状態に応じて指標の表示態様を変化させる制御を実行することができる。

図８～図１０は、指標態様制御部５０ａによって表示態様が制御される、牽引車両１０に連結された被牽引車両１２が認識できているか否かを示す指標５２としてのトレーラアイコン５２ａ（車両マーク）の表示例である。トレーラアイコン５２ａは、被牽引車両１２が認識されている場合、図８に示すように、自車画像１０ｐの後部に連結状態で表示される。この場合、トレーラアイコン５２ａが例えば、点灯表示されて自車画像１０ｐにトレーラアイコン５２ａが連結されている状態が明示される。つまり、被牽引車両１２が認識(検出)状態であることを明確に表示することができる。

図９は、認識部４６において、牽引車両１０に連結された被牽引車両１２が認識できていない場合に表示されるトレーラアイコン５２ａである。この場合、トレーラアイコン５２ａを例えば点滅表示させることで、トレーラアイコン５２ａに注意を払いやすくしている。つまり、被牽引車両１２が認識できない状態であることを明確に表示することができる。なお、被牽引車両１２が認識できない場合、トレーラアイコン５２ａを非表示にしてもよい。被牽引車両１２の連結状態の監視を主に行う周辺監視モードにおいて、牽引車両１０に被牽引車両１２が連結されていれば表示されるはずの自車画像１０ｐとトレーラアイコン５２ａが、自車画像１０ｐのみ表示されている（トレーラアイコン５２ａが非表示されている)ことにより、運転者に強い印象を与えやすくなり、被牽引車両１２が非認識（非検出)状態であることをさらに認識させやすくなる。

図１０は、認識部４６において、牽引車両１０に連結された被牽引車両１２が認識できていない場合に表示される他のトレーラアイコン５２ａである。この場合、自車画像１０ｐおよびトレーラアイコン５２ａは、図８の認識時と同様に表示されるが、トレーラアイコン５２ａの表示態様が認識時とは異なる。図１０の例の場合、トレーラアイコン５２ａには、強調マーク５２ｂ、例えば「？」が付され、被牽引車両１２が非認識状態であることを認識させやすくしている。なお、図９、図１０に示す非認識時のトレーラアイコン５２ａの表示態様は一例であり、図８に示す認識時の表示態様との区別がつけば、適宜変更可能である。例えば、指標態様制御部５０ａは、トレーラアイコン５２ａの表示態様を変更する場合、トレーラアイコン５２ａの表示色を変更したり、表示輝度を変更（例えば低下)したり、透過率を変更（例えば透過度を高く)したりしてもよく、同様の効果を得ることができる。また、上述した表示態様を組み合わせてもよい。例えば、図９の例と図１０の例を組み合わせ、点滅表示のトレーラアイコン５２ａに強調マーク５２ｂを付加して、非認識であることをさらに強調するようにしてもよい。

このような指標５２（トレーラアイコン５２ａ）は、認識部４６によって被牽引車両１２が認識されている場合、図７に示すように、表示装置２６の画面２６ａの俯瞰画像Ｐ１（車両周辺画像）に表示される。前述したように、牽引車両１０に被牽引車両１２が連結されている場合、自車画像１０ｐとトレーラ画像１２ｐとの相対位置は定まる。そして、認識部４６で被牽引車両１２が認識できる場合、連結角度取得部４４ｄは撮像画像データ上で認識されている被牽引車両１２の牽引車両１０に対する連結角度θを取得することができる。したがって、指標態様制御部５０ａは、牽引車両１０と被牽引車両１２との連結角度θにしたがい、俯瞰画像Ｐ１に表示されている自車画像１０ｐに対する指標５２（トレーラアイコン５２ａ)の接続角度を変化させた状態で重畳表示することができる。図７の場合は、牽引車両１０と被牽引車両１２とが真っ直ぐに連結された直列状態（前後方向で牽引車両１０の車両中心軸Ｍと被牽引車両１２の連結中心軸Ｎとが重なっている状態：図５参照)の場合の自車画像１０ｐとトレーラアイコン５２ａおよびトレーラ画像１２ｐが表示されている。なお、この場合、自車画像１０ｐに対して連結角度θで連結されているように表示されるトレーラ画像１２ｐと、自車画像１０ｐに対して連結角度θで連結したように表示されるトレーラアイコン５２ａとが重なって表示される。つまり、俯瞰画像Ｐ１（撮像画像）における被牽引車両１２の表示対応位置にトレーラアイコン５２ａが重畳表示される。したがって、俯瞰画像Ｐ１を確認する運転者は、トレーラ画像１２ｐとトレーラアイコン５２ａとが同じものを示していることが理解しやすく、周辺監視システム１００が被牽引車両１２を認識していることを違和感なく理解させやすくなる。このように、被牽引車両１２を認識部４６が認識できない場合で、トレーラアイコン５２ａの表示態様（例えば、非表示）によって制御上、被牽引車両１２が非認識であることを運転者に理解させやすい。さらに、俯瞰画像Ｐ１上でトレーラアイコン５２ａが表示されるべき位置、すなわち、自車画像１０ｐの後部のトレーラ画像１２ｐの位置を確認することで、実際の被牽引車両１２の有無や被牽引車両１２が連結されている場合は、簡易的に連結角度θ等を認識させやすくなる。

一方、認識部４６が被牽引車両１２を認識できない場合、指標態様制御部５０ａは、指標５２（トレーラアイコン５２ａ)の表示態様を変化させる。例えば、図９で説明したように指標５２（トレーラアイコン５２ａ)を非表示とする。その結果、図６に示すように俯瞰画像Ｐ１は、図７の俯瞰画像Ｐ１と明確に区別することができる。図６と図７の比較から分かるように、周辺監視モードにおいて、牽引車両１０に被牽引車両１２が連結されていれば表示されるはずのトレーラアイコン５２ａが非表示となることにより、運転者に強い印象を与えやすくなり、被牽引車両１２が非認識状態であることを認識させやすい。

なお、前述したように、牽引車両１０に被牽引車両１２が連結されているにも拘わらず、周辺監視システム１００において、認識部４６が被牽引車両１２を認識できない場合でも俯瞰画像Ｐ１でトレーラ画像１２ｐが視認できる場合がある。つまり、被牽引車両１２が画像処理で視認できないほどに撮像部２４が撮像した後方画像の品質がよくない場合でも、不鮮明である可能性はあるがトレーラ画像１２ｐが俯瞰画像Ｐ１で確認できることがある。その結果、運転者に俯瞰画像Ｐ１（車両周辺画像）を確認させることで、俯瞰画像Ｐ１内に含まれる被牽引車両１２の画像から当該被牽引車両１２の状態が確認できる。その結果、例えば、被牽引車両１２の連結の有無やおおよその連結姿勢を認識させることができる。

指標態様制御部５０ａは、指標５２（トレーラアイコン５２ａ）を簡易的に表示するインジケータ５４を俯瞰画像Ｐ１の一部や、その他、運転者が視認しやすい位置に表示するようにしてもよい。図６、図７の場合は、インジケータ５４を俯瞰画像Ｐ１の右上位置に配置している。インジケータ５４はトラクタインジケータ５４ａとトレーラインジケータ５４ｂとからなり、認識部４６が被牽引車両１２を認識している場合には、図７に示すように、トラクタインジケータ５４ａとトレーラインジケータ５４ｂとが、例えば点灯表示される。一方、認識部４６が被牽引車両１２を認識していない場合には、図６に示すように、トラクタインジケータ５４ａのみが例えば点灯表示される。この場合、例えば、俯瞰画像Ｐ１の輝度より高い輝度でインジケータ５４を表示することで、被牽引車両１２の認識状態を直感的に運転者に理解させやすくなる。

なお、認識部４６は、撮像部２４が撮像した後方画像に画像処理を施した結果、被牽引車両１２が認識できない場合に、「非認識である」と判定する。つまり、認識部４６は、被牽引車両１２が牽引車両１０に連結されているにも拘わらず認識できない場合と、牽引車両１０に被牽引車両１２が連結されていないため被牽引車両１２が認識できない場合のいずれの場合においても「非認識である」と判定する。したがって、指標態様制御部５０ａは、トレーラアイコン５２ａやインジケータ５４の表示態様によって、被牽引車両１２が認識できていない事実を正確に運転者に通知することができる。

図４に戻り、ガイド線生成部５０ｂは、牽引車両１０の現在の舵角に基づいて、牽引車両１０を走行させた場合に牽引車両１０や車輪１４が進む方向を示す移動位置予測線や、牽引車両１０の端部からの距離や車幅の目安を示す目安線等のガイド線を生成する。例えば、ガイド線生成部５０ｂが、シフト位置取得部４４ｃの取得結果に基づき、牽引車両１０が後退走行可能な状態ではないことを示す信号を取得した場合（例えば、シフト位置がＰ（パーキング）、Ｎ（ニュートラル）、Ｄ（ドライブ）等）、図６、図７に示すように、実画像Ｐ２に牽引車両１０の舵角に応じた方向に向く、ガイド線の一例である目安線５６を生成する。目安線５６は、例えば、牽引車両１０の舵角に基づく進行方向に延びる牽引車両１０の車幅ガイド線５６ａと、この車幅ガイド線５６ａの一部から車幅方向に突出する小片で表示される、牽引車両１０のフロントバンパ１６ａからの前方離間距離を示す距離目安線５６ｂ，５６ｃ，５６ｄ等で構成されている。距離目安線５６ｂはフロントバンパ１６ａから例えば０．５ｍの離間距離、距離目安線５６ｃはフロントバンパ１６ａから例えば１．０ｍの離間距離、距離目安線５６ｄはフロントバンパ１６ａから例えば２．５ｍの離間距離に相当する位置に表示される。なお、目安線５６の表示態様は一例であり、例えば、距離目安線５６ｂ，５６ｃ，５６ｄは、左右の車幅ガイド線５６ａを跨ぐように繋がった線で表示されてもよいし、距離目安線５６ｂ，５６ｃ，５６ｄで区切られる領域の表示色を異ならせることで、距離感を認識させるようにしてもよい。また、目安線５６の前方の長さは、適宜選択可能であり、２．５ｍ以上でもよいし、２．５ｍ未満でもよい。また、三本の距離目安線５６ｂ，５６ｃ，５６ｄを示したが、三本未満でも四本以上でもよい。また、その間隔も変更可能である。

図１１、図１２は、牽引車両１０が後退走行可能状態の場合で、ガイド線生成部５０ｂが生成するガイド線の一例である移動位置予測線５８が表示装置２６の画面２６ａの実画像Ｐ２に重畳表示される場合を示す表示例である。ガイド線生成部５０ｂが、シフト位置取得部４４ｃの取得結果に基づき、牽引車両１０が後退走行可能な状態であることを示す信号（Ｒ（リバース）を示す信号）を取得した場合、図１１、図１２に示すように実画像Ｐ２に、牽引車両１０が通る（牽引車両１０の移動予測位置を示す）軌跡を示す移動位置予測線５８を生成する。なお、移動位置予測線５８は、牽引車両１０の後輪１４Ｒが移動する方向を示す軌跡を含むものであってもよい。以下の説明では、牽引車両１０の後輪１４Ｒが移動する軌跡を含む移動位置予測線５８を一例として示す。移動位置予測線５８は、例えば、牽引車両１０の舵角に基づく後輪１４Ｒの移動予測位置を示すタイヤ軌跡線５８ａと、牽引車両１０のリヤバンパ１６からの後方の離間距離を示す距離目安線５８ｂ，５８ｃ，５８ｄ等で構成されている。距離目安線５８ｂはリヤバンパ１６から例えば０．５ｍの離間距離、距離目安線５８ｃはリヤバンパ１６から例えば１．０ｍの離間距離、距離目安線５８ｄはリヤバンパ１６から例えば２．５ｍの離間距離に相当する位置を示す。また、他の実施形態では、牽引車両１０の前後方向に延びる車両中心線の延長線を移動位置予測線５８としてもよい。この場合、リヤバンパ１６から後方に一本の線が延び、その線上に距離目安線５８ｂ，５８ｃ，５８ｄと同様の線が付されるようにしてもよい。また、距離目安線５８ｂ，５８ｃ，５８ｄは、リヤバンパ１６や１０のリヤコーナー部を模したものでもよい。

本実施形態の場合、ガイド線生成部５０ｂは、移動位置予測線５８の表示態様を表示装置２６の画面２６ａ上で変化させることで認識部４６の認識結果を運転者に提供することができる。図１１は、周辺監視モードで、牽引車両１０が後退走行可能な状態で、認識部４６が被牽引車両１２を認識できない場合の表示装置２６の画面２６ａの表示例を示している。図１１の場合、撮像部２４が撮像した後方画像に被牽引車両１２が映っているにも拘わらず、認識部４６で被牽引車両１２が認識できない場合である。したがって、俯瞰画像Ｐ１には、不明瞭ではあるが被牽引車両１２に対応するトレーラ画像１２ｐが右に旋回した姿勢で表示されている。また、実画像Ｐ２にも被牽引車両１２が不明瞭ではあるが表示されている。俯瞰画像Ｐ１には、被牽引車両１２が認識できていないことを示す指標５２（トレーラアイコン５２ａ)が表示されるとともに、トラクタインジケータ５４ａおよび非認識状態を示すトレーラインジケータ５４ｂで構成されるインジケータ５４が表示されている。この場合、指標５２（トレーラアイコン５２ａ)は、被牽引車両１２が認識できず、連結角度θの検出ができないため、自車画像１０ｐに対して直列の状態で例えば、輝度を自車画像１０ｐより低下させた状態や透過率を自車画像１０ｐより高くした状態で表示される。なお、牽引装置１８等に角度検出センサ等が設けられている場合、認識部４６で被牽引車両１２が認識できないものの、連結角度θが検出可能な場合には、トレーラアイコン５２ａやトレーラインジケータ５４ｂを連結角度θに応じて傾けた姿勢で表示するようにしてもよい。

この場合、周辺監視システム１００は、認識部４６が被牽引車両１２を認識していないことを明確に示すために、実画像Ｐ２に被牽引車両１２を連結していない場合に、後退時に表示されるような、所定の後方位置（例えば、２．５ｍ)まで延びる通常表示態様の移動位置予測線５８を表示する。つまり、距離目安線５８ｂ，５８ｃ，５８ｄを含む移動位置予測線５８が表示される。このような移動位置予測線５８の通常表示が行われることで、画面２６ａを確認した運転者に周辺監視システム１００が被牽引車両１２を認識していないことを理解させやすくすることができる。なお、牽引車両１０の周囲に被牽引車両１２が存在しない場合も認識部４６は被牽引車両１２を認識できないので、ガイド線生成部５０ｂは通常表示態様の移動位置予測線５８を生成し、実画像Ｐ２に重畳表示する。

一方、周辺監視モードに移行状態で、牽引車両１０が後退走行可能なときに、認識部４６が被牽引車両１２を認識している場合、図１２に示すように、俯瞰画像Ｐ１に、被牽引車両１２に対応する明瞭なトレーラ画像１２ｐが右に旋回した姿勢で表示される。また、実画像Ｐ２にも被牽引車両１２が明瞭に表示される。また、俯瞰画像Ｐ１には、被牽引車両１２が認識できていることを示す指標５２（トレーラアイコン５２ａ)が表示される。この場合、連結角度取得部４４ｄは、画像処理により牽引車両１０と被牽引車両１２との連結角度θを得ることができるので、指標５２（トレーラアイコン５２ａ)は、連結角度θに対応した姿勢で自車画像１０ｐに連結させて表示することができる。同様に、トラクタインジケータ５４ａおよび認識状態を示すトレーラインジケータ５４ｂで構成されるインジケータ５４も連結角度θに基づく連結姿勢で表示され得る。

この場合、周辺監視システム１００は、認識部４６が被牽引車両１２を認識していることを明確に示すために、実画像Ｐ２に、被牽引車両１２を連結している場合に表示されている被牽引車両１２と重ならない後方位置(例えば、１．０ｍ)まで延びる短縮表示態様の移動位置予測線５８を表示する。この場合、移動位置予測線５８は、距離目安線５８ｃおよび距離目安線５８ｃまで延びるタイヤ軌跡線５８ａのみが表示される。このような短縮表示態様の移動位置予測線５８が表示されることで、画面２６ａを確認した運転者に周辺監視システム１００が被牽引車両１２を認識していることを理解させやすくすることができる。また、短縮表示態様の移動位置予測線５８が被牽引車両１２と重ならないため、実画像Ｐ２の視認性が向上し、認識されている被牽引車両１２の連結姿勢や牽引車両１０の後退時の進行方向を容易に認識させることができる。特に、被牽引車両１２と重ならない短縮表示態様の移動位置予測線５８のタイヤ軌跡線５８ａが適度な長さ（例えば１．０ｍ）で表示されることで、タイヤ軌跡線５８ａの向きを認識させやすく、牽引車両１０の向かう方向、つまり牽引車両１０の現在の操舵方向(舵角方向)を理解させやすくすることができる。その結果、被牽引車両１２を希望する方向に旋回させるためには、いずれの方向に舵角を変化させたらよいかの判断をさせやすくすることができる。

図４に戻り、表示切替部５０ｃは、監視要求取得部４４ｅが周辺監視モードへの移行要求を取得した場合、表示装置２６の画面２６ａを通常表示画面のナビゲーション画面やオーディオ画面から図７や図１２に示すような周辺監視画面に切り替える。また、表示切替部５０ｃは、監視要求取得部４４ｅが周辺監視モードの終了要求を取得した場合には、周辺監視画面から通常表示画面に復帰させる。また、周辺監視モードにおいて、シフト位置取得部４４ｃが検出した牽引車両１０の進行方向に基づき、牽引車両１０の進行方向に対応する撮像部２４または撮像部２４ａで撮像した実画像Ｐ２を表示するように画面２６ａを切り替える。また、表示切替部５０ｃは、認識部４６の認識結果に基づき、指標５２（トレーラアイコン５２ａ)の表示態様やインジケータ５４の表示態様、移動位置予測線５８の表示態様を切り替える。

上述のように構成される周辺監視システム１００による周辺監視における表示処理手順の一例を図１３のフローチャートを用いて説明する。

まず、ＣＰＵ３６ａは、監視要求取得部４４ｅが運転者による例えば操作入力部３０の操作による周辺監視モードへの移行要求を取得したか否かを確認する。監視要求取得部４４ｅが周辺監視モードへの移行要求を取得していない場合（Ｓ１００のＮｏ）、ＣＰＵ３６ａは一旦このフローを終了する。一方、監視要求取得部４４ｅが周辺監視モードへの移行要求を取得している場合（Ｓ１００のＹｅｓ）、ＣＰＵ３６ａは、画像取得部４４ａを介して撮像部２４が撮像する後方画像および撮像部２４ａが撮像する前方画像を取得する（Ｓ１０２）。続いて、ＣＰＵ３６ａは、画像取得部４４ａが取得した後方画像および牽引車両１０の周辺を撮像した前方画像や側方画像を用いて俯瞰画像Ｐ１を生成するとともに、表示切替部５０ｃにより周辺監視画面を表示する（Ｓ１０４）。すなわち、表示切替部５０ｃは、周辺監視モードへの移行要求を受ける前まで表示装置２６の画面２６ａに表示されていた通常表示画面（例えば、ナビゲーション画面やオーディオ画面）から例えば、図６に示すような俯瞰画像Ｐ１と実画像Ｐ２で構成される周辺監視画面に切り替える。

続いて、ＣＰＵ３６ａは舵角取得部４４ｂを介して舵角センサ３８が検出する牽引車両１０の舵角を取得する（Ｓ１０６）。そして、ＣＰＵ３６ａは、認識部４６に画像取得部４４ａが取得した後方画像に対する画像処理を実行させ、被牽引車両１２の認識を行わせる。そして、認識部４６により被牽引車両１２が認識できた場合（Ｓ１０８のＹｅｓ）、ＣＰＵ３６ａは、指標態様制御部５０ａに、画像変換部４８が生成した俯瞰画像Ｐ１に対して、図８に示すような被牽引車両１２を認識していることを示すトレーラアイコン５２ａを表示させる（Ｓ１１０）。なお、このとき、連結角度取得部４４ｄは、図５で説明したように、牽引車両１０に対する被牽引車両１２の連結角度θを取得する。指標態様制御部５０ａは、連結角度取得部４４ｄが取得した連結角度θに基づき、俯瞰画像Ｐ１上で表示するトレーラアイコン５２ａの自車画像１０ｐに対する姿勢（接続角度）を決定し、自車画像１０ｐとトレーラアイコン５２ａとが連結されている状態で表示する。また、指標態様制御部５０ａは、インジケータ５４におけるトラクタインジケータ５４ａとトレーラインジケータ５４ｂとの接続角度も連結角度取得部４４ｄが取得した連結角度θに基づいて決定する。このように、認識部４６によって被牽引車両１２が認識できた場合で、例えば、牽引車両１０と被牽引車両１２との連結角度θ≒０の場合、俯瞰画像Ｐ１は、図７に示すような画像になる。また、連結角度θ≠０の場合、俯瞰画像Ｐ１は、図１２に示すような画像になる。

一方、認識部４６により被牽引車両１２が認識できない場合（Ｓ１０８のＮｏ）、ＣＰＵ３６ａは指標態様制御部５０ａにより、画像変換部４８が生成した俯瞰画像Ｐ１において、被牽引車両１２を認識していないことを示すようにトレーラアイコン５２ａを非表示にする（Ｓ１１２）。また、指標態様制御部５０ａは、俯瞰画像Ｐ１に被牽引車両１２を認識していないことを示すトラクタインジケータ５４ａのみのインジケータ５４を表示する（図６の俯瞰画像Ｐ１を参照）。なお、このとき、指標態様制御部５０ａは、図９や図１０に示すような被牽引車両１２を認識していないことを示すトレーラアイコン５２ａを俯瞰画像Ｐ１に表示するようにしてもよい（図１１の俯瞰画像Ｐ１を参照）。

続いて、ＣＰＵ３６ａは、シフト位置取得部４４ｃの取得結果に基づき、牽引車両１０が現在進行しようとしている方向（前進か後退）を確認する。運転者が牽引車両１０を後退走行させようとして、変速操作部を「Ｒレンジ」に移動させていることを示す信号をシフト位置取得部４４ｃが取得した場合で（Ｓ１１４のＹｅｓ）、認識部４６が被牽引車両１２を認識している場合（Ｓ１１６のＹｅｓ）、ガイド線生成部５０ｂは、牽引時のガイド線を生成する（Ｓ１１８）。つまり、図１２に示すような、例えば、牽引車両１０の後方１．０ｍの位置まで延びる短縮表示態様の移動位置予測線５８を生成する。この場合、ガイド線生成部５０ｂは、舵角取得部４４ｂが取得した牽引車両１０の舵角に基づき、牽引車両１０の旋回軌道を算出するとともに、牽引車両１０の後輪１４Ｒのタイヤ軌跡線５８ａを算出して移動位置予測線５８の描画方向を決定する。一方、Ｓ１１６において、認識部４６が被牽引車両１２を認識してない場合（Ｓ１１６のＮｏ）、ガイド線生成部５０ｂは、非牽引時のガイド線を生成する（Ｓ１２０）。つまり、図１１に示すような、例えば、牽引車両１０の後方２．５ｍの位置まで延びる通常表示態様の移動位置予測線５８を生成する。この場合も、ガイド線生成部５０ｂは、舵角取得部４４ｂが取得した牽引車両１０の舵角に基づき、牽引車両１０の旋回軌道を算出するとともに、牽引車両１０の後輪１４Ｒのタイヤ軌跡線５８ａを算出して移動位置予測線５８の描画方向を決定する。ガイド線生成部５０ｂによって移動位置予測線５８が生成されたら、ＣＰＵ３６ａは、後方を示す実画像Ｐ２に移動位置予測線５８（ガイド線）を重畳し（Ｓ１２２）、図１１や図１２に示すような画面２６ａを表示装置２６に表示する。

そして、ＣＰＵ３６ａは、監視要求取得部４４ｅが周辺監視モードの終了要求を取得した場合（Ｓ１２４のＹｅｓ）、例えば、運転者が操作入力部３０により終了スイッチを操作した場合等、表示切替部５０ｃにより、表示装置２６の画面２６ａに通常表示画面を表示（復帰）させる（Ｓ１２６）。例えば、画面２６ａをナビゲーション画面やオーディオ画面に切り替え、一連の周辺監視処理を一旦終了させる。

Ｓ１２４において、監視要求取得部４４ｅが周辺監視モードの終了要求を取得していない場合（Ｓ１２４のＮｏ）、ＣＰＵ３６ａは、Ｓ１０２に移行し、周辺監視処理を継続する。

Ｓ１１４において、運転者が牽引車両１０を後退走行させようとしていない場合、つまり、変速操作部を「Ｒレンジ」以外に移動させていることを示す信号をシフト位置取得部４４ｃが取得した場合で（Ｓ１１４のＮｏ）、ガイド線生成部５０ｂは、前方表示用の目安線５６を生成し、前方の実画像Ｐ２に重畳表示する（Ｓ１２８）。すなわち、図６や図７に示すような画面２６ａを表示装置２６に表示する。この場合もガイド線生成部５０ｂは、舵角取得部４４ｂが取得した牽引車両１０の舵角に基づき、牽引車両１０の旋回軌道を算出して目安線５６の描画方向を決定する。ＣＰＵ３６ａは、目安線５６を画面２６ａに表示させた後、Ｓ１２４の処理に移行し、周辺監視処理を終了するか否かを決定し、上述した処理を実行する。

図１３に示すフローチャートは一例であり、周辺監視システム１００が被牽引車両１２を認識されているか否かを示す情報を運転者に通知できればよく、処理ステップの入れ替えや増減等が適宜可能で、同様の効果を得ることができる。

このように、本実施形態の周辺監視システム１００によれば、当該周辺監視システム１００において被牽引車両１２が認識できているか否かが明示されるため、周辺監視システム１００の制御（処理）状況を理解させやすく、運転者に安心感を与えやすくなる。

上述した実施形態においては、周辺監視システム１００が被牽引車両１２を認識しているか否かを表示装置２６を用いて通知する例を示したが、例えば、俯瞰画像Ｐ１に表示する内容を、表示装置３４を用いて簡易的に表示してもよく、同様の効果を得ることができる。また、周辺監視システム１００が被牽引車両１２を認識しているか否かを通知する場合、上述したような視覚的な通知に加え、音声出力装置２８を用いた音声による聴覚的通知を行ってもよく、運転者に周辺監視システム１００における被牽引車両１２の認識状態の把握をより明確に行わせることができる。

上述した実施形態において、表示装置２６上で俯瞰画像Ｐ１の表示領域を実画像Ｐ２の表示領域より小さく表示する例を示したが、俯瞰画像Ｐ１を実画像Ｐ２より大きく表示してもよい。この場合、被牽引車両１２の認識状態をより明確に運転者に理解させやすくすることができる。また、俯瞰画像Ｐ１を表示装置３４に表示し、実画像Ｐ２のみを表示装置２６に表示するようにしてもよい。この場合、実画像Ｐ２の表示領域を広く確保することが可能になり、実画像Ｐ２の視認性の向上ができる。また、表示装置３４が運転中の運転者の視線をあまり動かさずに視認できる位置（例えばダッシュボードの計器盤部等）に配置されている場合には、俯瞰画像Ｐ１の視認性を向上することができる。また、表示装置２６に俯瞰画像Ｐ１のみを表示してもよく、同様に、俯瞰画像Ｐ１の視認性を向上することができる。

本実施形態のＣＰＵ３６ａで実行される周辺監視プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、周辺監視プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される周辺監視プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…牽引車両、１０ｐ…自車画像、１２…被牽引車両、１２ｐ…トレーラ画像、１８…牽引装置、２０…連結部材、２４，２４ａ…撮像部、２６，３４…表示装置、２６ａ…画面、３６…ＥＣＵ、３６ａ…ＣＰＵ、４４…取得部、４４ａ…画像取得部、４４ｂ…舵角取得部、４４ｃ…シフト位置取得部、４４ｄ…連結角度取得部、４４ｅ…監視要求取得部、４６…認識部、４８…画像変換部、５０…制御部、５０ａ…指標態様制御部、５０ｂ…ガイド線生成部、５０ｃ…表示切替部、５２…指標、５２ａ…トレーラアイコン、５４…インジケータ、５４ａ…トラクタインジケータ、５４ｂ…トレーラインジケータ、５６…目安線、５８…移動位置予測線、１００…周辺監視システム。

Claims (3)

1. 被牽引車両が連結可能な牽引車両から当該牽引車両の後方領域を撮像した撮像画像を取得する取得部と、
   前記撮像画像に基づき連結状態の前記被牽引車両を認識する認識部と、
   前記認識部の認識結果に基づいて、前記被牽引車両が検出できているか否かを判定し、当該判定の結果に応じて、前記牽引車両と前記被牽引車両との連結状態に基づく指標の表示態様を決定し表示させる制御部と、
   を備え、
   前記制御部は、前記牽引車両の舵角に基づき前記牽引車両が後退する場合に当該牽引車両の現在の舵角に基づく移動位置予測線を前記撮像画像に前記指標として重畳表示するとともに、前記被牽引車両の認識時と非認識時とで前記移動位置予測線の表示態様を異ならせる、周辺監視装置。
2. 前記制御部は、前記認識部が前記被牽引車両を認識できない場合、前記指標を非表示にする請求項１に記載の周辺監視装置。
3. 前記取得部は、前記牽引車両の周辺の画像をさらに取得し、
   前記制御部は、前記指標として前記被牽引車両を示す車両マークを表示させる場合、前記周辺の画像に基づく車両周辺画像における前記被牽引車両の表示対応位置に重畳表示させる請求項１または請求項２に記載の周辺監視装置。

Images