JP7000822B2 - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
JP7000822B2
JP7000822B2 JP2017234029A JP2017234029A JP7000822B2 JP 7000822 B2 JP7000822 B2 JP 7000822B2 JP 2017234029 A JP2017234029 A JP 2017234029A JP 2017234029 A JP2017234029 A JP 2017234029A JP 7000822 B2 JP7000822 B2 JP 7000822B2
Authority
JP
Japan
Prior art keywords
image
guide line
vehicle
displayed
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017234029A
Other languages
English (en)
Other versions
JP2019103049A (ja
Inventor
哲也 丸岡
一矢 渡邊
欣司 山本
淳 門脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2017234029A priority Critical patent/JP7000822B2/ja
Priority to CN201811471981.2A priority patent/CN110001523B/zh
Priority to US16/208,966 priority patent/US10748298B2/en
Priority to DE102018131183.4A priority patent/DE102018131183A1/de
Publication of JP2019103049A publication Critical patent/JP2019103049A/ja
Application granted granted Critical
Publication of JP7000822B2 publication Critical patent/JP7000822B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B60K2360/21—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Description

本発明の実施形態は、周辺監視装置に関する。
従来、車両に搭載された撮像部（カメラ）により車両周囲の状況を撮像し、撮像した画像を運転席周辺に配置された表示装置に表示することで、運転者に車両周囲の状況を認識させやすくする周辺監視装置が知られている。このような周辺監視装置の中には、表示装置の画面上で、自車と周囲の物体との位置関係や空きスペース等を認識させやすくするために軌跡予想線を表示するものがある。また、牽引装置を備える牽引車両では、被牽引車両との連結作業を行う際に被牽引車両への接近作業を支援するために、被牽引車両へ向かう軌跡予想線を表示するものがある。さらに、このような軌跡予想線を表示するタイプのものには、実際に被牽引車両に接近させる部分である牽引装置（ヒッチ）の高さに対応した位置に軌跡予想線を表示するものもある。
特許第４７３９５６９号公報
しかしながら従来技術の場合、奥行きのある二次元のカメラ画像に、このカメラ画像とは異なるグラフィック画像である軌跡予想線に高さ情報を持たせて重畳させている。そのため、表示された軌跡予想線を見ただけでは、その軌跡予想線が実際に高さ情報を持った線であるか否かの判定が難しい場合がある。また、高さ情報を含んだ線であることが認識されない場合、重畳される線が不自然な位置に存在するように見える場合があり、運転者の正しい認識や判断を損ねてしまう場合があった。
そこで、本発明の課題の一つは、周辺画像に高さ情報を持った指標画像（運転者が運転操作の際に操作指標とする画像）を重畳する場合に、その指標画像が高さ情報を持った線であることを容易に認識させることができる周辺監視装置を提供することである。
本発明の実施形態にかかる周辺監視装置は、例えば、車両に設けられて当該車両の周辺を撮像する撮像部によって撮像される周辺画像と、上記周辺画像に重畳可能で、運転者による運転操作の際に、上記運転者の操作指標となる指標画像と、を取得する取得部と、上記指標画像を、第一の所定高さから第二の所定高さに変化させるとともに、その変化の推移を表示させる画像処理部と、を備える。この構成によれば、例えば、指標画像が表示される過程で、変化の推移が表示されるため、指標画像が高さ情報を持ち、かつ当該指標画像が第一の所定高さから第二の所定高さに変化（移動）した状態で表示されていることを運転者に認識させやすい。
本発明の実施形態にかかる周辺監視装置の上記第一の所定高さは、例えば、上記第二の所定高さより低くてもよい。この構成によれば、例えば、指標画像が浮上するように表示されるため、指標画像の挙動を把握させやすく、当該指標画像が高さ情報を持ち、かつ第一の所定高さから第二の所定高さに浮上した（移動）した状態で表示されていることをより、認識させやすくすることができる。
本発明の実施形態にかかる周辺監視装置の上記第一の所定高さは、例えば、上記第二の所定高さより高くしてもよい。この構成によれば、例えば、指標画像が下降するように表示されるため、指標画像の挙動を把握させやすく、当該指標画像が高さ情報を持ち、かつ第一の所定高さから第二の所定高さに下降した（移動）した状態で表示されていることをより、認識させやすい。
本発明の実施形態にかかる周辺監視装置の上記第一の所定高さは、例えば、上記車両が存在する路面に接する高さであってもよい。この構成によれば、例えば、指標画像が、路面から浮上するように表示される。その結果、路面を基準として指標画像の浮上（移動）の程度（指標画像の持つ高さ情報の大きさの程度）を認識させやすい。
本発明の実施形態にかかる周辺監視装置の上記第二の所定高さは、例えば、上記車両が存在する路面に接する高さであってもよい。この構成によれば、例えば、指標画像が、路面に向かって下降するように表示される。その結果、路面に対して指標画像の下降（移動）の程度（指標画像の持つ高さ情報の大きさの程度）を認識させやすい。
本発明の実施形態にかかる周辺監視装置の上記第一の所定高さまたは上記第二の所定高さは、例えば、上記車両に設定された基準位置の高さであってもよい。この構成によれば、例えば、車両の一部を基準として、指標画像の移動の推移が表示される。その結果、指標画像の移動の程度（指標画像の持つ高さ情報の大きさの程度）を認識させやすい。
本発明の実施形態にかかる周辺監視装置の上記画像処理部は、例えば、上記指標画像が示す方向を上記車両の現在の舵角に応じて変化させるようにしてもよい。この構成によれば、例えば、車両が向かおうとする方向に、指標画像が表示されるため、車両を移動させる場合に、高さ情報を備える指標画像を有効に利用させることができる。
本発明の実施形態にかかる周辺監視装置の上記画像処理部は、例えば、上記第一の所定高さの第一の指標画像と、上記第二の所定高さの第二の指標画像と、を高さ方向に並べて表示させるようにしてもよい。この構成によれば、第一の指標画像と第二の指標画像とのいずれかを基準に移動していく様子を認識させやすく、指標画像が高さ情報を備えることをより認識させやすくすることができる。
本発明の実施形態にかかる周辺監視装置の上記画像処理部は、例えば、上記指標画像の変位状態に応じて当該指標画像を表示する際の透過率を変化させるようにしてもよい。この構成によれば、例えば、指標画像が周辺画像に重畳表示されるときに、元々周辺画像上に表示されている表示体（例えば、他車両の一部等）に重なっても、その表示体を認識させ続けることができる。その結果、指標画像が周辺画像に重畳される場合でも周辺状況の視認性を低下させにくくすることができる。
本発明の実施形態にかかる周辺監視装置は、例えば、上記周辺画像上で上記車両の移動目標位置を決定する目標決定部をさらに備え、上記画像処理部は、上記車両が上記移動目標位置に到達するように上記指標画像が示す方向を決定するようにしてもよい。この構成によれば、例えば、指標画像を車両の移動目標位置と一致するように表示することができるので、車両を移動目標位置にスムーズに移動させることができる。
図１は、実施形態にかかる周辺監視装置による指標画像の表示が適用可能な例を説明するための例示的な模式図であり、周辺監視装置を搭載可能な車両として牽引車両と、当該牽引車両に連結可能な被牽引車両とを説明する側面図である。 図２は、実施形態にかかる周辺監視装置による指標画像の表示が適用可能な例を説明するための例示的な模式図であり、周辺監視装置を搭載可能な車両として牽引車両と、当該牽引車両に連結可能な被牽引車両との連結作業を説明する上面図である。 図３は、実施形態にかかる周辺監視装置を含む周辺監視システムの構成の例示的なブロック図である。 図４は、実施形態にかかる周辺監視装置のＣＰＵの構成の例示的なブロック図である。 図５は、実施形態にかかる周辺監視装置による指標画像としてのヒッチガイド線画像の表示例を説明する図であり、ヒッチガイド線画像の表示開始時を示す模式図である。 図６は、実施形態にかかる周辺監視装置による指標画像としてのヒッチガイド線画像の表示例を説明する図であり、ヒッチガイド線画像が後方に延びていく推移状態を示す模式図である。 図７は、実施形態にかかる周辺監視装置による指標画像としてのヒッチガイド線画像の表示例を説明する図であり、ヒッチガイド線画像が浮上する推移状態を示す模式図である。 図８は、実施形態にかかる周辺監視装置による指標画像としてのヒッチガイド線画像の表示例を説明する図であり、浮上したヒッチガイド線画像が車両の舵角にしたがって移動する推移状態を示す模式図である。 図９は、実施形態にかかる周辺監視装置による指標画像の表示処理の一例を説明するフローチャートである。 図１０は、実施形態にかかる周辺監視装置による指標画像の他の表示例を説明する模式図である。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
本実施形態の周辺監視装置は、撮像部で撮像した周辺画像に高さ情報を持った指標画像を重畳する場合に、その指標画像が高さ情報を持った画像であることを容易に認識させるような形態で表示する。この周辺監視装置を搭載可能な車両として、例えば、図１に示すような牽引車両１０を示す。図１は、牽引車両１０と、当該牽引車両１０に連結可能な被牽引車両１２とを説明する側面図であり、図２は、図１の上面図である。図１では、紙面左方向を牽引車両１０を基準とする前方、紙面右方向を牽引車両１０を基準とする後方としている。図３は、牽引車両１０に搭載可能な周辺監視装置を含む周辺監視システム１００の構成の例示的なブロック図である。したがって、本実施形態では、指標画像の一例として、牽引車両１０を被牽引車両１２に連結させる運転操作を行う際に、牽引車両１０を運転する運転者の操作指標となるヒッチガイド線画像を表示する場合を説明する。
まず、牽引車両１０および被牽引車両１２の構成について説明する。牽引車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。牽引車両１０は図１に示されるようなスポーツ用多目的車両（Sport Utility Vehicle：ＳＵＶ）であってもよいし、車両の後ろ側に荷台が設けられている、いわゆる「ピックアップトラック」であってもよい。また、一般的な乗用車であってもよい。牽引車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、牽引車両１０における車輪１４（前輪１４Ｆ、後輪１４Ｒ）の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
牽引車両１０のリヤバンパ１６の例えば車幅方向の中央部の下部からは、被牽引車両１２を牽引するための牽引装置１８（ヒッチ）が突出している。牽引装置１８は牽引車両１０の例えばフレームに固定されている。牽引装置１８は、一例として、垂直方向（車両上下方向）に立設された先端部が球状のヒッチボール１８ａを備え、このヒッチボール１８ａに、被牽引車両１２に固定された連結部材２０の先端部に設けられたカプラ２０ａが覆い被さる。その結果、牽引車両１０と被牽引車両１２とが連結されるとともに、牽引車両１０に対して被牽引車両１２が車幅方向に揺動（旋回）可能となっている。つまり、ヒッチボール１８ａは、被牽引車両１２（連結部材２０）に前後左右の動きを伝え、また加速や減速のパワーを受け止めることになる。
被牽引車両１２は、例えば、図１に示すように、搭乗空間、居住区間、収納空間等のうち少なくとも一つを含む箱形タイプであってもよいし、荷物（例えば、コンテナやボート等）を搭載する荷台タイプであってもよい。図１に示す被牽引車両１２は、駆動輪や操舵輪を含まない従動輪として一対のトレーラ車輪２２を備える従動車両である。なお、図１に示す被牽引車両１２は、牽引車両１０に連結されていない場合は、例えば、連結部材２０に着脱可能なスタンド２０ｂが装着され、被牽引車両１２が前傾姿勢になることなく、バランスが取れるように構成されている。
また、図１、図２に例示されるように、牽引車両１０には、複数の撮像部２４として、例えば四つの撮像部２４ａ～２４ｄが設けられている。撮像部２４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部２４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部２４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、撮像部２４の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部２４は、牽引車両１０が移動可能な路面や路面に付されたマーク（矢印や区画線、駐車スペースを示す線、車線分離線等を含む）や物体（障害物として、例えば、歩行者、車両等）を含む牽引車両１０の外部の周辺環境を逐次撮影し、撮像画像データとして出力する。
撮像部２４ａは、例えば、牽引車両１０の後側のリヤハッチ１０ａの下方の壁部に位置される。撮像部２４ａは、牽引車両１０の後端部（リヤバンパ１６）、牽引装置１８等を含む後方領域を撮影可能である。また、牽引車両１０に被牽引車両１２が連結されている場合には、連結部材２０および被牽引車両１２の少なくとも前端部を含む領域（例えば、図１で二点鎖線で示す範囲）、被牽引車両１２の側方から臨む被牽引車両１２の後方領域等も撮影可能である。撮像部２４ａによって撮像された撮像画像データは、牽引車両１０の後方領域に存在する物体、例えば、駐車車両等）の検出に用いることができる。また、図１、図２に示されるように、被牽引車両１２の認識および、牽引車両１０と被牽引車両１２の連結状態（例えば、連結角度、連結の有無等）の検出に用いることもできる。この場合、撮像部２４ａの撮像した撮像画像データに基づき牽引車両１０と被牽引車両１２との連結状態や連結角度が取得できるので、システム構成が簡略化できるとともに、演算処理や画像処理の負荷が軽減できる。
また、撮像部２４ｂは、例えば、牽引車両１０の左側の端部、例えば左側のドアミラー１０ｂに設けられて、牽引車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像を撮像する。撮像部２４ｃは、例えば、牽引車両１０の前側、すなわち車両前後方向の前方側の端部、例えばフロントグリル１０ｃやフロントバンパ等に設けられて、牽引車両１０の前方を含む前方画像を撮像する。撮像部２４ｄは、例えば、牽引車両１０の右側の端部、例えば右側のドアミラー１０ｄに設けられて、牽引車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像を撮像する。複数の撮像部２４で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、牽引車両１０を上方から見た仮想的な俯瞰画像（平面画像)を生成したりすることができる。
牽引車両１０の車室内には、図３に示されるように、表示装置２６や、音声出力装置２８が設けられている。表示装置２６は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置２８は、例えば、スピーカである。また、表示装置２６は、例えば、タッチパネル等、透明な操作入力部３０で覆われている。乗員（例えば、運転者）は、操作入力部３０を介して表示装置２６の表示画面に表示される画像を視認することができる。また、乗員は、表示装置２６の表示画面に表示される画像に対応した位置で手指等で操作入力部３０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置２６や、音声出力装置２８、操作入力部３０等は、例えば、牽引車両１０のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置３２に設けられている。モニタ装置３２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置３２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
また、図１、図２に例示されるように、牽引車両１０は、例えば、四輪自動車であり、左右二つの前輪１４Ｆと、左右二つの後輪１４Ｒとを有する。これら四つの車輪１４は、いずれも転舵可能に構成されうる。図３に示されるように、牽引車両１０は、少なくとも二つの車輪１４を操舵する操舵システム３４を有している。操舵システム３４は、アクチュエータ３４ａと、トルクセンサ３４ｂとを有する。操舵システム３４は、ＥＣＵ３６（electronic control unit）等によって電気的に制御されて、アクチュエータ３４ａを動作させる。操舵システム３４は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム３４は、アクチュエータ３４ａによってステアリングホイールにトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ３４ａによって車輪１４を転舵したりする。この場合、アクチュエータ３４ａは、一対の車輪１４を転舵してもよいし、複数の車輪１４を転舵してもよい。また、トルクセンサ３４ｂは、例えば、運転者がステアリングホイールに与えるトルクを検出する。
また、図３に例示されるように、周辺監視システム１００（周辺監視装置）では、ＥＣＵ３６や、モニタ装置３２、操舵システム３４等の他に、ブレーキシステム３８、舵角センサ４０、シフトセンサ４２、車輪速センサ４４等が、電気通信回線としての車内ネットワーク４６を介して電気的に接続されている。車内ネットワーク４６は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ３６は、車内ネットワーク４６を通じて制御信号を送ることで、操舵システム３４、ブレーキシステム３８等を制御することができる。また、ＥＣＵ３６は、車内ネットワーク４６を介して、トルクセンサ３４ｂ、ブレーキセンサ３８ｂ、舵角センサ４０、シフトセンサ４２、車輪速センサ４４等の検出結果や、操作入力部３０の操作信号等を、受け取ることができる。
ＥＣＵ３６は、例えば、ＣＰＵ３６ａ（central processing unit）や、ＲＯＭ３６ｂ（read only memory）、ＲＡＭ３６ｃ（random access memory）、表示制御部３６ｄ、音声制御部３６ｅ、ＳＳＤ３６ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ３６ａは、ＲＯＭ３６ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＣＰＵ３６ａは、例えば、表示装置２６で表示される画像に関連した画像処理を実行する。例えば、ＣＰＵ３６ａは、撮像部２４が撮像した撮像画像データに演算処理や画像処理を実行して、周辺画像（例えば、俯瞰画像）を生成する。
ＲＡＭ３６ｃは、ＣＰＵ３６ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部３６ｄは、ＥＣＵ３６での演算処理のうち、主として、表示装置２６で表示される画像データの合成等を実行する。また、音声制御部３６ｅは、ＥＣＵ３６での演算処理のうち、主として、音声出力装置２８で出力される音声データの処理を実行する。ＳＳＤ３６ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ３６の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ３６ａや、ＲＯＭ３６ｂ、ＲＡＭ３６ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ３６は、ＣＰＵ３６ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ３６ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ３６ｆやＨＤＤは、ＥＣＵ３６とは別に設けられてもよい。
ブレーキシステム３８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の牽引車両１０の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム３８は、アクチュエータ３８ａを介して、車輪１４ひいては牽引車両１０に制動力を与える。また、ブレーキシステム３８は、左右の車輪１４の回転差などからブレーキのロックや、車輪１４の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ３８ｂは、例えば、ブレーキペダルの可動部の位置を検出するセンサである。
舵角センサ４０は、例えば、ステアリングホイールの操舵量を検出するセンサである。ＥＣＵ３６は、運転者によるステアリングホイールの操舵量や、自動操舵時の各車輪１４の転舵量等を、舵角センサ４０から取得して各種制御を実行する。シフトセンサ４２は、例えば、シフト操作部の可動部の位置を検出するセンサである。車輪速センサ４４は、車輪１４の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ４４は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。ＥＣＵ３６は、車輪速センサ４４から取得したセンサ値に基づいて牽引車両１０の移動量などを演算し、各種制御を実行することができる。
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
表示装置２６は、撮像部２４で撮像した周辺画像に、運転者による運転操作の際に、運転者の操作指標となる指標画像の一例としてのヒッチガイド線画像や車幅ガイド線画像等を重畳して表示可能である。そして、本実施形態の場合、指標画像を表示する場合、当該指標画像を第一の所定高さから第二の所定高さに変化させるとともに、その変化の推移を表示させることができる。なお、所定高さ（第一の所定高さ、第二の所定高さ等）は、撮像部２４で撮像した実空間における三次元の高さに対応するものである。一例として、ヒッチガイド線画像を牽引車両１０に設定された基準位置の高さに対応する高さまで浮上させるとともに、その浮上推移を表示させることができる。ヒッチガイド線画像は、例えば、牽引車両１０と被牽引車両１２とを連結する場合に牽引車両１０のヒッチボール１８ａを被牽引車両１２のカプラ２０ａに接近させやすくするために、ヒッチボール１８ａからカプラ２０ａへ向かって延びるように表示される誘導ガイド線画像とすることができる。この場合、図１に示すように、ヒッチボール１８ａは、牽引車両１０が存在する路面（第一の所定高さ）から例えば、高さＬの位置（第二の所定高さ）に存在する。したがって、ヒッチガイド線画像を表示装置２６に表示された周辺画像に重畳する場合には、ヒッチガイド線画像も高さＬに相当する位置に表示される。しかしながら、奥行きのある二次元のカメラ画像（周辺画像）に、このカメラ画像とは異なるグラフィック画像であるヒッチガイド線画像に高さ情報を持たせて重畳させた場合、単に表示位置が高さ情報にしたがってオフセットされるだけとなる。その結果、一見、高さ情報が反映されたヒッチガイド線画像であるとは認識されにくい。そこで、本実施形態の周辺監視装置の場合、ヒッチガイド線画像を一例とする指標画像が高さ情報を持って表示されていることを認識しやすくするために、指標画像を表示するときに、移動の推移を併せて表示する。これにより、指標画像（例えば、ヒッチガイド線画像）が高さ情報を持ち、路面から浮き上がった状態で表示されていることを運転者に認識させやすくすることができる。
ＥＣＵ３６に含まれるＣＰＵ３６ａは、上述したような移動（例えば、浮上）の推移を併せて表示できるような指標画像（例えば、ヒッチガイド線画像）の表示処理を実行するための各種モジュールを備える。各種モジュールは、ＣＰＵ３６ａがＲＯＭ３６ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される。例えば、ＣＰＵ３６ａは、図４に示されるように、取得部４８、画像処理部５０、目標決定部５２等のモジュールを備える。
取得部４８は、浮上推移を伴う指標画像（例えばヒッチガイド線画像）の表示を実現するための各種情報を取得するために、モード取得部４８ａ、周辺画像取得部４８ｂ、指標画像取得部４８ｃ、舵角取得部４８ｄ、高さ情報取得部４８ｅ等を含む。
モード取得部４８ａは、例えば、運転者が表示装置２６に表示する画像内容（表示モード）の切り替えを行う際に、例えば操作入力部３０の操作に基づく操作信号を受け付ける。表示モードとしては、例えば、「通常表示モード」、「指標画像表示モード」、「標準ガイド線画像表示モード」、「誘導ガイド線画像表示モード」、「路面モード」、「推移表示モード」等がある。
「通常表示モード」は、牽引車両１０の走行中に通常表示される、ナビゲーション画面やオーディオ画面等を表示させる表示モードである。「指標画像表示モード」は、運転者による運転操作の際に、撮像部２４が撮像した周辺画像に運転者の操作指標となる指標画像（例えば、ヒッチガイド線画像）を重畳表示させる表示モードである。指標画像表示モードが選択された場合、さらに、例えば、「標準ガイド線画像表示モード」と「誘導ガイド線画像表示モード」の選択が可能である。「標準ガイド線画像表示モード」は、牽引車両１０を走行させる場合に、牽引車両１０が通過可能か否か等の判断に利用できる車幅ガイド線画像や牽引車両１０の後方または前方の離間距離を把握させやすくするための距離ガイド線画像（距離目安線画像ともいう）等を表示させる表示モードである。また、「誘導ガイド線画像表示モード」は、牽引車両１０を特定の目標位置に誘導するためのガイド線画像で、例えばヒッチボール１８ａの移動方向を示すヒッチガイド線画像や牽引車両１０全体の走行予測方向を示す走行予測線画像等を表示させる表示モードである。「誘導ガイド線画像表示モード」は、この他、例えば、牽引車両１０を駐車させる場合に駐車スペースを示す駐車枠ガイド線画像を表示させてもよい。
「路面モード」は、指標画像を牽引車両１０が存在する路面に接するように描画させる表示モードである。「推移表示モード」は、指標画像の表示位置を第一の所定高さから第二の所定高さに変化させるとともに、その変化の推移を表示させる表示モードである。指標画像を例えばヒッチガイド線画像とする場合、ヒッチガイド線画像の表示位置を、路面に接した状態（第一の所定の高さ）から牽引車両１０に設定された基準位置（第二の所定の高さ）まで浮上させるとともに、その浮上推移を表示させる。牽引車両１０に設定された「基準位置の高さ」とは、表示する指標画像に応じて定められた高さであり、ヒッチガイド線画像の場合は、牽引車両１０に固定されたヒッチボール１８ａの路面からの高さＬとすることができる。また、指標画像が、例えば車幅ガイド線画像の場合、例えば、牽引車両１０のリヤバンパ１６の高さとすることができる。
周辺画像取得部４８ｂは、例えば、モード取得部４８ａが「指標画像表示モード」を取得した場合に、牽引車両１０の周囲状況を表示するために必要な画像情報を取得する。例えば、周辺画像取得部４８ｂは、牽引車両１０の周辺を撮像する撮像部２４ａ～２４ｄから、複数の撮像画像データ（例えば、前方画像、左側方画像、右側方画像、後方画像等のデータ）を取得する。取得した画像は、実画像としてそのままの態様で表示装置２６に逐次表示される場合と、視点変換等が施されて俯瞰画像の態様で表示装置２６に逐次表示される場合とがある。
指標画像取得部４８ｃは、モード取得部４８ａが「指標画像表示モード」を示す操作信号を取得した場合に、運転者によって指定された、「ヒッチガイド線画像」や「走行予測線画像」、「車幅ガイド線画像」、「距離ガイド線画像」、「駐車枠ガイド線画像」等の基本形状を例えばＲＯＭ３６ｂから読み出して取得する。各ガイド線画像の基本形状は、例えば、牽引車両１０が存在する路面に接するように表示され、牽引車両１０の前後方向に延びる車両中心線と平行な直線または、車両中心線と直交する直線と平行な直線である。例えば、「ヒッチガイド線画像」は、ヒッチボール１８ａの直下の路面の位置から牽引車両１０の後方に向けて、所定長さ、例えば、２．５ｍに相当する長さだけ延びる線状の画像である。同様に、「走行予測線画像」は、牽引車両１０の車幅方向の中央位置から牽引車両１０の進行方向に例えば、２．５ｍに相当する長さだけ延びる線状の画像である。牽引車両１０の進行方向は、シフトセンサ４２の操作位置で判定可能である。例えば、シフトセンサ４２がＤレンジ位置にある場合は前進方向、Ｒレンジ位置にある場合は後退方向である。「車幅ガイド線画像」は、牽引車両１０の車幅に左右の余裕距離、例えば、２０ｃｍに相当する長さを付加した牽引車両１０の側面と平行な車両前後方向に、例えば、車両端部から２．５ｍに相当する長さだけ延びる線状の画像である。「距離ガイド線画像」は、牽引車両１０のリヤバンパ１６の直下の路面の位置から後方、例えば、０．５ｍ、１．０ｍ、２．５ｍに相当する位置にリヤバンパ１６と平行に延びる線状の画像である。「距離ガイド線画像」は、牽引車両１０のフロントバンパの直下の路面の位置から同様に０．５ｍ、１．０ｍ、２．５ｍに相当する位置に表示されてもよい。「駐車枠ガイド線画像」は、牽引車両１０が駐車する際に駐車目標位置が設定された場合、牽引車両１０が収まる駐車スペースに対応するスペースを規定する線状の画像である。
舵角取得部４８ｄは、舵角センサ４０から出力される牽引車両１０の舵角情報（ステアリングホイールの操作状態に関する情報）を取得する。つまり、運転者がこれから牽引車両１０を走行させようとしている方向の舵角を取得する。なお、舵角取得部４８ｄは、シフトセンサ４２から取得される可動部の位置に基づき、牽引車両１０が前進可能状態か後退可能状態かを取得して、舵角が前進状態の舵角か後退状態の舵角かを識別できるようにしてもよい。
高さ情報取得部４８ｅは、指標画像を第一の所定高さから第二の所定高さに移動（例えば浮上）させる場合の高さ情報を例えばＲＯＭ３６ｂから取得する。高さ情報は、前述したように、表示する指標画像に応じて定められている。例えば、指標画像としてヒッチガイド線画像を表示する場合は、牽引車両１０に固定されたヒッチボール１８ａの路面からの高さＬであり、車幅ガイド線画像の場合、例えば、牽引車両１０のリヤバンパ１６の高さである。高さ情報は、牽引車両１０の仕様に基づき予め定められた固定値であってもよいし、運転者が操作入力部３０等を介して、適宜設定した値であってもよい。
図５～図８は、周辺監視システム１００（周辺監視装置）の画像処理部５０による指標画像の表示例を説明する図であり、牽引車両１０が後退可能なとき（シフトセンサ４２がＲレンジ位置を検出したとき）、牽引車両１０に被牽引車両１２を連結させる連結作業を支援する指標画像の一例としてヒッチガイド線画像を表示する例を示す。表示装置２６は、指標画像を表示する「指標画像表示モード」の場合、図５～図８に示すように、例えば、実画像Ｐ１を示す第１表示領域２６ａと俯瞰画像Ｐ２を示す第２表示領域２６ｂから構成される二分割画面とすることができる。実画像Ｐ１は、一例として撮像部２４ａによって撮像された牽引車両１０の後方の周辺画像を示す。また、俯瞰画像Ｐ２は、撮像部２４ａ～２４ｄが撮像した牽引車両１０の後方画像、左側方画像、前方画像、右側方画像のそれぞれに対して、牽引車両１０の直上位置を仮想視点とするような視点変換等の画像処理を施すことにより得られる牽引車両１０の位置を基準とする全周囲画像である。なお、牽引車両１０が前進可能な場合は、実画像Ｐ１には、撮像部２４ｃによって撮像された牽引車両１０の前方の周辺画像が表示され、適宜指標画像が重畳表示される。
第１表示領域２６ａに表示される実画像Ｐ１において、画面下方側（手前側）に牽引車両１０のリヤバンパ１６と牽引装置１８（ヒッチボール１８ａ）が表示され、それより上方に牽引車両１０の後方の状況が表示されている。なお、図５等に示す実画像Ｐ１において、画面上側（遠方側）には、複数の駐車車両に混じって連結部材２０（カプラ２０ａ）を備える被牽引車両１２が表示されている。また、第１表示領域２６ａの一部（例えば、画面右下側）には、表示装置２６の表示モードの切替スイッチとして動作する切替アイコン５４が表示されている。図５の場合、切替アイコン５４は、「指標画像表示モード」が選択された後、さらに表示される切替スイッチであり、「標準ガイド線画像表示モード」に切り替える標準モードアイコン５４ａと「誘導ガイド線画像表示モード」に切り替える誘導モードアイコン５４ｂとが表示されている。
また、第２表示領域２６ｂに表示される俯瞰画像Ｐ２において、中央領域には、牽引車両１０を俯瞰視で示す自車アイコン５６が表示されている。自車アイコン５６は、例えば、ＲＯＭ３６ｂから読み出して表示することができる。また、自車アイコン５６の後方には、車幅ガイド線画像５８として、右側ガイド線画像５８ａと左側ガイド線画像５８ｂとが表示されている。また、右側ガイド線画像５８ａと左側ガイド線画像５８ｂを跨ぐように、複数の距離ガイド線画像６０が表示されている。距離ガイド線画像６０は、牽引車両１０のリヤバンパ１６の後方、例えば、０．５ｍの位置を示す第１距離ガイド線画像６０ａ、１．０ｍの位置を示す第２距離ガイド線画像６０ｂ、２．５ｍの位置を示す第３距離ガイド線画像６０ｃ等を含む。なお、距離ガイド線画像６０は三本に限らず、例えば、運転者の設定により増減してもよいし、各距離ガイド線画像６０の間隔も適宜設定できるようにしてもよい。
また、図５～図８には、指標画像の一例としてヒッチガイド線画像６２が表示されている。図５は、ヒッチガイド線画像６２の表示開始時を示す模式図であり、図６は、ヒッチガイド線画像６２が牽引車両１０の後方に延びていく推移状態を示す模式図である。また、図７は、ヒッチガイド線画像６２が浮上する推移状態を示す模式図であり、図８は、浮上したヒッチガイド線画像６２が牽引車両１０の舵角にしたがって移動する推移状態を示す模式図である。
画像処理部５０は、主として、指標画像（例えば、ヒッチガイド線画像６２）の移動（例えば浮上）および移動後の表示態様を変化させるために、推移表示処理部５０ａ、影画像処理部５０ｂ、指標画像移動処理部５０ｃ、透過率処理部５０ｄ等のモジュールを含む。
推移表示処理部５０ａは、指標画像取得部４８ｃが取得した例えば路面に接した基本形状の指標画像としてのヒッチガイド線画像６２（図６参照）の描画データに、高さ情報取得部４８ｅが取得した移動（浮上）高さ情報を加えることにより、図７に示すように、ヒッチガイド線画像６２を浮上させる画像処理（アニメーション処理）を実行する。このときの移動（浮上）速度は、移動の有無が認識できる程度の予め定められた固定値であってもよいし、運転者が操作入力部３０を操作して適宜設定した設定値であってもよい。指標画像として例えば、ヒッチガイド線画像６２の浮上推移を表示することにより、ヒッチガイド線画像６２（指標画像）が高さ情報を持って描画された画像であることを運転者に認識させやすくすることができる。また、推移表示処理部５０ａは、例えば、路面に接した基本形状のヒッチガイド線画像６２を最初に表示する際に、図５、図６に示すように、牽引車両１０の後方２．５ｍに相当する位置まで徐々に延びていくような伸長推移（アニメーション）を表示するようにしてもよい。このような伸長推移を表示することにより、運転者の注意を引き、ヒッチガイド線画像６２(指標画像）が表示されることを認識させやすくなる。
影画像処理部５０ｂは、図７に示すように、指標画像（例えばヒッチガイド線画像６２）を移動（例えば浮上）させる際に、路面に接したままの状態を示す影画像６４（第一の指標画像）と移動した状態のヒッチガイド線画像６２（第二の指標画像）とを分離して高さ方向に並べて表示させる。なお、この場合の高さ方向は、必ずしも鉛直方向である必要はない。影画像６４は、浮上するヒッチガイド線画像６２に対して、路面にとどまるように表示されるため、路面に投影されたヒッチガイド線画像６２の「影」のように見せることができる。言い換えれば、影画像６４が表示されることにより、ヒッチガイド線画像６２が浮上状態であることをより認識させやすくすることができる。なお、影画像６４を表示する場合は、例えば「黒色」で表示し、浮上するヒッチガイド線画像６２等は、例えば「緑色」や「青色」、「黄色」等路面に描かれた文字やマークと識別し易い色で表示することが望ましい。なお、影画像６４は、浮上前のヒッチガイド線画像６２（指標画像）の下側で重なるように表示されていてもよい。また、このときヒッチガイド線画像６２に対して影画像６４を僅かに車幅方向にずらすことで、影画像６４の存在をヒッチガイド線画像６２の浮上前から運転者に認識させやすくすることができる。
指標画像移動処理部５０ｃは、高さ方向に移動（例えば浮上）させた指標画像（例えば、ヒッチガイド線画像６２）および路面に残した影画像６４を、図８に示すように、舵角取得部４８ｄが取得した舵角情報にしたがって、操舵方向に移動（変形）させる。つまり、ヒッチガイド線画像６２、影画像６４は、牽引車両１０を走行させた場合に牽引車両１０が向かう方向に向くことになる。例えば、図８に示すように、牽引車両１０の後方に、これから連結させようとする被牽引車両１２が停車している場合、ヒッチガイド線画像６２が被牽引車両１２に向かうように牽引車両１０のステアリングホイールを操作することにより、牽引車両１０を被牽引車両１２に向けて移動させることができる。つまり、ヒッチボール１８ａをカプラ２０ａに容易に接近させることができる。
透過率処理部５０ｄは、指標画像（例えば、ヒッチガイド線画像６２）を表示する場合の透過率を指標画像の変位（例えば浮上）状態に応じて変化させる。例えば、図５、図６に示すように、ヒッチガイド線画像６２を伸長させる場合（路面に接している場合）は、透過率を「０％」として、ヒッチガイド線画像６２の表示が行われ、その存在が明確に認識できるようにする。そして、図６に示すように浮上する場合、ヒッチガイド線画像６２の透過率を徐々に高め、高さ情報取得部４８ｅが取得した高さ情報に対応する位置に浮上したときに、透過率を例えば「５０％」とする。その結果、撮像部２４ａが撮像した周辺画像に元々映り込んでいたもの、例えば、カプラ２０ａや路面の表示物（区画線等）の上にヒッチガイド線画像６２が重畳された場合でも、カプラ２０ａや路面の表示物等を透過率が高まったヒッチガイド線画像６２を通して認識させることができる。したがって、例えば、舵角を変化させてヒッチガイド線画像６２の先端等をカプラ２０ａの位置に合わせやすくなる。なお、透過率処理部５０ｄは、影画像６４の透過度も同様に変化させてもよく、同様の効果を得ることができる。透過率の設定は、上述のような固定値であってもよいし、例えば操作入力部３０を用いて運転者が適宜設定できるようにしてもよい。
なお、図５～図８の例では、ヒッチガイド線画像６２や影画像６４を破線で表示している。破線で表示することにより、ヒッチガイド線画像６２や影画像６４等の指標画像を実画像Ｐ１に重畳するときに、カプラ２０ａや路面の表示物等と重なる部分を低減し、カプラ２０ａや表示物の認識性を向上させている。逆にヒッチガイド線画像６２や影画像６４等の指標画像の認識性を重視する場合は、実線で表示するようにしてもよい。
目標決定部５２は、付加機能として追加可能なモジュールである。目標決定部５２は、ヒッチガイド線画像６２等の指標画像を表示する場合に、周辺画像上で移動目標位置に決定する処理を行うことができる。例えば、ヒッチガイド線画像６２を表示させる場合、移動目標位置は被牽引車両１２の存在する位置となる。この場合、上述したように、ヒッチガイド線画像６２を浮上表示させた後、運転者がステアリングホイールを操作して被牽引車両１２の位置にヒッチガイド線画像６２を合わせる。別の実施形態として、目標決定部５２を用いる場合、当該目標決定部５２により被牽引車両１２が移動目標位置であると決定し、その位置に到達するように、ヒッチガイド線画像６２を自動的に描画してもよい。移動目標位置の決定は、例えば、撮像部２４ａが取得した周辺画像に対し、ＲＯＭ３６ｂ等に予め保持しておいた参照パターン（被牽引車両１２等の形状パターン）と比較するパターンマッチング等の画像処理を施して、被牽引車両１２を検出して決定することができる。また別の実施形態では、運転者が操作入力部３０等を操作して、実画像Ｐ１に映り込んでいる被牽引車両１２を画面上でクリックして決定してもよい。目標決定部５２を用いる場合、当該目標決定部５２によって決定された移動目標位置に延びていくヒッチガイド線画像６２の方向に対応して、操舵システム３４のアクチュエータ３４ａを動作させて、自動的に舵角を調整するようにしてもよい。その結果、ヒッチボール１８ａとカプラ２０ａとの位置合わせがよりスムーズかつ容易にできるとともに、運転者が舵角調整を行うことなく、直ちに被牽引車両１２（カプラ２０ａ）に向けて牽引車両１０の移動を開始することができる。また、別の実施形態では、目標決定部５２によって決定された移動目標位置に自動的に延びるヒッチガイド線画像６２（影画像６４）を表示させるとともに、これとは別に、牽引車両１０のステアリングホイールの角度（舵角）に対応するヒッチガイド線画像６２と同様な態様の舵角ガイド線画像を表示し、この舵角ガイド線画像を、自動的に移動目標位置に向かったヒッチガイド線画像６２に重なるように、運転者がステアリングホイールを操作するようにしてもよい。この場合、表示された線同士の重ね合わせになるので、遠方に存在する被牽引車両１２とヒッチガイド線画像６２との位置合わせをする場合に比べ、重ね合わせのため操舵調整が容易であり、より正確に合わせることができる。
上述のように構成される周辺監視装置（周辺監視システム１００）による表示処理の詳細を図９のフローチャートに基づいて説明する。なお、図９に示す例では、指標画像の移動推移の表示として、誘導ガイド線画像のうちヒッチガイド線画像６２を浮上表示する場合を示し、それ以外の指標画像、例えば、車幅ガイド線画像や距離ガイド線画像等は、浮上させない場合を示す。周辺監視システム１００は、複数種類の指標画像を浮上させるようにしてもよいが、表示装置２６の表示内容が煩雑になり表示内容が把握しにくくなる場合があるため、浮上表示させる指標画像は、運転者等により適宜選択された数、例えば一種類とすることが望ましい。
まず、ＣＰＵ３６ａは、モード取得部４８ａを介して表示装置２６に要求されている表示モードを取得する。例えば、表示装置２６に表示された操作入力部３０の表示モードの切替スイッチ等が何ら操作されず、指標画像表示モードが選択されていない場合（Ｓ１００のＮｏ）、牽引車両１０の運転者は通常表示画面、例えば、ナビゲーション画面やオーディオ画面等の表示を行う「通常表示モード」を望んでいると判定する。この場合、ＣＰＵ３６ａは、表示装置２６の表示モードを変更することなく、一旦このフローを終了させる。
一方、Ｓ１００において、表示装置２６に表示された操作入力部３０の表示モードの切替スイッチが操作され、「指標画像表示モード」が選択された場合（Ｓ１００のＹｅｓ）、周辺画像取得部４８ｂは、撮像部２４から出力される牽引車両１０の周囲画像を取得する（Ｓ１０２）。ＣＰＵ３６ａは、例えば、図５に示すように撮像部２４ａが撮像した画像を用いた実画像Ｐ１を第１表示領域２６ａに表示するとともに、撮像部２４ａ～２４ｄが撮像した画像を用いて俯瞰画像Ｐ２を生成し第２表示領域２６ｂに表示する。この場合、例えば、実画像Ｐ１の右下側に切替アイコン５４を表示させる。このとき表示される切替アイコン５４は、車幅ガイド線画像５８や距離ガイド線画像６０を表示させる「標準ガイド線画像表示モード」に切り替える標準モードアイコン５４ａとヒッチガイド線画像６２を表示させる「誘導ガイド線画像表示モード」に切り替える誘導モードアイコン５４ｂである。また、透過率処理部５０ｄは、表示する指標画像の透過率の設定を行う（Ｓ１０４）。透過率の設定は、上述したように、指標画像の表示態様に応じて変化させてもよい。例えば、指標画像を浮上させる場合は、指標画像が路面に接しているときには透過率０％で濃く表示し、浮上途中で徐々に増加させ浮上完了時で例えば透過率５０％として、指標画像が重畳される路面が指標画像を通して見えるようにする。また、指標画像を浮上させない場合、つまり、路面に接した状態で表示する場合は、表示当初から例えば透過率５０％で薄く表示する。なお、透過率は、操作入力部３０等を用いて運転者が適宜可能であるが、上述のような既定値を用いる場合には、Ｓ１０４のステップを省略可能である。
そして、モード取得部４８ａが誘導モードアイコン５４ｂの操作信号を取得した場合、つまり「誘導ガイド線画像表示モード」が選択された場合（Ｓ１０６のＹｅｓ）、指標画像取得部４８ｃは、誘導ガイド線画像としてヒッチガイド線画像６２をＲＯＭ３６ｂから取得する（Ｓ１０８）。この場合、取得されるヒッチガイド線画像６２は、例えば、牽引車両１０が存在する路面に接するように表示され、牽引車両１０の前後方向に延びる車両中心線と平行な直線である。
そして、推移表示処理部５０ａは、図５、図６に示すように、ヒッチガイド線画像６２が、牽引装置１８の近傍位置を始点として牽引車両１０の後方に向けて徐々に延びるように描画する（Ｓ１１０）。このように、ヒッチガイド線画像６２が徐々に延びるようなアニメーション態様で表示されることにより、種々の物体や線（区画線等）が表示されている実画像Ｐ１において、ヒッチガイド線画像６２を際立たせることが可能で、運転者に注目させやすくなる。推移表示処理部５０ａは、ヒッチガイド線画像６２を予め設定された長さ（例えば、牽引車両１０の後方２．５ｍに相当する長さ）まで描画する。また、推移表示処理部５０ａは、ヒッチガイド線画像６２の描画とともに、実画像Ｐ１に表示したヒッチガイド線画像６２を推移表示（浮上表示）させるか否かを選択させる推移切替アイコンを実画像Ｐ１の例えば左下隅等に表示させる。推移切替アイコンの操作により「推移表示モード」の選択を示す操作信号がモード取得部４８ａによって取得された場合（Ｓ１１２のＹｅｓ）、高さ情報取得部４８ｅは、ヒッチガイド線画像６２の高さ情報をＲＯＭ３６ｂ等から取得する（Ｓ１１４）。この高さ情報は、牽引車両１０の仕様書等に基づき予め入力された牽引装置１８のヒッチボール１８ａの高さとすることができる。
そして、推移表示処理部５０ａは、図７に示すように、ヒッチガイド線画像６２の推移表示処理を開始する（Ｓ１１６）。また、推移表示処理部５０ａによるヒッチガイド線画像６２の推移表示処理に伴い、影画像処理部５０ｂは、図７に示すように、影画像６４の描画処理を行う。すなわち、路面に接するように延びたヒッチガイド線画像６２が浮上を開始する際に影画像６４がヒッチガイド線画像６２から分離し、路面に残されるような表示を行う。このように影画像６４を表示することにより、ヒッチガイド線画像６２が浮上していることをより明確に表示することができる。なお、ヒッチガイド線画像６２の描画が完了した時点で、自動的にヒッチガイド線画像６２が浮上を開始するようにしてもよい。この場合、Ｓ１１２の処理を省略することができる。
続いて、ＣＰＵ３６ａは、舵角取得部４８ｄを介して牽引車両１０の舵角が変更されたか否かを判定する（Ｓ１１８）。例えば、図８に示されるように、後方に駐車中の被牽引車両１２にヒッチガイド線画像６２が向かうように運転者がステアリングホイールを操舵して舵角を変更した場合（Ｓ１１８のＹｅｓ）、指標画像移動処理部５０ｃは、図８に示すように、指標画像（ヒッチガイド線画像６２）を舵角取得部４８ｄが取得した舵角（舵角情報）に対応して移動させる（Ｓ１２０）。また、ＣＰＵ３６ａは、舵角取得部４８ｄが取得した舵角情報に変化がない場合（Ｓ１１８のＮｏ）、Ｓ１２０の処理をスキップする。この場合、指標画像移動処理部５０ｃは、現在、実画像Ｐ１に表示している指標画像（例えば、ヒッチガイド線画像６２）の表示状態を維持する。したがって、運転者が実画像Ｐ１の指標画像の表示状態（図８の場合、湾曲したヒッチガイド線画像６２の状態）を確認しながらステアリングホイールを操作する場合、その操作にしたがい指標画像（例えば、ヒッチガイド線画像６２）が移動したり、その状態を保ったりする表示が行われる。
ＣＰＵ３６ａは、指標画像の表示中、繰り返し指標画像の表示を終了するか否かの確認を行っている（Ｓ１２２）。例えば、ＣＰＵ３６ａは、モード取得部４８ａを介して、表示モードを変更する操作信号が取得されず、指標画像の表示終了要求が確認されない場合（Ｓ１２２のＮｏ）、Ｓ１１８の処理に戻る。つまり、ＣＰＵ３６ａは、舵角取得部４８ｄを介して舵角情報の変更の有無を確認して指標画像の表示を継続する。一方、ＣＰＵ３６ａは、モード取得部４８ａを介して、表示モードを変更する操作信号が取得されて、指標画像の表示終了要求が確認された場合（Ｓ１２２のＹｅｓ）、例えば、「通常表示モード」に変更された場合、表示装置２６の表示を例えばナビゲーション画面等に復帰させて、このフローを一旦終了する。
なお、Ｓ１１２の処理で、推移切替アイコンの操作により「推移表示モード」の選択を示す操作信号がモード取得部４８ａによって取得されない場合（Ｓ１１２のＮｏ）、Ｓ１１４、Ｓ１１６の処理をスキップし、Ｓ１１８の処理に移行する。つまり、運転者が路面に接した状態の指標画像（例えば、ヒッチガイド線画像６２）の表示を希望した場合、ＣＰＵ３６ａは、舵角取得部４８ｄが取得する舵角情報に基づき、路面に接したままの指標画像（誘導ガイド線画像）を移動させる。
また、Ｓ１０６の処理で「誘導ガイド線画像表示モード」が選択されない場合（Ｓ１０６のＮｏ）、ＣＰＵ３６ａは、「標準ガイド線画像表示モード」が選択されたと見なす。そして、指標画像取得部４８ｃは、ＲＯＭ３６ｂから基本形状の車幅ガイド線画像５８（右側ガイド線画像５８ａ、左側ガイド線画像５８ｂ）および距離ガイド線画像６０（第１距離ガイド線画像６０ａ、第２距離ガイド線画像６０ｂ、第３距離ガイド線画像６０ｃ）を取得する（Ｓ１２４）。そして、推移表示処理部５０ａは、図１０に示すように、実画像Ｐ１に描画する（Ｓ１２６）。なお、実画像Ｐ１に車幅ガイド線画像５８、距離ガイド線画像６０を表示する場合、実画像Ｐ１の表示内容が煩雑になる場合があるため、牽引車両１０の車幅方向の中央位置を示すセンターマークＣを併せて表示して、車両中心の把握を容易にできるようにしてもよい。
車幅ガイド線画像５８や距離ガイド線画像６０が描画される場合も、ＣＰＵ３６ａは、Ｓ１１８の処理に移行し、Ｓ１１８以降の処理を実行する。つまり、舵角取得部４８ｄが取得する牽引車両１０の舵角情報に基づき、車幅ガイド線画像５８や距離ガイド線画像６０の表示をヒッチガイド線画像６２が表示された場合と同様に、ステアリングホイールの転舵方向に対応させて移動させる。
車幅ガイド線画像５８（右側ガイド線画像５８ａ、左側ガイド線画像５８ｂ）および距離ガイド線画像６０（第１距離ガイド線画像６０ａ、第２距離ガイド線画像６０ｂ、第３距離ガイド線画像６０ｃ）は、「標準ガイド線画像表示モード」の選択の有無に拘わらず、図５～図８および図１０に示すように、俯瞰画像Ｐ２に表示してもよい。また、図８に示すように、俯瞰画像Ｐ２に表示されている車幅ガイド線画像５８や距離ガイド線画像６０の向きを牽引車両１０の舵角に応じて変更してもよい。また、牽引車両１０の舵角が中立角度（直進状態の角度＝０°）以外の場合、図８に示すように、牽引車両１０の進行方向に対して後側でかつ旋回外側のコーナー部分の移動予測軌跡を示すコーナー軌跡線画像６６を表示してもよい。このように、俯瞰画像Ｐ２に車幅ガイド線画像５８、距離ガイド線画像６０、コーナー軌跡線画像６６等を表示することにより、牽引車両１０の舵角の状態およびその舵角のまま走行した場合の牽引車両１０の将来の位置等の把握が容易になり、牽引車両１０の運転の負担が軽減できる。
このように、実画像Ｐ１（周辺画像）に表示する高さ情報を持った指標画像を表示する場合に、移動（例えば浮上）推移を併せて表示することにより、指標画像が高さ情報を持ち、路面から移動した（浮き上がった）状態で表示されていることを運転者に認識させやすくすることができる。また、高さ情報を含んだ指標画像（例えば、ヒッチガイド線画像６２）が適切な位置に表示され、例えばヒッチボール１８ａをカプラ２０ａによりスムーズにより正確に接近させることができる。
なお、図９のフローチャートでは、運転者のステアリングホイールの転舵によりヒッチガイド線画像６２の指す方向を変化させる例を示したが、上述したように、目標決定部５２により移動目標位置を設定して、ヒッチガイド線画像６２が示す方向を自動的に決定してもよい。この場合、Ｓ１０８の処理で指標画像（例えば、ヒッチガイド線画像６２）を取得した後で、実画像Ｐ１に対してパターンマッチング処理等を施し、被牽引車両１２を抽出する。そして、実画像Ｐ１上で被牽引車両１２に向かうようなヒッチガイド線画像６２を指標画像移動処理部５０ｃで生成して、推移表示処理部５０ａが描画する。その状態でヒッチガイド線画像６２の推移表示処理を実行してもよい。この場合、ＥＣＵ３６は、操舵システム３４に対し、描画されたヒッチガイド線画像６２に対応するように舵角が変化するようにアクチュエータ３４ａを制御することができる。その結果、運転者は、アクセルとブレーキの操作をするのみで、容易かつ正確にヒッチボール１８ａをカプラ２０ａに接近させる運転操作を実行することができる。なお、実画像Ｐ１上での被牽引車両１２の移動目標位置（被牽引車両１２の位置）の設定は、運転者が操作入力部３０を用いて、実画像Ｐ１上で希望する移動目標位置（例えば被牽引車両１２の位置）を指定（例えば、クリック）することで決定してもよい。この場合、パターン認識処理等の画像処理を行う必要がなく、システムの簡略化や演算処理の軽減に寄与できる。なお、目標決定部５２を用いる場合には、図９のＳ１１８、Ｓ１２０の処理は省略され、処理の簡略化が図れる。逆に、目標決定部５２を用いない場合には、ＣＰＵ３６ａのモジュールから目標決定部５２を省略し、システムのシンプル化に寄与できる。
また、上述した実施形態では、路面に接した状態のヒッチガイド線画像６２を表示する場合、牽引装置１８の近傍位置から後方に向かい徐々に延びるようなアニメーション表示を行う例を示した。別の実施形態では、アニメーション表示を実行することなく、牽引車両１０の後方、例えば２．５ｍに相当する長さの長尺のヒッチガイド線画像６２を表示してもよい。この場合、ヒッチガイド線画像６２の表示制御が簡略化され、ＣＰＵ３６ａの処理負荷の軽減に寄与できる。なお、この場合、ヒッチガイド線画像６２を表示させた後所定期間だけ、ヒッチガイド線画像６２を点滅表示させたり、輝度を高めて表示させたりすることで、ヒッチガイド線画像６２が延びるようなアニメーション表示をした場合と同様に、認識性を向上させることができる。
また、図９に示すフローチャートでは、ヒッチガイド線画像６２について浮上表示処理を行う例を示したが、他の指標画像を推移表示処理するようにしてもよい。例えば、牽引車両１０の走行予測方向を示す走行予測線画像（牽引車両１０の車幅方向の中央位置から車長方向に延びる指標画像）を浮上表示してもよく、牽引車両１０の進行方向をより認識させやすくすることができる。また、別の実施形態では、例えば、指標画像の一例である車幅ガイド線画像５８や距離ガイド線画像６０を例えばリヤバンパ１６の高さまで浮上させて表示してもよい。この場合、牽引車両１０を後退させる場合に、高さのある物体に対する牽引車両１０の接触の有無を判断しやすくなる。また、実画像Ｐ１上の遠方の位置で駐車目標位置を示す駐車枠ガイド線画像を指標画像の一例として、浮上表示処理してもよい。遠方に表示される駐車枠ガイド線画像を浮上表示することにより、駐車枠ガイド線画像や駐車スペースの位置の認識性を向上させることができる。また、走行予測線画像、車幅ガイド線画像５８、距離ガイド線画像６０、駐車枠ガイド線画像等を浮上表示する場合に浮上推移を併せて表示することにより、表示する指標画像が高さ情報を持ち、その高さ情報を反映させた状態で表示されていることを運転者に認識させやすくすることができる。その結果、表示装置２６に表示される実画像Ｐ１の表示内容の誤認識を軽減させることができる。また、表示内容に違和感を抱かせにくくすることができる。
また、上述した実施形態では、ヒッチガイド線画像６２を浮上させる場合、影画像６４を併せて表示する例を示したが、別の実施形態では、影画像６４の表示を省略したり、ガイド線画像の浮上後に非表示としたりしてもよい。この場合、実画像Ｐ１の表示内容が煩雑になることを抑制することができる。影画像６４を省略するか否かは、運転者が選択するようにしてもよいし、実画像Ｐ１の表示内容に応じて自動的に省略するようにしてもよい。
図９に示すフローチャートでは、指標画像としてのヒッチガイド線画像６２を表示する場合、運転者が適宜、表示モードの切替スイッチを操作して表示させる例を示した。別の実施形態では、例えば、牽引車両１０に被牽引車両１２の連結する支援モードの場合には、シフト操作部が後退位置に操作されたことを契機に、ヒッチガイド線画像６２の表示および浮上が開始されるようにしてもよく、同様の効果を得ることができる。
また、上述した実施形態では、牽引車両１０が後退可能な場合に、後方を示す実画像Ｐ１に浮上推移を伴う指標画像（例えば、ヒッチガイド線画像６２）を表示する例を示したが、別の実施形態では、前方を示す実画像Ｐ１に浮上推移を伴う指標画像を表示してもよい。この場合、指標画像は、車幅ガイド線画像５８や距離ガイド線画像６０、走行予測線画像等とすることができる。
図５～図８、図１０は、指標画像を表示する場合、表示装置２６の表示を実画像Ｐ１と俯瞰画像Ｐ２との二画面構成とする場合を示した。この場合、俯瞰画像Ｐ２により自車周囲の状況を把握させつつ、浮上推移を伴う指標画像を用いた走行方向等の判断を運転者にさせやすくなる。その結果、運転操作、特に後退時の運転操作時により安心感を与えることができる。また、別の実施形態では、俯瞰画像Ｐ２を省略してもよい。この場合、実画像Ｐ１の表示領域が拡大可能となり、指標画像を用いた表示内容を運転者により認識させやすくすることができる。
上述した実施形態では、第一の所定高さを例えば路面とし、第二の所定高さを例えばヒッチボール１８ａの高さとして、指標画像としてのヒッチガイド線画像６２の表示位置を第一の所定高さから第二所定高さに移動（浮上）させるとともに、その移動（浮上）推移を表示する例を説明した。つまり、第一の所定高さが第二の所定高さより低い場合を説明した。別の実施形態では、第一の所定高さが第二の所定高さより高くなるようにしてもよい。つまり、指標画像が第一の所定高さから第二の所定高さに向かい下降するように移動させてもよい。例えば、指標画像が走行予測線画像の場合、まず、リヤバンパ１６の高さに相当する高さ（第一の所定高さ）に走行予測線画像が描画され、例えば路面（第二の所定高さ）に向かい下降することになる。この場合、走行予測線画像が最初に高い位置に表示されることにより、運転者の認識性を向上させることができる。また、その位置から走行予測線画像が路面に下降する下降推移を表示することにより運転者の意識を路面に注目させやすくなり、路面状態の把握をさせやすくすることができる。なお、この場合も第一の所定高さに表示された指標画像（例えば、走行予測線画像、第一の指標画像）と、第二の所定高さに第二の指標画像として影画像を表示するようにしてもよい。つまり、走行予測線画像から影画像が下降してきて、最終的に路面に影画像が投影されるような表示が行われる。この場合、走行予測線画像による走行予測方向の明確化と影画像による路面への着目性の向上の両方に寄与することができる。
なお、指標画像を浮上するように表示するか、下降するように表示するかは、車両（牽引車両１０）の走行方向（前進走行か後退走行）と指標画像の種類によって決定してもよい。例えば、ヒッチガイド線画像６２を表示する場合、牽引車両１０が被牽引車両１２に接近していく場合には、ヒッチガイド線画像６２の浮上推移を表示し、牽引車両１０が被牽引車両１２から遠ざかる場合には、ヒッチガイド線画像６２の下降推移を表示するようにしてもよい。この場合、牽引車両１０との相対位置が変化する被牽引車両１２に対して、ヒッチガイド線画像６２が不自然な位置に表示されることがより軽減される。また、例えば、指標画像として駐車枠ガイド線画像を表示する場合、車両（牽引車両１０）が駐車スペースに接近していく場合には、駐車枠ガイド線画像を車両に設定された基準位置の高さ（例えば、リヤバンパ１６の高さに相当する高さ）からの下降推移を表示し、車両が駐車スペースから遠ざかる場合には、駐車枠ガイド線画像を路面に接する高さからの浮上推移を表示するようにしてもよい。この場合、車両が駐車スペースから遠い場合には、駐車枠ガイド線画像が路面から浮上した状態で表示され、駐車スペースの位置認識性を向上させることができる。一方、車両が駐車スペースに近づくにつれて、駐車枠ガイド線画像が路面に近づき、駐車スペースの大きさ等の認識性を向上させることができる。
このように、指標画像の種類と表示するときの状況に応じて、指標画像の移動推移の方向を浮上と下降で切り替えることにより、つまり第一の所定高さと第二の所定高さの位置を選択することにより、より違和感が軽減され、かつ指標画像が高さ情報を持つ画像であることを運転者に認識させやすくなる。さらに、指標画像としてのヒッチガイド線画像、走行予測線画像、車幅ガイド線画像、距離ガイド線画像、駐車枠ガイド線画像等の浮上推移または下降推移を表示することで、運転者に表示されている指標画像をより認識させやすくすることができる。
また、本実施形態において、指標画像が線状の画像である場合を示したが、これに限定されず、指標画像は、例えば円形や矩形等のマーク、文字や数字で構成されてもよく、同様の効果を得ることができる。
本実施形態のＣＰＵ３６ａで実行される周辺監視のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、周辺監視プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される周辺監視プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１０…牽引車両、１２…被牽引車両、１８…牽引装置、１８ａ…ヒッチボール、２０…連結部材、２０ａ…カプラ、２４，２４ａ，２４ｂ，２４ｃ，２４ｄ…撮像部、２６…表示装置、２６ａ…第１表示領域、２６ｂ…第２表示領域、３０…操作入力部、３６…ＥＣＵ、３６ａ…ＣＰＵ、４０…舵角センサ、４８…取得部、４８ａ…モード取得部、４８ｂ…周辺画像取得部、４８ｃ…指標画像取得部、４８ｄ…舵角取得部、４８ｅ…高さ情報取得部、５０…画像処理部、５０ａ…推移表示処理部、５０ｂ…影画像処理部、５０ｃ…指標画像移動処理部、５０ｄ…透過率処理部、５２…目標決定部、５８…車幅ガイド線画像、６０…距離ガイド線画像、６２…ヒッチガイド線画像、６４…影画像、１００…周辺監視システム。

Claims (10)

  1. 車両に設けられて当該車両の周辺を撮像する撮像部によって撮像される周辺画像と、前記周辺画像に重畳可能で、運転者による運転操作の際に、前記運転者の操作指標となる指標画像と、を取得する取得部と、
    前記指標画像を、第一の所定高さから第二の所定高さに変化させるとともに、その変化の推移を表示させる画像処理部と、
    を備える周辺監視装置。
  2. 前記第一の所定高さは、前記第二の所定高さより低い請求項１に記載の周辺監視装置。
  3. 前記第一の所定高さは、前記第二の所定高さより高い請求項１に記載の周辺監視装置。
  4. 前記第一の所定高さは、前記車両が存在する路面に接する高さである請求項２に記載の周辺監視装置。
  5. 前記第二の所定高さは、前記車両が存在する路面に接する高さである請求項３に記載の周辺監視装置。
  6. 前記第一の所定高さまたは前記第二の所定高さは、前記車両に設定された基準位置の高さである請求項１から請求項３のいずれか１項に記載の周辺監視装置。
  7. 前記画像処理部は、前記指標画像が示す方向を前記車両の現在の舵角に応じて変化させる請求項１から請求項６のいずれか１項に記載の周辺監視装置。
  8. 前記画像処理部は、前記第一の所定高さの第一の指標画像と、前記第二の所定高さの第二の指標画像と、を高さ方向に並べて表示させる請求項１から請求項７のいずれか１項に記載の周辺監視装置。
  9. 前記画像処理部は、前記指標画像の変位状態に応じて当該指標画像を表示する際の透過率を変化させる請求項１から請求項８のいずれか１項に記載の周辺監視装置。
  10. 前記周辺画像上で前記車両の移動目標位置を決定する目標決定部をさらに備え、
    前記画像処理部は、前記車両が前記移動目標位置に到達するように前記指標画像が示す方向を決定する請求項１から請求項９のいずれか１項に記載の周辺監視装置。
JP2017234029A 2017-12-06 2017-12-06 周辺監視装置 Active JP7000822B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017234029A JP7000822B2 (ja) 2017-12-06 2017-12-06 周辺監視装置
CN201811471981.2A CN110001523B (zh) 2017-12-06 2018-12-04 周边监视装置
US16/208,966 US10748298B2 (en) 2017-12-06 2018-12-04 Periphery monitoring device
DE102018131183.4A DE102018131183A1 (de) 2017-12-06 2018-12-06 Peripherie-Überwachungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017234029A JP7000822B2 (ja) 2017-12-06 2017-12-06 周辺監視装置

Publications (2)

Publication Number Publication Date
JP2019103049A JP2019103049A (ja) 2019-06-24
JP7000822B2 true JP7000822B2 (ja) 2022-01-19

Family

ID=66629082

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017234029A Active JP7000822B2 (ja) 2017-12-06 2017-12-06 周辺監視装置

Country Status (4)

Country Link
US (1) US10748298B2 (ja)
JP (1) JP7000822B2 (ja)
CN (1) CN110001523B (ja)
DE (1) DE102018131183A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2566524B (en) * 2017-09-18 2021-12-15 Jaguar Land Rover Ltd Image processing method and apparatus
CN108229386B (zh) * 2017-12-29 2021-12-14 百度在线网络技术（北京）有限公司 用于检测车道线的方法、装置和介质
US10913494B2 (en) * 2018-08-01 2021-02-09 Ford Global Technologies, Llc System and method for trailer height adjustment
JP6828725B2 (ja) * 2018-09-10 2021-02-10 株式会社Ｊｖｃケンウッド 記録再生装置、記録再生方法、およびプログラム
US11590815B2 (en) * 2018-11-20 2023-02-28 Ford Global Technologies, Llc Hitch assistance system with interface presenting simplified path image
JP7293722B2 (ja) * 2019-02-28 2023-06-20 株式会社デンソーテン 運転支援装置
JP7294886B2 (ja) * 2019-03-13 2023-06-20 京セラ株式会社 画像処理装置、撮像装置、および移動体
BR112023007828A2 (pt) * 2020-11-02 2024-02-06 Nissan Motor Método de assistência de estacionamento e dispositivo de assistência de estacionamento

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056219A (ja) 2002-07-16 2004-02-19 Nissan Motor Co Ltd 車両周辺監視装置
JP2012001041A (ja) 2010-06-15 2012-01-05 Aisin Seiki Co Ltd 駐車支援装置
JP2015069656A (ja) 2013-09-30 2015-04-13 本田技研工業株式会社 ３次元（３−ｄ）ナビゲーション
US20160375831A1 (en) 2015-06-23 2016-12-29 GM Global Technology Operations LLC Hitching assist with pan/zoom and virtual top-view

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276697A (ja) * 1999-01-18 2000-10-06 Yazaki Corp 車両用周辺監視装置
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP4739569B2 (ja) 2001-04-09 2011-08-03 パナソニック株式会社 運転支援装置
JP3945467B2 (ja) * 2003-10-02 2007-07-18 日産自動車株式会社 車両後退支援装置および方法
EP2191457B1 (en) * 2007-09-11 2014-12-10 Magna Electronics Imaging system for vehicle
US20150115571A1 (en) * 2013-10-24 2015-04-30 GM Global Technology Operations LLC Smart tow
WO2015074016A1 (en) * 2013-11-18 2015-05-21 Robert Bosch Gmbh Overhead view for hitch connection
US9834140B2 (en) * 2014-07-22 2017-12-05 Fca Us Llc Trailer hitch guidance method
US9457632B1 (en) * 2015-06-11 2016-10-04 Fca Us Llc Collision avoidance method including determining height of an object fixed to a vehicle
US9696723B2 (en) * 2015-06-23 2017-07-04 GM Global Technology Operations LLC Smart trailer hitch control using HMI assisted visual servoing
US9731568B2 (en) * 2015-12-01 2017-08-15 GM Global Technology Operations LLC Guided tow hitch control system and method
JP6838340B2 (ja) * 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置
US10632919B2 (en) * 2018-06-27 2020-04-28 Ford Global Technologies, Llc Vehicle hitch assist system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056219A (ja) 2002-07-16 2004-02-19 Nissan Motor Co Ltd 車両周辺監視装置
JP2012001041A (ja) 2010-06-15 2012-01-05 Aisin Seiki Co Ltd 駐車支援装置
JP2015069656A (ja) 2013-09-30 2015-04-13 本田技研工業株式会社 ３次元（３−ｄ）ナビゲーション
US20160375831A1 (en) 2015-06-23 2016-12-29 GM Global Technology Operations LLC Hitching assist with pan/zoom and virtual top-view

Also Published As

Publication number Publication date
CN110001523A (zh) 2019-07-12
US20190172218A1 (en) 2019-06-06
US10748298B2 (en) 2020-08-18
CN110001523B (zh) 2024-04-12
DE102018131183A1 (de) 2019-06-13
JP2019103049A (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
JP7000822B2 (ja) 周辺監視装置
JP6806156B2 (ja) 周辺監視装置
JP6897340B2 (ja) 周辺監視装置
CN102933428B (zh) 驾驶支援装置
EP2910423B1 (en) Surroundings monitoring apparatus and program thereof
CN109313860B (zh) 周边监控装置
CN111108023B (zh) 停车辅助装置
JP6897294B2 (ja) 牽引支援装置
JP6972938B2 (ja) 周辺監視装置
WO2018150642A1 (ja) 周辺監視装置
EP3792868A1 (en) Image processing device
JP2018063294A (ja) 表示制御装置
WO2018186045A1 (ja) 牽引支援装置
WO2018061261A1 (ja) 表示制御装置
JP2017094922A (ja) 周辺監視装置
WO2019073872A1 (ja) 駐車支援装置
JP6977318B2 (ja) 周辺表示装置
JP6953915B2 (ja) 周辺監視装置
JP2019075625A (ja) 周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211207

R150 Certificate of patent or registration of utility model

Ref document number: 7000822

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150