JP7358811B2 - 車両周辺表示装置 - Google Patents

車両周辺表示装置 Download PDF

Info

Publication number
JP7358811B2
JP7358811B2 JP2019131405A JP2019131405A JP7358811B2 JP 7358811 B2 JP7358811 B2 JP 7358811B2 JP 2019131405 A JP2019131405 A JP 2019131405A JP 2019131405 A JP2019131405 A JP 2019131405A JP 7358811 B2 JP7358811 B2 JP 7358811B2
Authority
JP
Japan
Prior art keywords
vehicle
image
display
margin
guide line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019131405A
Other languages
English (en)
Other versions
JP2021014243A (ja
Inventor
欣司 山本
一矢 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2019131405A priority Critical patent/JP7358811B2/ja
Priority to US16/929,454 priority patent/US11077794B2/en
Priority to CN202010680396.4A priority patent/CN112238812B/xx
Publication of JP2021014243A publication Critical patent/JP2021014243A/ja
Application granted granted Critical
Publication of JP7358811B2 publication Critical patent/JP7358811B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明の実施形態は、車両周辺表示装置に関する。
車両の車両画像および車両の周辺画像を含む表示用画像を表示部に表示させる際に、車両画像の外形を表す外形ガイド線と、車両の移動に伴って当該外形ガイド線の端が描く軌跡である予想進路ガイド線と、を表示用画像に含める技術が開発されている。
特許第３８０７３３０号公報 特許第３８９４３２２号公報 特許第５６０５６０６号公報 特許第５１８２１３７号公報
しかしながら、上記の技術では、車両画像を基準として固定された位置に外形ガイド線が表示されるため、外形ガイド線または予想進路ガイド線の位置が、車両の取り回し状況に適した位置となっていない場合（例えば、外形ガイド線がマージンを含む場合）、車両が旋回する際に、車両が、その周囲に存在する物体から過剰に離れてすり抜ける場合がある。
そこで、実施形態の課題の一つは、車両が旋回する場合に、車両が、その周囲に存在する物体から過剰に離れてすり抜けることを防止できる車両周辺表示装置を提供する。
実施形態の車両周辺表示装置は、一例として、撮像部によって車両の周辺を撮像して得られる撮像画像を取得する取得部と、前記取得部により取得した前記撮像画像に基づいて、前記車両の車両画像および前記車両の周辺画像を含む表示用画像を表示部に表示させる表示処理部と、を備え、前記表示処理部は、前記車両画像の外形を表しかつ前記車両画像の車幅方向への第１マージンおよび前記車両画像の進行方向への第２マージンを有する外形ガイド線、および、前記車両の移動に伴って前記外形ガイド線が描く軌跡である予想進路ガイド線、の少なくとも一方を、前記表示用画像に表示し、かつ、前記車両が旋回する場合に、前記第１マージンおよび前記第２マージンの少なくとも一方を変更する。よって、一例として、車両が旋回する場合に、車両が、その周囲に存在する物体から過剰に離れてすり抜けることを防止できる。
また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、前記車両が直進する場合と比較して、前記車両が旋回する場合における、前記第１マージン、および、前記第２マージンの少なくとも一方を小さくする。よって、一例として、車両が旋回する場合に、車両が、その周囲に存在する物体から過剰に離れてすり抜けることを防止できる。
また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、前記車両が直進する場合、前記車両画像のサイドミラーの幅に基づく前記第１マージンを有する前記外形ガイド線を表示させ、前記車両が旋回する場合、前記サイドミラーの幅相当、前記第１マージンを小さくする。よって、一例として、外形ガイド線が第１マージンを含む場合に、車両が旋回する際、車両が、その周囲に存在する物体から過剰に離れてすり抜けることを防止できる。
また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、前記車両が直進する場合、前記車両画像の電子ミラーの幅に基づく前記第１マージンを有する前記外形ガイド線を表示させ、前記車両が旋回する場合、前記電子ミラーの幅相当、前記第１マージンを小さくする。よって、一例として、外形ガイド線が第１マージンを含む場合に、車両が旋回する際、車両が、その周囲に存在する物体から過剰に離れてすり抜けることを防止できる。
また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、前記車両が直進する場合、前記進行方向に向かって、所定マージンに基づく前記第２マージンを有する前記外形ガイド線を表示させ、前記車両が旋回する場合、前記所定マージン相当、前記第２マージンを小さくする。よって、一例として、外形ガイド線が第２マージンを含む場合に、車両が旋回する際、車両が、その周囲に存在する物体から過剰に離れてすり抜けることを防止できる。
また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、前記車両が旋回する場合、前記第１マージンおよび前記第２マージンの少なくとも一方を、時間経過に応じて、徐々に小さくする。よって、一例として、車両が旋回する際に、第１マージンおよび第２マージンが急に小さくなって、車両の乗員が違和感を覚えることを防止できる。
また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、前記車両が旋回する場合、前記第１マージンおよび前記第２マージンの少なくとも一方を変更前の前記外形ガイド線および前記予想進路ガイド線の少なくとも一方を前記表示用画像内に残す。よって、一例として、車両が障害物をより安全にすり抜けることができる。
また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、前記第１マージンおよび前記第２マージンの少なくとも一方を変更前の前記外形ガイド線および前記予想進路ガイド線の少なくとも一方の表示態様と、前記第１マージンおよび前記第２マージンの少なくとも一方を変更後の前記外形ガイド線および前記予想進路ガイド線の少なくとも一方の表示態様と、を異ならせる。よって、一例として、表示用画像を見た乗員が車両から障害物までの距離を誤解して、車両が障害物に衝突する可能性をより低減することができる。
また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、前記車両が旋回する場合、前記車両画像の後方かつ前記車幅方向の中央の基準視点から、前記車両の旋回方向とは反対側にずらした所定視点から、前記車両画像および前記周辺画像を含む三次元空間を見た立体的な画像を、前記表示用画像として前記表示部に表示させる。よって、一例として、車両が旋回する場合に、車両が物体と接触することなくより安全に走行することができる。
また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、障害物センサによって前記車両の周囲に存在する物体が検出された場合に、前記第１マージンおよび前記第２マージンの少なくとも一方を変更する。よって、一例として、車両が障害物に衝突する可能性をより低減することができる。
また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、障害物センサによって前記車両の周囲に存在する物体が検出された場合に、前記所定視点を移動させる。よって、一例として、所定視点が移動したか否かによって、車両の周囲に障害物が存在するか否かを容易に把握することができる。
また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、障害物センサによって前記車両の周囲に存在する物体が検出されたか否かに応じて、前記外形ガイド線および前記予想進路ガイド線の少なくとも一方の表示態様を変更する。よって、一例として、車両が障害物に衝突する可能性をより低減することができる。
図１は、第１の実施形態にかかる車両の車室内の構成を示した例示的かつ模式的な図である。 図２は、第１の実施形態にかかる車両を上方から見た外観を示した例示的かつ模式的な図である。 図３は、第１の実施形態にかかる車両のシステム構成を示した例示的かつ模式的なブロック図である。 図４は、第１の実施形態にかかる車両が有する車両周辺表示装置の機能構成の例示的かつ模式的なブロック図である。 図５は、第１の実施形態にかかる車両が有する車両周辺表示装置による表示用画像の生成処理の一例を説明するための図である。 図６は、第１の実施形態にかかる車両が有する車両周辺表示装置による表示用画像の生成処理の一例を説明するための図である。 図７は、第１の実施形態にかかる車両が有する車両周辺表示装置による外形ガイド線のマージンの変更処理の一例を説明するための図である。 図８は、第１の実施形態にかかる車両が有する車両周辺表示装置による外形ガイド線のマージンの変更処理の一例を説明するための図である。 図９は、第１の実施形態にかかる車両が有する車両周辺表示装置による予想進路ガイド線の表示処理の一例を説明するための図である。 図１０は、第２の実施形態にかかる車両が有する車両周辺表示装置による表示用画像の表示処理の一例を説明するための図である。 図１１は、第２の実施形態にかかる車両が有する車両周辺表示装置による表示用画像の表示処理の他の例を説明するための図である。 図１２は、変形例にかかる車両が有する車両周辺表示装置による外形ガイド線のマージンの変更処理の一例を説明するための図である。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。
（第１の実施形態）
図１は、第１の実施形態にかかる車両の車室内の構成を示した例示的かつ模式的な図である。図２は、第１の実施形態にかかる車両を上方から見た外観を示した例示的かつ模式的な図である。
まず、図１および図２を用いて、本実施形態にかかる車両周辺表示装置を適用した車両のハードウェア構成の一例について説明する。
図１に示すように、本実施形態にかかる車両１は、ユーザとしての運転者を含む乗員が乗車する車室２ａを有している。車室２ａ内には、ユーザが座席２ｂから操作可能な状態で、制動部（制動操作部）３０１ａや、加速部（加速操作部）３０２ａ、操舵部３０３ａ、変速部（変速操作部）３０４ａなどが設けられている。
制動部３０１ａは、例えば、運転者の足下に設けられたブレーキペダルである。加速部３０２ａは、例えば、運転者の足下に設けられたアクセルペダルである。また、操舵部３０３ａは、例えば、ダッシュボード（インストルメントパネル）から突出したステアリングホイールである。操舵部３０３ａは、ハンドルであってもよい。変速部３０４ａは、例えば、センターコンソールから突出したシフトレバーである。
車室２ａ内には、各種の画像を出力可能な表示部８と、各種の音を出力可能な音声出力部９と、を有するモニタ装置１１が設けられている。モニタ装置１１は、例えば、車室２ａ内のダッシュボードの幅方向（左右方向）の中央部に設けられる。表示部８は、例えば、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electroluminescence Display）等である。
表示部８において画像が表示される領域としての表示画面には、操作入力部１０が設けられている。操作入力部１０は、例えば、指やスタイラスなどの指示体が近接（接触を含む）した位置の座標を検出可能なタッチパネルである。これにより、ユーザ（運転者）は、表示部８の表示画面に表示される画像を視認することができるとともに、操作入力部１０上で指示体を用いたタッチ（タップ）操作などを行うことで、各種の操作入力を実行することができる。
本実施形態では、操作入力部１０が、スイッチや、ダイヤル、ジョイスティック、押しボタンなどといった、各種の物理的なインターフェースであってもよい。また、本実施形態では、車室２ａ内におけるモニタ装置１１の位置とは異なる位置に、他の音声出力装置が設けられていてもよい。この場合、音声出力部９および他の音声出力装置の両方から、各種の音情報を出力することができる。また、本実施形態では、モニタ装置１１が、ナビゲーションシステムやオーディオシステムなどの各種システムに関する情報を表示可能に構成されていてもよい。
また、図１および図２に示されるように、本実施形態にかかる車両１は、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有した四輪の自動車として構成されている。以下では、簡単化のため、前輪３Ｆおよび後輪３Ｒを、総称して車輪と記載することがある。実施形態では、４つの車輪の一部または全部の横滑り角が、操舵部３０３ａの操作などに応じて変化（転舵）する。
また、車両１には、周辺監視用の撮像部としての複数（図１および図２に示される例では４つ）の車載カメラ１５ａ～１５ｄが搭載されている。車載カメラ１５ａは、車体２の後側の端部２ｅ（例えば、リヤトランクのドア２ｈの下方）に設けられ、車両１の後方の領域を撮像する。また、車載カメラ１５ｂは、車体２の右側の端部２ｆのドアミラー２ｇに設けられ、車両１の右側方の領域を撮像する。また、車載カメラ１５ｃは、車体２の前側の端部２ｃ（例えば、フロントバンパ）に設けられ、車両１の前方の領域を撮像する。また、車載カメラ１５ｄは、車体２の左側の端部２ｄのドアミラー２ｇに設けられ、車両１の左側方の領域を撮像する。以下では、簡単化のため、車載カメラ１５ａ～１５ｄを、総称して車載カメラ１５と記載することがある。
車載カメラ１５は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）等といった撮像素子を有する、所謂、デジタルカメラである。車載カメラ１５は、所定のフレームレートで車両１の周囲（周辺）の撮像を行い、当該撮像によって得られた撮像画像の画像データを出力する。車載カメラ１５により得られる画像データは、フレーム画像として動画像を構成することが可能である。
図３は、第１の実施形態にかかる車両のシステム構成を示した例示的かつ模式的なブロック図である。
次に、図３を用いて、実施形態にかかる車両１において各種の制御を実現するために設けられるシステム構成について説明する。図３に示されるシステム構成は、あくまで一例であるので、様々に設定（変更）可能である。
図３に示すように、本実施形態にかかる車両１は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、車載カメラ１５と、モニタ装置１１と、制御装置３１０と、車載ネットワーク３５０と、を有している。
制動システム３０１は、車両１の減速を制御する。制動システム３０１は、制動部３０１ａと、制動制御部３０１ｂと、制動部センサ３０１ｃと、を有している。
制動部３０１ａは、例えば、上述したブレーキペダルなどといった、車両１を減速させるための装置である。
制動制御部３０１ｂは、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサを有したマイクロコンピュータである。制動制御部３０１ｂは、例えば、車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、制動部３０１ａを作動させることで、車両１の減速の度合を制御する。
制動部センサ３０１ｃは、制動部３０１ａの状態を検出するためのセンシングデバイスである。例えば、制動部３０１ａがブレーキペダルとして構成される場合、制動部センサ３０１ｃは、制動部３０１ａの状態として、ブレーキペダルの位置または当該ブレーキペダルに作用している圧力を検出する。制動部センサ３０１ｃは、検出した制動部３０１ａの状態を車載ネットワーク３５０に出力する。
加速システム３０２は、車両１の加速を制御する。加速システム３０２は、加速部３０２ａと、加速制御部３０２ｂと、加速部センサ３０２ｃと、を有している。
加速部３０２ａは、例えば、上述したアクセルペダル等といった、車両１を加速させるための装置である。
加速制御部３０２ｂは、例えば、ＣＰＵ等といったハードウェアプロセッサを有したマイクロコンピュータとして構成される。加速制御部３０２ｂは、例えば、車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、加速部３０２ａを作動させることで、車両１の加速の度合を制御する。
加速部センサ３０２ｃは、加速部３０２ａの状態を検出するためのセンシングデバイスである。例えば、加速部３０２ａがアクセルペダルとして構成される場合、加速部センサ３０２ｃは、アクセルペダルの位置または当該アクセルペダルに作用している圧力を検出する。加速部センサ３０２ｃは、検出した加速部３０２ａの状態を車載ネットワーク３５０に出力する。
操舵システム３０３は、車両１の進行方向を制御する。操舵システム３０３は、操舵部３０３ａと、操舵制御部３０３ｂと、操舵部センサ３０３ｃと、を有している。
操舵部３０３ａは、例えば、上述したステアリングホイールやハンドル等といった、車両１の転舵輪を転舵させる装置である。
操舵制御部３０３ｂは、例えば、ＣＰＵ等といったハードウェアプロセッサを有したマイクロコンピュータとして構成される。操舵制御部３０３ｂは、例えば、車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、操舵部３０３ａを作動させることで、車両１の進行方向を制御する。
操舵部センサ３０３ｃは、操舵部３０３ａの状態を検出するためのセンシングデバイス、すなわち操舵部３０３ａの操舵角を検出するための舵角センサである。例えば、操舵部３０３ａがステアリングホイールとして構成される場合、操舵部センサ３０３ｃは、ステアリングホイールの位置または当該ステアリングホイールの回転角度を検出する。操舵部３０３ａがハンドルとして構成される場合、操舵部センサ３０３ｃは、ハンドルの位置または当該ハンドルに作用している圧力を検出してもよい。操舵部センサ３０３ｃは、検出した操舵部３０３ａの状態を車載ネットワーク３５０に出力する。
変速システム３０４は、車両１の変速比を制御する。変速システム３０４は、変速部３０４ａと、変速制御部３０４ｂと、変速部センサ３０４ｃと、を有している。
変速部３０４ａは、例えば、上述したシフトレバー等といった、車両１の変速比を変更するための装置である。
変速制御部３０４ｂは、例えば、ＣＰＵ等といったハードウェアプロセッサを有したコンピュータとして構成される。変速制御部３０４ｂは、例えば、車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、変速部３０４ａを作動させることで、車両１の変速比を制御する。
変速部センサ３０４ｃは、変速部３０４ａの状態を検出するためのセンシングデバイスである。例えば、変速部３０４ａがシフトレバーとして構成される場合、変速部センサ３０４ｃは、シフトレバーの位置または当該シフトレバーに作用している圧力を検出する。変速部センサ３０４ｃは、検出した変速部３０４ａの状態を車載ネットワーク３５０に出力する。
障害物センサ３０５は、車両１の周囲に存在しうる物体（障害物）に関する情報を検出する検出部である。障害物センサ３０５は、例えば、車両１の周囲に存在する物体までの距離を取得する測距センサを含んでいる。測距センサとしては、例えば、音波を送信し、車両１の周囲に存在する物体により反射された音波を受信することで距離を取得するソナーや、光等の電波を送信し、車両１の周囲に存在する物体により反射された電波を受信することで距離を取得するレーザーレーダ等が用いられる。障害物センサ３０５は、検出した情報を車載ネットワーク３５０に出力する。
走行状態センサ３０６は、車両１の走行状態を検出するための装置である。走行状態センサ３０６は、例えば、車両１の車輪速を検出する車輪速センサや、車両１の前後方向または左右方向の加速度を検出する加速度センサや、車両１の旋回速度（角速度）を検出するジャイロセンサ等を含んでいる。走行状態センサ３０６は、検出した走行状態を車載ネットワーク３５０に出力する。
制御装置３１０は、車両１に設けられる各種のシステムを統括的に制御する装置である。詳細は後述するが、実施形態にかかる制御装置３１０は、車載カメラ１５による撮像結果としての画像データに基づいて、車両１の車両画像および車両１の周辺画像を含む表示用画像を生成し、生成した表示用画像を表示部８に表示する機能を有している。
ここで、表示用画像には、車両１およびその周辺の状況を上から俯瞰で見た俯瞰画像や、車両１およびその周辺の状況を任意の視点で三次元的に見た三次元の画像、１つの車載カメラ１５から取得される１つの画像データのみに基づく画像である単カメラ画像などが含まれる。
制御装置３１０は、ＣＰＵ（Central Processing Unit）３１０ａと、ＲＯＭ（Read Only Memory）３１０ｂと、ＲＡＭ（Random Access Memory）３１０ｃと、ＳＳＤ（Solid State Drive）３１０ｄと、表示制御部３１０ｅと、音声制御部３１０ｆと、を有したＥＣＵ（Electronic Control Unit）として構成されている。
ＣＰＵ３１０ａは、制御装置３１０を統括的に制御するハードウェアプロセッサである。ＣＰＵ３１０ａは、ＲＯＭ３１０ｂなどに記憶された各種の制御プログラム（コンピュータプログラム）を読み出し、当該各種の制御プログラムに規定されたインストラクションにしたがって各種の機能を実現する。ここで、各種の制御プログラムには、上記のような表示用画像を表示する表示制御処理を実現するための表示制御プログラムが含まれる。
ＲＯＭ３１０ｂは、上述した各種の制御プログラムの実行に必要なパラメータなどを記憶する不揮発性の主記憶装置である。
ＲＡＭ３１０ｃは、ＣＰＵ３１０ａの作業領域を提供する揮発性の主記憶装置である。
ＳＳＤ３１０ｄは、書き換え可能な不揮発性の補助記憶装置である。実施形態にかかる制御装置３１０においては、補助記憶装置として、ＳＳＤ３１０ｄに替えて（またはＳＳＤ３１０ｄに加えて）、ＨＤＤ（Hard Disk Drive）が設けられてもよい。
表示制御部３１０ｅは、制御装置３１０で実行されうる各種の処理のうち、主として、車載カメラ１５から得られた撮像画像に対する画像処理や、モニタ装置１１の表示部８に出力する画像データの生成などを司る。
音声制御部３１０ｆは、制御装置３１０で実行されうる各種の処理のうち、主として、モニタ装置１１の音声出力部９に出力する音声データの生成などを司る。
車載ネットワーク３５０は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、モニタ装置１１の操作入力部１０と、制御装置３１０と、を通信可能に接続する。
ところで、上記の表示用画像によって車両１とその周辺の状況を乗員に通知する技術は、様々に検討されている。例えば、表示用画像に対して、車両１の車両画像の外形（形状）を表す外形ガイド線、および車両１の移動に伴って当該外形ガイド線が描く軌跡である予想進路ガイド線を含める技術が検討されている。この技術によれば、車両１とその周囲に存在する物体との位置関係をより分かり易く乗員に通知することができる。
しかしながら、上記の技術では、表示用画像において、車両画像の位置を基準として固定された位置に外形ガイド線を表示させているため、車両画像と、外形ガイド線との間にマージンを有する場合、車両１が旋回する際に、車両１が、その周囲に存在する物体から過剰に離れてすり抜ける位置を走行することがある。
そこで、実施形態では、次の図４に示す機能を有した車両周辺表示装置４００を制御装置３１０内において実現することにより、車両１が旋回する場合に、車両１が、その周囲に存在する物体から過剰に離れてすり抜けることを防止することを実現する。
図４は、第１の実施形態にかかる車両が有する車両周辺表示装置の機能構成の例示的かつ模式的なブロック図である。
次に、図４を用いて、本実施形態にかかる車両周辺表示装置４００の機能構成の一例について説明する。
図４に示される機能は、ソフトウェアとハードウェアとの協働によって制御装置３１０内において実現される。すなわち、図４に示す機能は、制御装置３１０のＣＰＵ３１０ａがＲＯＭ３１０ｂ等に記憶される所定の制御プログラムを読み出して実行した結果として実現される。
本実施形態では、図４に示される機能は、ソフトウェアとハードウェアとの協働によって実現されるものとするが、これに限定するものではなく、図４に示される機能の少なくとも一部が専用のハードウェア（回路）によって実現されても良い。
本実施形態にかかる車両周辺表示装置４００は、図４に示すように、取得部４０１と、表示処理部４０２と、を有する。
取得部４０１は、車載カメラ１５から、撮像画像の画像データを取得する。また、取得部４０１は、操舵部センサ３０３ｃにより検出される操舵角を取得する。さらに、取得部４０１は、障害物センサ３０５による物体の検出結果を取得する。
表示処理部４０２は、取得部４０１により取得した撮像画像に基づいて、車両１の画像である車両画像および車両１の周辺の画像である周辺画像を含む表示用画像を生成する。そして、表示処理部４０２は、生成した表示用画像を、表示部８に表示させる。
本実施形態では、表示処理部４０２は、車両１およびその周辺を当該車両１の真上から見た画像である俯瞰画像や、車両１の車両画像および車両１の周辺画像を含む三次元空間を任意の視点から見た立体的な画像、１つの車載カメラ１５から取得した１つの撮像画像（所謂、単カメラ画像）を、表示用画像として生成する。
また、表示処理部４０２は、外形ガイド線および予想進路ガイド線を、表示用画像に表示する。ここで、外形ガイド線は、車両画像の外形（形状）を表す線、言い換えると、車両１の輪郭線である。具体的には、外形ガイド線は、車両画像の車幅方向および車両画像の進行方向に平行な方向における、車両画像の外形に沿った線である。また、外形ガイド線は、車両画像の車幅方向へのマージン（以下、車幅方向マージンと言う）および車両画像の進行方向へのマージン（以下、進行方向マージンと言う）を有する。
また、予想進路ガイド線は、車両１の移動に伴って外形ガイド線が描く軌跡である。本実施の形態では、予想進路ガイド線は、車両１の移動に伴って、外形ガイド線の端（角）が描く軌跡である。
本実施形態では、表示処理部４０２は、外形ガイド線および予想進路ガイド線の両方を表示用画像に表示するものとするが、外形ガイド線および予想進路ガイド線の少なくとも一方を表示用画像に表示するものであれば、これに限定するものでない。
さらに、表示処理部４０２は、車両１が旋回する場合、車幅方向マージンおよび進行方向マージンを変更する。これにより、車両１が旋回する際、表示用画像において、車両画像の外形に近い位置に外形ガイド線を表示させたり、車両１の移動に伴ってその外形が通過する進路に近い位置に予想進路ガイド線を表示させたりすることができる。その結果、外形ガイド線がマージンを含む場合に、車両１が旋回する際、車両１が、その周囲に存在する物体から過剰に離れてすり抜けることを防止できる。
本実施形態では、表示処理部４０２は、車両１の旋回する場合、車幅方向マージンおよび進行方向マージンの両方を変更するが、車幅方向マージンおよび進行方向マージンの少なくとも一方を変更するものであれば良い。
図５および図６は、第１の実施形態にかかる車両が有する車両周辺表示装置による表示用画像の生成処理の一例を説明するための図である。
次に、図５および図６を用いて、車両周辺表示装置４００による表示用画像の生成処理の一例について説明する。
取得部４０１は、図５に示すように、車載カメラ１５ａにより車両１の後方を撮像して得られる撮像画像Ｇ１、車載カメラ１５ｂにより車両１の右側方を撮像して得られる撮像画像Ｇ２、車載カメラ１５ｃにより車両１の前方を撮像して得られる撮像画像Ｇ３、および車載カメラ１５ｄにより車両１の左側方を撮像して得られる撮像画像Ｇ４を取得する。
次いで、表示処理部４０２は、撮像画像Ｇ１～Ｇ４を、立体的な空間ＶＳ（以下、三次元空間と言う）に対して投影する。ここで、三次元空間ＶＳは、車両１の立体的な画像である車両画像ＶＧと、当該車両画像ＶＧの周囲の投影領域ＴＲと、を含む立体的な空間である。本実施形態では、投影領域ＴＲは、車両画像ＶＧに対して水平な投影面ＴＲ１（以下、平面投影領域と言う）と、当該平面投影領域ＴＲ１の周囲に位置する立体投影領域ＴＲ２と、を有する。
そして、表示処理部４０２は、撮像画像Ｇ１～Ｇ４を、三次元空間ＶＳに投影する。具体的には、表示処理部４０２は、各撮像画像Ｇ１～Ｇ４内の各座標を、射影変換によって、三次元空間ＶＳ内の座標に変換する。次いで、表示処理部４０２は、各撮像画像Ｇ１～Ｇ４内の各座標の画像を、三次元空間ＶＳ内において、当該各座標から射影変換された座標が表す位置（投影領域ＴＲ）に投影する。これにより、表示処理部４０２は、撮像画像Ｇ１～Ｇ４を、三次元空間ＶＳに投影する。
さらに、表示処理部４０２は、図６に示すように、三次元空間ＶＳに対して、外形ガイド線Ｌ１および予想進路ガイド線Ｌ２を含める。そして、表示処理部４０２は、三次元空間ＶＳを、所定視点から見た画像を表示用画像として生成する。これにより、表示処理部４０２は、表示用画像に対して、外形ガイド線Ｌ１および予想進路ガイド線Ｌ２を含める。ここで、所定視点は、予め設定された視点である。
本実施形態では、表示処理部４０２は、車両画像ＶＧの外形の一部（例えば、角）を表す線を外形ガイド線Ｌ１として、表示用画像に含めているが、これに限定するものではなく、車両１の外形全体を表す線を外形ガイド線Ｌ１として、表示用画像に含めても良い。
ここでは、表示処理部４０２が、三次元空間ＶＳを所定視点から見た画像を表示用画像として生成する例について説明しているが、俯瞰画像や、単カメラ画像、車両１およびその周囲の三次元復元画像を、表示用画像として生成することも可能である。三次元復元画像を表示用画像として生成する場合、表示処理部４０２は、車載カメラ１５の撮像により得られる撮像画像、障害物センサ３０５（例えば、ソナー、レーダー）による車両１の周囲の物体の検出結果等を用いて、車両１およびその周囲を三次元で復元して、点や線により表した画像を、表示用画像として、表示部８に表示させる。
図７および図８は、第１の実施形態にかかる車両が有する車両周辺表示装置による外形ガイド線のマージンの変更処理の一例を説明するための図である。
次に、図７および図８を用いて、車両周辺表示装置４００による外形ガイド線Ｌ１のマージンの変更処理の一例について説明する。
車両１が直進する場合、表示処理部４０２は、図７に示すように、車両画像ＶＧの車幅方向Ｄ１に向かって、車両画像ＶＧのサイドミラーの幅に基づく車幅方向マージンＭ１（例えば、車両画像ＶＧのサイドミラーの幅以上の車幅方向マージンＭ１）を有する外形ガイド線Ｌ１を表示用画像に含める。また、車両１が直進する場合、表示処理部４０２は、図８に示すように、車両画像ＶＳの進行方向Ｄ２に向かって、所定マージン（例えば、実空間における３０ｃｍ）に基づく進行方向マージンＭ２を有する外形ガイド線Ｌ１を表示用画像に含める。
車両１が旋回する場合、表示処理部４０２は、図７に示すように、車幅方向マージンＭ１を、車両画像ＶＳのサイドミラーの幅相当、小さくする。これにより、車両１が旋回する際、表示用画像において、車両画像ＶＳの外形に近い位置に外形ガイド線Ｌ１を表示させたり、車両１の移動に伴って車両画像ＶＳの外形が通過する進路に近い位置に予想進路ガイド線Ｌ２を表示させたりすることができる。その結果、外形ガイド線Ｌ１が車幅方向マージンＭ１を含む場合に、車両１が旋回する際、車両１が、その周囲に存在する物体から過剰に離れてすり抜けることを防止できる。
本実施形態では、車両１が旋回する場合、表示処理部４０２は、車両画像ＶＳのサイドミラーの幅相当、車幅方向マージンＭ１を小さくしているが、車両１が直進する場合と比較して、車両１が旋回する場合における車幅方向マージンＭ１を小さくするものであれば、これに限定するものではない。
また、本実施形態では、表示処理部４０２は、取得部４０１により取得される操舵角（以下、車両１の操舵角と言う）が所定操舵角以上となった場合に、車幅方向マージンＭ１を小さくする。ここで、所定操舵角は、予め設定された操舵角であり、車両１が旋回すると判断する車両１の操舵角である。
その際、表示処理部４０２は、車両１の操舵角が所定操舵角以上となった場合（車両１が旋回する場合）、車幅方向マージンＭ１を時間経過に応じて徐々に小さくするか、若しくは、車幅方向マージンＭ１が、小さくなるに従い、当該車幅方向マージンＭ１を減らす速度を小さくしても良い。これにより、車両１が旋回する際に、車幅方向マージンＭ１が急に小さくなって、車両１の乗員が違和感を覚えることを防止できる。また、表示処理部４０２は、車両１の操舵角が所定操舵角以上となったか否かに関わらず、車両１の操舵角の変化に応じて、車幅方向マージンＭ１を小さくしても良い。
また、車両１が旋回する場合、表示処理部４０２は、図８に示すように、進行方向マージンＭ２を、所定マージン相当、小さくする。これにより、車両１が旋回する際、表示用画像において、車両画像ＶＧの外形に近い位置に外形ガイド線Ｌ１を表示させたり、車両１の移動に伴って車両画像ＶＧの外形が通過する進路に近い位置に予想進路ガイド線Ｌ２を表示させたりすることができる。その結果、外形ガイド線Ｌ１が進行方向マージンＭ２を含む場合に、車両１が旋回する際、車両１が、その周囲に存在する物体から過剰に離れてすり抜けることを防止できる。
本実施形態では、車両１が旋回する場合、表示処理部４０２は、所定マージン相当、進行方向マージンＭ２を小さくしているが、車両１が直進する場合と比較して、車両１が旋回する場合における進行方向マージンＭ２を小さくするものであれば、これに限定するものではない。
また、本実施形態では、表示処理部４０２は、取得部４０１により取得される操舵角が所定操舵角以上となった場合に、進行方向マージンＭ２を小さくする。その際、表示処理部４０２は、車両１の操舵角が所定操舵角以上となった場合（車両１が旋回する場合）、進行方向マージンＭ２を、時間経過に応じて徐々に小さくするか、若しくは、進行方向マージンＭ２が、小さくなるに従い、当該進行方向マージンＭ２を減らす速度を小さくしても良い。これにより、車両１が旋回する際に、進行方向マージンＭ２が急に小さくなって、車両１の乗員が違和感を覚えることを防止できる。また、表示処理部４０２は、車両１の操舵角が所定の操舵角以上となったか否かに関わらず、車両１の操舵角の変化に応じて、進行方向マージンＭ２を小さくしても良い。
図９は、第１の実施形態にかかる車両が有する車両周辺表示装置による予想進路ガイド線の表示処理の一例を説明するための図である。
次に、図９を用いて、車両周辺表示装置４００による予想進路ガイド線Ｌ２の表示処理の一例について説明する。
車両１が直進する場合、表示処理部４０２は、図９に示すように、車両１の移動に伴って、車両画像ＶＧの左右の外形ガイド線Ｌ１の角が描く軌跡を予想進路ガイド線Ｌ２として表示用画像Ｇに表示させる。
車両１が左に旋回する場合、表示処理部４０２は、図９に示すように、車両１の移動に伴って、車両画像ＶＧの右側の外形ガイド線Ｌ１の角および車両画像ＶＧの左側の後輪の画像が描く軌跡を予想進路ガイド線Ｌ２として表示用画像Ｇに表示させる。
車両１が右に旋回する場合、表示処理部４０２は、図９に示すように、車両１の移動に伴って、車両画像ＶＧの左側の外形ガイド線Ｌ１の角および車両画像ＶＧの右側の後輪の画像が描く軌跡を、予想進路ガイド線Ｌ２として表示用画像Ｇに表示させる。
本実施形態では、表示処理部４０２は、図９に示すように、車両１の移動に伴って、車両１の旋回方向側の車両画像ＶＧの車輪の画像が描く軌跡も、予想進路ガイド線Ｌ２として表示用画像Ｇに表示させているが、車両１の移動に伴って、少なくとも、車両１の旋回方向と反対側の外形ガイド線Ｌ１が描く軌跡を、予想進路ガイド線Ｌ２として表示用画像Ｇに表示させるものであれば良い。
また、本実施形態では、表示処理部４０２は、外形ガイド線Ｌ１のマージン（図７に示す車幅方向マージンＭ１および図８に示す進行方向マージンＭ２の少なくとも一方）を変更後における外形ガイド線Ｌ１および予想進路ガイド線Ｌ２のみを表示用画像Ｇに表示させているが、外形ガイド線Ｌ１のマージンを変更前における外形ガイド線Ｌ１および予想進路ガイド線Ｌ２の少なくとも一方を表示用画像Ｇに残して表示させても良い。これにより、外形ガイド線Ｌ１のマージンが変更されたことが容易に認識可能となり、外形ガイド線Ｌ１のマージンの変更後の外形ガイド線Ｌ１および予想進路ガイド線Ｌ２に従って車両１を運転すべきことを乗員に促すことができる。その結果、車両１が障害物をより安全にすり抜けることができる。
その際、表示処理部４０２は、変更前の外形ガイド線Ｌ１および予想進路ガイド線Ｌ２の少なくとも一方の表示態様と、変更後の外形ガイド線Ｌ１および予想進路ガイド線Ｌ２の少なくとも一方の表示態様とを異ならせても良い。例えば、表示処理部４０２は、変更前の外形ガイド線Ｌ１および予想進路ガイド線Ｌ２をグレーで表示し、変更後の外形ガイド線Ｌ１および予想進路ガイド線Ｌ２を黄色で表示する。すなわち、表示処理部４０２は、変更前の外形ガイド線Ｌ１および予想進路ガイド線Ｌ２の色と、変更後の外形ガイド線Ｌ１および予想進路ガイド線Ｌ２の色と、を互いに異ならせる。
これにより、車幅方向マージンおよび進行方向マージンを変更前および変更後の両方の外形ガイド線Ｌ１および予想進路ガイド線Ｌ２を表示用画像に含める場合に、いずれの外形ガイド線Ｌ１および予想進路ガイド線Ｌ２に従って車両１を操作するべきかを容易に判別可能となる。その結果、表示用画像を見た乗員が車両１から障害物までの距離を誤解して、車両１が障害物に衝突する可能性をより低減することができる。
また、本実施形態では、表示処理部４０２は、車両１が旋回する場合、障害物センサ３０５によって物体（障害物）が検出されたか否かに関わらず、車幅方向マージンおよび進行方向マージンの少なくとも一方を変更して、外形ガイド線Ｌ１および予想進路ガイド線Ｌ２の少なくとも一方の位置を変更しているが、障害物センサ３０５によって物体が検出された場合に、車幅方向マージンおよび進行方向マージンの少なくとも一方を変更して、外形ガイド線Ｌ１および予想進路ガイド線Ｌ２の少なくとも一方の位置を変更しても良い。これにより、車両１の乗員が、車両１の進路に障害物が存在することを直感的に認識することができるので、車両１が障害物に衝突する可能性をより低減することができる。
さらに、本実施形態では、表示処理部４０２は、障害物センサ３０５によって物体が検出されたか否かに応じて、外形ガイド線Ｌ１および予想進路ガイド線Ｌ２の少なくとも一方の表示態様を変更することも可能である。これにより、車両１の乗員が、車両１の進路に障害物が存在することを直感的に認識することができるので、車両１が障害物に衝突する可能性をより低減することができる。
具体的には、表示処理部４０２は、障害物センサ３０５により障害物が検出された場合、車幅方向マージンおよび進行方向マージンを変更後の外形ガイド線Ｌ１および予想進路ガイド線Ｌ２をカラー（または点滅）で表示する。一方、表示処理部４０２は、障害物センサ３０５により障害物が検出されなかった場合、車幅方向マージンおよび進行方向マージンを変更後の外形ガイド線Ｌ１および予想進路ガイド線Ｌ２をグレー色で表示する。
このように、第１の実施形態にかかる車両１によれば、車両１が旋回する際、表示用画像において、車両画像の外形に近い位置に外形ガイド線を表示させたり、車両１の移動に伴って車両画像の外形が通過する進路に近い位置に予想進路ガイド線を表示させたりすることができる。その結果、外形ガイド線がマージンを含む場合に、車両１が旋回する際、車両１が、その周囲に存在する物体から過剰に離れてすり抜けることを防止できる。
（第２の実施形態）
本実施形態は、車両およびその周辺の立体的な画像を表示用画像として表示させる場合に、車両１が旋回する方向に応じて、表示用画像の視点を変更する例である。以下の説明では、第１の実施形態と同様の構成については説明を省略する。
本実施形態では、表示処理部４０２は、車両１が直進する場合、車両画像の後方でありかつ車両画像の車幅方向の中央に位置する基準視点から、三次元空間を見た立体的な画像を、表示用画像として生成する。そして、表示処理部４０２は、生成した表示用画像を、表示部８に表示させる。
これにより、車両１が直進する場合には、車両画像の車幅を認識し易い表示用画像を表示させることができる。その結果、車両１が直進する場合に、車両１の側方に存在する物体との位置関係を把握し易くすることができる。
また、本実施形態では、表示処理部４０２は、車両１が旋回する場合、基準視点から、車両１の旋回方向とは反対側にずらした所定視点から、三次元空間を見た立体的な画像を、表示用画像として生成する。そして、表示処理部４０２は、生成した表示用画像を、表示部８に表示させる。
これにより、車両１が旋回する場合には、車両１の旋回時において物体との接触を注意すべき箇所が見える表示用画像を表示させることができる。その結果、車両１が旋回する場合に、車両１が物体と接触することなくより安全に走行することができる。
図１０は、第２の実施形態にかかる車両が有する車両周辺表示装置による表示用画像の表示処理の一例を説明するための図である。
次に、図１０を用いて、車両周辺表示装置４００による表示用画像の表示処理の一例について説明する。
車両１が直進する場合（車両１の操舵角が０度である場合）、表示処理部４０２は、図１０に示すように、車両画像ＶＳの後方でありかつ車両画像ＶＳの車幅方向の中央の基準視点に移動する所定視点から三次元空間ＶＳを見た立体的な画像を、表示用画像Ｇとして表示部８に表示させる。
また、車両１が右方向に旋回する場合、表示処理部４０２は、図１０に示すように、車両画像ＶＳの後方でありかつ車両画像ＶＳの車幅方向の中央の基準視点から、左側にずらした目標視点に移動する所定視点から、三次元空間ＶＳを見た立体的な画像を、表示用画像Ｇとして表示部８に表示させる。
また、車両１が左方向に旋回する場合、表示処理部４０２は、図１０に示すように、車両画像ＶＧの後方でありかつ車両画像ＶＧの車幅方向の中央の基準視点から、右側にずらした目標視点に移動する所定視点から、三次元空間ＶＳを見た立体的な画像を、表示用画像Ｇとして表示部８に表示させる。
本実施形態では、表示処理部４０２は、車両１の操舵角が所定操舵角以上となった場合に、車両画像ＶＳの後方でありかつ車両画像ＶＳの車幅方向の中央の基準視点から、車両１が旋回する方向とは反対側にずらした目標視点に移動する所定視点から、三次元空間ＶＳを見た立体的な画像を、表示用画像Ｇとして表示部８に表示させるものとする。
その際、表示処理部４０２は、所定視点を、目標視点に向かって徐々に移動させても良い。ここで、目標視点は、車両１が直進する場合または車両１が旋回する場合に、所定視点を移動させる目標の視点である。また、所定視点を目標視点に向かって徐々に移動させる際、表示処理部４０２は、所定視点が目標視点に近づくに従い、所定視点を移動させる速度を小さくしても良い。
また、本実施形態では、表示処理部４０２は、車両１の操舵角が所定操舵角以上となったか否かに関わらず、車両１の操舵角に応じた目標視点を求め、当該目標視点に移動させた所定視点から三次元空間ＶＳを見た立体的な画像を、表示用画像Ｇとして表示部８に表示させても良い。
具体的には、表示処理部４０２は、下記の式（１）に従って、水平角度を求める。
水平角度＝車両１の操舵角×変換係数・・・（１）
ここで、水平角度は、車両１の進行方向を基準として、所定視点を水平方向にずらす角度である。また、変換係数は、予め設定された係数である。
次いで、表示処理部４０２は、車両１の進行方向を基準として、水平方向に向かって、求めた水平角度の分ずらした視点を目標視点として求める。そして、表示処理部４０２は、当該目標視点に移動する所定視点から、三次元空間ＶＳを見た立体的な画像を表示用画像Ｇとして表示部８に表示させる。
例えば、車両１の操舵角が－３００度となり、車両１が右方向に旋回する場合、表示処理部４０２は、上記の式（１）を用いて、水平角度＝－４０度を求める。そして、表示処理部４０２は、図１０に示すように、車両１の進行方向を基準として、水平方向に－４０度ずらした目標視点に移動する所定視点から三次元空間ＶＳを見た立体的な画像を、表示用画像Ｇとして表示部８に表示させる。
また、例えば、車両１の操舵角が＋３００度であり、車両１が左方向に旋回する場合、表示処理部４０２は、上記の式（１）を用いて、水平角度＝＋４０度を求める。そして、表示処理部４０２は、図１０に示すように、車両１の進行方向を基準として、水平方向に向＋４０度ずらした目標視点に移動する所定視点から三次元空間ＶＳを見た立体的な画像を、表示用画像Ｇとして表示部８に表示させる。
図１１は、第２の実施形態にかかる車両が有する車両周辺表示装置による表示用画像の表示処理の他の例を説明するための図である。
次に、図１１を用いて、車両１の前進時および後退時における車両周辺表示装置４００による表示用画像Ｇの表示処理の一例について説明する。
車両１が直進する場合、表示処理部４０２は、図１１に示すように、車両１の前進時および後退時ともに、車両画像ＶＧの後方かつ車両画像ＶＧの車幅方向の中央の基準視点に移動する所定視点から三次元空間ＶＳを見た立体的な画像を、表示用画像Ｇとして表示部８に表示させる。
また、車両１が旋回する場合も、表示処理部４０２は、図１１に示すように、車両１の前進時および後退時ともに、車両画像ＶＳの後方かつ車両画像ＶＳの車幅方向の中央の基準視点から、車両１の旋回方向とは反対側にずらした目標視点に移動する所定視点から三次元空間ＶＳを見た立体的な画像を、表示用画像Ｇとして表示させる。
ただし、車両１が後退する場合、表示処理部４０２は、図１１に示すように、車両１が直進する場合と比較して、車両画像ＶＳのより後方の所定視点から三次元空間ＶＳを見た立体的な画像を、表示用画像Ｇとして表示部８に表示させても良い。これにより、表示用画像Ｇにおける車両画像ＶＳの後方の視野を広げることができる。その結果、車両１の後退時における走行の安全性を向上させることができる。
本実施形態では、表示処理部４０２は、障害物センサ３０５によって物体（障害物）が検出されたか否かに関わらず、所定視点を移動させているが、障害物センサ３０５によって物体が検出された場合にのみ、所定視点を移動させることも可能である。これにより、所定視点が移動したか否かによって、車両１の周囲に障害物が存在するか否かを容易に把握することができる。
このように、第２の実施形態にかかる車両１によれば、車両１が旋回する場合には、車両１の旋回時において物体との接触を注意すべき箇所が見える表示用画像を表示させることができる。その結果、車両１が旋回する場合に、車両１が物体と接触することなくより安全に走行することができる。
（変形例）
本変形例は、車両画像の電子ミラーの幅に基づく車幅方向マージンを有する外形ガイド線を表示用画像に表示させる例である。以下の説明では、上述の実施形態と同様の構成については説明を省略する。
図１２は、変形例にかかる車両が有する車両周辺表示装置による外形ガイド線のマージンの変更処理の一例を説明するための図である。
図１２を用いて、本変形例にかかる車両周辺表示装置４００による外形ガイド線Ｌ１のマージンの変更処理の一例について説明する。
車両１が直進する場合、表示処理部４０２は、図１２に示すように、車両画像ＶＧの車幅方向Ｄ１に向かって、車両画像ＶＧの電子ミラーの幅に基づく車幅方向マージンＭ１（例えば、車両画像ＶＧの電子ミラーの幅以上の車幅方向マージンＭ１）を有する外形ガイド線Ｌ１を表示用画像に含める。一方、車両１が旋回する場合、表示処理部４０２は、図１２に示すように、車幅方向マージンＭ１を、車両画像ＶＧの電子ミラーの幅相当、小さくする。
これにより、車両１が旋回する際、表示用画像において、車両画像ＶＳの外形に近い位置に外形ガイド線Ｌ１を表示させたり、車両１の移動に伴って車両画像ＶＳの外形が通過する進路に近い位置に予想進路ガイド線Ｌ２を表示させたりすることができる。その結果、外形ガイド線Ｌ１が車幅方向マージンＭ１を含む場合に、車両１が旋回する際、車両１が、その周囲に存在する物体から過剰に離れてすり抜けることを防止できる。
１ 車両
８ 表示部
１５ 車載カメラ
３０３ 操舵システム
３０３ａ 操舵部
３０３ｂ 操舵制御部
３０３ｃ 操舵部センサ
３０５ 障害物センサ
３１０ 制御装置
３１０ａ ＣＰＵ
３１０ｂ ＲＯＭ
３１０ｃ ＲＡＭ
３１０ｄ ＳＳＤ
３１０ｅ 表示制御部
４００ 車両周辺表示装置
４０１ 取得部
４０２ 表示処理部
Ｇ 表示用画像
Ｌ１ 外形ガイド線
Ｌ２ 予想進路ガイド線
ＶＳ 三次元空間
ＶＧ 車両画像
ＴＲ 投影領域

Claims (8)

  1. 撮像部によって車両の周辺を撮像して得られる撮像画像を取得する取得部と、
    前記取得部により取得した前記撮像画像に基づいて、前記車両の車両画像および前記車両の周辺画像を含む表示用画像を表示部に表示させる表示処理部と、を備え、
    前記表示処理部は、前記車両画像の外形を表しかつ前記車両画像の車幅方向への第１マージンおよび前記車両画像の進行方向への第２マージンを有する外形ガイド線、および、前記車両の移動に伴って前記外形ガイド線が描く軌跡である予想進路ガイド線、の少なくとも一方を、前記表示用画像に表示し、かつ、前記車両が旋回する場合に、前記第１マージンおよび前記第２マージンの少なくとも一方を小さくし、
    前記表示処理部は、前記車両が直進する場合、前記車両画像のサイドミラーの幅に基づく前記第１マージンを有する前記外形ガイド線を表示させ、前記車両が旋回する場合、前記サイドミラーの幅相当、前記第１マージンを小さくする
    車両周辺表示装置。
  2. 前記表示処理部は、前記車両が直進する場合、前記進行方向に向かって、所定マージンに基づく前記第２マージンを有する前記外形ガイド線を表示させ、前記車両が旋回する場合、前記所定マージン相当、前記第２マージンを小さくする請求項１に記載の車両周辺表示装置。
  3. 前記表示処理部は、前記車両が旋回する場合、前記第１マージンおよび前記第２マージンの少なくとも一方を、時間経過に応じて、徐々に小さくする請求項１または２に記載の車両周辺表示装置。
  4. 前記表示処理部は、前記車両が旋回する場合、前記第１マージンおよび前記第２マージンの少なくとも一方を変更前の前記外形ガイド線および前記予想進路ガイド線の少なくとも一方を前記表示用画像内に残す請求項１から３のいずれか一に記載の車両周辺表示装置。
  5. 前記表示処理部は、前記第１マージンおよび前記第２マージンの少なくとも一方を変更前の前記外形ガイド線および前記予想進路ガイド線の少なくとも一方の表示態様と、前記第１マージンおよび前記第２マージンの少なくとも一方を変更後の前記外形ガイド線および前記予想進路ガイド線の少なくとも一方の表示態様と、を異ならせる請求項４に記載の車両周辺表示装置。
  6. 前記表示処理部は、前記車両が旋回する場合、前記車両画像の後方かつ前記車幅方向の中央の基準視点から、前記車両の旋回方向とは反対側にずらした所定視点から、前記車両画像および前記周辺画像を含む三次元空間を見た立体的な画像を、前記表示用画像として前記表示部に表示させる請求項１から５のいずれか一に記載の車両周辺表示装置。
  7. 撮像部によって車両の周辺を撮像して得られる撮像画像を取得する取得部と、
    前記取得部により取得した前記撮像画像に基づいて、前記車両の車両画像および前記車両の周辺画像を含む表示用画像を表示部に表示させる表示処理部と、を備え、
    前記表示処理部は、前記車両画像の外形を表しかつ前記車両画像の車幅方向への第１マージンおよび前記車両画像の進行方向への第２マージンを有する外形ガイド線、および、前記車両の移動に伴って前記外形ガイド線が描く軌跡である予想進路ガイド線、の少なくとも一方を、前記表示用画像に表示し、かつ、前記車両が旋回する場合に、前記第１マージンおよび前記第２マージンの少なくとも一方を小さくし、
    前記表示処理部は、前記車両が旋回する場合、前記第１マージンおよび前記第２マージンの少なくとも一方を変更前の前記外形ガイド線および前記予想進路ガイド線の少なくとも一方を前記表示用画像内に残す車両周辺表示装置。
  8. 撮像部によって車両の周辺を撮像して得られる撮像画像を取得する取得部と、
    前記取得部により取得した前記撮像画像に基づいて、前記車両の車両画像および前記車両の周辺画像を含む表示用画像を表示部に表示させる表示処理部と、を備え、
    前記表示処理部は、前記車両画像の外形を表しかつ前記車両画像の車幅方向への第１マージンおよび前記車両画像の進行方向への第２マージンを有する外形ガイド線、および、前記車両の移動に伴って前記外形ガイド線が描く軌跡である予想進路ガイド線、の少なくとも一方を、前記表示用画像に表示し、かつ、前記車両が旋回する場合に、前記第１マージンおよび前記第２マージンの少なくとも一方を小さくし、
    前記表示処理部は、前記車両が旋回する場合、前記車両画像の後方かつ前記車幅方向の中央の基準視点から、前記車両の旋回方向とは反対側にずらした所定視点から、前記車両画像および前記周辺画像を含む三次元空間を見た立体的な画像を、前記表示用画像として前記表示部に表示させる車両周辺表示装置。
JP2019131405A 2019-07-16 2019-07-16 車両周辺表示装置 Active JP7358811B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019131405A JP7358811B2 (ja) 2019-07-16 2019-07-16 車両周辺表示装置
US16/929,454 US11077794B2 (en) 2019-07-16 2020-07-15 Vehicle periphery display device
CN202010680396.4A CN112238812B (en) 2019-07-16 2020-07-15 Vehicle periphery display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019131405A JP7358811B2 (ja) 2019-07-16 2019-07-16 車両周辺表示装置

Publications (2)

Publication Number Publication Date
JP2021014243A JP2021014243A (ja) 2021-02-12
JP7358811B2 true JP7358811B2 (ja) 2023-10-11

Family

ID=74170713

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019131405A Active JP7358811B2 (ja) 2019-07-16 2019-07-16 車両周辺表示装置

Country Status (2)

Country Link
US (1) US11077794B2 (ja)
JP (1) JP7358811B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016063390A (ja) 2014-09-18 2016-04-25 富士通テン株式会社 画像処理装置、及び画像表示システム
JP2017030481A (ja) 2015-07-31 2017-02-09 アイシン精機株式会社 駐車支援装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3807330B2 (ja) 2002-03-05 2006-08-09 日産自動車株式会社 車両周辺監視装置
JP3894322B2 (ja) 2003-07-23 2007-03-22 松下電工株式会社 車両用視界モニタシステム
JP5182137B2 (ja) 2009-02-12 2013-04-10 株式会社デンソー 車両周辺表示装置
JP5605606B2 (ja) 2010-03-12 2014-10-15 アイシン精機株式会社 駐車支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016063390A (ja) 2014-09-18 2016-04-25 富士通テン株式会社 画像処理装置、及び画像表示システム
JP2017030481A (ja) 2015-07-31 2017-02-09 アイシン精機株式会社 駐車支援装置

Also Published As

Publication number Publication date
US11077794B2 (en) 2021-08-03
US20210016711A1 (en) 2021-01-21
CN112238812A (zh) 2021-01-19
JP2021014243A (ja) 2021-02-12

Similar Documents

Publication Publication Date Title
US10131277B2 (en) Surroundings monitoring apparatus
US9886859B2 (en) Parking assistance device
US10150486B2 (en) Driving assistance device and driving assistance system
US9919735B2 (en) Control system and control method for vehicle
WO2016039410A1 (ja) 運転支援装置
JP6092825B2 (ja) 車両の制御装置
US20190244324A1 (en) Display control apparatus
JP7148064B2 (ja) カメラパラメータ推定装置、カメラパラメータ推定方法、およびカメラパラメータ推定プログラム
JP6629156B2 (ja) 駐車支援装置
JP7358811B2 (ja) 車両周辺表示装置
JP2021014245A (ja) 車両周辺表示装置
JP7331511B2 (ja) 車両周辺表示装置
US11104380B2 (en) Display controller
CN112238812B (en) Vehicle periphery display device
JP6227514B2 (ja) 駐車支援装置
US11938818B2 (en) Periphery monitoring apparatus
JP7314514B2 (ja) 表示制御装置
WO2019035229A1 (ja) 周辺監視装置
JP7259212B2 (ja) 走行制御装置、走行制御方法、および走行制御プログラム
JP6601097B2 (ja) 表示制御装置
JP2016060237A (ja) 駐車支援装置及び駐車支援システム
CN114312754A (zh) 停车辅助装置
JP2016097843A (ja) 周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220603

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230911

R150 Certificate of patent or registration of utility model

Ref document number: 7358811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150