JP7247851B2 - driver assistance device - Google Patents

driver assistance device Download PDF

Info

Publication number
JP7247851B2
JP7247851B2 JP2019187944A JP2019187944A JP7247851B2 JP 7247851 B2 JP7247851 B2 JP 7247851B2 JP 2019187944 A JP2019187944 A JP 2019187944A JP 2019187944 A JP2019187944 A JP 2019187944A JP 7247851 B2 JP7247851 B2 JP 7247851B2
Authority
JP
Japan
Prior art keywords
screen
vehicle
image
displayed
touch panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019187944A
Other languages
Japanese (ja)
Other versions
JP2021062713A (en
Inventor
俊宏 高木
康孝 松永
亮 和泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019187944A priority Critical patent/JP7247851B2/en
Priority to US17/066,900 priority patent/US20210107359A1/en
Priority to CN202011077070.9A priority patent/CN112644470A/en
Publication of JP2021062713A publication Critical patent/JP2021062713A/en
Application granted granted Critical
Publication of JP7247851B2 publication Critical patent/JP7247851B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/122Instrument input devices with reconfigurable control functions, e.g. reconfigurable menus
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1434Touch panels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/175Autonomous driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1868Displaying information according to relevancy according to driving situations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、運転者の車両周辺の監視を支援する運転者支援装置に関する。 The present invention relates to a driver assistance device that assists the driver in monitoring the surroundings of the vehicle.

この種の従来の運転者支援装置(以下、「従来装置」と称呼される。)は、運転者の車両周辺の監視を支援するために、車両に搭載された撮像装置によって車両の周辺領域を撮像した撮像画像(周辺画像)を含む周辺監視画面を表示装置に表示する。 A conventional driver assistance device of this type (hereinafter referred to as a "conventional device") captures an area around the vehicle using an imaging device mounted on the vehicle in order to assist the driver in monitoring the surroundings of the vehicle. A peripheral monitoring screen including the captured image (peripheral image) is displayed on the display device.

特許文献1は、ナビゲーション装置のナビゲーション条件等の設定を調整するために操作される操作画面を運転者に提示するナビゲーション装置を開示する。従来装置においても、運転者支援機能(例えば、駐車支援機能)の作動内容を調整するために操作される操作画面(以下、「カスタマイズ画面」と称呼される。)を運転者に提示することが行われている。 Patent Literature 1 discloses a navigation device that presents a driver with an operation screen that is operated to adjust settings such as navigation conditions of the navigation device. Even in the conventional device, it is possible to present the driver with an operation screen (hereinafter referred to as a "customization screen") that is operated to adjust the operation contents of the driver assistance function (for example, the parking assistance function). It is done.

特開2005-351868号公報JP-A-2005-351868

従来装置は、周辺監視画面を表示しているときにカスタマイズ画面の表示が要求された場合、周辺監視画面を、カスタマイズ画面に切り替えて表示する。従って、従来装置では、カスタマイズ画面を表示している間、周辺監視画面を運転者が見ることができなくなるので、「運転者の車両周辺の監視を支援する機能」が低下してしまう可能性がある。この場合、運転者が、画面上から車両の周辺領域の状況変化(例えば、移動体又は歩行者が車両に近づく等の状況変化)を把握し難くなってしまうので好ましくない。 The conventional device switches the periphery monitoring screen to the customization screen when display of the customization screen is requested while the periphery monitoring screen is being displayed. Therefore, in the conventional device, the driver cannot see the surroundings monitoring screen while the customization screen is being displayed, so there is a possibility that the "function for supporting the driver's monitoring of the surroundings of the vehicle" will be degraded. be. In this case, it is difficult for the driver to grasp the change in the surrounding area of the vehicle (for example, the change in the situation such as a moving body or a pedestrian approaching the vehicle) from the screen, which is not preferable.

本発明は上述した課題に対処するためになされた。即ち、本発明の目的の一つは、運転者の車両周辺の監視を支援する機能が低下してしまう可能性を低くすることができる運転者支援装置を提供することにある。以下、本発明の運転者支援装置は「本発明運転者支援装置」と称呼される場合がある。 The present invention has been made to address the above-mentioned problems. That is, one of the objects of the present invention is to provide a driver assistance device capable of reducing the possibility of deterioration of the function of assisting the driver in monitoring the surroundings of the vehicle. Hereinafter, the driver assistance device of the present invention may be referred to as "the driver assistance device of the present invention".

本発明運転者支援装置は、車両(100)に搭載され、周辺監視画面を運転者に提示することにより前記運転者の車両周辺の確認を支援する運転者支援装置(10)である。
前記運転者支援装置は、前記車両の周囲を撮像することにより画像情報を取得する撮像装置(40)を含み、前記車両の周辺領域に存在する静止物及び移動体の少なくとも一つからなる注意喚起対象物を検出する検出装置(30、40、50)と、画像を表示可能に構成されたタッチパネル(60)と、前記画像情報から前記周辺領域の画像である周辺画像を生成すると共に、前記タッチパネル(60)に表示する前記周辺画像を含む画面の表示を制御する表示制御部(90)と、を備える。
前記表示制御部は、前記注意喚起対象物が検出されることによって所定条件が成立している間、前記周辺画像を含む注意喚起画面(G5)を表示する注意喚起画面表示制御を実行可能に構成される。
更に、前記表示制御部は、前記周辺画像とカスタマイズボタン(Btc)とを含む周辺監視画面(G3)を表示しているとき(ステップ1210にて「Yes」との判定)に、前記カスタマイズボタンがタッチ操作された場合(ステップ1215にて「Yes」との判定)、前記周辺監視画面を、前記車両が備える所定の運転者支援機能の作動内容を調整するための操作画面であるカスタマイズ画面(G4a)に切り替えて表示し(ステップ1220)、前記カスタマイズ画面を表示しているとき(ステップ1310)に、前記所定条件が成立したとき(ステップ1315にて「Yes」との判定)、前記カスタマイズ画面を、前記注意喚起画面に切り替えて表示する(ステップ1330)ように構成される。
The driver assistance system of the present invention is a driver assistance system (10) that is mounted on a vehicle (100) and that assists the driver in confirming the surroundings of the vehicle by presenting a surroundings monitoring screen to the driver.
The driver support device includes an imaging device (40) that acquires image information by imaging the surroundings of the vehicle, and calls attention to at least one of a stationary object and a moving object existing in the area around the vehicle. a detection device (30, 40, 50) for detecting an object; a touch panel (60) configured to display an image; a display control unit (90) for controlling display of a screen including the peripheral image to be displayed in (60).
The display control unit is configured to be capable of executing attention calling screen display control for displaying an attention calling screen (G5) including the surrounding image while a predetermined condition is established by detecting the attention calling object. be done.
Further, when the display control unit displays the peripheral monitoring screen (G3) including the peripheral image and the customize button (Btc) (determination of "Yes" in step 1210), the customize button is If touch operation is performed (determination of "Yes" in step 1215), the periphery monitoring screen is changed to a customization screen (G4a ) (step 1220), and when the predetermined condition is met while the customization screen is being displayed (step 1310) (determination of "Yes" in step 1315), the customization screen is displayed. , to switch to the alert screen (step 1330).

本発明運転者支援装置によれば、カスタマイズ画面を表示しているときに、所定条件が成立したとき、カスタマイズ画面を、注意喚起画面に切り替えて表示する。これにより、本発明運転者支援装置は、運転者の車両周辺の監視を支援する機能が低下してしまう可能性を低くすることができる。 According to the driver assistance device of the present invention, when a predetermined condition is satisfied while the customization screen is being displayed, the customization screen is switched to the warning screen and displayed. As a result, the driver assistance system of the present invention can reduce the possibility that the function of assisting the driver in monitoring the surroundings of the vehicle will deteriorate.

上記一態様において、
前記表示制御部は、
前記所定条件が成立している間だけ、前記カスタマイズ画面を、前記注意喚起画面に切り替えて表示した後、前記注意喚起画面を、前記カスタマイズ画面に切り替えて表示する(ステップ1410、ステップ1415、ステップ1420)ように構成される。
In the above aspect,
The display control unit
After the customization screen is switched to the alerting screen and displayed only while the predetermined condition is satisfied, the alerting screen is switched to the customization screen and displayed (steps 1410, 1415, and 1420). ) is configured as

上記一態様によれば、カスタマイズ画面を表示しているときに、所定条件が成立している間だけ、カスタマイズ画面を、注意喚起画面に切り替えて表示した後、注意喚起画面を、カスタマイズ画面に切り替えて表示する。これにより、本発明運転者支援装置は、運転者の車両周辺の監視を支援する機能が低下する可能性を低くすることができると共に、カスタマイズ画面の操作に関するユーザの利便性を担保できる。 According to the aspect described above, when the customization screen is displayed, the customization screen is switched to the alert screen only while the predetermined condition is satisfied, and then the alert screen is switched to the customization screen. displayed. As a result, the driver assistance device of the present invention can reduce the possibility that the function of assisting the driver in monitoring the surroundings of the vehicle will deteriorate, and can ensure the user's convenience regarding the operation of the customization screen.

上記一態様によれば、
前記カスタマイズボタンは、前記車両が停止状態にある場合、前記タッチ操作を受け付け可能な状態に設定され、前記車両が停止状態にない場合、前記タッチ操作を受け付けできない状態に設定されるように構成され、
前記注意喚起対象物は、前記車両に接近する前記車両の周辺の前記移動体であり、
前記注意喚起画面は、前記周辺画像と、前記周辺画像に重ねて表示される前記移動体の接近方向を示す移動体方向マークと、を含む。
According to the above aspect,
The customize button is configured to be set to a state in which the touch operation can be accepted when the vehicle is in a stopped state, and to be set to a state in which the touch operation cannot be accepted when the vehicle is not in a stopped state. ,
The object to be alerted is the moving object around the vehicle approaching the vehicle,
The alert screen includes the peripheral image and a moving body direction mark that is superimposed on the peripheral image and indicates an approaching direction of the moving body.

上記一態様によれば、車両が停止状態にないときには、カスタマイズ画面に切り替えることができなくなるので、車両が移動中に、運転者の車両周辺の監視を支援する機能が低下してしまう可能性を低くできる。更に、上記一態様によれば、車両が停止状態にあるときに、周辺監視画面がカスタマイズ画面に切り替えられて表示された場合であっても、車両が停止状態にあるときに特に注意喚起の必要性の高い移動体を検出できるので、運転者の車両周辺の監視を支援する機能が低下してしまう可能性を低くすることができる。 According to the aspect described above, when the vehicle is not in a stopped state, it becomes impossible to switch to the customization screen. Therefore, while the vehicle is moving, the possibility that the function of supporting the driver's monitoring of the surroundings of the vehicle is lowered is reduced. can be lowered. Furthermore, according to the aspect described above, even if the peripheral monitoring screen is switched to the customized screen and displayed when the vehicle is in a stopped state, it is particularly necessary to call attention when the vehicle is in a stopped state. Since it is possible to detect a moving object with high sensitivity, it is possible to reduce the possibility that the function for supporting the driver's monitoring of the surroundings of the vehicle will deteriorate.

上記一態様において、
前記周辺監視画面は、前記車両が備える駐車支援機能が有効状態にあるとき(ステップ1205にて「Yes」との判定)に表示が許容される駐車支援画面であり、
前記カスタマイズ画面は、前記駐車支援機能の作動内容を調整するための操作画面である。
In the above aspect,
The surroundings monitoring screen is a parking assistance screen that is allowed to be displayed when the parking assistance function provided in the vehicle is in a valid state (determined as "Yes" in step 1205),
The customization screen is an operation screen for adjusting the operation contents of the parking assistance function.

上記一態様によれば、駐車支援機能を作動しているときの運転者の車両周辺の監視を支援する機能が低下してしまう可能性を低くすることができる。 According to the aspect described above, it is possible to reduce the possibility that the function of assisting the driver in monitoring the surroundings of the vehicle will deteriorate when the parking assist function is activated.

上記一態様において、
前記周辺監視画面は、前記車両が備えるパノラミックビューモニタ機能が有効状態にあるとき(ステップ1505にて「Yes」との判定)に表示が許容されるパノラミックビューモニタ画面であり、
前記カスタマイズ画面は、前記パノラミックビューモニタ機能の作動内容を調整するための操作画面である。
In the above aspect,
The surroundings monitoring screen is a panoramic view monitor screen that is permitted to be displayed when the panoramic view monitor function provided in the vehicle is in a valid state (determination of "Yes" in step 1505),
The customization screen is an operation screen for adjusting the operation contents of the panoramic view monitor function.

上記一態様によれば、パノラミックビューモニタ機能を作動しているときの運転者の車両周辺の監視を支援する機能が低下してしまう可能性を低くすることができる。 According to the aspect described above, it is possible to reduce the possibility that the function of assisting the driver in monitoring the surroundings of the vehicle will deteriorate when the panoramic view monitor function is in operation.

上記説明においては、本発明の理解を助けるために、後述する実施形態に対応する発明の構成に対し、その実施形態で用いた名称及び/又は符号を括弧書きで添えている。しかしながら、本発明の各構成要素は、前記名称及び/又は符号によって規定される実施形態に限定されるものではない。 In the above description, in order to facilitate understanding of the present invention, names and/or symbols used in the embodiments are added in parentheses to configurations of the invention corresponding to the embodiments to be described later. However, each component of the present invention is not limited to the embodiments defined by the names and/or symbols.

図1は、本発明の実施形態に係る運転者支援装置及びその運転者支援装置が適用される車両を示した図である。FIG. 1 is a diagram showing a driver assistance device according to an embodiment of the present invention and a vehicle to which the driver assistance device is applied. 図2は、ソナーセンサ装置の配置及び検出範囲を示した図である。FIG. 2 is a diagram showing the arrangement and detection range of sonar sensor devices. 図3は、カメラセンサ装置の配置及び撮像範囲を示した図である。FIG. 3 is a diagram showing the arrangement and imaging range of the camera sensor device. 図4は、レーダセンサ装置の配置を示した図である。FIG. 4 is a diagram showing the arrangement of radar sensor devices. 図5Aは、タッチパネルに表示される画像を示す概略図である。FIG. 5A is a schematic diagram showing an image displayed on the touch panel. 図5Bは、タッチパネルに表示される画像を示す概略図である。FIG. 5B is a schematic diagram showing an image displayed on the touch panel. 図6は、タッチパネルに表示される画像を示す概略図である。FIG. 6 is a schematic diagram showing an image displayed on the touch panel. 図7は、タッチパネルに表示される画像を示す概略図である。FIG. 7 is a schematic diagram showing an image displayed on the touch panel. 図8は、タッチパネルに表示される画像を示す概略図である。FIG. 8 is a schematic diagram showing an image displayed on the touch panel. 図9は、タッチパネルに表示される画像を示す概略図である。FIG. 9 is a schematic diagram showing an image displayed on the touch panel. 図10Aは、タッチパネルに表示される画像を示す概略図である。FIG. 10A is a schematic diagram showing an image displayed on the touch panel. 図10Bは、タッチパネルに表示される画像を示す概略図である。FIG. 10B is a schematic diagram showing an image displayed on the touch panel. 図11は、タッチパネル表示部に表示される画像を示す概略図である。FIG. 11 is a schematic diagram showing an image displayed on the touch panel display unit. 図12は、ECUのCPUが実行するルーチンを表すフローチャートである。FIG. 12 is a flow chart showing a routine executed by the CPU of the ECU. 図13は、ECUのCPUが実行するルーチンを表すフローチャートである。FIG. 13 is a flow chart showing a routine executed by the CPU of the ECU. 図14は、ECUのCPUが実行するルーチンを表すフローチャートである。FIG. 14 is a flow chart showing a routine executed by the CPU of the ECU. 図15は、ECUのCPUが実行するルーチンを表すフローチャートである。FIG. 15 is a flow chart showing a routine executed by the CPU of the ECU. 図16は、ECUのCPUが実行するルーチンを表すフローチャートである。FIG. 16 is a flow chart showing a routine executed by the CPU of the ECU. 図17は、ECUのCPUが実行するルーチンを表すフローチャートである。FIG. 17 is a flow chart showing a routine executed by the CPU of the ECU.

<構成>
以下、図面を参照しながら、本発明の実施形態に係る運転者支援装置について説明する。なお、実施形態の全図において、同一又は対応する部分には同一の符号を付す。図1は、本発明の実施形態に係る運転者支援装置10及びその運転者支援装置10が適用される車両100を示している。
<Configuration>
Hereinafter, a driver assistance device according to an embodiment of the present invention will be described with reference to the drawings. In addition, the same code|symbol is attached|subjected to the part which is the same or respond|corresponds in all the figures of embodiment. FIG. 1 shows a driver assistance device 10 according to an embodiment of the present invention and a vehicle 100 to which the driver assistance device 10 is applied.

図1に示したように、運転者支援装置10は、ECU90を備えている。ECUは、エレクトロニックコントロールユニットの略称である。ECU90は、マイクロコンピュータを主要部として備える。マイクロコンピュータは、CPU、ROM、RAM、不揮発性メモリ及びインターフェース等を含む。CPUは、ROMに格納されたインストラクション、プログラム又はルーチンを実行することにより、各種機能を実現するようになっている。なお、ECU90は複数のECUで構成されていてもよい。 As shown in FIG. 1, the driver assistance device 10 includes an ECU 90. As shown in FIG. ECU is an abbreviation for electronic control unit. The ECU 90 has a microcomputer as its main part. A microcomputer includes a CPU, ROM, RAM, non-volatile memory, an interface, and the like. The CPU implements various functions by executing instructions, programs or routines stored in the ROM. Note that the ECU 90 may be composed of a plurality of ECUs.

車両100には、車両駆動力発生装置11、ブレーキ装置12及びステアリング装置13が搭載されている。車両駆動力発生装置11は、車両100を走行させるための駆動力を発生し、その駆動力を車両100の駆動輪に与えるための装置である。車両駆動力発生装置11は、例えば、内燃機関、電動モータ等である。ブレーキ装置12は、車両100を制動するための制動力を車両100の車輪に与えるための装置である。ステアリング装置13は、車両100を操舵するための操舵トルクを車両100の操舵輪に与えるための装置である。 A vehicle driving force generator 11 , a brake device 12 and a steering device 13 are mounted on the vehicle 100 . The vehicle driving force generating device 11 is a device for generating a driving force for running the vehicle 100 and applying the driving force to the driving wheels of the vehicle 100 . The vehicle driving force generator 11 is, for example, an internal combustion engine, an electric motor, or the like. Brake device 12 is a device for applying a braking force for braking vehicle 100 to wheels of vehicle 100 . The steering device 13 is a device for applying a steering torque for steering the vehicle 100 to steered wheels of the vehicle 100 .

車両駆動力発生装置11、ブレーキ装置12及びステアリング装置13は、ECU90に電気的に接続されている。ECU90は、車両駆動力発生装置11の作動を制御することにより、車両100の駆動輪に与えられる駆動力を制御する。又、ECU90は、ブレーキ装置12の作動を制御することにより、車両100の車輪に与えられる制動力を制御する。又、ECU90は、ステアリング装置13の作動を制御することにより、車両100の操舵輪に与えられるステアリングトルクを制御する。 The vehicle driving force generator 11 , brake device 12 and steering device 13 are electrically connected to the ECU 90 . The ECU 90 controls the driving force applied to the drive wheels of the vehicle 100 by controlling the operation of the vehicle driving force generator 11 . The ECU 90 also controls the braking force applied to the wheels of the vehicle 100 by controlling the operation of the braking device 12 . The ECU 90 also controls the steering torque applied to the steered wheels of the vehicle 100 by controlling the operation of the steering device 13 .

(センサ等)
運転者支援装置10は、アクセルペダル操作量センサ21、ブレーキペダル操作量センサ22、操舵角センサ23、操舵トルクセンサ24、車速センサ25、ヨーレートセンサ26、前後加速度センサ27、横加速度センサ28、シフト位置センサ29、ソナーセンサ装置30、カメラセンサ装置40、レーダセンサ装置50及びタッチパネル表示部60を備えている。
(sensors, etc.)
The driver assistance device 10 includes an accelerator pedal operation amount sensor 21, a brake pedal operation amount sensor 22, a steering angle sensor 23, a steering torque sensor 24, a vehicle speed sensor 25, a yaw rate sensor 26, a longitudinal acceleration sensor 27, a lateral acceleration sensor 28, a shift A position sensor 29 , a sonar sensor device 30 , a camera sensor device 40 , a radar sensor device 50 and a touch panel display section 60 are provided.

アクセルペダル操作量センサ21は、ECU90に電気的に接続されている。ECU90は、アクセルペダル操作量センサ21を介してアクセルペダル14の操作量APを検出してアクセルペダル操作量APとして取得する。ECU90は、取得したアクセルペダル操作量APに応じた駆動力が車両駆動力発生装置11から車両100の駆動輪に与えられるように車両駆動力発生装置11の作動を制御する。 The accelerator pedal operation amount sensor 21 is electrically connected to the ECU 90 . The ECU 90 detects the operation amount AP of the accelerator pedal 14 via the accelerator pedal operation amount sensor 21 and acquires it as the accelerator pedal operation amount AP. The ECU 90 controls the operation of the vehicle driving force generator 11 so that the driving force corresponding to the acquired accelerator pedal operation amount AP is applied from the vehicle driving force generator 11 to the driving wheels of the vehicle 100 .

ブレーキペダル操作量センサ22は、ECU90に電気的に接続されている。ECU90は、ブレーキペダル操作量センサ22を介して運転者によるブレーキペダル15の操作量BPを検出してブレーキペダル操作量BPとして取得する。ECU90は、取得したブレーキペダル操作量BPに応じて制動力がブレーキ装置12から車両100の車輪に与えられるようにブレーキ装置12の作動を制御する。 The brake pedal operation amount sensor 22 is electrically connected to the ECU 90 . The ECU 90 detects the operation amount BP of the brake pedal 15 by the driver via the brake pedal operation amount sensor 22 and acquires it as the brake pedal operation amount BP. The ECU 90 controls the operation of the brake device 12 so that braking force is applied from the brake device 12 to the wheels of the vehicle 100 in accordance with the acquired brake pedal operation amount BP.

操舵角センサ23は、ECU90に電気的に接続されている。ECU90は、操舵角センサ23を介して中立位置に対するハンドル16の回転角度θstを検出して操舵角θstとして取得する。 The steering angle sensor 23 is electrically connected to the ECU 90 . The ECU 90 detects the rotation angle θst of the steering wheel 16 with respect to the neutral position via the steering angle sensor 23 and acquires it as the steering angle θst.

操舵トルクセンサ24は、ECU90に電気的に接続されている。ECU90は、操舵トルクセンサ24を介して運転者からステアリングシャフト17に入力されたトルクTQstを検出して操舵トルクTQstとして取得する。 The steering torque sensor 24 is electrically connected to the ECU 90 . The ECU 90 detects the torque TQst input from the driver to the steering shaft 17 via the steering torque sensor 24 and obtains it as the steering torque TQst.

ECU90は、取得した操舵角θst及び操舵トルクTQstに応じたステアリングトルクが車両100の操舵輪に与えられるようにステアリング装置13の作動を制御する。 The ECU 90 controls the operation of the steering device 13 so that steering torque corresponding to the obtained steering angle θst and steering torque TQst is applied to the steered wheels of the vehicle 100 .

車速センサ25は、ECU90に電気的に接続されている。ECU90は、車速センサ25を介して車両100の各車輪の回転速度Vrotを検出して各車輪の回転速度Vrotを取得する。ECU90は、取得した各車輪の回転速度Vrotに基づいて車両100の走行速度SPDを車速SPDとして取得する。 The vehicle speed sensor 25 is electrically connected to the ECU 90 . The ECU 90 detects the rotational speed Vrot of each wheel of the vehicle 100 via the vehicle speed sensor 25 and obtains the rotational speed Vrot of each wheel. The ECU 90 acquires the running speed SPD of the vehicle 100 as the vehicle speed SPD based on the acquired rotational speed Vrot of each wheel.

ヨーレートセンサ26は、ECU90に電気的に接続されている。ECU90は、ヨーレートセンサ26を介して車両100のヨーレートYRを検出して車両ヨーレートYRとして取得する。 The yaw rate sensor 26 is electrically connected to the ECU 90 . The ECU 90 detects the yaw rate YR of the vehicle 100 via the yaw rate sensor 26 and acquires it as the vehicle yaw rate YR.

前後加速度センサ27は、ECU90に電気的に接続されている。ECU90は、前後加速度センサ27を介して車両100の前後加速度Gxを検出して車両前後加速度Gxとして取得する。 The longitudinal acceleration sensor 27 is electrically connected to the ECU 90 . The ECU 90 detects the longitudinal acceleration Gx of the vehicle 100 via the longitudinal acceleration sensor 27 and acquires it as the vehicle longitudinal acceleration Gx.

横加速度センサ28は、ECU90に電気的に接続されている。ECU90は、横加速度センサ28を介して車両100の横加速度Gyを検出して車両横加速度Gyとして取得する。 Lateral acceleration sensor 28 is electrically connected to ECU 90 . The ECU 90 detects the lateral acceleration Gy of the vehicle 100 via the lateral acceleration sensor 28 and acquires it as the vehicle lateral acceleration Gy.

シフト位置センサ29は、ECU90に電気的に接続されている。図示しないシフトレバーの位置(シフトポジション)を検出する。本例において、シフトレバーの位置は、駐車位置(P)、前進位置(D)及び後進位置(R)である。ECU90は、シフトレバーの位置をシフト位置センサ29から受け取り、その位置に基づいて車両100の図示しない変速機及び/又は駆動方向切替え機構を制御する(即ち、車両100のシフト制御を行う。)ようになっている。更に、ECU90は、運転者のシフトレバーの操作に基づくことなく、図示しない変速機及び/又は駆動方向切替え機構を制御するとともに、シフトレバーの位置を切り替えることができる。 The shift position sensor 29 is electrically connected to the ECU 90 . A position (shift position) of a shift lever (not shown) is detected. In this example, the positions of the shift lever are park position (P), forward position (D) and reverse position (R). The ECU 90 receives the position of the shift lever from the shift position sensor 29, and controls a transmission (not shown) and/or a driving direction switching mechanism of the vehicle 100 based on the position (that is, performs shift control of the vehicle 100). It has become. Further, the ECU 90 can control the transmission and/or the driving direction switching mechanism (not shown) and switch the position of the shift lever without being based on the operation of the shift lever by the driver.

ソナーセンサ装置30は、第1クリアランスソナー301乃至第12クリアランスソナー312を備えている。以下、必要に応じて、第1クリアランスソナー301乃至第12クリアランスソナー312をまとめて「クリアランスソナー313」と称呼する。 The sonar sensor device 30 includes first clearance sonar 301 to twelfth clearance sonar 312 . Hereinafter, the first clearance sonar 301 to the twelfth clearance sonar 312 are collectively referred to as "clearance sonar 313" as required.

図2に示したように、第1クリアランスソナー301は、車両100の前方左端部から左前方に超音波を放射するように車両100に取り付けられている。第2クリアランスソナー302は、車両100の左側前端から前方に超音波を放射するように車両100に取り付けられている。第3クリアランスソナー303は、車両100の前方右端部から右前方に超音波を放射するように車両100に取り付けられている。第4クリアランスソナー304は、車両100の右側前端から前方に超音波を放射するように車両100に取り付けられている。 As shown in FIG. 2, first clearance sonar 301 is attached to vehicle 100 so as to radiate ultrasonic waves from the front left end of vehicle 100 to the left front. Second clearance sonar 302 is attached to vehicle 100 so as to radiate ultrasonic waves forward from the left front end of vehicle 100 . The third clearance sonar 303 is attached to the vehicle 100 so as to radiate ultrasonic waves from the front right end of the vehicle 100 to the right front. Fourth clearance sonar 304 is attached to vehicle 100 so as to radiate ultrasonic waves forward from the right front end of vehicle 100 .

更に、第5クリアランスソナー305は、車両100の後方左端部から左後方に超音波を放射するように車両100に取り付けられている。第6クリアランスソナー306は、車両100の左側後端から後方に超音波を放射するように車両100に取り付けられている。第7クリアランスソナー307は、車両100の後方右端部から右後方に超音波を放射するように車両100に取り付けられている。第8クリアランスソナー308は、車両100の右側後端から後方に超音波を放射するように車両100に取り付けられている。 Furthermore, the fifth clearance sonar 305 is attached to the vehicle 100 so as to radiate ultrasonic waves from the rear left end of the vehicle 100 to the left rear. Sixth clearance sonar 306 is attached to vehicle 100 so as to radiate ultrasonic waves rearward from the left rear end of vehicle 100 . The seventh clearance sonar 307 is attached to the vehicle 100 so as to radiate ultrasonic waves from the rear right end of the vehicle 100 to the right rear. Eighth clearance sonar 308 is attached to vehicle 100 so as to radiate ultrasonic waves rearward from the right rear end of vehicle 100 .

更に、第9クリアランスソナー309は、車両100の前方左側部から左方に超音波を放射するように車両100に取り付けられている。第10クリアランスソナー310は、車両100の後方左側部から左方に超音波を放射するように車両100に取り付けられている。第11クリアランスソナー311は、車両100の前方右側部から右方に超音波を放射するように車両100に取り付けられている。第12クリアランスソナー312は、車両100の後方右側部から右方に超音波を放射するように車両100に取り付けられている。 Further, the ninth clearance sonar 309 is attached to the vehicle 100 so as to radiate ultrasonic waves leftward from the front left side of the vehicle 100 . Tenth clearance sonar 310 is attached to vehicle 100 so as to radiate ultrasonic waves leftward from the rear left side of vehicle 100 . Eleventh clearance sonar 311 is attached to vehicle 100 so as to radiate ultrasonic waves rightward from the front right side of vehicle 100 . The twelfth clearance sonar 312 is attached to the vehicle 100 so as to emit ultrasonic waves rightward from the rear right side of the vehicle 100 .

クリアランスソナー313は、物体にて反射した超音波を受信する。 The clearance sonar 313 receives ultrasonic waves reflected by an object.

ソナーセンサ装置30は、ECU90に電気的に接続されている。ソナーセンサ装置30は、クリアランスソナー313が放出した超音波及びクリアランスソナー313が受信した超音波等に関する情報をECU90に送信する。ECU90は、ソナーセンサ装置30から受信した情報に基づいて車両100周囲に存在する物体に関する情報を「物体情報」として取得する。 The sonar sensor device 30 is electrically connected to the ECU 90 . The sonar sensor device 30 transmits to the ECU 90 information about ultrasonic waves emitted by the clearance sonar 313 and ultrasonic waves received by the clearance sonar 313 . Based on the information received from the sonar sensor device 30, the ECU 90 acquires information about objects existing around the vehicle 100 as "object information".

図2において、符号Dxで示した方向は、車両100の前後方向であり、以下、この方向を「車両前後方向Dx」と称呼し、符号Dyで示した方向は、車両100の幅方向であり、以下、この方向を「車両幅方向Dy」と称呼する。 In FIG. 2, the direction indicated by symbol Dx is the front-rear direction of the vehicle 100. Hereinafter, this direction is referred to as the "vehicle front-rear direction Dx", and the direction indicated by symbol Dy is the width direction of the vehicle 100. , hereinafter, this direction is referred to as the "vehicle width direction Dy".

カメラセンサ装置40は、前方カメラ41、後方カメラ42、左側カメラ43及び右側カメラ44を備えている。以下、必要に応じて、前方カメラ41、後方カメラ42、左側カメラ43及び右側カメラ44をまとめて「カメラ45」と称呼する。カメラ45は、「撮像装置」とも称呼される。 The camera sensor device 40 includes a front camera 41 , a rear camera 42 , a left camera 43 and a right camera 44 . Hereinafter, the front camera 41, the rear camera 42, the left camera 43, and the right camera 44 are collectively referred to as "camera 45" as necessary. The camera 45 is also called an "imaging device".

図3に示したように、前方カメラ41は、車両100の前方の風景を撮像するように車両100の前端部の中央に取り付けられており、その画角41Aは、約180°である。後方カメラ42は、車両100の後方の風景を撮像するように車両100の後端部の中央に取り付けられており、その画角42Aも、約180°である。左側カメラ43は、車両100の左側の風景を撮像するように車両100の左側部に取り付けられており、その画角43Aも、約180°である。右側カメラ44は、車両100の右側の風景を撮像するように車両100の右側部に取り付けられており、その画角44Aも、略180°である。なお、前方カメラ41は、比較的小さい画角で、車両100の前方の風景を撮像することも可能であり、後方カメラ42は、比較的小さい画角で、車両100の後方の風景を撮像するとも可能である。 As shown in FIG. 3, the front camera 41 is mounted at the center of the front end of the vehicle 100 so as to capture the scenery in front of the vehicle 100, and has an angle of view 41A of about 180°. The rear camera 42 is attached to the center of the rear end of the vehicle 100 so as to capture the scenery behind the vehicle 100, and its angle of view 42A is also about 180°. The left camera 43 is attached to the left side of the vehicle 100 so as to capture the scenery on the left side of the vehicle 100, and its angle of view 43A is also about 180°. The right camera 44 is attached to the right side of the vehicle 100 so as to capture the scenery on the right side of the vehicle 100, and its angle of view 44A is also approximately 180°. Note that the front camera 41 can also capture the scenery in front of the vehicle 100 with a relatively small angle of view, and the rear camera 42 can capture the scenery behind the vehicle 100 with a relatively small angle of view. is also possible.

カメラセンサ装置40は、ECU90に電気的に接続されている。ECU90は、カメラセンサ装置40を介して各カメラ45によって撮像された風景の画像に関する情報を取得することができる。 The camera sensor device 40 is electrically connected to the ECU 90 . The ECU 90 can obtain information about the scenery image captured by each camera 45 via the camera sensor device 40 .

以下、必要に応じて、前方カメラ41によって撮像された風景の画像に関する情報を「前方画像情報IMG1」と称呼し、後方カメラ42によって撮像された風景の画像に関する情報を「後方画像情報IMG2」と称呼し、左側カメラ43によって撮像された風景の画像に関する情報を「左側画像情報IMG3」と称呼し、右側カメラ44によって撮像された風景の画像に関する情報を「右側画像情報IMG4」と称呼する。又、以下、必要に応じて、前方画像情報IMG1、後方画像情報IMG2、左側画像情報IMG3及び右側画像情報IMG4をまとめて「画像情報IMG」と称呼する。 Hereinafter, the information regarding the image of the scenery captured by the front camera 41 will be referred to as "front image information IMG1", and the information regarding the image of the scenery captured by the rear camera 42 will be referred to as "rear image information IMG2". The information regarding the image of the scenery captured by the left camera 43 is referred to as "left image information IMG3", and the information regarding the image of the scenery captured by the right camera 44 is referred to as "right image information IMG4". Further, hereinafter, the front image information IMG1, the rear image information IMG2, the left image information IMG3, and the right image information IMG4 are collectively referred to as "image information IMG" as necessary.

ECU90は、所定時間が経過する毎に、前方画像情報IMG1、後方画像情報IMG2、左側画像情報IMG3及び右側画像情報IMG4を用いて、周辺画像情報を生成する。周辺画像情報に基づいて表示(生成)される画像は「周辺画像」と称呼される。周辺画像は、車両100の周囲の領域の少なくとも一部の範囲に対応する画像であり、カメラ視点画像及び合成画像等を含む。 The ECU 90 generates peripheral image information using the front image information IMG1, the rear image information IMG2, the left image information IMG3, and the right image information IMG4 every time a predetermined time elapses. An image displayed (generated) based on the peripheral image information is called a "peripheral image". The peripheral image is an image corresponding to at least a partial range of the area around the vehicle 100, and includes a camera viewpoint image, a synthesized image, and the like.

カメラ視点画像は、カメラ45のそれぞれのレンズの配設位置を視点とする画像である。
合成画像の一つは、車両100の周囲の任意の位置に設定された仮想視点から車両SVの周囲を見た画像(「仮想視点画像」とも称呼される。)である。
A camera viewpoint image is an image with the arrangement position of each lens of the camera 45 as a viewpoint.
One of the synthesized images is an image of the surroundings of the vehicle SV viewed from a virtual viewpoint set at an arbitrary position around the vehicle 100 (also referred to as a “virtual viewpoint image”).

この仮想視点画像の生成方法は、周知である(例えば、特開2012-217000号公報、特開2016-192772号公報及び特開2018-107754号公報等を参照。)。なお、ECU90は、カメラ視点画像及び仮想視点画像のそれぞれに対して、更に、車両画像(例えば、車両100の形状を示す車両ポリゴンSP)、駐車動作をサポートする線等を構成する図形画像、駐車動作等をサポートするメッセージ等を構成する文字画像を合成(重畳)した画像を生成してもよい。このような画像も周辺画像と称呼される。 This virtual viewpoint image generation method is well known (see, for example, Japanese Patent Application Laid-Open Nos. 2012-217000, 2016-192772, and 2018-107754). It should be noted that the ECU 90 further adds a vehicle image (for example, a vehicle polygon SP representing the shape of the vehicle 100), a graphic image composing a line or the like to support the parking operation, and a parking image to each of the camera viewpoint image and the virtual viewpoint image. An image may be generated by synthesizing (superimposing) character images constituting a message or the like supporting an action or the like. Such an image is also called a peripheral image.

仮想視点画像の基礎となる仮想視点画像情報の生成方法の概要を簡単に説明すると、ECU90は、前方画像情報IMG1、後方画像情報IMG2、左側画像情報IMG3及び右側画像情報IMG4に含まれるピクセル(画素)を、仮想的な3次元空間における所定の投影曲面(例えば、お椀形状の曲面)に投影する。 Briefly explaining the method of generating the virtual viewpoint image information that is the basis of the virtual viewpoint image, the ECU 90 generates pixels included in the front image information IMG1, the rear image information IMG2, the left image information IMG3, and the right image information IMG4. ) is projected onto a predetermined projected curved surface (for example, a bowl-shaped curved surface) in a virtual three-dimensional space.

投影曲面の中心は、車両100の位置として規定される。投影曲面の中心以外の部分は前方画像情報IMG1、後方画像情報IMG2、左側画像情報IMG3及び右側画像情報IMG4に対応している。ECU90は、投影曲面の中心以外の部分に前方画像情報IMG1、後方画像情報IMG2、左側画像情報IMG3及び右側画像情報IMG4に含まれるピクセルの情報を投影する。 The center of the projected curved surface is defined as the position of vehicle 100 . Portions other than the center of the projected curved surface correspond to front image information IMG1, rear image information IMG2, left image information IMG3, and right image information IMG4. The ECU 90 projects pixel information included in the front image information IMG1, the rear image information IMG2, the left image information IMG3, and the right image information IMG4 onto portions other than the center of the projection curved surface.

ECU90は、「車両100の形状を表すポリゴン」を投影曲面の中心に配置する。そして、ECU90は、仮想的な3次元空間に仮想視点を設定し、仮想視点から見て、所定の視野角に含まれる投影曲面のうちの所定領域を画像情報(画像)として切り出す。更に、仮想視点から見た、所定の視野角に含まれる「車両100の形状を表すポリゴン」を、その切り出した画像情報(画像)に重畳する。これにより、仮想視点画像情報が生成される。 The ECU 90 arranges "a polygon representing the shape of the vehicle 100" at the center of the projected curved surface. Then, the ECU 90 sets a virtual viewpoint in a virtual three-dimensional space, and cuts out, as image information (image), a predetermined region of the projected curved surface included in a predetermined viewing angle when viewed from the virtual viewpoint. Furthermore, the "polygon representing the shape of the vehicle 100" included in the predetermined viewing angle viewed from the virtual viewpoint is superimposed on the extracted image information (image). Thereby, virtual viewpoint image information is generated.

レーダセンサ装置50は、第1乃至第5レーダセンサ51a乃至51eを備えている。以下、必要に応じて、第1乃至第5レーダセンサ51a乃至51eをまとめて「レーダセンサ51」と称呼する。 The radar sensor device 50 includes first to fifth radar sensors 51a to 51e. Hereinafter, the first to fifth radar sensors 51a to 51e are collectively referred to as "radar sensor 51" as required.

レーダセンサ51は、ミリ波帯の電波を利用する周知なセンサである。レーダセンサ51は、車両100と立体物との距離、車両100と立体物との相対速度、車両100に対する立体物の相対位置(方向)等を特定するレーダセンサ物標情報を取得し、「レーダセンサ物標情報」をECU90に出力する。 The radar sensor 51 is a known sensor that uses radio waves in the millimeter wave band. The radar sensor 51 acquires radar sensor target information specifying the distance between the vehicle 100 and the three-dimensional object, the relative speed between the vehicle 100 and the three-dimensional object, the relative position (direction) of the three-dimensional object with respect to the vehicle 100, and the like. sensor target information” to the ECU 90.

レーダセンサ51(51a乃至51e)は、図4に示した車両100の所定位置に配設され、以下に述べる所定領域に存在する立体物のレータセンサ物標情報を取得する。 The radar sensors 51 (51a to 51e) are arranged at predetermined positions of the vehicle 100 shown in FIG. 4, and acquire radar sensor target information of three-dimensional objects existing in a predetermined area described below.

レーダセンサ51aは車両100の右前方領域に存在する立体物のレーダセンサ物標情報を取得する。
レーダセンサ51bは車両100の前方領域に存在する立体物のレーダセンサ物標情報を取得する。
レーダセンサ51cは車両100の左前方領域に存在する立体物のレーダセンサ物標情報を取得する。
レーダセンサ51dは車両100の右後方領域に存在する立体物のレーダセンサ物標情報を取得する。
レーダセンサ51eは車両100の左後方領域に存在する立体物のレーダセンサ物標情報を取得する。
The radar sensor 51 a acquires radar sensor target information of a three-dimensional object existing in the front right area of the vehicle 100 .
The radar sensor 51 b acquires radar sensor target information of a three-dimensional object existing in the front area of the vehicle 100 .
The radar sensor 51 c acquires radar sensor target information of a three-dimensional object existing in the left front area of the vehicle 100 .
The radar sensor 51 d acquires radar sensor target information of a three-dimensional object existing in the right rear area of the vehicle 100 .
The radar sensor 51 e acquires radar sensor target information of a three-dimensional object existing in the left rear area of the vehicle 100 .

タッチパネル表示部60は、運転者が視認可能な車両100の箇所に配設されている。本例においては、タッチパネル表示部60は、いわゆるナビゲーション装置が備えるタッチパネル式のディスプレイである。 The touch panel display unit 60 is arranged at a location of the vehicle 100 that can be visually recognized by the driver. In this example, the touch panel display unit 60 is a touch panel type display provided in a so-called navigation device.

タッチパネル表示部60は、ECU90に電気的に接続されている。ECU90は、周辺画像を含む周辺監視画面画像等の各種の画面画像(単に「画面」ともいう。)をタッチパネル表示部60に表示する(表示させる)ことができる。 The touch panel display section 60 is electrically connected to the ECU 90 . The ECU 90 can display (display) various screen images (also referred to simply as “screens”) such as surroundings monitoring screen images including surroundings images on the touch panel display section 60 .

駐車支援スイッチ70は、ユーザにより操作(押圧・押下)されるスイッチである。 The parking assistance switch 70 is a switch operated (pressed/depressed) by the user.

カメラスイッチ80は、ユーザにより操作(押圧・押下)されるスイッチである。 The camera switch 80 is a switch operated (pressed/depressed) by the user.

(運転者支援機能の概要)
車両100は、運転者を支援する運転者支援機能として、駐車支援機能及びパノラミックビューモニタ機能(以下、「PVM機能」と称呼される。)の少なくとも一つ(本例において、両方の機能)を備えている。なお、ある運転者支援機能が有効状態に設定されている(有効である)場合、その運転者支援機能に対応する制御の実行が許容される。ある運転者支援機能が無効状態に設定されている(無効である)場合、その運転者支援機能に対応する制御の実行が許容されない(即ち、禁止される)。
(Outline of driver support function)
The vehicle 100 has at least one of a parking assistance function and a panoramic view monitor function (hereinafter referred to as a “PVM function”) (both functions in this example) as driver assistance functions for assisting the driver. I have. Note that when a certain driver assistance function is set to an enabled state (effective), execution of control corresponding to that driver assistance function is permitted. When a driver assistance function is disabled (disabled), execution of control corresponding to that driver assistance function is not allowed (that is, prohibited).

(駐車支援機能)
駐車支援機能は、車両100の駐車時又は出庫時に車両100を自動的に運転することことにより、運転者による車両の駐車操作(出庫操作)を支援する機能である。なお、駐車支援機能には、周辺画像を含む周辺監視画面を運転者に提示して車両の駐車動作又は出庫動作中の運転者の車両周辺の監視を支援する機能も含まれる。
(parking assistance function)
The parking assistance function is a function that assists the driver in parking the vehicle (leaving the parking lot) by automatically driving the vehicle 100 when the vehicle 100 is parked or exiting the garage. The parking support function also includes a function of presenting a surroundings monitoring screen including a surroundings image to the driver to assist the driver in monitoring the surroundings of the vehicle during parking or exiting the vehicle.

ECU90は、駐車支援機能を実現するための制御を実行するようになっている。この駐車支援機能を実現するための制御は、車両100を自動的に駐車位置から目標駐車位置までに移動させてから駐車状態に設定する自動駐車制御、及び、タッチパネル表示部60に適切な周辺監視画面を表示する表示制御を含む。 The ECU 90 executes control for implementing the parking assist function. The control for realizing this parking support function includes an automatic parking control for automatically moving the vehicle 100 from the parking position to the target parking position and then setting the vehicle to the parking state, and an appropriate peripheral monitoring control for the touch panel display unit 60 . Contains display controls that display the screen.

(パノラミックビューモニタ機能)
PVM機能は、車両100が比較的低速で走行している場合に、タッチパネル表示部60に、俯瞰画像等の周辺画像を含む周辺監視画面を表示することにより、運転者の車両周辺の監視を支援する機能である。ECU90は、PVM機能を実現するための制御を実行するようになっている。このPVM機能を実現するための制御は、タッチパネル表示部60に適切な周辺監視画面を表示する表示制御を含む。
(Panoramic view monitor function)
The PVM function assists the driver in monitoring the surroundings of the vehicle by displaying a surroundings monitoring screen including a surroundings image such as an overhead image on the touch panel display unit 60 when the vehicle 100 is traveling at a relatively low speed. It is a function to The ECU 90 is designed to execute control for realizing the PVM function. Control for realizing this PVM function includes display control for displaying an appropriate peripheral monitoring screen on the touch panel display unit 60 .

(移動体警報機能)
車両100は、注意喚起機能として、移動体警報機能を備えている。移動体警報機能は、レーダセンサ51が取得したレーダセンサ物標情報及びカメラ45が取得した撮像画像に基づいて特定される物体に関する情報(カメラ物標情報)に基づいて、車両100の全周囲の移動体(他車両、歩行者等)を検出し、移動体を検出した場合に、車両100の運転者に注意喚起を行う注意喚起機能である。
(Mobile alarm function)
The vehicle 100 has a moving object warning function as a warning function. The moving object warning function is based on the radar sensor target information acquired by the radar sensor 51 and the information (camera target information) on the object specified based on the imaged image acquired by the camera 45. This is a warning function that detects a moving object (another vehicle, a pedestrian, etc.) and warns the driver of the vehicle 100 when the moving object is detected.

運転者に対する注意喚起としては、周辺画像を含む注意喚起画面の表示等が挙げられる。ECU90は、移動体警報機能を実現するための制御を実行するようになっている。 Display of a warning screen including a peripheral image may be used to call the driver's attention. The ECU 90 is adapted to execute control for realizing the mobile object warning function.

ECU90は、レーダセンサ51及びカメラ45が移動体を検出することにより注意喚起画面の表示条件(移動体警報画面の表示条件)が成立した場合、注意喚起画面として、移動体警報画面をタッチパネル表示部60に表示する。ECU90は、レーダセンサ51及びカメラ45が移動体を検出しなくなったことにより、注意喚起画面の表示終了条件(移動体警報画面の終了条件)が成立した場合、タッチパネル表示部60に表示している移動体警報画面の表示を終了する。 When the radar sensor 51 and the camera 45 detect a moving object and the display condition of the attention calling screen (the display condition of the moving object warning screen) is met, the ECU 90 displays the moving object warning screen as the attention calling screen on the touch panel display unit. 60. When the radar sensor 51 and the camera 45 no longer detect the moving object and the conditions for ending the display of the warning screen (conditions for ending the moving object alarm screen) are satisfied, the ECU 90 displays the screen on the touch panel display unit 60 . End the display of the mobile alarm screen.

移動体警報画面は、第1移動体警報画像と第2移動体警報画像とを含む。第1移動体警報画像は、図5Aに示した前方移動体警報画像Ga1及び図5Bに示した後方移動体警報画像Ga2の2種類ある。 The mobile warning screen includes a first mobile warning image and a second mobile warning image. There are two types of the first moving object warning image: the front moving object warning image Ga1 shown in FIG. 5A and the backward moving object warning image Ga2 shown in FIG. 5B.

図5Aに示した前方移動体警報画像Ga1は、前方カメラ41のカメラ視点画像Gfcと、カメラ視点画像Gfcに重ねて表示される第1移動体方向マークMC1、第2移動体方向マークMC2及び第3移動体方向マークMC3を含む。第1移動体方向マークMC1、第2移動体方向マークMC2及び第3移動体方向マークMC3は、検出した移動体の車両への接近方向を示すマーク(後述の第4乃至第14移動体方向マークMC4乃至MC14も同様。)である。図示は省略するが、前方移動体警報画像Ga1は、駐車動作をサポートする線等を構成する図形画像等が更にカメラ視点画像Gfcに重ねて表示された画像であってもよい。。 The front moving object warning image Ga1 shown in FIG. 5A includes a camera viewpoint image Gfc of the front camera 41, and a first moving object direction mark MC1, a second moving object direction mark MC2, and a second moving object direction mark MC2 superimposed on the camera viewpoint image Gfc. 3 includes a mobile orientation mark MC3. The first moving body direction mark MC1, the second moving body direction mark MC2, and the third moving body direction mark MC3 are marks (fourth to fourteenth moving body direction marks to be described later) that indicate the approach direction of the detected moving body to the vehicle. The same applies to MC4 to MC14.). Although illustration is omitted, the front moving object warning image Ga1 may be an image in which a graphic image or the like constituting a line or the like that supports the parking operation is further superimposed on the camera viewpoint image Gfc and displayed. .

第1移動体方向マークMC1は、前方カメラ41のカメラ視点画像Gfc中の車両100の前方中央の所定位置P1に重ねて表示されている。第2移動体方向マークMC2は、前方カメラ41のカメラ視点画像Gfc中の車両100の右前方の所定位置P2に重ねて表示されている。第3移動体方向マークMC3は、前方カメラ41のカメラ視点画像Gfc中の車両100の左前方の所定位置P3に重ねて表示されている。 The first moving body direction mark MC<b>1 is superimposed on a predetermined position P<b>1 in front of the vehicle 100 in the camera viewpoint image Gfc of the front camera 41 . The second moving body direction mark MC2 is superimposed and displayed at a predetermined position P2 on the right front of the vehicle 100 in the camera viewpoint image Gfc of the front camera 41 . The third moving body direction mark MC3 is superimposed and displayed at a predetermined position P3 on the left front of the vehicle 100 in the camera viewpoint image Gfc of the front camera 41 .

なお、図5Aでは、前方移動体警報画像Ga1中に第1乃至第3移動体方向マークMC1乃至MC3が全て表示されているが、これらの第1乃至第3移動体方向マークMC1乃至MC3の表示は、検出された移動体の方位(車両100を基準とした方位)に基づき制御される。即ち、例えば、検出された移動体と方位が共通する位置の移動体方向マークが表示され、検出された移動体と方位が共通しない位置の移動体方向マークは表示されない。 Note that in FIG. 5A, the first to third moving body direction marks MC1 to MC3 are all displayed in the forward moving body warning image Ga1, and these first to third moving body direction marks MC1 to MC3 are displayed. is controlled based on the detected azimuth of the moving object (azimuth with respect to the vehicle 100). That is, for example, a moving body direction mark at a position having the same orientation as that of the detected moving body is displayed, and a moving body direction mark at a position having a different bearing from that of the detected moving body is not displayed.

図5Bに示した後方移動体警報画像Ga2は、後方カメラ42のカメラ視点画像Gbcと、カメラ視点画像Gbcに重ねて表示される第4移動体方向マークMC4、第5移動体方向マークMC5及び第6移動体方向マークMC6とを含む。なお、図示は省略するが、後方移動体警報画像Ga2は、駐車動作をサポートする線等を構成する図形画像等が更にカメラ視点画像Gbcに重ねて表示された画像であってもよい。 The rearward moving object warning image Ga2 shown in FIG. 5B includes a camera viewpoint image Gbc of the rear camera 42, and a fourth moving object direction mark MC4, a fifth moving object direction mark MC5, and a fourth moving object direction mark MC5 superimposed on the camera viewpoint image Gbc. 6 mobile body direction mark MC6. Although illustration is omitted, the rearward moving object warning image Ga2 may be an image in which a graphic image or the like constituting a line or the like that supports the parking operation is further superimposed on the camera viewpoint image Gbc.

第4移動体方向マークMC4は、後方カメラ42のカメラ視点画像Gbc中の車両100の後方中央の所定位置P4に重ねて表示されている。第5移動体方向マークMC5は、後方カメラ42のカメラ視点画像Gbc中の車両100の右後方の所定位置P5に表示されている。第6移動体方向マークMC6は、後方カメラ42のカメラ視点画像Gbc中の車両100の左後方の所定位置P6に重ねて表示されている。 The fourth moving body direction mark MC4 is superimposed and displayed at a predetermined position P4 at the rear center of the vehicle 100 in the camera viewpoint image Gbc of the rear camera 42 . The fifth moving object direction mark MC<b>5 is displayed at a predetermined position P<b>5 on the right rear of the vehicle 100 in the camera viewpoint image Gbc of the rear camera 42 . The sixth moving body direction mark MC6 is superimposed and displayed at a predetermined position P6 on the left rear of the vehicle 100 in the camera viewpoint image Gbc of the rear camera .

なお、図5Bでは、後方移動体警報画像Ga2中に第4乃至第6移動体方向マークMC4乃至MC6が全て表示されているが、これらの第4乃至第6移動体方向マークMC4乃至MC6の表示は、検出された移動体の方位に基づき制御される。即ち、例えば、検出された移動体と方位が共通する位置の移動体方向マークが表示され、検出された移動体と方位が共通しない位置の移動体方向マークは表示されない。 In FIG. 5B, the fourth to sixth moving body direction marks MC4 to MC6 are all displayed in the backward moving body warning image Ga2. is controlled based on the detected orientation of the moving object. That is, for example, a moving body direction mark at a position having the same orientation as that of the detected moving body is displayed, and a moving body direction mark at a position having a different bearing from that of the detected moving body is not displayed.

第2移動体警報画像は、図6に示した全周囲移動体警報画像G1bの一種類である。図6に示したように、俯瞰画像G1hと、車両ポリゴンSPと、俯瞰画像G1hに重ねて表示される第7移動体方向マークMC7、第8移動体方向マークMC8、第9移動体方向マークMC9、第10移動体方向マークMC10、第11移動体方向マークMC11、第12移動体方向マークMC12、第13移動体方向マークMC13及び第14移動体方向マークMC14と、を含む。なお、図示は省略するが、全周囲移動体警報画像G1bは、駐車動作をサポートする線等を構成する図形画像等が更に俯瞰画像G1hに重ねて表示された画像であってもよい。 The second moving object warning image is one type of the omnidirectional moving object warning image G1b shown in FIG. As shown in FIG. 6, the bird's-eye view image G1h, the vehicle polygon SP, and the seventh moving body direction mark MC7, the eighth moving body direction mark MC8, and the ninth moving body direction mark MC9 superimposed on the bird's-eye view image G1h are displayed. , a tenth vehicle direction mark MC10, an eleventh vehicle direction mark MC11, a twelfth vehicle direction mark MC12, a thirteenth vehicle direction mark MC13 and a fourteenth vehicle direction mark MC14. Although illustration is omitted, the omnidirectional moving object warning image G1b may be an image in which a graphic image or the like constituting lines or the like for supporting the parking operation is further superimposed on the bird's-eye view image G1h and displayed.

第7移動体方向マークMC7は、俯瞰画像G1h中の車両100の前方中央の所定位置P7に重ねて表示されている。第8移動体方向マークMC8は、俯瞰画像G1h中の車両100の右前方の所定位置P8に重ねて表示されている。第9移動体方向マークMC9は、俯瞰画像G1h中の車両100の左前方の所定位置P9に重ねて表示されている。第10移動体方向マークMC10は、俯瞰画像G1h中の車両100の右の所定位置P10に重ねて表示されている。第11移動体方向マークMC11は、俯瞰画像G1h中の車両100の左の所定位置P11に重ねて表示されている。第12移動体方向マークMC12は、俯瞰画像G1h中の車両100の後方中央の所定位置P12に重ねて表示されている。第13移動体方向マークMC13は、俯瞰画像G1h中の車両100の右後方の所定位置P13に重ねて表示されている。第14移動体方向マークMC14は、俯瞰画像G1h中の車両100の左後方の所定位置P14に重ねて表示されている。 The seventh moving body direction mark MC7 is superimposed and displayed at a predetermined position P7 at the front center of the vehicle 100 in the bird's-eye view image G1h. The eighth moving body direction mark MC8 is superimposed on a predetermined position P8 on the right front of the vehicle 100 in the bird's-eye view image G1h. The ninth moving body direction mark MC9 is superimposed and displayed at a predetermined position P9 on the left front of the vehicle 100 in the overhead image G1h. The tenth moving object direction mark MC10 is displayed superimposed on a predetermined position P10 on the right of the vehicle 100 in the overhead image G1h. The eleventh moving body direction mark MC11 is displayed superimposed on a predetermined position P11 on the left of the vehicle 100 in the overhead image G1h. The twelfth moving body direction mark MC12 is superimposed on a predetermined position P12 at the rear center of the vehicle 100 in the overhead image G1h. The thirteenth moving body direction mark MC13 is superimposed on a predetermined position P13 on the right rear of the vehicle 100 in the bird's-eye view image G1h. The fourteenth moving body direction mark MC14 is superimposed on a predetermined position P14 on the left rear of the vehicle 100 in the bird's-eye view image G1h.

なお、図6では、全周囲移動体警報画像G1b中に第7乃至第14移動体方向マークMC7乃至MC14が全て表示されているが、これらの第7乃至第14移動体方向マークMC7乃至MC14の表示は、検出された移動体の方位に基づき制御される。即ち、例えば、検出された移動体と方位が共通する位置の移動体方向マークが表示され、検出された移動体と方位が共通しない位置の移動体方向マークは表示されない。 In FIG. 6, the seventh to fourteenth moving body direction marks MC7 to MC14 are all displayed in the omnidirectional moving body warning image G1b. The display is controlled based on the detected orientation of the moving object. That is, for example, a moving body direction mark at a position having the same orientation as that of the detected moving body is displayed, and a moving body direction mark at a position having a different bearing from that of the detected moving body is not displayed.

<表示制御の概要>
(駐車支援表示モード)
駐車支援スイッチ70に対して所定のタイミングで所定の操作が行われると、ECU90は、タッチパネル表示部60に表示される画像の表示モードを駐車支援表示モードに設定する。駐車支援表示モードは、駐車支援機能が有効状態に設定されている場合にタッチパネル表示部60に表示される画像の表示モードである。
<Outline of display control>
(Parking assistance display mode)
When a predetermined operation is performed on the parking assistance switch 70 at a predetermined timing, the ECU 90 sets the display mode of the image displayed on the touch panel display section 60 to the parking assistance display mode. The parking assistance display mode is a display mode of an image displayed on the touch panel display unit 60 when the parking assistance function is set to be enabled.

駐車支援表示モードでは、ECU90は、シフトポジションが「D」又は「N」である状態で、車両100が前進又は停止している場合、例えば、図7に示した駐車支援画面G1をタッチパネル表示部60に表示する。 In the parking assistance display mode, the ECU 90 displays, for example, the parking assistance screen G1 shown in FIG. 60.

駐車支援画面G1は、左側領域(想像線Inの左側の領域)と、右側領域(想像線Inの右側の領域)とに区分される。 The parking assistance screen G1 is divided into a left area (area on the left side of the imaginary line In) and a right area (area on the right side of the imaginary line In).

駐車支援画面G1の左側領域は、左支援画像G1Lと、カスタマイズボタンBtcと、アイコンIc1と、アイコンIc2と、メッセージMs1と、メッセージMs2とを含む。 A left area of the parking assistance screen G1 includes a left assistance image G1L, a customize button Btc, an icon Ic1, an icon Ic2, a message Ms1, and a message Ms2.

左支援画像G1Lは、前方カメラ41のカメラ視点画像G1cと、このカメラ視点画像G1cに重ねて表示される線等で構成されたサポート図形画像GS1Lとを含む。なお、本例において、カメラ視点画像G1cの種類は、例えば、比較的に狭角のカメラ視点画像であるノーマルビュー画像と、比較的に広角のカメラ視点画像であるワイドビュー画像との2種類の画像がある。図7に示したカメラ視点画像G1cは、前方カメラ41の比較的に挟角のカメラ視点画像であるノーマルビュー画像である。 The left support image G1L includes a camera viewpoint image G1c of the front camera 41 and a support graphic image GS1L composed of lines and the like superimposed on the camera viewpoint image G1c. In this example, there are two types of camera viewpoint images G1c, for example, a normal view image that is a relatively narrow-angle camera viewpoint image and a wide-view image that is a relatively wide-angle camera viewpoint image. I have an image. A camera viewpoint image G1c shown in FIG. 7 is a normal view image that is a camera viewpoint image of the front camera 41 with a relatively narrow angle.

カスタマイズボタンBtcは、カスタマイズ画面に切り替えて表示するためにユーザによってタッチ操作される画像で構成されるボタンである。タッチパネル表示部60に表示されたカスタマイズボタンBtcは、そのカスタマイズボタンBtcにユーザが触れることにより操作される。この操作は「タッチ操作」と称呼される。タッチパネル表示部60に表示されたカスタマイズボタンBtに対するタッチ操作によりそのタッチ操作に応じた操作信号が発生する。ECU90は、この発生した操作信号を受信する。 The customization button Btc is a button configured by an image that is touch-operated by the user in order to switch and display the customization screen. The customize button Btc displayed on the touch panel display unit 60 is operated by the user touching the customize button Btc. This operation is called a "touch operation". An operation signal corresponding to the touch operation is generated by a touch operation on the customize button Bt displayed on the touch panel display section 60 . The ECU 90 receives this generated operation signal.

ECU90は、車両100が停止状態にあるとき、カスタマイズボタンBtcを、カスタマイズボタンBtcに対するタッチ操作を受け付けできない状態に設定する。ECU90は、車両100が停止状態ではないとき(即ち、車両100が動いているとき)、カスタマイズボタンBtcに対するタッチ操作を受け付け可能な状態に設定する。 When vehicle 100 is in a stopped state, ECU 90 sets customize button Btc to a state in which a touch operation on customize button Btc cannot be accepted. When the vehicle 100 is not in a stopped state (that is, when the vehicle 100 is in motion), the ECU 90 sets a state in which a touch operation on the customize button Btc can be accepted.

ECU90は、カスタマイズボタンBtcに対するタッチ操作の受け付け状態に基づいて、カスタマイズボタンBtcを第1表示態様及び第2表示態様の何れかで表示する。カスタマイズボタンBtcに対するタッチ操作を受け付け可能な状態である場合、ECU90は、カスタマイズボタンBtcを第1表示態様で表示する。カスタマイズボタンBtcに対するタッチ操作を受け付けできない状態である場合、ECU90は、カスタマイズボタンBtcを第2表示態様で表示する。 The ECU 90 displays the customize button Btc in either the first display mode or the second display mode based on the acceptance state of the touch operation on the customize button Btc. When the touch operation on the customize button Btc can be accepted, the ECU 90 displays the customize button Btc in the first display mode. When the touch operation on the customize button Btc cannot be accepted, the ECU 90 displays the customize button Btc in the second display mode.

なお、図7のカスタマイズボタンBtcは、車両100が移動状態(停止していない状態)にあるので、第2表示態様(例えば、トーンダウン(暗い状態))で表示されている。従って、図7の駐車支援画面G1は、カスタマイズボタンBtcに対するタッチ操作が受け付けできない状態にある。 Note that the customization button Btc in FIG. 7 is displayed in a second display mode (for example, toned down (dark state)) because the vehicle 100 is in a moving state (a non-stop state). Therefore, the parking assistance screen G1 of FIG. 7 is in a state where the touch operation on the customize button Btc cannot be accepted.

車両100が停止状態になると、ECU90は、カスタマイズボタンBtcのタッチ操作を受け付け可能な状態に設定すると共に、カスタマイズボタンBtcを第2表示態様からブロックBR1中に示した第1表示態様(例えば、トーンアップ(明るくされた状態))に切り替えて表示する。 When the vehicle 100 is stopped, the ECU 90 sets the customization button Btc to a state in which it is possible to accept a touch operation, and changes the customization button Btc from the second display mode to the first display mode (for example, tone display mode) shown in the block BR1. up (brightened state)).

アイコンIc1は、駐車支援機能の作動状態を示すために表示される。ECU90は、駐車支援機能が有効状態である場合、アイコンIc1を表示し、駐車支援機能が有効状態ではない場合、アイコンIc1を非表示にする。アイコンIc2は、カメラ視点画像G1cのカメラの種類(前方カメラ41及び後方カメラ42の何れのカメラ視点画像であるか)並びにカメラ視点画像G1cが比較的に挟角及び比較的に広角の何れのカメラ視点画像であるかを示す。ECU90は、カメラ視点画像G1cの種類等に応じた適切なアイコンIc2を表示する。 Icon Ic1 is displayed to indicate the operating state of the parking assist function. The ECU 90 displays the icon Ic1 when the parking support function is enabled, and hides the icon Ic1 when the parking support function is not enabled. The icon Ic2 indicates the type of the camera of the camera viewpoint image G1c (which camera viewpoint image is the front camera 41 or the rear camera 42) and which camera the camera viewpoint image G1c has a relatively narrow angle or a relatively wide angle. Indicates whether it is a viewpoint image. The ECU 90 displays an appropriate icon Ic2 according to the type of the camera viewpoint image G1c.

メッセージM1及びメッセージMS2は、車両の移動方向を運転者に提示するためや運転者の車両周辺の監視等を支援するために表示されるメッセージ(文字)である。ECU90は、車両100の状況に応じた適切なメッセージM1及びメッセージMS2を表示する。サポート図形画像GS1Lは、運転者の車両周辺の監視等をサポート等するために表示される The message M1 and the message MS2 are messages (characters) displayed to present the moving direction of the vehicle to the driver and to assist the driver in monitoring the surroundings of the vehicle. The ECU 90 displays appropriate messages M1 and MS2 according to the situation of the vehicle 100. FIG. The support graphic image GS1L is displayed to support the driver's monitoring of the surroundings of the vehicle.

駐車支援画面G1の右側領域は、右支援画像G1Rを含む。右支援画像G1Rは、俯瞰画像G1hと、俯瞰画像G1hに重ねて表示される線等で構成されたサポート図形画像GS1Rと、車両ポリゴンSPとを含む。サポート図形画像GS1Rは、サポート図形画像GS1Lと同様、運転者の車両周辺の監視等をサポート等するために表示される図形画像である。 A right area of the parking assistance screen G1 includes a right assistance image G1R. The right support image G1R includes a bird's-eye view image G1h, a support graphic image GS1R composed of lines and the like superimposed on the bird's-eye view image G1h, and a vehicle polygon SP. The support graphic image GS1R, like the support graphic image GS1L, is a graphic image displayed to support the driver's monitoring of the surroundings of the vehicle.

更に、この駐車支援表示モードでは、シフトポジションが「R」である状態で、車両100が後退又は停止している場合、ECU90は、例えば、図8に示した駐車支援画面G2をタッチパネル表示部60に表示する。 Furthermore, in this parking assistance display mode, when the vehicle 100 is reversed or stopped with the shift position in the "R" state, the ECU 90 displays, for example, the parking assistance screen G2 shown in FIG. to display.

駐車支援画面G2の左側領域は、左支援画像G2Lと、カスタマイズボタンBtcと、アイコンIc1と、アイコンIc2と、メッセージMs1と、メッセージMs2とを含む。 A left area of the parking assistance screen G2 includes a left assistance image G2L, a customize button Btc, an icon Ic1, an icon Ic2, a message Ms1, and a message Ms2.

左支援画像G2Lは、後方カメラ42のカメラ視点画像G2cと、このカメラ視点画像G2cに重ねて表示される線等で構成されたサポート図形画像GS1Lとを含む。なお、図8のカメラ視点画像G2cは、後方カメラ42のノーマルビュー画像である。 The left support image G2L includes a camera viewpoint image G2c of the rear camera 42 and a support graphic image GS1L composed of lines and the like superimposed on the camera viewpoint image G2c. Note that the camera viewpoint image G2c in FIG. 8 is a normal view image of the rear camera 42. As shown in FIG.

駐車支援画面G2の右側領域は、右支援画像G2Rを含む。右支援画像G2Rは、俯瞰画像G1hと、俯瞰画像G1hに重ねて表示される線等で構成されたサポート図形画像GS1Rと、車両ポリゴンSPとを含む。 A right area of the parking assistance screen G2 includes a right assistance image G2R. The right support image G2R includes a bird's-eye view image G1h, a support graphic image GS1R composed of lines and the like superimposed on the bird's-eye view image G1h, and a vehicle polygon SP.

<作動の概要>
例えば、表示モードが駐車支援表示モードである場合に、シフトポジションが「D」又は「N」である状態で、車両100の運転者がブレーキ操作を行うことにより、車両100が停止している状況を想定する。更に、この場合において、移動体警報機能が有効状態に設定されている状況を想定する。
<Outline of operation>
For example, when the display mode is the parking assistance display mode, the driver of the vehicle 100 performs a brake operation in a state where the shift position is "D" or "N", and the vehicle 100 is stopped. assume. Furthermore, in this case, assume a situation in which the mobile unit warning function is set to an enabled state.

この場合において、例えば、図9に示したカスタマイズボタンBtcが第1表示態様で表示されていることのみ図7と異なる駐車支援画面G3が表示されている状況を想定する。 In this case, for example, a situation is assumed in which the parking assistance screen G3 is displayed that differs from FIG. 7 only in that the customize button Btc shown in FIG. 9 is displayed in the first display mode.

この状況の場合に、駐車支援画面G3中に第1表示態様で表示されているカスタマイズボタンBtcがタッチ操作されると、ECU90は、タッチパネル表示部60に表示されている駐車支援画面G3を図10Aに示したカスタマイズ画面G4aに切り替えて、カスタマイズ画面G4aをタッチパネル表示部60に表示する。 In this situation, when the customization button Btc displayed in the first display mode on the parking assistance screen G3 is touch-operated, the ECU 90 changes the parking assistance screen G3 displayed on the touch panel display unit 60 to the state shown in FIG. 10A. to the customization screen G4a shown in FIG.

カスタマイズ画面G4aは、駐車支援機能の作動内容を調整するために操作される操作画面である。カスタマイズ画面G4aは、複数のフレームFRのそれぞれの中に表示された設定変更可能な機能の名称、機能の作動内容及び機能の設定値等の設定を変更するためにタッチ操作される機能変更ボタンBt1、カスタマイズ画面を別のカスタマイズ画面に切り替えるためにタッチ操作される画面切替ボタンBt2及びBt3、並びに、戻るボタンBtr等を含む。 The customization screen G4a is an operation screen operated to adjust the details of the operation of the parking assistance function. The customization screen G4a includes function change buttons Bt1 that are touch-operated to change settings such as the name of the function whose setting can be changed, the contents of operation of the function, and the setting value of the function displayed in each of the plurality of frames FR. , screen switching buttons Bt2 and Bt3 touch-operated to switch the customization screen to another customization screen, a return button Btr, and the like.

なお、図10Bに示したカスタマイズ画面G4bは、PVM機能の作動内容を調整するために操作される操作画面である。図10Aのカスタマイズ画面G4aが表示されているときに、画面切替ボタンBt3がタッチ操作されると、ECU90は、図10Aに示したカスタマイズ画面G4aを、図10Bに示したカスタマイズ画面G4bに切り替えて表示する。図10Bのカスタマイズ画面G4bが表示されているときに、画面切替ボタンBt2がタッチ操作されると、ECU90は、図10Bに示したカスタマイズ画面G4bを、図10Aに示したカスタマイズ画面G4aに切り替えて表示する。 Note that the customization screen G4b shown in FIG. 10B is an operation screen that is operated to adjust the operation details of the PVM function. When the screen switching button Bt3 is touch-operated while the customization screen G4a of FIG. 10A is displayed, the ECU 90 switches and displays the customization screen G4a shown in FIG. 10A to the customization screen G4b shown in FIG. 10B. do. When the screen switching button Bt2 is touch-operated while the customization screen G4b of FIG. 10B is displayed, the ECU 90 switches and displays the customization screen G4b shown in FIG. 10B to the customization screen G4a shown in FIG. 10A. do.

更に、図10Aに示したカスタマイズ画面G4aをタッチパネル表示部60に表示している場合に、注意喚起機能(本例において、移動体警報機能)が有効状態にある状況を想定する。更に、この状況で、車両100の右前方側から車両100に接近する移動体を検出することにより、注意喚起画面表示条件が成立した状況を想定する。 Furthermore, it is assumed that the alerting function (moving object warning function in this example) is enabled when the customization screen G4a shown in FIG. 10A is displayed on the touch panel display unit 60 . Further, in this situation, a situation is assumed in which a moving object approaching the vehicle 100 from the front right side of the vehicle 100 is detected, and thus the condition for displaying the warning screen is established.

この場合、ECU90は、カスタマイズ画面G4aを、図11に示した移動体警報画面G5に切り替えて、移動体警報画面G5をタッチパネル表示部60に表示する。 In this case, the ECU 90 switches the customization screen G4a to the moving object warning screen G5 shown in FIG.

移動体警報画面G5の左側領域は、前方移動体警報画像Ga1と、カスタマイズボタンBtcと、アイコンIc1と、アイコンIc2と、メッセージMs1と、メッセージMs2とを含む。 The left area of the moving object warning screen G5 includes a forward moving object warning image Ga1, a customize button Btc, an icon Ic1, an icon Ic2, a message Ms1, and a message Ms2.

前方移動体警報画像Ga1は、前方カメラ41のカメラ視点画像G1cと、カメラ視点画像G1cに重ねて表示されるサポート図形画像GS1Lと、第2移動体方向マークMC2とを含む。カメラ視点画像G1cは、前方カメラ41のノーマルビュー画像である。なお、カメラ視点画像G1cは、前方カメラ41のワイドビュー画像であってもよい。第2移動体方向マークMC2は、カメラ視点画像G1c中の、検出された移動体と方位(車両100を基準とした方位)が共通する車両100の周辺の所定位置(本例において、右前方の移動体と方位が共通する車両100の右前方の所定位置P2)に重ねて表示されている。 The front moving object warning image Ga1 includes a camera viewpoint image G1c of the front camera 41, a support graphic image GS1L superimposed on the camera viewpoint image G1c, and a second moving object direction mark MC2. A camera viewpoint image G1c is a normal view image of the front camera 41 . Note that the camera viewpoint image G1c may be a wide-view image of the front camera 41. FIG. The second moving object direction mark MC2 is a predetermined position around the vehicle 100 that shares the same orientation (orientation with respect to the vehicle 100) as the detected moving object in the camera viewpoint image G1c (in this example, the right front mark). It is superimposed and displayed at a predetermined position P2) on the right front of the vehicle 100 having the same orientation as the moving object.

移動体警報画面G5の右側領域は、全周囲移動体警報画像G1bを含む。全周囲移動体警報画像G1bは、俯瞰画像G1hと、俯瞰画像G1hに重ねて表示されるサポート図形画像GS1R、第8移動体方向マークMC8及び車両ポリゴンSPとを含む。第8移動体方向マークMC8は、俯瞰画像G1h中の、検出された移動体と方位が共通する車両100の周辺の所定位置(本例において、右前方の移動体と方位が共通する車両100の右前方の所定位置P8)に重ねて表示されている。 The right area of the moving object warning screen G5 includes the omnidirectional moving object warning image G1b. The omnidirectional moving object warning image G1b includes a bird's-eye view image G1h, a support graphic image GS1R superimposed on the bird's-eye view image G1h, an eighth moving body direction mark MC8, and a vehicle polygon SP. The eighth moving object direction mark MC8 is a predetermined position around the vehicle 100 that shares the same orientation with the detected moving object in the bird's-eye view image G1h (in this example, the position of the vehicle 100 that shares the same orientation with the moving object on the right front). It is superimposed and displayed at a predetermined position P8) on the front right.

その後、移動体警報画面G5の表示終了条件が成立すると、ECU90は、タッチパネル表示部60に表示中の図11に示した移動体警報画面G5を、図10Aに示したカスタマイズ画面G4aに切り替えて、再び、カスタマイズ画面G4aをタッチパネル表示部60に表示する。 After that, when the condition for terminating the display of the moving object warning screen G5 is satisfied, the ECU 90 switches the moving object warning screen G5 shown in FIG. The customization screen G4a is displayed on the touch panel display section 60 again.

なお、タッチパネル表示部60に表示中のカスタマイズ画面G4aの戻るボタンBtrがタッチ操作されることにより、カスタマイズ画面G4aの表示終了条件が成立した場合、ECU90は、タッチパネル表示部60に表示されているカスタマイズ画面G4aを、図9に示した駐車支援画面G3に切り替えて、駐車支援画面G3をタッチパネル表示部60に表示する。 When the return button Btr of the customization screen G4a being displayed on the touch panel display section 60 is touch-operated to end the display of the customization screen G4a, the ECU 90 returns the customization displayed on the touch panel display section 60. The screen G4a is switched to the parking assistance screen G3 shown in FIG. 9 to display the parking assistance screen G3 on the touch panel display section 60. FIG.

(PVM表示モード)
車両100が所定の状態にあるときに、カメラスイッチ80が操作されると、ECU90は、タッチパネル表示部60に表示される画像の表示モードをPVM表示モードに設定する。PVM表示モードは、PVM機能が有効状態に設定されている場合に表示される画像の表示モードである。
(PVM display mode)
When the camera switch 80 is operated while the vehicle 100 is in a predetermined state, the ECU 90 sets the display mode of the image displayed on the touch panel display portion 60 to the PVM display mode. The PVM display mode is a display mode of images displayed when the PVM function is set to the enabled state.

PVM表示モードでは、カメラスイッチ80が操作されたときのシフトポジションに応じて、所定の周辺画像を含む周辺監視画面(以下、「PVM画面」とも称呼される。)が表示される。PVM画面は、例えば、車両回りの斜め上方から見たような合成画像又は俯瞰画像及びカメラ視点画像の両方を含む画面である。 In the PVM display mode, a surroundings monitoring screen (hereinafter also referred to as "PVM screen") including a predetermined surroundings image is displayed according to the shift position when the camera switch 80 is operated. The PVM screen is, for example, a screen including both a composite image or a bird's-eye view image and a camera viewpoint image as seen obliquely from above around the vehicle.

更に、図示しないPVM画面に含まれる画面切り替えスイッチに対するタッチ操作によって、PVM画面(例えば、俯瞰画像及びカメラ視点画像を含む画面)を、別の種類のPVM画面(例えば、左側カメラ43のカメラ視点画像及び右側カメラ44のカメラ視点画像を含む画面)等に切り替えることができる。 Furthermore, a PVM screen (for example, a screen including a bird's-eye view image and a camera viewpoint image) can be changed to another type of PVM screen (for example, a camera viewpoint image of the left camera 43) by a touch operation on a screen changeover switch included in the PVM screen (not shown). and a screen including camera viewpoint images of the right camera 44).

<作動の概要>
例えば、表示モードがPVM表示モードである場合に、シフトポジションが「D」又は「N」である状態で、ユーザがブレーキ操作を行うことにより、車両100が停止している状況を想定する。
<Outline of operation>
For example, when the display mode is the PVM display mode, it is assumed that the vehicle 100 is stopped by the user performing a brake operation while the shift position is "D" or "N".

この場合、ECU90は、上述した駐車支援表示モードと同様、カスタマイズボタンBtcを含むPVM画面(俯瞰画像及びカメラ視点画像を含む画面(不図示))を表示する。このPVM画面中のカスタマイズボタンBtcがタッチ操作されると、タッチパネル表示部60に表示されているPVM画面を、図10Bに示したカスタマイズ画面G4bに切り替えて、カスタマイズ画面G4bをタッチパネル表示部60に表示する。 In this case, the ECU 90 displays a PVM screen (a screen including a bird's-eye view image and a camera viewpoint image (not shown)) including the customize button Btc, as in the parking assistance display mode described above. When the customization button Btc in the PVM screen is touch-operated, the PVM screen displayed on the touch panel display section 60 is switched to the customization screen G4b shown in FIG. do.

更に、カスタマイズ画面G4bをタッチパネル表示部60に表示している間に、注意喚起機能(本例において、移動体警報機能)が有効状態にあって、注意喚起画面表示条件が成立した場合、ECU90は、PVM画面を、移動体警報画面に切り替えて、移動体警報画面をタッチパネル表示部60に表示する。 Furthermore, while the customization screen G4b is being displayed on the touch panel display unit 60, if the attention calling function (moving object warning function in this example) is in a valid state and the attention calling screen display condition is satisfied, the ECU 90 , the PVM screen is switched to the moving object alarm screen, and the moving object alarm screen is displayed on the touch panel display unit 60 .

その後、移動体警報画面の表示終了条件が成立すると、ECU90は、移動体警報画面を、図10Bに示したカスタマイズ画面G4bに切り替えて、カスタマイズ画面G4bを、再び、タッチパネル表示部60に表示する。 After that, when the condition for terminating the display of the moving object alarm screen is satisfied, the ECU 90 switches the moving object alarm screen to the customization screen G4b shown in FIG.

タッチパネル表示部60に表示中のカスタマイズ画面G4bの戻るボタンBtrがタッチ操作されることにより、カスタマイズ画面表示終了条件が成立した場合、ECU90は、タッチパネル表示部60に表示されているカスタマイズ画面G4bを、PVM画面に切り替えて、PVM画面をタッチパネル表示部60に表示する。 When the return button Btr of the customization screen G4b being displayed on the touch panel display section 60 is touch-operated to satisfy the customization screen display end condition, the ECU 90 closes the customization screen G4b displayed on the touch panel display section 60. The PVM screen is displayed on the touch panel display unit 60 by switching to the PVM screen.

<具体的作動>
ECU90のCPUは(以下、単に「CPU」と称呼される。)は、所定時間が経過する毎に図12により示したルーチンを実行するようになっている。
<Specific operation>
The CPU of the ECU 90 (hereinafter simply referred to as "CPU") executes the routine shown in FIG. 12 each time a predetermined period of time elapses.

従って、CPUは所定のタイミングになると、図12のステップ1200から処理を開始してステップ1205に進み、表示モードが、駐車支援表示モードであるか否かを判定する。 Therefore, at a predetermined timing, the CPU starts processing from step 1200 in FIG. 12, proceeds to step 1205, and determines whether the display mode is the parking assistance display mode.

表示モードが駐車支援表示モードではない場合、CPUはステップ1205にて「No」と判定してステップ1295に進み、本ルーチンを一旦終了する。 If the display mode is not the parking assistance display mode, the CPU determines "No" at step 1205, proceeds to step 1295, and terminates this routine.

これに対して、表示モードが駐車支援表示モードである場合、CPUはステップ1205にて「Yes」と判定してステップ1210に進み、タッチパネル表示部60に駐車支援画面を表示しているか否かを判定する。 On the other hand, if the display mode is the parking assistance display mode, the CPU determines "Yes" in step 1205 and proceeds to step 1210 to check whether the parking assistance screen is displayed on the touch panel display unit 60 or not. judge.

タッチパネル表示部60に駐車支援画面を表示していない場合、CPUはステップ1210にて「No」と判定してステップ1295に進み、本ルーチンを一旦終了する。 If the parking assistance screen is not displayed on the touch panel display unit 60, the CPU determines "No" in step 1210, proceeds to step 1295, and terminates this routine.

タッチパネル表示部60に駐車支援画面を表示している場合、CPUはステップ1210にて「Yes」と判定してステップ1215に進み、カスタマイズボタンBtcがタッチ操作されたか否かを判定する。 When the parking assistance screen is displayed on the touch panel display unit 60, the CPU determines "Yes" in step 1210, proceeds to step 1215, and determines whether or not the customization button Btc has been touch-operated.

カスタマイズボタンBtcがタッチ操作されていないと判定された場合、CPUはステップ1215にて「No」と判定してステップ1295に進み、本ルーチンを一旦終了する。 When it is determined that the customize button Btc has not been touch-operated, the CPU determines "No" in step 1215, proceeds to step 1295, and terminates this routine.

これに対して、カスタマイズボタンBtcがタッチ操作されたと判定された場合、CPUはステップ1215にて「Yes」と判定して、以下に述べるステップ1220の処理を順に行った後、ステップ1095に進み、本ルーチンを一旦終了する。 On the other hand, if it is determined that the customize button Btc has been touch-operated, the CPU determines "Yes" in step 1215, sequentially performs the processing of step 1220 described below, and proceeds to step 1095. Terminate this routine once.

ステップ1220:CPUは駐車支援画面をカスタマイズ画面G4aに切り替えて、カスタマイズ画面G4aをタッチパネル表示部60に表示する。 Step 1220: The CPU switches the parking assistance screen to the customization screen G4a, and displays the customization screen G4a on the touch panel display section 60. FIG.

CPUは所定時間が経過する毎に図13のフローチャートにより示したルーチンを実行するようになっている。従って、CPUは、所定のタイミングになると、図13のステップ1300から処理を開始してステップ1305に進み、表示モードが駐車支援表示モードであるか否かを判定する。 The CPU executes the routine shown in the flow chart of FIG. 13 each time a predetermined period of time elapses. Accordingly, at a predetermined timing, the CPU starts processing from step 1300 in FIG. 13, proceeds to step 1305, and determines whether the display mode is the parking assistance display mode.

表示モードが駐車支援表示モードではない場合、CPUはステップ1305にて「No」と判定してステップ1395に進み、本ルーチンを一旦終了する。これに対して、表示モードが駐車支援表示モードである場合、CPUはステップ1305にて「Yes」と判定してステップ1300に進み、タッチパネル表示部60にカスタマイズ画面G4aを表示しているか否かを判定する。 If the display mode is not the parking assistance display mode, the CPU determines "No" at step 1305, proceeds to step 1395, and ends this routine. On the other hand, if the display mode is the parking assistance display mode, the CPU determines "Yes" in step 1305 and proceeds to step 1300 to check whether the touch panel display unit 60 is displaying the customization screen G4a. judge.

タッチパネル表示部60にカスタマイズ画面G4aを表示していない場合、CPUはステップ1310にて「No」と判定してステップ1395に進み、本ルーチンを一旦終了する。 If the customization screen G4a is not displayed on the touch panel display section 60, the CPU determines "No" in step 1310, proceeds to step 1395, and terminates this routine.

これに対して、タッチパネル表示部60にカスタマイズ画面G4aを表示している場合、CPUはステップ1310にて「Yes」と判定してステップ1315に進み、移動体警報画面の表示条件が成立しているか否かを判定する。 On the other hand, if the customization screen G4a is displayed on the touch panel display unit 60, the CPU determines "Yes" in step 1310 and proceeds to step 1315 to determine whether the display conditions for the mobile alarm screen are met. determine whether or not

移動体警報画面の表示条件が成立していない場合、CPUはステップ1315にて「Yes」と判定してステップ1320に進み、カスタマイズ画面G4aの表示終了条件が成立しているか否かを判定する。 If the display condition for the moving object warning screen is not satisfied, the CPU determines "Yes" in step 1315, proceeds to step 1320, and determines whether the display end condition for the customization screen G4a is satisfied.

カスタマイズ画面G4aの表示終了条件が成立していない場合、CPUはステップ1320にて「No」と判定してステップ1395に進み、本ルーチンを一旦終了する。 If the condition for ending the display of the customization screen G4a is not satisfied, the CPU determines "No" in step 1320, proceeds to step 1395, and temporarily ends this routine.

これに対して、カスタマイズ画面G4aの表示終了条件が成立している場合、CPUは、以下に述べるステップ1325の処理を行った後、ステップ1395に進み、本ルーチンを一旦終了する。 On the other hand, if the condition for ending the display of the customization screen G4a is satisfied, the CPU performs the process of step 1325 described below, then proceeds to step 1395 and temporarily ends this routine.

ステップ1325:CPUはカスタマイズ画面G4aを駐車支援画面に切り替えて、駐車支援画面をタッチパネル表示部60に表示する。 Step 1325: The CPU switches the customization screen G4a to the parking assistance screen, and displays the parking assistance screen on the touch panel display section 60. FIG.

ステップ1315の処理を実行する時点で、移動体警報画面の表示条件が成立している場合、CPUはステップ1315にて「Yes」と判定して、以下に述べるステップ1330及びステップ1335の処理を順に実行した後、ステップ1395に進んで本ルーチンを一旦終了する。 If the conditions for displaying the mobile alarm screen are satisfied at the time of executing the processing of step 1315, the CPU determines "Yes" in step 1315, and sequentially performs the processing of steps 1330 and 1335 described below. After execution, the process proceeds to step 1395 and the present routine is terminated.

ステップ1330:CPUはカスタマイズ画面G4aを移動体警報画面に切り替えて、移動体警報画面をタッチパネル表示部60に表示する。
ステップ1335:フラグXfの値を「1」に設定する。なお、フラグXfは、車両100のイグニッション・キー・スイッチ(図示省略)がオフ位置からオン位置へと変更されたときにCPUが実行する初期化ルーチンにおいて「0」に設定される。更に、フラグXfは、後述するステップ1425の処理によっても「0」に設定される。フラグXfは、カスタマイズ画面G4aの表示中に、移動体警報画面に切り替えられたことを示す。
Step 1330: The CPU switches the customization screen G4a to the mobile alarm screen, and displays the mobile alarm screen on the touch panel display section 60. FIG.
Step 1335: Set the value of the flag Xf to "1". Note that the flag Xf is set to "0" in the initialization routine executed by the CPU when the ignition key switch (not shown) of the vehicle 100 is changed from the off position to the on position. Further, the flag Xf is also set to "0" by the process of step 1425, which will be described later. The flag Xf indicates that the screen has been switched to the mobile alarm screen while the customization screen G4a is being displayed.

CPUは所定時間が経過する毎に図14のフローチャートにより示したルーチンを実行するようになっている。従って、CPUは、所定のタイミングになると、図14のステップ1400から処理を開始してステップ1405に進み、表示モードが駐車支援表示モードであるか否かを判定する。 The CPU executes the routine shown in the flow chart of FIG. 14 each time a predetermined period of time elapses. Accordingly, at a predetermined timing, the CPU starts processing from step 1400 in FIG. 14, proceeds to step 1405, and determines whether the display mode is the parking assistance display mode.

表示モードが駐車支援表示モードではない場合、CPUはステップ1405にて「No」と判定してステップ1495に進み、本ルーチンを一旦終了する。 If the display mode is not the parking assistance display mode, the CPU determines "No" at step 1405, proceeds to step 1495, and terminates this routine.

表示モードが駐車支援表示モードである場合、CPUはステップ1405にて「Yes」と判定してステップ1410に進み、フラグXfの値が「1」であるか否かを判定する。 If the display mode is the parking assistance display mode, the CPU determines "Yes" in step 1405, proceeds to step 1410, and determines whether the value of the flag Xf is "1".

フラグXfの値が「1」ではない場合、CPUはステップ1410にて「No」と判定してステップ1495に進み、本ルーチンを一旦終了する。 If the value of the flag Xf is not "1", the CPU determines "No" at step 1410, proceeds to step 1495, and ends this routine.

これに対して、フラグXfの値が「1」である場合、CPUはステップ1410にて「Yes」と判定してステップ1415に進み、カスタマイズ画面G4aの再表示条件が成立しているか否かを判定する。例えば、カスタマイズ画面G4aの再表示条件は、移動体警報画面の終了条件が成立した場合に成立する。 On the other hand, if the value of the flag Xf is "1", the CPU makes a "Yes" determination in step 1410, proceeds to step 1415, and determines whether or not the redisplay condition for the customization screen G4a is satisfied. judge. For example, the condition for redisplaying the customization screen G4a is met when the end condition for the mobile alarm screen is met.

カスタマイズ画面G4aの再表示条件が成立していない場合、CPUはステップ1415にて「No」と判定してステップ1495に進み、本ルーチンを一旦終了する。 If the redisplay condition for the customization screen G4a is not satisfied, the CPU makes a "No" determination in step 1415, proceeds to step 1495, and terminates this routine.

これに対して、カスタマイズ画面G4aの再表示条件が成立している場合、CPUはステップ1415にて「Yes」と判定して以下に述べるステップ1420及びステップ1425の処理を順に行った後、ステップ1495に進み、本ルーチンを一旦終了する。 On the other hand, if the condition for redisplaying the customization screen G4a is satisfied, the CPU determines "Yes" in step 1415, performs the processing of steps 1420 and 1425 described below in order, and then performs step 1495. to exit this routine.

ステップ1420:CPUは、移動体警報画面をカスタマイズ画面G4aに切り替えて、カスタマイズ画面G4aをタッチパネル表示部60に表示する。なお、このとき、CPUは、上述のステップ1330にて移動体警報画面に切り替えた直前のカスタマイズ画面G4aと同じ状態のカスタマイズ画面G4aをタッチパネル表示部60に表示する。 Step 1420: The CPU switches the moving object warning screen to the customization screen G4a, and displays the customization screen G4a on the touch panel display section 60. FIG. At this time, the CPU displays on the touch panel display section 60 the customization screen G4a in the same state as the customization screen G4a immediately before switching to the moving object warning screen in step 1330 described above.

従って、ステップ1420にてカスタマイズ画面G4aに切り替わった場合に、ユーザは、ステップ1330にて移動体警報画面に切り替わった直前と同じ状態のカスタマイズ画面G4aを操作できる。これにより、カスタマイズ画面G4aの操作に関するユーザの利便性を担保できる。
ステップ1425:CPUはフラグXfの値を「0」に設定する。
Therefore, when switching to the customization screen G4a at step 1420, the user can operate the customization screen G4a in the same state as immediately before switching to the mobile alarm screen at step 1330. FIG. Thereby, the user's convenience regarding the operation of the customization screen G4a can be ensured.
Step 1425: The CPU sets the value of the flag Xf to "0".

CPUは所定時間が経過する毎に図15のフローチャートにより示したルーチンを実行するようになっている。図15のルーチンは、以下の点のみにおいて、図12のルーチンと相違する。
・ステップ1205に代えて、ステップ1505の処理を実行する点。即ち、CPUは、表示モードが駐車支援表示モードか否かを判定することに代えて、表示モードがPVMモードであるか否かを判定する点。
・ステップ1210に代えて、ステップ1510の処理を実行する点。即ち、CPUは、駐車支援画面を表示中か否かを判定することに代えて、PVM画面を表示中か否かを判定する点。
・ステップ1220に代えて、ステップ1520の処理を実行する点。即ち、CPUは、PVM画面をカスタマイズ画面G4bに切り替えて、カスタマイズ画面G4bをタッチパネル表示部60に表示する点。
The CPU executes the routine shown in the flow chart of FIG. 15 each time a predetermined period of time elapses. The routine in FIG. 15 differs from the routine in FIG. 12 only in the following points.
• The processing of step 1505 is executed instead of step 1205 . That is, the CPU determines whether the display mode is the PVM mode instead of determining whether the display mode is the parking assistance display mode.
• The processing of step 1510 is executed instead of step 1210 . That is, the CPU determines whether the PVM screen is being displayed instead of determining whether the parking assistance screen is being displayed.
• The processing of step 1520 is executed instead of step 1220 . That is, the CPU switches the PVM screen to the customization screen G4b and displays the customization screen G4b on the touch panel display section 60 .

CPUは所定時間が経過する毎に図16のフローチャートにより示したルーチンを実行するようになっている。図16のルーチンは、以下の点のみにおいて、図13のルーチンと相違する。
・ステップ1305に代えて、ステップ1605の処理を実行する点。即ち、CPUは、表示モードが駐車支援表示モードか否かを判定することに代えて、表示モードがPVMモードであるか否かを判定する点。
・ステップ1325に代えて、ステップ1625の処理を実行する点。即ち、CPUは、駐車支援画面を表示することに代えて、PVM画面を表示する点。
The CPU executes the routine shown in the flow chart of FIG. 16 each time a predetermined period of time elapses. The routine of FIG. 16 differs from the routine of FIG. 13 only in the following points.
• The processing of step 1605 is executed instead of step 1305 . That is, the CPU determines whether the display mode is the PVM mode instead of determining whether the display mode is the parking assistance display mode.
• The processing of step 1625 is executed instead of step 1325 . That is, the CPU displays the PVM screen instead of displaying the parking assistance screen.

CPUは所定時間が経過する毎に図17のフローチャートにより示したルーチンを実行するようになっている。図17のフローチャートは、以下の点のみにおいて、図14のフローチャートと相違する。
・ステップ1405に代えて、ステップ1705の処理を実行する点。即ち、CPUは、表示モードが駐車支援表示モードか否かを判定することに代えて、表示モードがPVMモードであるか否かを判定する点。
The CPU executes the routine shown in the flow chart of FIG. 17 each time a predetermined period of time elapses. The flowchart of FIG. 17 differs from the flowchart of FIG. 14 only in the following points.
• The processing of step 1705 is executed instead of step 1405 . That is, the CPU determines whether the display mode is the PVM mode instead of determining whether the display mode is the parking assistance display mode.

<効果>
以上説明したように、本発明の実施形態に係る運転者支援装置(運転者支援装置10)によれば、カスタマイズ画面を表示している場合に、車両100に接近する移動体が検出されることによって所定条件が成立したとき、カスタマイズ画面を、周辺画像を含む移動体警報画面に切り替えて表示する。従って、本発明の実施形態に係る運転者支援装置は、運転者の車両周辺の監視を支援する機能が低下してしまう可能性を低くすることができる。
<effect>
As described above, according to the driver assistance device (driver assistance device 10) according to the embodiment of the present invention, when the customization screen is displayed, a moving object approaching the vehicle 100 is detected. When a predetermined condition is satisfied by , the customized screen is switched to a moving object warning screen including a peripheral image and displayed. Therefore, the driver assistance device according to the embodiment of the present invention can reduce the possibility that the function of assisting the driver in monitoring the surroundings of the vehicle will deteriorate.

<変形例>
本発明は上記実施形態に限定されることなく、本発明の範囲内において種々の変形例を採用することができる。
<Modification>
The present invention is not limited to the above embodiments, and various modifications can be adopted within the scope of the present invention.

例えば、本実施形態において、車両100は、上述した注意喚起機能として、以下に述べる機能の少なくとも一つを、移動体警報機能と共に備えていてもよい。更に、車両100は、上述した注意喚起機能として、以下に述べる機能の少なくとも一つを、移動体警報機能に代えて、備えていてもよい。 For example, in the present embodiment, the vehicle 100 may be provided with at least one of the functions described below as the above-described alert function together with the mobile object warning function. Furthermore, the vehicle 100 may be equipped with at least one of the functions described below as the above-described alert function instead of the mobile object warning function.

(クリアランスソナー機能)
クリアランスソナー機能は、車両100と静止物との距離をクリアランスソナー313によって検出し、静止物を検出した場合に、車両100の運転者に注意喚起を行う機能である。ECU90は、クリアランスソナー機能を実現するための制御を実行するようになっている。
(clearance sonar function)
The clearance sonar function is a function of detecting the distance between the vehicle 100 and a stationary object using the clearance sonar 313 and alerting the driver of the vehicle 100 when the stationary object is detected. The ECU 90 executes control for realizing the clearance sonar function.

ECU90は、クリアランスソナー313が静止物(障害物)を検出することにより、注意喚起画面の表示条件が成立した場合、障害物の存在を注意喚起するための注意喚起画面をタッチパネル表示部60に表示する。ECU90は、クリアランスソナー313が静止物(障害物)を検出しなくなったことにより、注意喚起画面の表示終了条件が成立した場合、タッチパネル表示部60に表示している注意喚起画面の表示を終了する。 When the clearance sonar 313 detects a stationary object (obstacle) and the conditions for displaying the attention screen are satisfied, the ECU 90 displays the attention screen for calling attention to the existence of the obstacle on the touch panel display unit 60 . do. When the clearance sonar 313 no longer detects a stationary object (obstacle) and the condition for ending the display of the attention calling screen is satisfied, the ECU 90 ends the display of the attention calling screen displayed on the touch panel display unit 60. .

(フロントクロストラフィックアラート機能)
フロントクロストラフィックアラート機能(以下、「FCTA機能」と称呼される。)は、車両100の右前端に設置されたレーダセンサ51a及び左前端に設置されたレーダセンサ51cが取得したレーダセンサ物標情報に基づいて、車両100の前方の左右から交差してくる他車両の接近を検出し、当該他車両を検出した場合に、車両100の運転者に注意喚起を行う機能である。ECU90は、FCTA機能を実現するための制御を実行するようになっている。
(Front cross traffic alert function)
The front cross traffic alert function (hereinafter referred to as the "FCTA function") uses radar sensor target information acquired by the radar sensor 51a installed at the front right end of the vehicle 100 and the radar sensor 51c installed at the front left end of the vehicle 100. , and warns the driver of the vehicle 100 when the other vehicle is detected. The ECU 90 executes control for realizing the FCTA function.

ECU90は、レーダセンサ51a及びレーダセンサ51cの少なくとも一つが接近する他車両を検出することにより注意喚起画面の表示条件が成立した場合、他車両が接近することを注意喚起する注意喚起画面をタッチパネル表示部60に表示する。ECU90は、レーダセンサ51a及びレーダセンサ51cの少なくとも一つが当該他車両を検出しなくなったことにより、注意喚起画面の表示終了条件が成立した場合、タッチパネル表示部60に表示している注意喚起画面の表示を終了する。 When at least one of the radar sensor 51a and the radar sensor 51c detects an approaching vehicle and the conditions for displaying the attention screen are satisfied, the ECU 90 displays the attention screen on the touch panel to alert the other vehicle that the other vehicle is approaching. Displayed in section 60 . When at least one of the radar sensor 51a and the radar sensor 51c no longer detects the other vehicle and the condition for ending the display of the caution screen is satisfied, the ECU 90 stops the caution screen displayed on the touch panel display unit 60. End the display.

(リヤクロストラフィックアラート機能)
リヤクロストラフィックアラート(以下、「RCTA機能」と称呼される。)は、車両100の右後端に設置されたレーダセンサ51d及び左後端に設置されたレーダセンサ51eが取得したレーダセンサ物標情報に基づいて、車両100の後方の左右から交差してくる他車両の接近を検出し、当該他車両を検出した場合に、車両100の運転者に注意喚起を行う機能である。ECU90は、RCTA機能を実現するための制御を実行するようになっている。
(Rear cross traffic alert function)
The rear cross traffic alert (hereinafter referred to as the "RCTA function") detects the radar sensor targets acquired by the radar sensor 51d installed at the right rear end of the vehicle 100 and the radar sensor 51e installed at the left rear end. This function detects the approach of other vehicles crossing from the left and right behind the vehicle 100 based on the information, and alerts the driver of the vehicle 100 when the other vehicle is detected. The ECU 90 executes control for realizing the RCTA function.

ECU90は、レーダセンサ51d及びレーダセンサ51eの少なくとも一つが接近する他車両を検出することにより注意喚起画面の表示条件が成立した場合、他車両が接近することを注意喚起する注意喚起画面をタッチパネル表示部60に表示する。レーダセンサ51d及びレーダセンサ51eの少なくとも一つが当該他車両を検出しなくなったことにより、注意喚起画面の表示終了条件が成立した場合、タッチパネル表示部60に表示している注意喚起画面の表示を終了する。 When at least one of the radar sensor 51d and the radar sensor 51e detects an approaching vehicle and the conditions for displaying the attention screen are met, the ECU 90 displays the attention screen on the touch panel to alert the other vehicle that the other vehicle is approaching. Displayed in section 60 . When at least one of the radar sensor 51d and the radar sensor 51e no longer detects the other vehicle and the condition for ending the display of the attention calling screen is met, the display of the attention calling screen displayed on the touch panel display unit 60 is terminated. do.

(リヤカメラディテクション機能)
リヤカメラディテクション機能(以下、「RCD機能」と称呼される。)は、車両100が後退しているときに、後方カメラ42が取得したカメラ物標情報に基づいて、車両100の後方の所定範囲に存在する歩行者を検出し、歩行者を検出した場合に、車両100の運転者に注意喚起を行う機能である。ECU90は、RCD機能を実現するための制御を実行するようになっている。
(Rear camera detection function)
The rear camera detection function (hereinafter referred to as “RCD function”) detects a predetermined range behind the vehicle 100 based on camera target information acquired by the rear camera 42 while the vehicle 100 is moving backward. This is a function of detecting a pedestrian present in the vehicle 100 and alerting the driver of the vehicle 100 when the pedestrian is detected. The ECU 90 executes control for realizing the RCD function.

ECU90は、後方カメラ42が歩行者を検出することにより注意喚起画面表示条件が成立した場合、歩行者が後方に存在することを注意喚起する注意喚起画面をタッチパネル表示部60に表示する。ECU90は、後方カメラ42が歩行者を検出しなくなったことにより、注意喚起画面の表示終了条件が成立した場合、タッチパネル表示部60に表示している注意喚起画面の表示を終了する。 When the rear camera 42 detects a pedestrian and the conditions for displaying the attention screen are satisfied, the ECU 90 displays the attention screen on the touch panel display unit 60 to alert that the pedestrian exists behind. The ECU 90 terminates the display of the alert screen displayed on the touch panel display unit 60 when the condition for ending the display of the alert screen is satisfied because the rear camera 42 no longer detects the pedestrian.

上述したこれらの注意喚機能においても、その機能が有効状態であるときに、上述の実施形態と同様に作動する。即ち、カスタマイズ画面を表示しているときに、注意喚起画面の表示条件が成立すると、ECU90は、カスタマイズ画面から注意喚起画面に切り替えて、注意喚起画面をタッチパネル表示部60に表示する。ECU90は、カスタマイズ画面から切り替えられて、注意喚起画面を表示しているときに、注意喚起画面の表示終了条件が成立すると、注意喚起画面をカスタマイズ画面に切り替えて、カスタマイズ画面をタッチパネル表示部60に表示する。 These alerting functions described above also operate in the same manner as in the above-described embodiment when the functions are enabled. That is, when the display condition for the attention calling screen is satisfied while the customization screen is being displayed, the ECU 90 switches from the customization screen to the attention calling screen and displays the attention calling screen on the touch panel display section 60 . The ECU 90 switches from the customizing screen to the customizing screen and displays the customizing screen on the touch panel display unit 60 when a condition for ending the display of the caution screen is met while the customizing screen is switched to the caution screen. indicate.

例えば、本実施形態において、カスタマイズボタンを、物理的なボタンで構成してもよい。この場合、駐車支援画面及びPVM画面にカスタマイズボタンBtcが含まれていなくてもよい。更に、この場合、、タッチパネル表示部60は、タッチパネル式のディスプレイ以外の他のタイプのディスプレイであってもよい。 For example, in this embodiment, the customize button may be configured with a physical button. In this case, the customization button Btc may not be included in the parking assistance screen and the PVM screen. Furthermore, in this case, the touch panel display section 60 may be a display of a type other than the touch panel type display.

10…運転者支援装置、11…車両駆動力発生装置、12…ブレーキ装置、13…ステアリング装置、30…ソナーセンサ装置、40…カメラセンサ装置、50…レーダセンサ装置、60…タッチパネル表示部

DESCRIPTION OF SYMBOLS 10... Driver assistance apparatus 11... Vehicle driving force generation apparatus 12... Brake apparatus 13... Steering apparatus 30... Sonar sensor apparatus 40... Camera sensor apparatus 50... Radar sensor apparatus 60... Touch panel display part

Claims (5)

車両に搭載され、周辺監視画面を運転者に提示することにより前記運転者の車両周辺の確認を支援する運転者支援装置であって、
前記運転者支援装置は、
前記車両の周囲を撮像することにより画像情報を取得する撮像装置を含み、前記車両の周辺領域に存在する静止物及び移動体の少なくとも一つからなる注意喚起対象物を検出する検出装置と、
画像を表示可能に構成されたタッチパネルと、
前記画像情報から前記周辺領域の画像である周辺画像を生成すると共に、前記タッチパネルに表示する画面の表示を制御する表示制御部と、
を備え、
前記表示制御部は、
前記注意喚起対象物が検出されることによって所定条件が成立している間、前記周辺画像を含む、前記検出された前記注意喚起対象物の存在を注意喚起するための注意喚起画面を前記タッチパネルに表示し、
記周辺画像とカスタマイズボタンとを含む前記周辺監視画面を前記タッチパネルに表示しているときに、前記カスタマイズボタンがタッチ操作された場合、前記周辺監視画面に代えて、前記車両が備える所定の運転者支援機能の作動内容を調整するための操作画面であって前記周辺画像を含まないカスタマイズ画面を前記タッチパネルに表示し、
前記カスタマイズ画面を表示している場合に、前記所定条件が成立したとき、前記カスタマイズ画面に代えて、前記注意喚起画面を前記タッチパネルに表示するように構成された、
運転者支援装置。
A driver assistance device that is mounted on a vehicle and that assists the driver in confirming the surroundings of the vehicle by presenting a surroundings monitoring screen to the driver,
The driver assistance device includes:
a detection device that detects an alert object consisting of at least one of a stationary object and a moving object existing in a peripheral area of the vehicle;
a touch panel configured to display an image;
a display control unit that generates a peripheral image, which is an image of the peripheral area, from the image information and controls display of a screen displayed on the touch panel;
with
The display control unit
While a predetermined condition is established by detecting the attention-seeking object , the attention-seeking screen including the surrounding image for calling attention to the presence of the detected attention-seeking object is displayed . displayed on the touch panel,
When the customization button is touch-operated while the periphery monitoring screen including the periphery image and the customization button is displayed on the touch panel , a predetermined display provided in the vehicle is replaced with the periphery monitoring screen. displaying on the touch panel a customization screen that is an operation screen for adjusting operation details of the driver assistance function and does not include the peripheral image ;
configured to display the alert screen on the touch panel instead of the customization screen when the predetermined condition is satisfied while the customization screen is being displayed,
Driver assistance device.
請求項1に記載の運転者支援装置において、
前記表示制御部は、
前記カスタマイズ画面に代えて前記注意喚起画面を前記タッチパネルに表示している場合に前記所定条件が成立しなくなったとき、前記注意喚起画面に代えて前記カスタマイズ画面を前記タッチパネルに表示するように構成された、
運転者支援装置。
In the driver assistance device according to claim 1,
The display control unit
When the predetermined condition is no longer satisfied while the alert screen is displayed on the touch panel instead of the customization screen , the customization screen is displayed on the touch panel instead of the alert screen. configured to
Driver assistance device.
請求項1又は請求項2に記載の運転者支援装置において、
前記カスタマイズボタンは、前記車両が停止状態にある場合、前記タッチ操作を受け付け可能な状態に設定され、前記車両が停止状態にない場合、前記タッチ操作を受け付けできない状態に設定されるように構成され、
前記注意喚起対象物は、前記車両に接近する前記移動体であり、
前記注意喚起画面は、前記周辺画像と、前記周辺画像に重ねて表示される前記移動体の接近方向を示す移動体方向マークと、を含む、
運転者支援装置。
In the driver assistance device according to claim 1 or claim 2,
The customize button is configured to be set to a state in which the touch operation can be accepted when the vehicle is in a stopped state, and to be set to a state in which the touch operation cannot be accepted when the vehicle is not in a stopped state. ,
The alert object is the moving object approaching the vehicle,
The alert screen includes the peripheral image, and a moving object direction mark indicating an approaching direction of the moving object superimposed on the peripheral image,
Driver assistance device.
請求項1乃至請求項3の何れか一項に記載の運転者支援装置において、
前記周辺監視画面は、前記車両が備える駐車支援機能が有効状態にあるときに表示が許容される駐車支援画面であり、
前記カスタマイズ画面は、前記駐車支援機能の作動内容を調整するためのタッチ操作される複数の機能変更ボタンを含む操作画面である、
運転者支援装置。
In the driver assistance device according to any one of claims 1 to 3,
The surroundings monitoring screen is a parking assistance screen that is allowed to be displayed when a parking assistance function provided in the vehicle is in a valid state,
The customization screen is an operation screen including a plurality of touch-operated function change buttons for adjusting operation details of the parking assistance function.
Driver assistance device.
請求項1乃至請求項3の何れか一項に記載の運転者支援装置において、
前記周辺監視画面は、前記車両が備えるパノラミックビューモニタ機能が有効状態にあるときに表示が許容されるパノラミックビューモニタ画面であり、
前記カスタマイズ画面は、前記パノラミックビューモニタ機能の作動内容を調整するためのタッチ操作される複数の機能変更ボタンを含む操操作画面である、
運転者支援装置。
In the driver assistance device according to any one of claims 1 to 3,
the surroundings monitoring screen is a panoramic view monitor screen that is allowed to be displayed when a panoramic view monitor function provided in the vehicle is in a valid state;
The customization screen is an operation screen including a plurality of touch-operated function change buttons for adjusting operation details of the panoramic view monitor function.
Driver assistance device.
JP2019187944A 2019-10-11 2019-10-11 driver assistance device Active JP7247851B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019187944A JP7247851B2 (en) 2019-10-11 2019-10-11 driver assistance device
US17/066,900 US20210107359A1 (en) 2019-10-11 2020-10-09 Driver assist apparatus
CN202011077070.9A CN112644470A (en) 2019-10-11 2020-10-10 Driver assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019187944A JP7247851B2 (en) 2019-10-11 2019-10-11 driver assistance device

Publications (2)

Publication Number Publication Date
JP2021062713A JP2021062713A (en) 2021-04-22
JP7247851B2 true JP7247851B2 (en) 2023-03-29

Family

ID=75346788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019187944A Active JP7247851B2 (en) 2019-10-11 2019-10-11 driver assistance device

Country Status (3)

Country Link
US (1) US20210107359A1 (en)
JP (1) JP7247851B2 (en)
CN (1) CN112644470A (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6967055B2 (en) * 2019-11-21 2021-11-17 本田技研工業株式会社 Vehicle control device, vehicle, operation method and program of vehicle control device
KR20210080717A (en) * 2019-12-20 2021-07-01 주식회사 만도 Driver assistance apparatus and driver assisting method
US11541919B1 (en) 2022-04-14 2023-01-03 Bnsf Railway Company Automated positive train control event data extraction and analysis engine and method therefor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010274813A (en) 2009-05-29 2010-12-09 Fujitsu Ten Ltd Image generation device and image display system
JP2018106429A (en) 2016-12-27 2018-07-05 トヨタ自動車株式会社 Alarm output device
JP2018203031A (en) 2017-06-02 2018-12-27 アイシン精機株式会社 Surroundings monitoring device
JP2019016825A (en) 2017-07-03 2019-01-31 トヨタ自動車株式会社 Vehicle periphery display device

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2574904B2 (en) * 1989-10-24 1997-01-22 マツダ株式会社 Navigation system for moving objects
JP2009075647A (en) * 2007-09-18 2009-04-09 Aisin Aw Co Ltd Statistical processing server, probe information statistical method, and probe information statistical program
CN101672648A (en) * 2008-09-12 2010-03-17 富士通天株式会社 Information processing device and image processing device
US9264672B2 (en) * 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
KR101438921B1 (en) * 2012-11-16 2014-09-11 현대자동차주식회사 Apparatus and method for alerting moving-object of surrounding of vehicle
JP6104707B2 (en) * 2013-05-23 2017-03-29 アルパイン株式会社 Electronic device, operation input method, and operation input program
US10723267B2 (en) * 2014-09-19 2020-07-28 Be Topnotch, Llc Display rear passenger view on a display screen in vehicle
US9992319B2 (en) * 2015-02-08 2018-06-05 Lg Electronics Inc. Method of outputting screens from server and client devices in performing mirrorlink
US9616923B2 (en) * 2015-03-03 2017-04-11 Ford Global Technologies, Llc Topographical integration for trailer backup assist system
JP6224029B2 (en) * 2015-05-21 2017-11-01 富士通テン株式会社 Image processing apparatus and image processing method
US10181266B2 (en) * 2015-09-11 2019-01-15 Sony Corporation System and method to provide driving assistance
JP2017116991A (en) * 2015-12-21 2017-06-29 京セラ株式会社 Portable terminal and vehicle
JP6443418B2 (en) * 2016-10-03 2018-12-26 トヨタ自動車株式会社 Vehicle driving support device
JP6616340B2 (en) * 2017-01-31 2019-12-04 矢崎総業株式会社 Display device for vehicle and display method for display device for vehicle
US10243647B2 (en) * 2017-05-30 2019-03-26 Bell Helicopter Textron Inc. Aircraft visual sensor system
JP6912952B2 (en) * 2017-06-26 2021-08-04 本田技研工業株式会社 Vehicle control device
WO2019026332A1 (en) * 2017-07-31 2019-02-07 株式会社Jvcケンウッド Bird's-eye-view video generation device, bird's-eye-view video generation method, and program
WO2019053890A1 (en) * 2017-09-15 2019-03-21 三菱電機株式会社 Illumination apparatus and illumination method
US20190212849A1 (en) * 2018-01-09 2019-07-11 GM Global Technology Operations LLC Method and apparatus that detect driver input to touch sensitive display
JP7301880B2 (en) * 2018-05-04 2023-07-03 ハーマン インターナショナル インダストリーズ インコーポレイテッド mirrorless head up display
US20200209887A1 (en) * 2018-12-28 2020-07-02 Robert Bosch Gmbh System and method for adjusting control of an autonomous vehicle using crowd-source data
JP6907250B2 (en) * 2019-01-18 2021-07-21 矢崎総業株式会社 Vehicle display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010274813A (en) 2009-05-29 2010-12-09 Fujitsu Ten Ltd Image generation device and image display system
JP2018106429A (en) 2016-12-27 2018-07-05 トヨタ自動車株式会社 Alarm output device
JP2018203031A (en) 2017-06-02 2018-12-27 アイシン精機株式会社 Surroundings monitoring device
JP2019016825A (en) 2017-07-03 2019-01-31 トヨタ自動車株式会社 Vehicle periphery display device

Also Published As

Publication number Publication date
JP2021062713A (en) 2021-04-22
CN112644470A (en) 2021-04-13
US20210107359A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
JP7247851B2 (en) driver assistance device
JP7323413B2 (en) parking assist device
US11472339B2 (en) Vehicle periphery display device
JP7176421B2 (en) parking assist device
JP7222254B2 (en) Peripheral display controller
WO2017122654A1 (en) Drive assist device and drive assist method
US11787335B2 (en) Periphery monitoring device
US11613273B2 (en) Parking assist apparatus
JP2001055100A (en) Multi-function on-board camera system and image display method of multi-function on-board camera system
US20190244324A1 (en) Display control apparatus
JP2021064084A (en) Vehicle alarm device
US20210078496A1 (en) Image processing device
JP2019054420A (en) Image processing system
US20200081608A1 (en) Display control device
CN112644378B (en) Vehicle alarm device
JP2019054439A (en) Image processing system
JP2019011055A (en) Driving support device
US11104380B2 (en) Display controller
JP6965563B2 (en) Peripheral monitoring device
JP2019014397A (en) Periphery monitoring device
JP2022009331A (en) Periphery monitoring device
JP2023046570A (en) Vehicle parking support device, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230227

R151 Written notification of patent or utility model registration

Ref document number: 7247851

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151