WO2017068692A1 - 表示制御方法および表示制御装置 - Google Patents

表示制御方法および表示制御装置 Download PDF

Info

Publication number
WO2017068692A1
WO2017068692A1 PCT/JP2015/079877 JP2015079877W WO2017068692A1 WO 2017068692 A1 WO2017068692 A1 WO 2017068692A1 JP 2015079877 W JP2015079877 W JP 2015079877W WO 2017068692 A1 WO2017068692 A1 WO 2017068692A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
display control
control method
vehicle speed
Prior art date
Application number
PCT/JP2015/079877
Other languages
English (en)
French (fr)
Inventor
高江　康彦
寸田　剛司
達弥 志野
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to JP2017546348A priority Critical patent/JP6489230B2/ja
Priority to KR1020187013121A priority patent/KR102086272B1/ko
Priority to RU2018118327A priority patent/RU2704773C1/ru
Priority to US15/769,479 priority patent/US10322674B2/en
Priority to MYPI2018701519A priority patent/MY187205A/en
Priority to CA3002628A priority patent/CA3002628C/en
Priority to BR112018008099-3A priority patent/BR112018008099A2/ja
Priority to PCT/JP2015/079877 priority patent/WO2017068692A1/ja
Priority to CN201580083935.3A priority patent/CN108140318A/zh
Priority to EP15906698.4A priority patent/EP3367366B1/en
Priority to MX2018004891A priority patent/MX2018004891A/es
Publication of WO2017068692A1 publication Critical patent/WO2017068692A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present invention relates to a display control method and a display control apparatus that perform display control of detection information of an object.
  • Patent Document 1 a technique for displaying an image picked up by a camera on a monitor inside the vehicle.
  • Patent Document 1 a technique for increasing the size of a captured image obtained by capturing an object.
  • the problem to be solved by the present invention is to provide a display control method and a display control apparatus capable of appropriately displaying detection information of an object.
  • the present invention switches and displays a first image based on a captured image captured by a camera and a second image based on an image drawn based on a detection result of a detector according to a vehicle speed index of the vehicle.
  • the first image based on the captured image captured by the camera and the second image based on the image drawn based on the detection result of the detector are switched according to the vehicle speed index of the vehicle.
  • the object detection information can be displayed in an appropriate display form corresponding to the traveling speed of the host vehicle.
  • FIG. 7 is a diagram illustrating an example of an image in which a detection target is highlighted in the image illustrated in FIG. It is a figure which shows an example of the image which highlighted the control target object in the image shown to FIG. 8 (A). It is a figure which shows an example of the image (presentation image based on a picked-up image) which superimposed the distance information from the own vehicle to a detection target object with respect to the image shown to FIG. 9 (A), (B). It is a figure which shows an example of the bird's-eye view image drawn based on the vehicle speed parameter
  • an information presentation device mounted on a vehicle will be described as an example.
  • the information presentation device detects pedestrians, bicycles, motorcycles, automobiles, road obstacles, structures, traffic lights, signs, lanes, road edges (curbs, guardrails, etc.) as objects, The presentation information related to the detected object is presented to the driver of the vehicle.
  • FIG. 1 is a diagram illustrating a configuration of an information presentation apparatus 100 according to the present embodiment.
  • the information presentation apparatus 100 includes a camera 110, a distance measuring sensor 120, a vehicle speed sensor 130, a navigation device 140, a display 150, a notification device 160, and a control device 170. And have. These devices are connected by a CAN (Controller Area Network) or other vehicle-mounted LAN in order to exchange information with each other.
  • CAN Controller Area Network
  • the camera 110 is composed of one or a plurality of cameras that capture an image of the surroundings of the host vehicle.
  • a short-range camera suitable for photographing an object existing at a short distance from the host vehicle and an object present at a middle distance from the host vehicle.
  • a long-distance camera suitable for photographing an object located at a long distance from the host vehicle.
  • a captured image captured by the camera 110 is output to the control device 170.
  • the distance measuring sensor 120 is a front radar that detects an object ahead of the host vehicle, a rear radar that detects an object behind the host vehicle, a side radar that detects an object present on the side of the host vehicle, and the like. Consists of Further, as the distance measuring sensor 120, an ultrasonic sensor, a sound wave sensor, an infrared sensor, or the like can be used. The distance measuring sensor 120 detects the position of an object existing around the own vehicle and the distance from the own vehicle to the object, and outputs the detection result to the control device 170.
  • the vehicle speed sensor 130 measures the rotational speed of a drive system such as a drive shaft, and detects the traveling speed of the vehicle (hereinafter also referred to as vehicle speed) based on this. Vehicle speed information detected by the vehicle speed sensor 130 is output to the control device 170.
  • Navigation device 140 includes a map database, a GPS sensor, and a direction sensor, measures the current position of the host vehicle, and displays map data around the measured current position on display 150. In addition, the navigation device 140 identifies the type of road on which the host vehicle is traveling (for example, a parking lot, an urban road, an expressway, etc.), and outputs the identified road type to the control device 170.
  • the navigation device 140 may be configured to include the display 150, the notification device 160, and the control device 170.
  • the display 150 presents presentation information regarding an object existing around the host vehicle on a screen included in the display 150 under the control of the control device 170.
  • Examples of the display 150 include a display included in the navigation device 140, a display incorporated in a room mirror, a display incorporated in a meter unit, or a head-up display projected on a windshield.
  • the notification device 160 notifies the driver that the presentation information based on the captured image and the presentation information based on the overhead image are switched as described later by emitting sound, voice, light, vibration, or the like.
  • Examples of the notification device 160 include a speaker, a warning lamp, or a haptic device such as a handle or a seat in which a vibrating body is embedded.
  • the control device 170 is accessible to a ROM (Read Only Memory) that stores a program for controlling the display of presentation information related to the object, and a CPU (Central Processing Unit) that executes the program stored in the ROM. It is composed of a RAM (Random Access Memory) that functions as a storage device.
  • ROM Read Only Memory
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • As an operation circuit instead of or in addition to a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), etc. Can be used.
  • the control device 170 executes a program stored in the ROM by the CPU, thereby obtaining an information acquisition function for acquiring various travel information, an object detection function for detecting an object existing around the host vehicle, and a vehicle speed index.
  • a vehicle speed index setting function for setting the image type, an image type selection function for selecting the image type of the presentation image, a first image generation function for generating a presentation image based on the captured image, and a presentation image based on the overhead image
  • a second image generation function, a display function for displaying a presentation image on the display 150, and a travel control function for controlling automatic travel of the host vehicle are realized. Below, each function with which the control apparatus 170 is provided is demonstrated.
  • the information acquisition function of the control device 170 acquires various travel information from the camera 110, the distance measuring sensor 120, the vehicle speed sensor 130, and the navigation device 140.
  • the information acquisition function acquires a captured image captured by the camera 110 from the camera 110, acquires a detection result of the distance measurement sensor 120 from the distance measurement sensor 120, and acquires a traveling speed of the host vehicle from the vehicle speed sensor 130.
  • the position information of the own vehicle is acquired from the navigation device 140.
  • the object detection function of the control device 170 detects an object present around the host vehicle based on the captured image captured by the camera 110 and the detection result of the distance measuring sensor 120.
  • the object detection function also detects the position of the object and the distance from the vehicle to the object based on the captured image captured by the camera 110 and the detection result of the distance measuring sensor 120.
  • the object detection function is based on the color and shape of the object captured in the captured image, and the pedestrian, bicycle, motorcycle, automobile, road obstacle, structure, traffic light, sign, lane, road edge (curbstone) And the type of an object such as a guardrail, a speed limit written on a sign, a signal color of a traffic light, and the like can be detected.
  • the vehicle speed index setting function of the control device 170 sets an index related to the traveling speed of the host vehicle as a vehicle speed index.
  • the vehicle speed index setting function sets the vehicle speed index in five stages “1” to “5”.
  • the vehicle speed index tends to be lower in a scene where the host vehicle is traveling at a lower speed, and tends to be higher in a scene where the host vehicle is traveling at a higher speed.
  • FIG. 2 is a diagram showing an example of the relationship between various travel information and vehicle speed indicators.
  • the vehicle speed index setting function can set the vehicle speed index according to the traveling speed V of the host vehicle. For example, in the example shown in FIG. 2, the vehicle speed index setting function determines that the vehicle speed index is set when the travel speed V of the host vehicle is greater than or equal to zero and less than X1 and the host vehicle can be determined to be stopped or traveling at an extremely low speed. Is set as “1”. Further, the vehicle speed index setting function sets the vehicle speed index as “2” when the traveling speed V of the host vehicle is not less than X1 and less than X2 and it can be determined that the host vehicle is traveling at a low speed. Similarly, as shown in FIG.
  • the vehicle speed index setting function sets the vehicle speed index to a larger value as the traveling speed V of the host vehicle is higher.
  • the relationship between X1, X2, X3, and X4 is X1 ⁇ X2 ⁇ X3 ⁇ X4.
  • the vehicle speed index setting function can set the vehicle speed index according to the transmission gear ratio.
  • the vehicle speed index setting function acquires speed ratio information from the transmission, and determines whether the transmission speed ratio corresponds to “1st speed” to “5th speed or higher”. For example, in the example shown in FIG. 2, the vehicle speed index setting function sets the vehicle speed index as “1” when the transmission gear ratio is a gear ratio corresponding to “1st speed”. Further, the vehicle speed index setting function sets the vehicle speed index as “2” when the transmission gear ratio is a gear ratio corresponding to “second speed”. Similarly, as shown in FIG. 2, the vehicle speed index setting function sets the vehicle speed index to a larger value as the transmission gear ratio is smaller.
  • the vehicle speed index setting function may be configured to set the vehicle speed index according to the position of the shift lever when the transmission gear ratio can be changed by operating the shift lever.
  • the vehicle speed indicator setting function can set the vehicle speed indicator based on the road type of the road on which the host vehicle is traveling. For example, the vehicle speed index setting function acquires the type information of the road on which the host vehicle travels from the navigation device 140. The vehicle speed indicator setting function determines that the host vehicle is stopped or slowing down when the host vehicle is parked or running in the “parking lot”, and sets the vehicle speed indicator as “1”. Further, the vehicle speed index setting function sets the vehicle speed index as “2” when the host vehicle is traveling on a “general municipality road excluding urban areas”. Similarly, as shown in FIG. 2, the vehicle speed index setting function sets the vehicle speed index as “3” when the host vehicle travels on “urban road”, and the host vehicle travels on “main road”. The vehicle speed index can be set as “4”, and the vehicle speed index can be set as “5” when the vehicle travels on the “automobile exclusive road or highway”.
  • the vehicle speed index setting function can set the vehicle speed index based on the speed limit Vr of the road on which the host vehicle is traveling. For example, in the example shown in FIG. 2, the vehicle speed index setting function sets the vehicle speed index as “1” when the speed limit Vr of the road on which the host vehicle is traveling is less than X1. Further, the vehicle speed index setting function sets the vehicle speed index as “2” when the speed limit Vr of the road on which the host vehicle is traveling is X1 or more and less than X2. Similarly, as shown in FIG. 2, the vehicle speed index setting function can set the vehicle speed index to a larger value as the speed limit Vr of the road on which the host vehicle is traveling is higher.
  • the vehicle speed index setting function can set the vehicle speed index according to the distance D from the host vehicle to the object. For example, in the example shown in FIG. 2, the vehicle speed index setting function sets the vehicle speed index as “1” when the distance D from the host vehicle to the object is less than D1. Further, the vehicle speed index setting function sets the vehicle speed index as “2” when the distance D from the host vehicle to the object is D1 or more and less than D2. Similarly, as shown in FIG. 2, the vehicle speed index setting function can set the vehicle speed index to a larger value as the distance D from the host vehicle to the object is longer. In the example shown in FIG. 2, the relationship between D1, D2, D3, and D4 is D1 ⁇ D2 ⁇ D3 ⁇ D4.
  • the vehicle speed indicator setting function can set the vehicle speed indicator based on the traveling scene of the host vehicle.
  • the vehicle speed index setting function includes the travel speed V of the host vehicle, the travel location of the host vehicle (for example, a parking lot, a shopping street, a road with multiple lanes), and the type and number of objects detected around the host vehicle. Based on the above, it is determined whether or not the traveling scene of the host vehicle is a predetermined traveling scene.
  • the vehicle speed index setting function can set the vehicle speed index to a numerical value corresponding to each traveling scene, as shown in FIG.
  • the vehicle speed index setting function determines that the traveling scene of the vehicle is “when the vehicle is traveling in a parking lot or a shopping street and there are many pedestrians and bicycles in the vicinity. "Stop / Slowdown scene”. Then, as shown in FIG. 2, the vehicle speed index setting function can set the vehicle speed index to “1” corresponding to “stop / slow down scene”. In addition, the vehicle speed indicator setting function detects a bicycle lane on the side of the host vehicle, and if a bicycle is detected around the host vehicle, the driving scene of the host vehicle is determined as a “bicycle parallel running scene”. To do. Then, as shown in FIG.
  • the vehicle speed index setting function can set the vehicle speed index to “2” corresponding to the “bicycle parallel running scene”.
  • the vehicle speed index setting function allows the host vehicle to travel on a road where the oncoming vehicle can face each other, and when the oncoming vehicle is traveling at 15 to 40 km / h, It is determined as a “city driving scene”. Then, as shown in FIG. 2, the vehicle speed index setting function can set the vehicle speed index to “3” corresponding to the “city driving scene”.
  • the vehicle speed index setting function allows the host vehicle to travel on the road having a plurality of lanes, and when the other vehicle is traveling at 40 to 60 km / h, It is determined as “suburban driving scene”.
  • the vehicle speed index setting function can set the vehicle speed index to “4” corresponding to the “suburban travel scene”, as shown in FIG.
  • the vehicle speed index setting function allows the vehicle's driving scene to be set to “high speed” when the host vehicle is traveling on a road with multiple traffic lanes and no other vehicle is traveling at 60 km / h or higher. It is determined as “cruising scene”.
  • the vehicle speed index setting function can set the vehicle speed index to “5” corresponding to the “high-speed cruise scene” as shown in FIG.
  • the image type selection function of the control device 170 selects the image type of the presented image based on the vehicle speed index set by the vehicle speed index setting function. Specifically, as shown in FIG. 3, when the vehicle speed index is “1” or “2”, the image type selection function selects a captured image type that presents a presentation image based on a captured image as a presentation image. Select as the image type. Further, as shown in FIG. 3, when the vehicle speed index is “3” to “5”, the image type selection function selects the overhead image type for presenting the presentation image based on the overhead image as the image type of the presentation image. Select as.
  • FIG. 4A is a diagram illustrating an example of the presented image when the captured image type is selected
  • FIG. 4B is an example of the presented image when the overhead image type is selected.
  • FIG. 4A when the captured image type is selected, as shown in FIG. 4A, a presentation image based on the captured image is displayed.
  • FIG. 4 When the overhead image type is selected, FIG. ), A presentation image based on the overhead view image is displayed.
  • the first image generation function of the control device 170 When the captured image type is selected by the image type selection function, the first image generation function of the control device 170 generates a presentation image based on the captured image captured by the camera 110 as shown in FIG. Generate.
  • a method for generating a presentation image by the first image generation function will be described in detail.
  • the first image generation function selects a captured image used for generating a presentation image based on the vehicle speed index or the traveling speed V of the host vehicle.
  • the information presentation apparatus 100 is suitable for a short-distance camera suitable for photographing an object existing at a short distance from the own vehicle and an object existing at a medium distance from the own vehicle.
  • the first image generation function selects a captured image captured by the short-distance camera as a captured image used for generating the presentation image when the vehicle speed index is “1”. .
  • the first image generation function selects a captured image captured by a medium-distance camera as a captured image used for generating the presentation image.
  • the long-distance camera is used to detect an object when the vehicle speed index is “3” or more (that is, when the presented image is an overhead image type).
  • the first image generation function is picked up by a short-distance camera as a picked-up image used for generating a presentation image when the traveling speed V of the host vehicle is zero or more and less than X1.
  • the captured image captured by the medium-distance camera may be selected as the captured image used for generating the presentation image. it can.
  • FIG. 6 is a diagram for explaining mask processing of a captured image, where (A) is a captured image before mask processing, and (B) is a captured image after mask processing.
  • the first image generation function is expressed by the following formula ( As shown in 1), the mask width d can be calculated based on the traveling speed V and the upper limit speed V limit of the host vehicle.
  • the upper limit speed V limit is an upper limit value of the traveling speed V when the captured image type is selected. For example, when the traveling speed V is less than X2, the vehicle speed index is set to “2”, and when the presentation image based on the captured image is displayed, “X2” is the upper limit speed V limit .
  • the first image generation function calculates the mask width d wider as the traveling speed V of the host vehicle is higher. Then, the first image generation function performs a mask process for masking the left and right end portions (Y direction) of the captured image by the calculated mask width d. Thereby, when the traveling speed V of the host vehicle is high, an image shorter in the left-right direction (Y direction) than the captured image captured by the camera 110 is generated as shown in FIG. .
  • the first image generation function can also mask the captured image by a mask width d corresponding to the vehicle speed index. In this case, the first image generation function performs mask processing so that the mask width is wider when the vehicle speed index is “2” than when the vehicle speed index is “1”.
  • the first image generation function superimposes a bonnet image imitating the hood of the host vehicle on the captured image subjected to the mask process.
  • the first image generation function superimposes the bonnet image on the lower side of the captured image on which the mask process has been performed.
  • the bonnet image is, for example, an image drawn in advance by computer graphics, and can be configured to be stored in the ROM of the control device 170.
  • 7A and 7B are diagrams illustrating an example of an image obtained by superimposing a bonnet image on the image after the mask process illustrated in FIG. 6B.
  • the first image generation function can change the size and shape of the bonnet image according to the traveling speed V of the host vehicle or the vehicle speed index.
  • the traveling speed V of the host vehicle when the traveling speed V of the host vehicle is less than X1, as shown in FIG. 7A, the length of the bonnet image in the vertical direction (X direction) is relatively short.
  • the traveling speed V of the host vehicle is equal to or higher than X1, as shown in FIG. 7B, the length in the vertical direction (X direction) of the bonnet image can be made relatively long.
  • the first image generation function is configured to shorten the length of the upper end portion of the bonnet image (the upper bottom portion when the bonnet image is a trapezoid) when the traveling speed V of the host vehicle is X1 or more. It is good.
  • the first image generation function relatively shortens the length of the bonnet image in the vertical direction (X direction) as shown in FIG.
  • the vehicle speed index of the host vehicle is “2”
  • the length of the bonnet image in the vertical direction (X direction) may be relatively long as shown in FIG. 7B. In the example shown in FIGS.
  • the configuration in which the size and shape of the bonnet image are changed in two stages is illustrated, but the configuration is not limited to this configuration. Accordingly, the bonnet image may be changed in size and shape in a multistage manner. Or it is good also as a structure which changes the magnitude
  • FIG. 8 is an example of an image in which an object is highlighted in the image shown in FIG.
  • the first image generation function superimposes frame lines e1 and e2 on an object detected by the object detection function (hereinafter also referred to as a detection object). By doing so, the detection object can be highlighted and displayed.
  • the first image generation function can be configured to highlight and display the detection target by superimposing underlines e3 and e4 on the detection target as shown in FIG. 8B, for example. Furthermore, the first image generation function is configured to emphasize and display the detection target by superimposing circles (points) e5 and e6 on the detection target as shown in FIG. 8C, for example. You can also.
  • the first image generation function includes other objects (hereinafter also referred to as control objects) that are targets of automatic traveling control of the host vehicle among the detection objects detected by the object detection function. Is highlighted in a display form different from that of the detection object.
  • FIG. 9 is a diagram illustrating an example of an image in which the control object is highlighted in the image illustrated in FIG.
  • the first image generation function has a yellow frame line e1 (indicated by a solid black line in FIG. 9A) superimposed on the detection target.
  • a red frame line f1 indicated by a black broken line in FIG. 9A
  • the control object can be highlighted in a display form different from other detection objects. it can.
  • the first image generation function when a thin frame line e1 is superimposed on the detection target, superimposes a thick frame line f2 on the control target, thereby The object can be highlighted in a display form different from other detection objects.
  • FIG. 10 is a diagram illustrating an example of an image in which distance information from the own vehicle to a detection target (including a control target) is superimposed on the image illustrated in FIGS. 9 (A) and 9 (B). is there.
  • the first image generation function has a numerical value indicating the distance from the host vehicle to the detection target (including the control target) below the detection target. By superimposing, distance information from the host vehicle to the detection target can be superimposed. Further, as shown in FIG.
  • the first image generation function has a pattern (pattern or icon or the like) indicating the distance from the own vehicle to the detection target (including the control target) below the detection target. ) G1 and g2 may be superposed. In the example shown in FIG. 10C, the length of the pattern becomes longer as the distance from the own vehicle to the detection target (including the control target) is longer.
  • the first image generation function performs (1) mask processing, (2) bonnet image superimposition processing, (3) highlighting of the detection target on the captured image captured by the camera 110, ( 4) A display image is generated by highlighting a control object and (5) performing a superimposition process of distance information.
  • the second image generation function of the control device 170 generates an overhead image such as an overhead view of the host vehicle by drawing using, for example, computer graphics.
  • the second image generation function generates a presentation image based on the generated overhead image.
  • a method for generating a presentation image by the second image generation function will be described in detail.
  • the second image generation function draws a bird's-eye view image of a depression angle corresponding to the vehicle speed index. For example, when the vehicle speed index is “3”, the second image generation function draws an overhead image with a relatively small depression angle, as shown in FIG. In addition, when the vehicle speed index is “4”, the second image generation function draws an overhead image with a medium depression angle and the vehicle speed index is “5” as shown in FIG. 11B. In this case, as shown in FIG. 11C, an overhead image with a relatively large depression angle is drawn. Thus, the second image generation function draws an overhead image with a large depression angle as the vehicle speed index increases.
  • FIG. 11 is a diagram illustrating an example of an overhead image drawn based on the vehicle speed index. Further, in the example shown in FIG. 11, an overhead image drawn in a scene in which the host vehicle V1 travels on a three-lane road is illustrated. However, for example, the own vehicle V1 is detected from the camera 110, the distance measuring sensor 120, the navigation device 140, and the like. When it can be determined that the vehicle V1 is traveling on a two-lane road, it is possible to draw an overhead image showing the scene where the host vehicle V1 travels on a two-lane road.
  • the second image generation function places an icon indicating the detection target detected by the target detection function on the drawn overhead image.
  • the second image generation function acquires information on the relative position and relative distance of the detection target from the target detection function.
  • the second image generation function displays an icon indicating the detection target on the overhead view image corresponding to the actual positional relationship between the host vehicle V1 and the detection target. Place at the position.
  • the other vehicle t1 since the other vehicle t1 is traveling in front of the host vehicle V1, the other vehicle t1 is also displayed in front of the icon indicating the host vehicle V1 on the overhead image. An icon indicating is placed.
  • FIGS. 12A to 12C as the vehicle speed index is larger, the bird's-eye view image is drawn so that the host vehicle is seen from above. Therefore, the larger the vehicle speed index, the wider the display range in which the detection target is displayed.
  • the detection target t1 since the depression angle is relatively small, only the detection target t1 is displayed on the overhead image, and in FIG. 12B, the detection objects t1 to t3 are overhead when the depression angle is medium.
  • FIG. 12C since the depression angle is relatively large, the detection objects t1 to t5 existing around the host vehicle are displayed on the overhead view image.
  • FIGS. 12A to 12C are diagrams showing examples of images in which detection objects are arranged with respect to the overhead images shown in FIGS. 11A to 11C.
  • FIG. 13 is a diagram illustrating an example of an image in which a control object is highlighted with respect to the image illustrated in FIG. 12.
  • the entire icon indicating the control object c1 among the detection objects is shown in yellow (in the example shown in FIG. 13, dark gray).
  • the control object can be highlighted in a display form different from that of the detection object.
  • the second image generation function has a red border (indicated by a black border in the example shown in FIG. 13) on the icon indicating the control target. It can also be set as the structure which highlights a control target object by superimposing.
  • FIG. 14 is a diagram illustrating an example of an image in which distance guidelines are superimposed on the image illustrated in FIG. 13.
  • the second image generation function can change the distance indicated by the distance guideline based on the distance between the host vehicle and the other vehicle. For example, the second image generation function can shorten the distance indicated by the distance guideline when the distance between the host vehicle and the other vehicle is short.
  • the second image generation function includes (1) drawing a bird's-eye view image of the depression angle corresponding to the vehicle speed index, (2) arrangement of the detection target, (3) highlighting of the control target, and (4) distance guideline.
  • a presentation image is generated by performing the superimposing process.
  • the display function of the control device 170 transmits the image data of the presentation image generated by the first image generation function or the second image generation function to the display 150 and displays it on the screen of the display 150. Thereby, a presentation image can be presented to the driver.
  • the traveling control function of the control device 170 controls the automatic traveling of the host vehicle.
  • the travel control function detects a lane mark of a lane in which the host vehicle travels (hereinafter also referred to as the host vehicle lane) based on the detection results of the camera 110 and the distance measuring sensor 120, and the host vehicle is within the host lane.
  • Lane driving control for controlling the traveling position in the width direction of the host vehicle can be performed so as to travel.
  • the travel control function can control the operation of the steering actuator or the like so that the host vehicle travels at an appropriate travel position.
  • the traveling control function can also perform follow-up traveling control that automatically follows the preceding vehicle with a certain distance between the preceding vehicle and the vehicle.
  • the travel control function can control the operation of a drive mechanism such as an engine or a brake so that the host vehicle and the preceding vehicle travel at a constant inter-vehicle distance. Furthermore, the travel control function controls the travel of the host vehicle based on the control target specified by the target detection function. For example, the traveling control function controls the steering actuator, the engine, the brake, and the like so as to avoid the control object or stop before the control object.
  • FIG. 15 is a flowchart showing information presentation processing according to the present embodiment. Note that the information presentation processing described below is executed by the control device 170. Also, the information presentation process described below starts when the ignition is turned on, and is repeatedly performed until the ignition is turned off.
  • step S101 by the information acquisition function, the captured image captured by the camera 110, the detection result of the distance measuring sensor 120, the traveling speed V of the host vehicle detected by the vehicle speed sensor 130, and the own vehicle detected by the navigation device 140.
  • Various travel information such as vehicle position information is acquired.
  • step S102 the vehicle speed index is set by the vehicle speed index setting function, as shown in FIG. 2, based on the various travel information acquired in step S101.
  • step S103 an object existing around the host vehicle is detected as a detection object based on the captured image acquired in step S101 and the detection result of the distance measuring sensor 120 by the object detection function.
  • step S104 the target object used as the object of automatic travel control is specified as a control target object among detection target objects by a target object detection function.
  • step S105 it is determined by the image type selection function whether or not the immediately preceding process of step S102 (the process of step S102 at the time of the current process) is the first vehicle speed index setting process. That is, in step S105 immediately after the ignition is turned on and the information presentation process in FIG. 15 is started, the vehicle speed index is not set until the process of the immediately preceding step S102. Therefore, the immediately preceding step S102 is the first vehicle speed index.
  • the setting process is determined, and the process proceeds to step S106.
  • step S110 it is determined in step S110 that the ignition is on, and after returning to step S101, if the process of step S102 is performed again, the immediately preceding step S102 is performed. Is not determined as the first vehicle speed index setting process, and the process proceeds to step S112.
  • step S106 the image type selection function selects the image type of the presented image based on the vehicle speed index set in step S102.
  • step S107 the control device 150 determines whether the image type of the presentation image selected in step S106 is a captured image type or an overhead image type. If the image type of the presented image is a captured image type, the process proceeds to step S108. On the other hand, if the image type of the presented image is an overhead image type, the process proceeds to step S109.
  • step S108 a captured image presentation process is performed in which a presentation image is generated based on a captured image captured by the camera 110, and a presentation image based on the captured image is presented.
  • FIG. 16 is a flowchart showing the captured image presentation processing shown in step S108.
  • the captured image presentation processing in step S108 will be described with reference to FIG.
  • a captured image used to generate a presentation image is determined from captured images captured by a plurality of cameras 110 by the first image generation function.
  • the first image generation function can select a captured image used for generating the presentation image according to the traveling speed V or the vehicle speed index of the host vehicle.
  • step S202 a mask process is performed on the captured image selected in step S201 by the first image generation function.
  • the first image generation function has the left and right ends (Y direction) of the captured image by the mask width d corresponding to the traveling speed V of the host vehicle. Can be masked.
  • a captured image subjected to mask processing is generated as shown in FIG. 6B.
  • step S203 as shown in FIG. 7, the bonnet image is superimposed on the captured image masked in step S202 by the first image generation function.
  • the first image generation function can change the size and shape of the bonnet image based on the traveling speed V of the host vehicle or the vehicle speed index, and can superimpose it on the captured image.
  • step S204 the detection target is highlighted in the captured image obtained by superimposing the bonnet image in step S203 by the first image generation function.
  • the first image generation function superimposes a frame line, underline, circle (point), etc. on the detection target detected in step S103.
  • the detection object can be highlighted and displayed.
  • step S205 the control object is further highlighted in the captured image in which the detection object is highlighted in step S204 by the first image generation function.
  • the first image generation function superimposes a frame having a display form different from other detection objects on the control object specified in step S104. By doing so, it is possible to highlight the control object in a display form different from other detection objects.
  • the first image generation function superimposes distance information from the own vehicle to the detection target (including the control target) on the captured image in which the control target is highlighted in step S205.
  • the first image generation function can superimpose the distance information of the detection target acquired in step S103 below the detection target.
  • steps S202 to S206 mask processing, bonnet image superimposition processing, detection target highlighting, control target highlighting, and distance information superimposition processing are performed on the captured image selected in step S201. As a result, a presentation image is generated.
  • step S207 the presentation image generated in step S206 is displayed on the screen of the display 150 by the display function.
  • step S207 the process returns to FIG. 15 and proceeds to step S110.
  • step S110 the control device 170 determines whether or not the ignition is turned off, and the information presentation process shown in FIG. 15 is repeated until the ignition is turned off. On the other hand, when the ignition is turned off, the information presentation process shown in FIG. 15 ends.
  • step S109 a bird's-eye view image presentation process is performed in which a presentation image is generated based on a bird's-eye view image drawn using computer graphics and the like, and a presentation image based on the generated bird's-eye view image is presented.
  • FIG. 17 is a flowchart showing the overhead image presentation processing shown in step S109.
  • the overhead image presentation processing in step S109 will be described with reference to FIG.
  • step S301 an overhead view image of a depression angle corresponding to the vehicle speed index is drawn by the second image generation function. That is, the second image generation function determines the depression angle of the overhead view image based on the vehicle speed index set in step S102, and draws the overhead view image of the decided depression angle as shown in FIGS. .
  • step S302 an icon indicating the detection target is placed on the overhead image drawn in step S301 by the second image generation function.
  • the second image generation function displays an icon indicating the detection target detected in step S103 as the actual vehicle and the detection target. It arrange
  • step S303 as shown in FIGS. 13A to 13F, the control object is highlighted in the overhead image in which the detection object is arranged in step S302 by the second image generation function. Further, in step S304, the distance guideline is superimposed on the overhead image in which the control object is highlighted in step S303 by the second image generation function, as shown in FIGS. 14 (A) to (F). Is called.
  • steps S302 to S304 the placement of the detection target object, the highlighting of the control target object, and the superimposition processing of the distance guideline are performed on the overhead view image drawn in step S301. Is generated.
  • step S305 the presentation image generated in step S304 is displayed on the screen of the display 150 by the display function.
  • step S105 if it is determined in step S105 that the setting of the vehicle speed index in step S102 is not the setting of the first vehicle speed index, that is, if the vehicle speed index is set in the previous process, step Proceed to S112.
  • step S112 the display function determines whether or not the vehicle speed index has changed to a vehicle speed index with a different image type of the presented image.
  • the vehicle speed index is “1” or “2”
  • the captured image type is selected as the image type of the presented image
  • the vehicle speed index is “3” to “5”.
  • the overhead image type is selected as the image type of the presented image. Therefore, for example, when the vehicle speed index changes from “2” to “3” and the image type of the presented image changes from “captured image type” to “overhead image type”, the display function It is determined that the vehicle speed indicator has changed to a different image type.
  • the display function is , It is determined that the vehicle speed index has changed to a different image type of the presented image.
  • step S113 If it is determined that the vehicle speed index has changed to a vehicle speed index with a different image type of the presented image, the process proceeds to step S113. On the other hand, if it is determined that the vehicle speed index has not changed to a vehicle speed index with a different image type of the presented image, the process proceeds to step S107, and the processes of steps S107 to S110 described above are performed.
  • step S113 since the image type of the presented image is changed, an image switching process for switching between the presented image based on the captured image and the presented image based on the overhead image is performed.
  • FIG. 18 is a flowchart showing the image switching process shown in step S113.
  • the image switching process in step S113 will be described with reference to FIG.
  • a switching time for switching between the presentation image based on the captured image and the presentation image based on the overhead image is set by the display function.
  • the display function can set a predetermined time (for example, 1 second) as the switching time.
  • the display function can also set the switching time based on the acceleration of the host vehicle.
  • the display function can be configured to shorten the switching time as the acceleration of the host vehicle increases.
  • step S402 a notification process for notifying the driver that the presentation image based on the captured image and the presentation image based on the overhead image are switched by the display function is performed.
  • the display function outputs a warning sound or a guidance sound indicating that a presentation image is switched from a speaker as the notification device 160, or vibrates a haptic device such as a handle or a seat in which a vibration body is embedded, thereby driving the driver. Even when the display 150 does not pay attention to the display 150, the driver can be made aware of the switching of the presentation image.
  • the switching image is displayed by the display function.
  • the display function is an animation image that transitions from a presentation image based on a captured image to a presentation image based on a bird's-eye view image, or from a presentation image based on a bird's-eye view image to a presentation image based on a captured image.
  • the animation image that changes is displayed on the display 150 as a switching image.
  • the display function displays the animation of the switching image over the image switching time set in step S401. Thereby, the presentation image based on the captured image and the presentation image based on the overhead image are switched over an image switching time.
  • FIG. 19 is a diagram illustrating an example of a switching image when the presentation image based on the captured image transitions to the presentation image based on the overhead image.
  • the display function transits from a presentation image based on a captured image to a presentation image based on a bird's-eye view image
  • the size is gradually reduced from the outside toward the center.
  • the presentation image based on the captured image is made smaller so that the presentation image based on the overhead image rises from below the display 150 as shown in FIGS. Display a presentation image based on it.
  • FIG. 19D the presentation image based on the captured image disappears, and only the presentation image based on the overhead image is displayed on the screen of the display 150.
  • FIG. 20 is a diagram showing an example of a switching image in the case of transition from a presentation image based on a bird's-eye view image to a presentation image based on a captured image.
  • the display function transitions from a presentation image based on a bird's-eye view image to a presentation image based on a captured image
  • the display is displayed so as to disappear below the display 150.
  • the presentation image based on the overhead image is displayed so as to disappear downward, and the presentation image based on the captured image is gradually increased from the center of the display 150. Display.
  • FIG. 20D the presentation image based on the overhead image disappears, and only the presentation image based on the captured image is displayed on the screen of the display 150.
  • FIG. 21 is a diagram illustrating an example of the relationship between the vehicle speed index and the transition of the presented image.
  • the presentation image based on the captured image is presented as shown in FIG.
  • a presentation image based on the captured image is also presented, but as shown in FIG. 21B, compared to the case where the vehicle speed index is “1”.
  • a presentation image with the left and right end portions masked is displayed.
  • FIG. 21C first, as shown in FIG. 21C, a switching image is displayed, and an image switching process is performed. Thereafter, as shown in FIG. 21D, a presentation image based on the overhead image is displayed.
  • a presentation image based on a bird's-eye view image with a larger depression angle is displayed, and the vehicle speed index is changed from “4” to “5”. ”.
  • a presentation image based on the overhead view image having the largest depression angle is displayed as shown in FIG.
  • a presentation image corresponding to each vehicle speed index is presented, and when the vehicle speed index changes from “3” to “2”, a switching image is displayed, An image switching process is performed.
  • it can be set as the structure which changes a presentation image according to a vehicle speed parameter
  • the information presentation apparatus 100 displays the presentation image based on the captured image when the vehicle speed index is low, and displays the presentation image based on the overhead image when the vehicle speed index is high.
  • the host vehicle travels on a parking lot or a general municipal road at a relatively slow speed, and there are tendencies that there are many pedestrians, bicycles, traffic lights, etc. around the host vehicle.
  • the information presenting apparatus 100 can detect an object such as a pedestrian, a bicycle, or a traffic light by presenting an object such as a pedestrian, a bicycle, or a traffic light with an actual captured image. Compared with the captured image, the driver can be appropriately grasped.
  • the traveling speed of the host vehicle is high, it is a scene where the host vehicle travels on a general road or an expressway, and other traveling vehicles tend to exist around the host vehicle.
  • the driver by displaying the presentation image based on the bird's-eye view image, it is possible to cause the driver to appropriately grasp the traveling state of the other vehicle around the host vehicle.
  • the present embodiment by drawing the bird's-eye view image using computer graphics or the like, it is possible to display the traveling state of other vehicles around the host vehicle on one screen as compared to the captured image. Since the information on the object to be displayed on the screen can be appropriately narrowed down, it is possible to cause the driver to properly grasp the information on other vehicles that travel around the host vehicle that the driver needs.
  • the vehicle speed index is set lower as the traveling speed V of the host vehicle is lower, and the vehicle speed index is set higher as the traveling speed V of the host vehicle is higher.
  • the vehicle speed index is set lower as the transmission gear ratio is higher, and the vehicle speed index is set higher as the transmission gear ratio is lower.
  • the vehicle speed index is set low, and conversely, there are many other vehicles around the vehicle, A vehicle speed index is set high when a predicted driving state occurs when the vehicle travels at a relatively high speed.
  • the vehicle speed index is low, it is possible to present presentation information based on a captured image that is suitable for a scene where there are many pedestrians, bicycles, traffic lights, and the like around the host vehicle.
  • the vehicle speed index is high, it is possible to present presentation information based on a bird's-eye view image that is suitable for a scene where there are many other vehicles around the host vehicle.
  • the higher the traveling speed V of the host vehicle when presenting a presentation image based on a captured image, the higher the traveling speed V of the host vehicle, the larger the mask width d is and mask processing is performed on the left and right ends of the captured image.
  • the higher the vehicle traveling speed V the narrower the driver's field of view.
  • the higher the traveling speed V of the host vehicle the higher the mask so that the relationship between the traveling speed V of the host vehicle and the size of the captured image matches the relationship between the traveling speed V of the host vehicle and the field of view of the driver.
  • the traveling speed V of the host vehicle increases, so the speed at which the scenery flows backward at the left and right ends of the captured image (optical flow) increases, so the images at the left and right ends become blurred.
  • the traveling speed of the host vehicle increases, the left and right ends of the captured image are masked to reduce the driver's uncomfortable feeling due to such blurring of the image.
  • the traveling speed V of the host vehicle in order to match the relationship between the traveling speed V of the host vehicle and the field of view of the driver, if the presented image to be presented to the driver is reduced as the traveling speed V of the host vehicle is increased, information about the object is displayed to the driver. Cannot be presented properly. Furthermore, when the traveling speed V of the host vehicle is high, there is another vehicle that is traveling on the same road as the host vehicle, rather than a scene in which a pedestrian or bicycle passes around the host vehicle. In such a case, the positional relationship between the host vehicle and the other vehicle is important. Therefore, in the present embodiment, when the vehicle speed index is “3” or more, a presentation image based on the overhead image is presented.
  • the presentation image based on the overhead view image is significantly different from the driver's viewpoint. Information on other vehicles traveling around the host vehicle that is important when the vehicle traveling speed V is high can be appropriately presented to the driver.
  • a bonnet image simulating the bonnet of the host vehicle is superimposed and displayed.
  • the driver can intuitively grasp that the captured image is an image obtained by capturing the front of the host vehicle.
  • the length of the up-down direction (X direction) of a bonnet image is lengthened, so that the traveling speed V or the vehicle speed parameter
  • the angle of the presented image changes to look down on the host vehicle from above.
  • the driver's uncomfortable feeling due to the change in the angle can be reduced.
  • a short-range camera fisheye camera
  • a mid-range camera suitable for photographing an object present at a distance
  • a long-distance camera suitable for photographing an object present at a long distance from the host vehicle.
  • the detection target detected by the camera 110 or the distance measuring sensor 120 is highlighted and displayed.
  • the detection target detected by the information presentation apparatus 100 can be properly grasped by the driver.
  • the control object that is the target of the automatic travel control is highlighted and displayed in a display form different from other detection objects. Thereby, it is possible to cause the driver to appropriately grasp the control object to be subjected to the automatic travel control.
  • the distance information from the own vehicle to the detection target is displayed superimposed on the detection target. Thereby, the distance from the own vehicle to the detection target can be properly grasped by the driver.
  • a bird's-eye view image with a different depression angle is drawn according to the vehicle speed index.
  • an overhead image with a large depression angle is drawn in order to produce a visual effect such that the higher the vehicle speed index is, the more the vehicle is viewed from above.
  • FIGS. 14A to 14F as the speed of the host vehicle increases, the surroundings of the host vehicle are displayed more widely, and the traveling state of the other vehicles traveling around the host vehicle is displayed. Can be presented to the driver.
  • the other vehicle approaching the host vehicle is informed to the driver before the host vehicle approaches the other vehicle.
  • the host vehicle is traveling at a high speed
  • other vehicles tend to approach the host vehicle at a higher speed than when the host vehicle is traveling at a low speed.
  • by presenting the surroundings of the host vehicle more widely, other vehicles approaching the host vehicle at high speed can be presented to the driver at an early timing (before the other vehicle approaches the host vehicle). it can.
  • the detection target detected by the camera 110 or the distance measuring sensor 120 corresponds to the actual positional relationship between the host vehicle and the detection target. To be placed at a position on the overhead image.
  • the driver can appropriately know which position around the subject vehicle the object detected by the information presentation apparatus 100 is traveling.
  • the control target object used as the object of automatic travel control is highlighted and displayed. As a result, the driver can be made aware of the control object that is subject to automatic travel control.
  • a distance guideline that indicates the distance from the host vehicle to the detection target is superimposed on the overhead image and displayed. Thereby, the distance from the own vehicle to the detection target can be properly grasped by the driver.
  • a transition from a presentation image based on the captured image to a presentation image based on a bird's-eye view image or a bird's-eye view image is performed.
  • a switching image indicating a transition from the presentation image based on the captured image to the presentation image based on the captured image is presented. Accordingly, it is possible to reduce a driver's uncomfortable feeling caused by switching from a presentation image based on a captured image close to the driver's viewpoint to a presentation image based on an overhead image different from the driver's viewpoint.
  • the driver's discomfort can be reduced by switching from a presentation image based on an overhead image different from the driver's viewpoint to a presentation image based on a captured image close to the driver's viewpoint.
  • the driver's uncomfortable feeling can be further reduced by continuously displaying the switching between the presentation image based on the captured image and the presentation image based on the overhead image.
  • the traveling speed V of the host vehicle the transmission gear ratio, the road type of the road on which the host vehicle travels, the speed limit Vr on the road on which the host vehicle travels, and the distance D from the host vehicle to the target object
  • the vehicle speed index is calculated based on one of the driving scenes of the host vehicle and the presentation image is switched based on the calculated vehicle speed index.
  • the present invention is not limited to this configuration.
  • the vehicle speed index is calculated.
  • the presentation image may be switched based on the traveling speed V, the transmission gear ratio, the road type, the speed limit D, the distance D to the object, or the traveling scene of the host vehicle itself.
  • the left and right end portions of the captured image are masked based on the traveling speed V or the vehicle speed index of the host vehicle.
  • the upper and lower end portions of the presented image may be masked based on the traveling speed V of the host vehicle or the vehicle speed index.
  • the camera 110 corresponds to the camera of the present invention, and the camera 110 and the distance measuring sensor 120 correspond to the detector of the present invention.
  • DESCRIPTION OF SYMBOLS 100 Information presentation apparatus 110 ... Camera 120 ... Ranging sensor 130 ... Vehicle speed sensor 140 ... Navigation apparatus 150 ... Display 160 ... Notification apparatus 170 ... Control apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

カメラを含む検出器１１０，１２０により検出された対象物の検出情報の表示制御を行う表示制御方法であって、検出情報は、カメラ１１０により撮像された撮像画像に基づく第１画像と、検出器１１０，１２０の検出結果に基づいて描画された画像に基づく第２画像とを含み、車両の車速指標に応じて、第１画像と第２画像とを切り替えて表示する表示制御方法。

Description

表示制御方法および表示制御装置
　本発明は、対象物の検出情報の表示制御を行う表示制御方法および表示制御装置に関する。
　従来、カメラで撮像した車外の撮像画像を車内のモニタに表示する技術が知られている。このような技術において、車両の走行速度が速い場合には、対象物が撮像される撮像画像の大きさを大きくする技術が知られている（たとえば特許文献１）。
特開２０１４－１８２５４３号公報
　しかしながら、撮像画像には対象物の他に風景なども撮像されるため、車両の走行速度によってはドライバーに提示される情報が過多となり、ドライバーが必要な対象物の情報を把握することが困難な場合があった。
　本発明が解決しようとする課題は、対象物の検出情報を適切に表示することが可能な表示制御方法および表示制御装置を提供することである。　
　本発明は、車両の車速指標に応じて、カメラにより撮像された撮像画像に基づく第１画像と、検出器の検出結果に基づいて描画された画像に基づく第２画像とを切り替えて表示することで、上記課題を解決する。
　本発明によれば、車両の車速指標に応じて、カメラにより撮像された撮像画像に基づく第１画像と、検出器の検出結果に基づいて描画された画像に基づく第２画像とを切り替えることで、対象物の検出情報を、自車両の走行速度に応じた適切な表示形態で表示することができる。
本実施形態に係る情報提示装置の構成を示す構成図である。 走行情報と車速指標との関係の一例を示す図である。 車速指標と提示画像の画像タイプとの関係の一例を示す図である。 撮像画像タイプの提示画像および俯瞰画像タイプの提示画像の一例を示す図である。 車速指標または自車両の走行速度と、提示画像の生成に用いる撮像画像との関係を説明するための図である。 自車両の走行速度と撮像画像のマスク幅との関係を説明するための図である。 図６（Ｂ）に示すマスク処理後の画像に対して、ボンネット画像を重畳した画像の一例を示す図である。 図６（Ａ）に示す画像において、検出対象物を強調表示した画像の一例を示す図である。 図８（Ａ）に示す画像において、制御対象物を強調表示した画像の一例を示す図である。 図９（Ａ），（Ｂ）に示す画像に対して、自車両から検出対象物までの距離情報を重畳した画像（撮像画像に基づく提示画像）の一例を示す図である。 車速指標に基づいて描画された俯瞰画像の一例を示す図である。 図１１に示す画像に対して、検出対象物を配置した画像の一例を示す図である。 図１２に示す画像において、制御対象物を強調表示した画像の一例を示す図である。 図１３に示す画像に対して、距離ガイドラインを重畳した画像（俯瞰画像に基づく提示画像）の一例を示す図である。 本実施形態に係る情報提示処理の一例を示すフローチャートである。 ステップＳ１０８の撮像画像提示処理を示すフローチャートである。 ステップＳ１０９の俯瞰画像提示処理を示すフローチャートである。 ステップＳ１１３の画像切り替え処理を示すフローチャートである。 撮像画像に基づく提示画像から俯瞰画像に基づく提示画像への切り替え画像の一例を示す図である。 俯瞰画像に基づく提示画像から撮像画像に基づく提示画像への切り替え画像の一例を示す図である。 車速指標と提示画像の遷移との関係の一例を示す図である。
　以下、本発明の実施形態を図面に基づいて説明する。なお、本実施形態では、車両に搭載される情報提示装置を例示して説明する。また、本実施形態に係る情報提示装置は、歩行者、自転車、バイク、自動車、路上障害物、構造物、信号機、標識、車線、道路端（縁石やガードレールなど）などを対象物として検出し、検出した対象物に関する提示情報を、車両のドライバーに提示するものである。
　図１は、本実施形態に係る情報提示装置１００の構成を示す図である。図１に示すように、本実施形態に係る情報提示装置１００は、カメラ１１０と、測距センサ１２０と、車速センサ１３０と、ナビゲーション装置１４０と、ディスプレイ１５０と、報知装置１６０と、制御装置１７０とを有している。これら装置は、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。
　カメラ１１０は、自車両の周囲を撮像する１または複数のカメラから構成される。本実施形態では、自車両の前方を撮像するカメラ１１０として、自車両から近距離の位置に存在する対象物の撮影に適した近距離カメラと、自車両から中距離の位置に存在する対象物の撮影に適した中距離カメラと、自車両から長距離の位置に存在する対象物の撮影に適した遠距離カメラと、を有する。カメラ１１０により撮像された撮像画像は、制御装置１７０に出力される。
　測距センサ１２０は、自車両の前方の対象物を検出する前方レーダー、自車両の後方の対象物を検出する後方レーダー、および自車両の側方に存在する対象物を検出する側方レーダーなどから構成される。また、測距センサ１２０として、超音波センサ、音波センサ、赤外線センサなどを用いることもできる。測距センサ１２０は、自車両の周囲に存在する対象物の位置および自車両から対象物までの距離を検出し、その検出結果を、制御装置１７０に出力する。
　車速センサ１３０は、ドライブシャフトなどの駆動系の回転速度を計測し、これに基づいて車両の走行速度（以下、車速ともいう）を検出する。車速センサ１３０により検出された車速情報は制御装置１７０に出力される。
　ナビゲーション装置１４０は、地図データベース、ＧＰＳセンサ、方位センサを含み、自車両の現在位置を計測し、計測した現在位置周辺の地図データをディスプレイ１５０に表示する。また、ナビゲーション装置１４０は、自車両が走行する道路の種別（たとえば、駐車場、市街地の道路、高速道路など）を特定し、特定した道路の種別を制御装置１７０に出力する。なお、ナビゲーション装置１４０が、ディスプレイ１５０、報知装置１６０、および制御装置１７０を兼ね備える構成としてもよい。
　ディスプレイ１５０は、制御装置１７０の制御により、自車両の周囲に存在する対象物に関する提示情報を、ディスプレイ１５０が備える画面に提示する。ディスプレイ１５０としては、たとえば、ナビゲーション装置１４０が有するディスプレイ、ルームミラーに組み込まれたディスプレイ、メーター部に組み込まれたディスプレイ、あるいは、フロントガラスに映し出されるヘッドアップディスプレイなどが挙げられる。
　報知装置１６０は、音、音声、光、または振動などを発することで、後述するように、撮像画像に基づく提示情報と俯瞰画像に基づく提示情報とが切り替わることを、ドライバーに報知する。報知装置１６０としては、たとえば、スピーカー、警告ランプ、あるいは、振動体を埋設したハンドルやシートなどのハプティック装置などが挙げられる。
　制御装置１７０は、対象物に関する提示情報の表示制御を行うためのプログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成される。なお、動作回路としては、ＣＰＵ（Central Processing Unit）に代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。
　制御装置１７０は、ＲＯＭに格納されたプログラムをＣＰＵにより実行することにより、各種走行情報を取得する情報取得機能と、自車両の周囲に存在する対象物を検出する対象物検出機能と、車速指標を設定する車速指標設定機能と、提示画像の画像タイプを選択する画像タイプ選択機能と、撮像画像に基づいて提示画像を生成する第１画像生成機能と、俯瞰画像に基づいて提示画像を生成する第２画像生成機能と、提示画像をディスプレイ１５０に表示する表示機能と、自車両の自動走行を制御する走行制御機能と、を実現する。以下において、制御装置１７０が備える各機能について説明する。
　制御装置１７０の情報取得機能は、カメラ１１０、測距センサ１２０、車速センサ１３０およびナビゲーション装置１４０から各種走行情報を取得する。たとえば、情報取得機能は、カメラ１１０により撮像された撮像画像をカメラ１１０から取得し、測距センサ１２０の検出結果を測距センサ１２０から取得し、自車両の走行速度を車速センサ１３０から取得し、また、自車両の位置情報（自車両が走行する道路の種別情報も含む）をナビゲーション装置１４０から取得する。
　制御装置１７０の対象物検出機能は、カメラ１１０により撮像された撮像画像および測距センサ１２０の検出結果に基づいて、自車両の周囲に存在する対象物を検出する。また、対象物検出機能は、カメラ１１０により撮像された撮像画像や測距センサ１２０の検出結果に基づいて、対象物の位置や自車両から対象物までの距離も検出する。さらに、対象物検出機能は、撮像画像に撮像された対象物の色や形状に基づいて、歩行者、自転車、バイク、自動車、路上障害物、構造物、信号機、標識、車線、道路端（縁石やガードレール）などの対象物の種別、標識に記載された制限速度、信号機の信号の色なども検出することができる。
　制御装置１７０の車速指標設定機能は、自車両の走行速度に関連する指標を、車速指標として設定する。本実施形態において、車速指標設定機能は、「１」～「５」の５段階で、車速指標を設定する。車速指標は、自車両が遅い速度で走行している場面ほど低い数値になる傾向にあり、自車両が速い速度で走行している場面ほど高い数値になる傾向にある。
　図２は、各種走行情報と車速指標との関係の一例を示す図である。車速指標設定機能は、自車両の走行速度Ｖに応じて、車速指標を設定することができる。たとえば図２に示す例において、車速指標設定機能は、自車両の走行速度Ｖがゼロ以上かつＸ１未満であり、自車両が停止または極低速で走行していると判断できる場合には、車速指標を「１」として設定する。また、車速指標設定機能は、自車両の走行速度ＶがＸ１以上かつＸ２未満であり、自車両が低速で走行していると判断できる場合には、車速指標を「２」として設定する。同様に、車速指標設定機能は、図２に示すように、自車両の走行速度Ｖが速いほど、車速指標を大きい数値に設定する。なお、図２に示す例において、Ｘ１，Ｘ２，Ｘ３およびＸ４の関係は、Ｘ１＜Ｘ２＜Ｘ３＜Ｘ４となっている。
　また、車速指標設定機能は、トランスミッションの変速比に応じて、車速指標を設定することができる。たとえば、車速指標設定機能は、トランスミッションから変速比の情報を取得し、トランスミッションの変速比が「１速」～「５速以上」のいずれに対応するかを判断する。たとえば図２に示す例において、車速指標設定機能は、トランスミッションの変速比が「１速」に対応する変速比である場合には、車速指標を「１」として設定する。また、車速指標設定機能は、トランスミッションの変速比が「２速」に対応する変速比である場合には、車速指標を「２」として設定する。同様に、車速指標設定機能は、図２に示すように、トランスミッションの変速比が小さいほど、車速指標を大きい数値に設定する。また、車速指標設定機能は、シフトレバーを操作してトランスミッションの変速比を変えることができる場合には、シフトレバーの位置に応じて、車速指標を設定する構成としてもよい。
　また、車速指標設定機能は、自車両が走行する道路の道路種別に基づいて、車速指標を設定することができる。たとえば、車速指標設定機能は、ナビゲーション装置１４０から自車両が走行する道路の種別情報を取得する。そして、車速指標設定機能は、自車両が「駐車場」で駐停車または走行している場合には、自車両が停止または徐行していると判断し、車速指標を「１」として設定する。また、車速指標設定機能は、自車両が「市街地を除く一般市町村道」を走行している場合には、車速指標を「２」として設定する。同様に、車速指標設定機能は、図２に示すように、自車両が「市街地道路」を走行する場合には車速指標を「３」として設定し、自車両が「幹線道路」を走行する場合には車速指標を「４」として設定し、自車両が「自動車専用道路または高速道路」を走行する場合には車速指標を「５」として設定することができる。
　さらに、車速指標設定機能は、自車両が走行する道路の制限速度Ｖｒに基づいて、車速指標を設定することができる。たとえば図２に示す例において、車速指標設定機能は、自車両が走行する道路の制限速度ＶｒがＸ１未満である場合には、車速指標を「１」として設定する。また、車速指標設定機能は、自車両が走行する道路の制限速度ＶｒがＸ１以上かつＸ２未満である場合には、車速指標を「２」として設定する。同様に、車速指標設定機能は、図２に示すように、自車両が走行する道路の制限速度Ｖｒが速いほど、車速指標を大きい数値に設定することができる。
　加えて、車速指標設定機能は、自車両から対象物までの距離Ｄに応じて、車速指標を設定することができる。たとえば図２に示す例において、車速指標設定機能は、自車両から対象物までの距離ＤがＤ１未満である場合には、車速指標を「１」として設定する。また、車速指標設定機能は、自車両から対象物までの距離ＤがＤ１以上かつＤ２未満である場合には、車速指標を「２」として設定する。同様に、車速指標設定機能は、図２に示すように、自車両から対象物までの距離Ｄが長いほど、車速指標を大きい数値に設定することができる。なお、図２に示す例において、Ｄ１，Ｄ２，Ｄ３およびＤ４の関係は、Ｄ１＜Ｄ２＜Ｄ３＜Ｄ４となっている。
　また、車速指標設定機能は、自車両の走行シーンに基づいて、車速指標を設定することができる。たとえば、車速指標設定機能は、自車両の走行速度Ｖ、自車両の走行場所（たとえば駐車場、商店街、複数車線の道路など）および自車両の周囲で検出された対象物の種別や数などに基づいて、自車両の走行シーンが、予め定めた走行シーンであるか否かを判定する。そして、車速指標設定機能は、図２に示すように、車速指標を、各走行シーンに応じた数値に設定することができる。
　たとえば、図２に示す例において、車速指標設定機能は、自車両が駐車場や商店街を走行しており、周囲に歩行者や自転車が多数存在する場合には、自車両の走行シーンを「停車・徐行シーン」と判定する。そして、車速指標設定機能は、図２に示すように、車速指標を、「停車・徐行シーン」に対応する「１」に設定することができる。また、車速指標設定機能は、自車両の側方に自転車通行帯を検出し、さらに、自車両の周囲に自転車を検出した場合には、自車両の走行シーンを「自転車並走シーン」と判定する。そして、車速指標設定機能は、図２に示すように、車速指標を、「自転車並走シーン」に対応する「２」に設定することができる。さらに、車速指標設定機能は、自車両が対向車両と対面通行可能な道路を走行しており、さらに、対向車両が１５～４０ｋｍ／ｈで走行している場合には、自車両の走行シーンを「街中走行シーン」と判定する。そして、車速指標設定機能は、図２に示すように、車速指標を、「街中走行シーン」に対応する「３」に設定することができる。加えて、車速指標設定機能は、自車両が複数の車線を有する道路を走行しており、さらに、他車両が４０～６０ｋｍ／ｈで走行している場合には、自車両の走行シーンを「郊外走行シーン」と判定する。そして、車速指標設定機能は、図２に示すように、車速指標を、「郊外走行シーン」に対応する「４」に設定することができる。また、車速指標設定機能は、自車両が信号機のない複数車線の道路を走行しており、さらに、他車両が６０ｋｍ／ｈ以上で走行している場合には、自車両の走行シーンを「高速巡航シーン」と判定する。そして、車速指標設定機能は、図２に示すように、車速指標を、「高速巡航シーン」に対応する「５」に設定することができる。
　制御装置１７０の画像タイプ選択機能は、車速指標設定機能により設定された車速指標に基づいて、提示画像の画像タイプを選択する。具体的には、画像タイプ選択機能は、図３に示すように、車速指標が「１」または「２」である場合には、撮像画像に基づく提示画像を提示する撮像画像タイプを、提示画像の画像タイプとして選択する。また、画像タイプ選択機能は、図３に示すように、車速指標が「３」～「５」である場合には、俯瞰画像に基づく提示画像を提示する俯瞰画像タイプを、提示画像の画像タイプとして選択する。
　ここで、図４（Ａ）は、撮像画像タイプが選択された場合の提示画像の一例を示す図であり、図４（Ｂ）は、俯瞰画像タイプが選択された場合の提示画像の一例を示す図である。このように、撮像画像タイプが選択された場合には、図４（Ａ）に示すように、撮像画像に基づく提示画像が表示され、俯瞰画像タイプが選択された場合には、図４（Ｂ）に示すように、俯瞰画像に基づく提示画像が表示されることとなる。
　制御装置１７０の第１画像生成機能は、画像タイプ選択機能により撮像画像タイプが選択された場合に、図４（Ａ）に示すように、カメラ１１０に撮像された撮像画像に基づいて提示画像を生成する。以下に、第１画像生成機能による提示画像の生成方法について詳細に説明する。
　まず、第１画像生成機能は、車速指標または自車両の走行速度Ｖに基づいて、提示画像の生成に用いる撮像画像を選択する。本実施形態に係る情報提示装置１００は、自車両から近距離の位置に存在する対象物の撮影に適した近距離カメラと、自車両から中距離の位置に存在する対象物の撮影に適した中距離カメラと、自車両から長距離の位置に存在する対象物の撮影に適した遠距離カメラと、を有する。そして、第１画像生成機能は、たとえば図５に示すように、車速指標が「１」の場合には、提示画像の生成に用いる撮像画像として、近距離カメラにより撮像された撮像画像を選択する。同様に、第１画像生成機能は、車速指標が「２」の場合には、提示画像の生成に用いる撮像画像として、中距離カメラにより撮像された撮像画像を選択する。なお、遠距離カメラは、車速指標が「３」以上である場合（すなわち、提示画像が俯瞰画像タイプとなる場合）に、対象物を検出するために用いられる。
　なお、第１画像生成機能は、図５に示すように、自車両の走行速度Ｖがゼロ以上かつＸ１未満である場合に、提示画像の生成に用いる撮像画像として、近距離カメラにより撮像された撮像画像を選択し、自車両の走行速度ＶがＸ１以上かつＸ２未満である場合に、提示画像の生成に用いる撮像画像として、中距離カメラにより撮像された撮像画像を選択する構成とすることもできる。
　次いで、第１画像生成機能は、自車両の走行速度Ｖに応じて、選択した撮像画像にマスク処理を施す。ここで、図６は、撮像画像のマスク処理を説明する図であり、（Ａ）はマスク処理前の撮像画像であり、（Ｂ）はマスク処理後の撮像画像である。たとえば、図６（Ａ）に示すように、カメラ１１０で撮像された撮像画像の幅をＬとし、マスク処理が行われるマスク幅をｄとした場合に、第1画像生成機能は、下記式（１）に示すように、自車両の走行速度Ｖおよび上限速度Ｖｌｉｍｉｔに基づいて、マスク幅ｄを算出することができる。
　マスク幅ｄ＝Ｌ／２×Ｖ／Ｖｌｉｍｉｔ　・・・（１）
なお、上限速度Ｖｌｉｍｉｔは、撮像画像タイプが選択される場合の走行速度Ｖの上限値である。たとえば、走行速度ＶがＸ２未満である場合に車速指標が「２」に設定され、撮像画像に基づく提示画像が表示される場合には、「Ｘ２」が上限速度Ｖｌｉｍｉｔとなる。
　このように、第１画像生成機能は、自車両の走行速度Ｖが速いほど、マスク幅ｄを広く算出する。そして、第１画像生成機能は、算出したマスク幅ｄだけ、撮像画像の左右方向（Ｙ方向）の端部をマスクするマスク処理を行う。これにより、自車両の走行速度Ｖが速い場合には、図６（Ｂ）に示すように、カメラ１１０で撮像された撮像画像と比べて、左右方向（Ｙ方向）に短い画像が生成される。なお、第１画像生成機能は、車速指標に応じたマスク幅ｄだけ、撮像画像をマスクすることもできる。この場合、第１画像生成機能は、車速指標が「２」である場合には、車速指標が「１」である場合よりも、マスク幅が広くなるようにマスク処理を行う。
　次いで、第１画像生成機能は、マスク処理を行った撮像画像に対して、自車両のボンネットを模したボンネット画像を重畳する。具体的には、第１画像生成機能は、図７（Ａ）に示すように、マスク処理を行った撮像画像の下側に、ボンネット画像を重畳する。なお、ボンネット画像は、たとえば、コンピューターグラフィックスにより予め描画された画像であり、制御装置１７０のＲＯＭに記憶しておく構成とすることができる。また、自車両の実際のボンネットの撮像画像を、ボンネット画像として制御装置１７０のＲＯＭに記憶しておく構成としてもよい。なお、図７（Ａ），（Ｂ）は、図６（Ｂ）に示すマスク処理後の画像に対して、ボンネット画像を重畳した画像の一例を示す図である。
　さらに、第１画像生成機能は、自車両の走行速度Ｖまたは車速指標に応じて、ボンネット画像の大きさ、形状を変更することができる。たとえば、第１画像生成機能は、自車両の走行速度ＶがＸ１未満である場合には、図７（Ａ）に示すように、ボンネット画像の上下方向（Ｘ方向）の長さを比較的短くし、自車両の走行速度ＶがＸ１以上である場合には、図７（Ｂ）に示すように、ボンネット画像の上下方向（Ｘ方向）の長さを比較的長くすることができる。また、第１画像生成機能は、自車両の走行速度ＶがＸ１以上である場合には、ボンネット画像の上端部分（ボンネット画像を台形とした場合にその上底部分）の長さを短くする構成としてもよい。また、第１画像生成機能は、自車両の車速指標が「１」の場合に、図７（Ａ）に示すように、ボンネット画像の上下方向（Ｘ方向）の長さを比較的短くし、自車両の車速指標が「２」である場合に、図７（Ｂ）に示すように、ボンネット画像の上下方向（Ｘ方向）の長さを比較的長くする構成とすることもできる。なお、図７（Ａ），（Ｂ）に示す例では、ボンネット画像の大きさ、形状を２段階で変化させる構成を例示したが、この構成に限定されず、たとえば、自車両の走行速度Ｖに応じて、より多段的に、ボンネット画像の大きさ、形状を変化させる構成としてもよい。あるいは、自車両の走行速度Ｖに応じて、連続的に、ボンネット画像の大きさ、形状を変化させる構成としてもよい。
　次いで、第１画像生成機能は、対象物検出機能の検出結果に基づいて、撮像画像内の対象物を強調表示する。ここで、図８は、図６（Ａ）に示す画像において、対象物を強調表示した画像の一例である。なお、図８に示す例では、説明の便宜のために、歩行者のみが対象物として検出された場面を例示する（後述する図９、図１０も同様。）。この場合、第１画像生成機能は、たとえば、図８（Ａ）に示すように、対象物検出機能に検出された対象物（以下、検出対象物ともいう。）に枠線ｅ１，ｅ２を重畳することで、検出対象物を強調して表示することができる。また、第１画像生成機能は、たとえば図８（Ｂ）に示すように、検出対象物に下線ｅ３，ｅ４を重畳することで、検出対象物を強調して表示する構成とすることもできる。さらに、第１画像生成機能は、たとえば図８（Ｃ）に示すように、検出対象物に丸（点）ｅ５，ｅ６を重畳することで、検出対象物を強調して表示する構成とすることもできる。
　次に、第１画像生成機能は、対象物検出機能により検出された検出対象物のうち、自車両の自動走行制御の対象となる対象物（以下、制御対象物といもいう。）を、他の検出対象物とは異なる表示形態で強調表示する。ここで、図９は、図８（Ａ）に示す画像において、制御対象物を強調表示した画像の一例を示す図である。たとえば、第１画像生成機能は、図９（Ａ）に示すように、検出対象物に黄色の枠線ｅ１（図９（Ａ）中では黒の実線で示す。）を重畳した場合には、制御対象物に赤色の枠線ｆ１（図９（Ａ）中では黒の破線で示す。）を重畳することで、制御対象物を他の検出対象物とは異なる表示形態で強調表示することができる。また、第１画像生成機能は、図９（Ｂ）に示すように、検出対象物に細い枠線ｅ１を重畳した場合には、制御対象物に太い枠線ｆ２を重畳することで、制御対象物を他の検出対象物とは異なる表示形態で強調表示することができる。
　続いて、第１画像生成機能は、制御対象物を強調表示した画像に対して、自車両から検出対象物（制御対象物を含む）までの距離情報を重畳する。ここで、図１０は、図９（Ａ），（Ｂ）に示す画像に対して、自車両から検出対象物（制御対象物を含む）までの距離情報を重畳した画像の一例を示す図である。たとえば、第１画像生成機能は、図１０（Ａ），（Ｂ）に示すように、検出対象物の下方に、自車両から検出対象物（制御対象物を含む）までの距離を示す数値を重畳することで、自車両から検出対象物までの距離情報を重畳することができる。また、第１画像生成機能は、図１０（Ｃ）に示すように、検出対象物の下方に、自車両から検出対象物（制御対象物を含む）までの距離を示すパターン（模様またはアイコンなど）ｇ１，ｇ２を重畳する構成とすることもできる。なお、図１０（Ｃ）に示す例では、自車両から検出対象物（制御対象物を含む）までの距離が長いほど、パターンの長さは長くなる。
　以上のように、第１画像生成機能は、カメラ１１０により撮像された撮像画像に対して、（１）マスク処理、（２）ボンネット画像の重畳処理、（３）検出対象物の強調表示、（４）制御対象物の強調表示、（５）距離情報の重畳処理を行うことで、提示画像を生成する。
　制御装置１７０の第２画像生成機能は、たとえばコンピューターグラフィックスなどを用いて描画することで、自車両を上方から俯瞰したような俯瞰画像を生成する。そして、第２画像生成機能は、生成した俯瞰画像に基づいて、提示画像を生成する。以下に、第２画像生成機能による提示画像の生成方法を詳細に説明する。
　まず、第２画像生成機能は、図１１に示すように、車速指標に応じた俯角の俯瞰画像を描画する。たとえば、第２画像生成機能は、車速指標が「３」である場合には、図１１（Ａ）に示すように、俯角が比較的小さい俯瞰画像を描画する。また、第２画像生成機能は、車速指標が「４」である場合には、図１１（Ｂ）に示すように、俯角が中程度の俯瞰画像を描画し、車速指標が「５」である場合には、図１１（Ｃ）に示すように、俯角が比較的大きい俯瞰画像を描画する。このように、第２画像生成機能は、車速指標が大きいほど、俯角の大きい俯瞰画像を描画する。そして、第２画像生成機能は、自車両Ｖ１を示すアイコンを、俯瞰画像の中央または中央下側に描画する。なお、図１１は、車速指標に基づいて描画された俯瞰画像の一例を示す図である。また、図１１に示す例では、自車両Ｖ１が３車線の道路を走行する場面に描画される俯瞰画像を例示しているが、たとえば、カメラ１１０、測距センサ１２０、ナビゲーション装置１４０などから自車両Ｖ１が２車線の道路を走行する場面であると判断できる場合には、自車両Ｖ１が２車線の道路を走行する場面を示す俯瞰画像を描画することができる。
　次いで、第２画像生成機能は、図１２（Ａ）～（Ｃ）に示すように、描画した俯瞰画像に対して、対象物検出機能により検出された検出対象物を示すアイコンを配置する。たとえば、第２画像生成機能は、対象物検出機能から検出対象物の相対位置および相対距離の情報を取得する。そして、第２画像生成機能は、図１２（Ａ）～（Ｃ）に示すように、検出対象物を示すアイコンを、自車両Ｖ１と検出対象物との実際の位置関係に対応する俯瞰画像上の位置に配置する。たとえば、図１２（Ａ）～（Ｃ）に示す例では、他車両ｔ１が自車両Ｖ１の前方を走行しているため、俯瞰画像上においても、自車両Ｖ１を示すアイコンの前方に他車両ｔ１を示すアイコンを配置する。
　なお、本実施形態では、図１２（Ａ）～（Ｃ）に示すように、車速指標が大きいほど、自車両をより上方から俯瞰しているように俯瞰画像を描画する。そのため、車速指標が大きいほど、検出対象物が表示される表示範囲は広くなる。たとえば、図１２（Ａ）では、俯角が比較的小さいため検出対象物ｔ１だけが俯瞰画像上に表示され、図１２（Ｂ）では、俯角が中程度であるため検出対象物ｔ１～ｔ３が俯瞰画像上に表示され、図１２（Ｃ）では、俯角が比較的大きいため自車両の周囲に存在する検出対象物ｔ１～ｔ５が俯瞰画像上に表示される。なお、図１２（Ａ）～（Ｃ）は、図１１（Ａ）～（Ｃ）に示す俯瞰画像のそれぞれに対して、検出対象物を配置した画像の一例を示す図である。
　次いで、第２画像生成機能は、図１３に示すように、検出対象物を配置した俯瞰画像において、制御対象物を強調して表示する。ここで、図１３は、図１２に示す画像に対して、制御対象物を強調表示した画像の一例を示す図である。たとえば、第２画像生成機能は、図１３（Ａ）～（Ｃ）に示すように、検出対象物のうち制御対象物ｃ１を示すアイコン全体を黄色（図１３に示す例では濃いグレーで示す。）で表示することで、制御対象物を検出対象物とは異なる表示形態で強調表示することができる。また、第２画像生成機能は、図１３（Ｄ）～（Ｆ）に示すように、制御対象物を示すアイコンに赤色の枠線（図１３に示す例では黒色の枠線で示す。）を重畳することで、制御対象物を強調表示する構成とすることもできる。
　続いて、第２画像生成機能は、図１４（Ａ）～（Ｆ）に示すように、制御対象物を強調表示した俯瞰画像に対して、距離ガイドラインを重畳する。図１４は、図１３に示す画像に対して、距離ガイドラインを重畳した画像の一例を示す図である。なお、第２画像生成機能は、自車両と他車両との距離に基づいて、距離ガイドラインが示す距離を変更することができる。たとえば、第２画像生成機能は、自車両と他車両との車間距離が短い場合に、距離ガイドラインが示す距離を短くすることができる。
　このように、第２画像生成機能は、（１）車速指標に応じた俯角の俯瞰画像の描画、（２）検出対象物の配置、（３）制御対象物の強調表示、（４）距離ガイドラインの重畳処理を行うことで、提示画像を生成する。
　制御装置１７０の表示機能は、第１画像生成機能または第２画像生成機能により生成された提示画像の画像データを、ディスプレイ１５０に送信し、ディスプレイ１５０の画面に表示する。これにより、ドライバーに提示画像を提示することができる。
　制御装置１７０の走行制御機能は、自車両の自動走行を制御する。たとえば、走行制御機能は、カメラ１１０や測距センサ１２０の検出結果に基づいて、自車両が走行する車線（以下、自車線ともいう。）のレーンマークを検出し、自車両が自車線内に走行するように、自車両の幅員方向における走行位置を制御するレーンキープ制御を行うことができる。この場合、走行制御機能は、自車両が適切な走行位置を走行するように、ステアリングアクチュエータなどの動作を制御することができる。また、走行制御機能は、先行車両と一定の車間距離を空けて、先行車両に自動で追従する追従走行制御を行うこともできる。この場合、走行制御機能は、自車両と先行車両とが一定の車間距離で走行するように、エンジンやブレーキなどの駆動機構の動作を制御することができる。さらに、走行制御機能は、対象物検出機能により特定された制御対象物に基づいて、自車両の走行を制御する。たとえば、走行制御機能は、制御対象物を回避するように、あるいは、制御対象物の手前で停止するように、ステアリングアクチュエータ、エンジン、およびブレーキなどを制御する。
　続いて、図１５を参照して、本実施形態に係る情報提示処理について説明する。図１５は、本実施形態に係る情報提示処理を示すフローチャートである。なお、以下に説明する情報提示処理は、制御装置１７０により実行される。また、以下に説明する情報提示処理は、イグニッションがオンになった場合に開始し、イグニッションがオフとなるまで繰り返し行われる。
　まず、ステップＳ１０１では、情報取得機能により、カメラ１１０により撮像された撮像画像、測距センサ１２０の検出結果、車速センサ１３０により検出された自車両の走行速度Ｖ、ナビゲーション装置１４０により検出された自車両の位置情報など、各種走行情報が取得される。そして、ステップＳ１０２では、車速指標設定機能により、ステップＳ１０１で取得した各種走行情報に基づいて、図２に示すように、車速指標の設定が行われる。
　ステップＳ１０３では、対象物検出機能により、ステップＳ１０１で取得した撮像画像および測距センサ１２０の検出結果に基づいて、自車両の周囲に存在する対象物が検出対象物として検出される。また、ステップＳ１０４では、対象物検出機能により、検出対象物のうち自動走行制御の対象となる対象物が、制御対象物として特定される。
　ステップＳ１０５では、画像タイプ選択機能により、直前のステップＳ１０２の処理（今回処理時のステップＳ１０２の処理）が、最初の車速指標の設定処理であるか否かの判断が行われる。すなわち、イグニッションがオンとなり、図１５の情報提示処理が開始された直後のステップＳ１０５では、直前のステップＳ１０２の処理までは車速指標が設定されていないため、直前のステップＳ１０２が最初の車速指標の設定処理と判断され、ステップＳ１０６に進む。一方、ステップＳ１０２で車速指標が設定された後に、ステップＳ１１０でイグニッションがオンであると判断され、ステップＳ１０１に戻った後、再度、ステップＳ１０２の処理が行われた場合には、直前のステップＳ１０２は最初の車速指標の設定処理と判断されず、ステップＳ１１２に進む。
　ステップＳ１０６では、画像タイプ選択機能により、ステップＳ１０２で設定された車速指標に基づいて、提示画像の画像タイプの選択が行われる。そして、ステップＳ１０７では、制御装置１５０により、ステップＳ１０６で選択された提示画像の画像タイプが、撮像画像タイプであるか、俯瞰画像タイプであるかの判断が行われる。提示画像の画像タイプが撮像画像タイプである場合には、ステップＳ１０８に進み、一方、提示画像の画像タイプが俯瞰画像タイプである場合には、ステップＳ１０９に進む。
　ステップＳ１０８では、カメラ１１０で撮像された撮像画像に基づいて提示画像を生成し、撮像画像に基づく提示画像を提示する、撮像画像提示処理が行われる。ここで、図１６は、ステップＳ１０８に示す撮像画像提示処理を示すフローチャートである。以下に、図１６を参照して、ステップＳ１０８の撮像画像提示処理について説明する。
　まず、ステップＳ２０１では、第１画像生成機能により、複数のカメラ１１０により撮像された撮像画像の中から、提示画像の生成に用いる撮像画像が決定される。たとえば、第１画像生成機能は、図６に示すように、自車両の走行速度Ｖまたは車速指標に応じて、提示画像の生成に用いる撮像画像を選択することができる。
　ステップＳ２０２では、第１画像生成機能により、ステップＳ２０１で選択された撮像画像に対して、マスク処理が施される。たとえば、第１画像生成機能は、図６（Ａ），（Ｂ）に示すように、自車両の走行速度Ｖに応じたマスク幅ｄだけ、撮像画像の左右方向（Ｙ方向）の端部をマスクすることができる。これにより、図６（Ａ）に示す撮像画像に基づいて、図６（Ｂ）に示すように、マスク処理が行われた撮像画像が生成される。
　ステップＳ２０３では、第１画像生成機能により、図７に示すように、ステップＳ２０２でマスク処理された撮像画像に対して、ボンネット画像が重畳される。また、第１画像生成機能は、自車両の走行速度Ｖまたは車速指標に基づいて、ボンネット画像の大きさ、形状を変更して、撮像画像に重畳することができる。
　ステップＳ２０４では、第１画像生成機能により、ステップＳ２０３でボンネット画像を重畳した撮像画像において、検出対象物の強調表示が行われる。たとえば、第１画像生成機能は、図８（Ａ）～（Ｃ）に示すように、ステップＳ１０３で検出された検出対象物に、枠線、下線、丸（点）などを重畳することで、検出対象物を強調して表示することができる。
　ステップＳ２０５では、第１画像生成機能により、ステップＳ２０４で検出対象物が強調表示された撮像画像において、さらに、制御対象物の強調表示が行われる。たとえば、第１画像生成機能は、図９（Ａ），（Ｂ）に示すように、ステップＳ１０４で特定された制御対象物に、他の検出対象物とは異なる表示形態の枠線などを重畳することで、制御対象物を他の検出対象物とは異なる表示形態で強調表示することができる。
　ステップＳ２０６では、第１画像生成機能により、ステップＳ２０５で制御対象物が強調表示された撮像画像に対して、自車両から検出対象物（制御対象物を含む）までの距離情報が重畳される。たとえば、第１画像生成機能は、図１０（Ａ）～（Ｃ）に示すように、検出対象物の下方に、ステップＳ１０３で取得した検出対象物の距離情報を重畳することができる。
　このように、ステップＳ２０２～２０６では、ステップＳ２０１で選択された撮像画像に対し、マスク処理、ボンネット画像の重畳処理、検出対象物の強調表示、制御対象物の強調表示、および距離情報の重畳処理が行われ、これにより、提示画像が生成される。そして、ステップＳ２０７では、表示機能により、ステップＳ２０６で生成された提示画像が、ディスプレイ１５０の画面に表示される。
　ステップＳ２０７で提示画像が表示されると、図１５に戻り、ステップＳ１１０に進む。ステップＳ１１０では、制御装置１７０により、イグニッションがオフになったか否かの判断が行われ、イグニッションがオフになるまでは、図１５に示す情報提示処理が繰り返される。一方、イグニッションがオフになった場合には、図１５に示す情報提示処理が終了する。
　また、ステップＳ１０７において、提示画像の画像タイプが俯瞰画像タイプであると判断された場合には、ステップＳ１０９に進む。ステップＳ１０９では、コンピューターグラフィックスなどを用いて描画した俯瞰画像に基づいて提示画像を生成し、生成した俯瞰画像に基づく提示画像を提示する俯瞰画像提示処理が行われる。ここで、図１７は、ステップＳ１０９に示す俯瞰画像提示処理を示すフローチャートである。以下に、図１７を参照して、ステップＳ１０９の俯瞰画像提示処理について説明する。
　まず、ステップＳ３０１では、第２画像生成機能により、図１１に示すように、車速指標に応じた俯角の俯瞰画像が描画される。すなわち、第２画像生成機能は、ステップＳ１０２で設定した車速指標に基づいて俯瞰画像の俯角を決定し、図１１（Ａ）～（Ｃ）に示すように、決定した俯角の俯瞰画像を描画する。
　ステップＳ３０２では、第２画像生成機能により、ステップＳ３０１で描画された俯瞰画像上に、検出対象物を示すアイコンが配置される。具体的には、第２画像生成機能は、図１２（Ａ）～（Ｃ）に示すように、ステップＳ１０３で検出された検出対象物を示すアイコンを、自車両と検出対象物との実際の位置関係に応じた俯瞰画像上の位置に配置する。
　ステップＳ３０３では、第２画像生成機能により、ステップＳ３０２で検出対象物を配置した俯瞰画像において、図１３（Ａ）～（Ｆ）に示すように、制御対象物の強調表示が行われる。さらに、ステップＳ３０４では、第２画像生成機能により、ステップＳ３０３で制御対象物が強調表示された俯瞰画像に対して、図１４（Ａ）～（Ｆ）に示すように、距離ガイドラインの重畳が行われる。
　このように、ステップＳ３０２～Ｓ３０４では、ステップＳ３０１で描画された俯瞰画像に対して、検出対象物の配置、制御対象物の強調表示、および距離ガイドラインの重畳処理が行われ、これにより、提示画像が生成される。そして、ステップＳ３０５では、表示機能により、ステップＳ３０４で生成された提示画像が、ディスプレイ１５０の画面に表示される。
　また、図１５に戻り、ステップＳ１０５において、ステップＳ１０２における車速指標の設定が最初の車速指標の設定ではないと判断された場合、すなわち、前回処理において車速指標を設定している場合には、ステップＳ１１２に進む。
　ステップＳ１１２では、表示機能により、車速指標が、提示画像の画像タイプの異なる車速指標に変化したか否かの判断が行われる。本実施形態では、図３に示すように、車速指標が「１」または「２」の場合は、提示画像の画像タイプとして撮像画像タイプが選択され、車速指標が「３」～「５」の場合は、提示画像の画像タイプとして俯瞰画像タイプが選択される。そのため、表示機能は、たとえば、車速指標が「２」から「３」に変わり、提示画像の画像タイプが「撮像画像タイプ」から「俯瞰画像タイプ」に変化した場合には、車速指標が、提示画像の画像タイプの異なる車速指標に変化したと判断する。また同様に、表示機能は、たとえば、車速指標が「３」から「２」に変わり、提示画像の画像タイプが「俯瞰画像タイプ」から「撮像画像タイプ」に変化した場合には、車速指標が、提示画像の画像タイプの異なる車速指標に変化したと判断する。
　そして、車速指標が、提示画像の画像タイプの異なる車速指標に変化したと判断された場合には、ステップＳ１１３に進む。一方、車速指標が、提示画像の画像タイプの異なる車速指標に変化していないと判断された場合には、ステップＳ１０７に進み、上述したステップＳ１０７～Ｓ１１０の処理が行われる。
　ステップＳ１１３では、提示画像の画像タイプが変更されているため、撮像画像に基づく提示画像と、俯瞰画像に基づく提示画像とを切り替えるための画像切り替え処理が行われる。ここで、図１８は、ステップＳ１１３に示す画像切り替え処理を示すフローチャートである。以下に、図１８を参照して、ステップＳ１１３の画像切り替え処理について説明する。
　ステップＳ４０１では、表示機能により、撮像画像に基づく提示画像と、俯瞰画像に基づく提示画像とを切り替える切り替え時間が設定される。たとえば、表示機能は、予め定めた時間（たとえば１秒）を、切り替え時間として設定することができる。また、表示機能は、自車両の加速度に基づいて、切り替え時間を設定することもできる。たとえば、表示機能は、自車両の加速度が速いほど、切り替え時間を短くする構成とすることができる。
　ステップＳ４０２では、表示機能により、撮像画像に基づく提示画像と俯瞰画像に基づく提示画像とが切り替わることをドライバーに報知する報知処理が行われる。たとえば、表示機能は、報知装置１６０であるスピーカーから提示画像が切り替わることを示す警告音やガイダンス音声を出力し、または、振動体を埋設したハンドルやシートなどのハプティック装置を振動させることで、ドライバーがディスプレイ１５０に注目していない場合でも、提示画像の切り替わりをドライバーに把握させることができる。
　ステップＳ４０３では、表示機能により、切り替え画像の表示が行われる。表示機能は、図１９および図２０に示すように、撮像画像に基づく提示画像から俯瞰画像に基づく提示画像へと遷移するアニメーション画像、または、俯瞰画像に基づく提示画像から撮像画像に基づく提示画像へと遷移するアニメーション画像を、切り替え画像としてディスプレイ１５０に表示する。また、表示機能は、ステップＳ４０１で設定した画像切り替え時間をかけて、切り替え画像のアニメーションを表示する。これにより、画像切り替え時間をかけて、撮像画像に基づく提示画像と、俯瞰画像に基づく提示画像とが切り替わることとなる。
　図１９は、撮像画像に基づく提示画像から俯瞰画像に基づく提示画像へと遷移する場合の切り替え画像の一例を示す図である。表示機能は、撮像画像に基づく提示画像から俯瞰画像に基づく提示画像へと遷移する場合に、まず、図１９（Ａ）に示す撮像画像に基づく提示画像を、図１９（Ｂ），（Ｃ）に示すように、外側から中央に向かって次第に小さくしていく。また、撮像画像に基づく提示画像を小さくしていくと同時に、図１９（Ｂ），（Ｃ）に示すように、ディスプレイ１５０の下方から俯瞰画像に基づく提示画像がせり上がるように、俯瞰画像に基づく提示画像を表示する。その結果、図１９（Ｄ）に示すように、撮像画像に基づく提示画像が消え、俯瞰画像に基づく提示画像のみが、ディスプレイ１５０の画面に表示される。
　また、図２０は俯瞰画像に基づく提示画像から撮像画像に基づく提示画像へと遷移する場合の切り替え画像の一例を示す図ある。表示機能は、俯瞰画像に基づく提示画像から撮像画像に基づく提示画像へと遷移する場合に、まず、図２０（Ａ）に示す俯瞰画像に基づく提示画像を、図２０（Ｂ），（Ｃ）に示すように、ディスプレイ１５０の下方に消えていくように表示する。また、図２０（Ｂ），（Ｃ）に示すように、俯瞰画像に基づく提示画像を下方に消えるように表示するとともに、撮像画像に基づく提示画像を、ディスプレイ１５０の中央から次第に大きくなるように表示していく。その結果、図２０（Ｄ）に示すように、俯瞰画像に基づく提示画像が消え、撮像画像に基づく提示画像のみが、ディスプレイ１５０の画面に表示される。
　以上のように、本実施形態に係る情報提示処理が行われる。続いて、図２１を参照して、車速指標と、ディスプレイ１５０の画面に表示される提示画像の遷移との関係について説明する。図２１は、車速指標と提示画像の遷移との関係の一例を示す図である。
　たとえば、車速指標が「１」である場合には、図２１（Ａ）に示すように、撮像画像に基づく提示画像の提示が行われる。また、車速指標が「１」から「２」に変わると、同じく撮像画像に基づく提示画像が提示されるが、図２１（Ｂ）に示すように、車速指標が「１」である場合と比べて、左右方向の端部がマスク処理された提示画像が表示される。さらに、車速指標が「２」から「３」へと変わると、まず、図２１（Ｃ）に示すように、切り替え画像が表示され、画像切り替え処理が行われる。その後、図２１（Ｄ）に示すように、俯瞰画像に基づく提示画像が表示される。また、車速指標が「３」から「４」へと変わると、図２１（Ｅ）に示すように、俯角のより大きい俯瞰画像に基づく提示画像が表示され、車速指標が「４」から「５」に変わると、図２１（Ｆ）に示すように、俯角が最も大きい俯瞰画像に基づく提示画像が表示される。なお、車速指標が小さくなる場合も同様に、それぞれの車速指標に応じた提示画像が提示されるとともに、車速指標が「３」から「２」へと変わる場合には、切り替え画像が表示され、画像切り替え処理が行われる。
　なお、自動走行制御が行われている場合のみに、車速指標に応じて提示画像を遷移させる構成とすることができる。この場合、自動走行制御が解除された場合には、車速指標に関係なく、図２１（Ｄ）に示す提示画像へと遷移し、自動走行制御が再度開始されるまで、図２１（Ｄ）に示す提示画像を提示する構成とすることができる。
　以上のように、本実施形態に係る情報提示装置１００は、車速指標が低い場合には、撮像画像に基づく提示画像を表示し、車速指標が高い場合には、俯瞰画像に基づく提示画像を表示する。ここで、車速指標が低い場合には、自車両が駐車場や一般市町村道などを比較的遅い速度で走行し、自車両の周囲に歩行者、自転車、信号機などが多く存在する傾向にある。このような場合に、歩行者、自転車、信号機などの対象物を実際の撮像画像で提示することで、情報提示装置１００が歩行者、自転車、信号機などの対象物を検出できているか否かを、撮像画像と比較して、ドライバーに適切に把握させることができる。また、自車両の走行速度が速い場合には、自車両が一般道路や高速道路を走行する場面であり、自車両の周囲には、走行中の他車両が存在する傾向にある。このような場合に、俯瞰画像に基づく提示画像を表示することで、自車両の周囲における他車両の走行状態を、ドライバーに適切に把握させることができる。特に、本実施形態では、俯瞰画像を、コンピューターグラフィックスなどを用いて描画することで、撮像画像と比べて、自車両の周囲における他車両の走行状態を１つの画面で表示することができるとともに、画面に表示する対象物の情報を適宜絞ることができるため、ドライバーが必要とする自車両の周囲を走行する他車両の情報をドライバーに適切に把握させることができる。
　また、本実施形態では、自車両の走行速度Ｖが低いほど車速指標を低く設定し、自車両の走行速度Ｖが速いほど車速指標を高く設定する。または、トランスミッションの変速比が高いほど車速指標を低く設定し、トランスミッションの変速比が低いほど車速指標を高く設定する。同様に、自車両が走行する道路の道路種別や制限速度Ｖｒ、自車両から対象物までの距離Ｄ、あるいは自車両の走行シーンが、自車両の周囲に歩行者、自転車、信号機などが多く存在し、自車両が比較的遅い速度で走行する場面で予測される走行状態となった場合に、車速指標を低く設定し、反対に、自車両の周囲に他車両が多く存在し、自車両が比較的速い速度で走行する場面で予測される走行状態となった場合に、車速指標を高く設定する。これにより、車速指標が低い場合には、自車両の周囲に歩行者、自転車、信号機などが多く存在する場面に適した、撮像画像に基づく提示情報を提示することができる。また、車速指標が高い場合には、自車両の周囲に他車両が多く存在する場面に適した、俯瞰画像に基づく提示情報を提示することができる。
　さらに、本実施形態では、撮像画像に基づく提示画像を提示する場合に、自車両の走行速度Ｖが速いほど、マスク幅ｄを大きくし、撮像画像の左右端部をマスク処理する。ここで、車両の走行速度Ｖが速いほど、ドライバーの視野が狭くなることが知られている。本実施形態では、自車両の走行速度Ｖと撮像画像の大きさとの関係が、自車両の走行速度Ｖとドライバーの視野との関係と一致するように、自車両の走行速度Ｖが速いほどマスク幅ｄを大きくして、マスク処理を行うことで、ドライバーの違和感を軽減することができる。また、自車両の走行速度Ｖが速くなるほど、撮像画像の左右両端において風景が後方に流れる速度（オプティカルフロー）が速くなるため左右両端の画像がぼけてしまう。本実施形態では、自車両の走行速度が速くなるほど、撮像画像の左右両端をマスクすることで、このような画像のぼけによる、ドライバーの違和感を軽減することができる。
　また、自車両の走行速度Ｖとドライバーの視野との関係と一致させるために、自車両の走行速度Ｖが速くなるほど、ドライバーに提示する提示画像を小さくしてしまうと、ドライバーに対象物の情報を適切に提示することができなくなる。さらに、自車両の走行速度Ｖが速い場合には、歩行者や自転車が自車両の周囲を通行する場面よりも、自車両の周囲に、自車両と同じ道路を走行している他車両が存在する場面であることが想定され、このような場合には、自車両と他車両との位置関係が重要となる。そこで、本実施形態では、車速指標が「３」以上となる場合には、俯瞰画像に基づく提示画像を提示する。これにより、自車両の走行速度Ｖとドライバーの視野との関係が一致しない場合でも、俯瞰画像に基づく提示画像はドライバーの視点とは大きく異なるため、ドライバーの違和感を軽減することができるとともに、自車両の走行速度Ｖが高い場合に重要な自車両の周囲を走行する他車両の情報を、ドライバーに適切に提示することができる。
　さらに、本実施形態では、撮像画像に基づく提示画像を提示する場合に、図７（Ａ），（Ｂ）に示すように、自車両のボンネットを模したボンネット画像を重畳して表示する。これにより、撮像画像が自車両の前方を撮像した画像であることをドライバーに直感的に把握させることができる。また、本実施形態では、自車両の走行速度Ｖまたは車速指標が大きいほど、ボンネット画像の上下方向（Ｘ方向）の長さを長くする。これにより、自車両の走行速度Ｖが速くなるほど、自車両のボンネットをより高いアングルから見るような視覚効果が得られる。その結果、その後、自車両が加速していき、撮像画像に基づく提示画像から俯瞰画像に基づく提示画像へと変わることで、自車両をより上方から俯瞰するように提示画像のアングルが変化する場合でも、俯瞰画像に基づく提示画像を提示する前から、自車両の走行速度Ｖに応じてアングルが変化しているため、アングルの変化によるドライバーの違和感を軽減することができる。
　加えて、本実施形態では、自車両の前方を撮像するカメラ１１０として、自車両から近距離の位置に存在する対象物の撮影に適した近距離カメラ（魚眼カメラ）と、自車両から中距離の位置に存在する対象物の撮影に適した中距離カメラと、自車両から長距離の位置に存在する対象物の撮影に適した遠距離カメラと、を有する。そして、車速指標が低い場合には、近距離カメラにより撮像された撮像画像に基づいて提示画像を生成し、車速指標が高い場合には、中距離カメラにより撮像された撮像画像に基づいて提示画像を生成する。これにより、車速指標が低い場合には、自車両の近傍を通行する歩行者や自転車などを適切に検出することができ、車速指標が高い場合には、自車両の前方を走行する自転車やバイクなどを適切に検出することができる。
　また、本実施形態では、撮像画像に基づく提示画像を提示する場合に、カメラ１１０や測距センサ１２０により検出された検出対象物を強調して表示する。これにより、情報提示装置１００が検出している検出対象物をドライバーに適切に把握させることができる。さらに、本実施形態では、自動走行制御の対象となる制御対象物を、他の検出対象物とは異なる表示形態で強調して表示する。これにより、自動走行制御の対象となる制御対象物をドライバーに適切に把握させることもできる。加えて、本実施形態では、自車両から検出対象物（制御対象物を含む）までの距離情報を、検出対象物に重畳して表示する。これにより、自車両から検出対象物までの距離をドライバーに適切に把握させることができる。
　さらに、本実施形態では、俯瞰画像に基づく提示画像を提示する場合に、車速指標に応じて、俯角の異なる俯瞰画像を描画する。具体的には、車速指標が高いほど、より自車両を上方から俯瞰しているような視覚効果を出すために、俯角の大きい俯瞰画像を描画する。これにより、図１４（Ａ）～（Ｆ）に示すように、自車両の速度が速いほど、自車両の周囲をより広範に表示して、自車両の周囲を走行する他車両の走行状態をドライバーに提示することができる。その結果、自車両の走行速度が中程度である場合も、自車両が高速で走行している場合も、自車両と他車両とが接近する前に、自車両に接近する他車両をドライバーに適切に提示することができる。たとえば、自車両が高速で走行している場合には、自車両が低速で走行している場合と比べて、他車両が自車両に高速で接近する傾向にある。このような場合でも、自車両の周囲をより広範に提示することで、自車両に高速で接近する他車両を早いタイミングで（他車両が自車両に接近する前に）ドライバーに提示することができる。
　加えて、本実施形態では、俯瞰画像に基づく提示画像を提示する場合に、カメラ１１０や測距センサ１２０により検出された検出対象物を、自車両と検出対象物との実際の位置関係に対応する俯瞰画像上の位置に配置する。これにより、情報提示装置１００が検出している対象物が自車両の周囲のどの位置を走行しているかを、ドライバーに適切に把握させることができる。また、本実施形態では、自動走行制御の対象となる制御対象物を強調して表示する。これにより、自動走行制御の対象となる制御対象物をドライバーに把握させることもできる。加えて、本実施形態では、自車両から検出対象物までの距離を示唆する距離ガイドラインを俯瞰画像に重畳して表示する。これにより、自車両から検出対象物までの距離をドライバーに適切に把握させることができる。
　また、上述した実施形態では、撮像画像に基づく提示画像と、俯瞰画像に基づく提示画像とを切り替える場合に、撮像画像に基づく提示画像から俯瞰画像に基づく提示画像への遷移、または、俯瞰画像に基づく提示画像から撮像画像に基づく提示画像への遷移を示す切り替え画像を提示する。これにより、ドライバーの視点に近い撮像画像に基づく提示画像から、ドライバーの視点とは異なる俯瞰画像に基づく提示画像へと切り替わることによる、ドライバーの違和感を軽減することができる。同様に、ドライバーの視点とは異なる俯瞰画像に基づく提示画像から、ドライバーの視点に近い撮像画像に基づく提示画像へと切り替わることによる、ドライバーの違和感を軽減することができる。特に、本実施形態では、撮像画像に基づく提示画像と、俯瞰画像に基づく提示画像との切り替えを連続的にアニメーションで表示することで、よりドライバーの違和感を軽減することができる。さらに、本実施形態では、自車両の加速度が速いほど切り替え時間（切り替え画像の提示時間）を短くすることで（アニメーションの速度を速くすることで）、提示画像の切り替え動作が自車両の加速度と一体的に行われることとなり、ドライバーに自車両との一体感を与えることができる。
　なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
　たとえば、上述した実施形態では、自車両の走行速度Ｖ、トランスミッションの変速比、自車両が走行する道路の道路種別、自車両が走行する道路の制限速度Ｖｒ、自車両から対象物までの距離Ｄ、および自車両の走行シーンのいずれかに基づいて車速指標を算出し、算出した車速指標に基づいて、提示画像を切り替える構成を例示したが、この構成に限定されず、たとえば、車速指標を算出することなく、走行速度Ｖ、トランスミッションの変速比、道路種別、制限速度Ｄ、対象物までの距離Ｄ、または自車両の走行シーンそのものに基づいて、提示画像を切り替える構成としてもよい。
　また、上述した実施形態では、撮像画像に基づく提示画像を表示する場合に、自車両の走行速度Ｖまたは車速指標に基づいて、撮像画像の左右端部をマスク処理する構成を例示したが、この構成に加えて、たとえば、自車両の走行速度Ｖまたは車速指標に基づいて、提示画像の上下端部をマスク処理する構成としてもよい。
　なお、上述した実施形態に係るカメラ１１０は本発明のカメラに、カメラ１１０および測距センサ１２０は本発明の検出器に、それぞれ相当する。
　１００…情報提示装置
　　１１０…カメラ
　　１２０…測距センサ
　　１３０…車速センサ
　　１４０…ナビゲーション装置
　　１５０…ディスプレイ
　　１６０…報知装置
　　１７０…制御装置

Claims (22)

  1. 　カメラを含む検出器により検出された対象物の検出情報の表示制御を行う表示制御方法であって、
    　前記検出情報は、前記カメラにより撮像された撮像画像に基づく第１画像と、前記検出器の検出結果に基づいて描画された画像に基づく第２画像とを含み、
    　車両の車速指標に応じて、前記第１画像と第２画像とを切り替えて表示する表示制御方法。
  2. 　請求項１に記載の表示制御方法であって、
    　前記車速指標は、車両の走行速度であり、
    　前記走行速度が所定速度未満である場合には、前記第１画像を表示し、
    　前記走行速度が前記所定速度以上である場合には、前記第２画像を表示する表示制御方法。
  3. 　請求項１に記載の表示制御方法であって、
    　前記車速指標は、変速機の変速比であり、
    　前記変速比が所定値以上である場合には、前記第１画像を表示し、
    　前記変速比が前記所定値未満である場合には、前記第２画像を表示する表示制御方法。
  4. 　請求項１に記載の表示制御方法であって、
    　前記車速指標は、車両が走行する道路の種別であり、
    　前記道路の種別に応じて、前記第１画像と前記第２画像とを切り替える表示制御方法。
  5. 　請求項１に記載の表示制御方法であって、
    　前記車速指標は、車両が走行する道路の制限速度であり、
    　前記制限速度が所定速度未満である場合には、前記第１画像を表示し、
    　前記制限速度が前記所定速度以上である場合には、前記第２画像を表示する表示制御方法。
  6. 　請求項１に記載の表示制御方法であって、
    　前記車速指標は、車両から前記対象物までの距離であり、
    　前記距離が所定距離未満である場合には、前記第１画像を表示し、
    　前記距離が前記所定距離以上である場合には、前記第２画像を表示する表示制御方法。
  7. 　請求項１に記載の表示制御方法であって、
    　前記車速指標は、車両の走行シーンであり、
    　車両の走行状態に基づいて前記車両の走行シーンを判定し、前記車両の走行シーンに基づいて、前記第１画像と第２画像とを切り替えて表示する表示制御方法。
  8. 　請求項１～７のいずれかに記載の表示制御方法であって、
    　前記第１画像を表示する場合に、前記第１画像の端部を、車両の走行速度または前記車速指標に応じた幅だけマスク処理する表示制御方法。
  9. 　請求項１～８のいずれかに記載の表示制御方法であって、
    　前記第１画像を表示する場合に、前記第１画像に車両のボンネットを模したボンネット画像を重畳する表示制御方法。
  10. 　請求項９に記載の表示制御方法であって、
    　車両の走行速度または前記車速指標に応じて、前記第１画像に重畳する前記ボンネット画像の大きさまたは形状を変更する表示制御方法。
  11. 　請求項１～１０のいずれかに記載の表示制御方法であって、
    　複数のカメラにより撮像された前記撮像画像を取得し、車両の走行速度または前記車速指標に基づいて、前記複数のカメラにより撮像された前記撮像画像の中から、前記第１画像の生成に用いる撮像画像を選択する表示制御方法。
  12. 　請求項１～１１のいずれかに記載の表示制御方法であって、
    　前記第１画像内において、前記検出器により検出された前記対象物を強調して表示する表示制御方法。
  13. 　請求項１～１２のいずれかに記載の表示制御方法であって、
    　前記検出器により検出された前記対象物のうち１または２以上の対象物を対象として車両の走行を制御している場合には、前記第１画像内において、前記制御の対象となる前記対象物を、前記制御の対象としない前記対象物とは異なる表示形態で強調して表示する表示制御方法。
  14. 　請求項１～１３のいずれかに記載の表示制御方法であって、
    　前記第１画像を表示する場合に、車両から前記対象物までの距離を示唆する距離情報を重畳する表示制御方法。
  15. 　請求項１～１４のいずれかに記載の表示制御方法であって、
    　前記第２画像は、自車両を上方から俯瞰した俯瞰画像に基づく画像である表示制御方法。
  16. 　請求項１５に記載の表示制御方法であって、
    　前記第２画像を表示する場合に、前記車速指標に応じて、俯角の異なる前記第２画像を表示する表示制御方法。
  17. 　請求項１～１６のいずれかに記載の表示制御方法であって、
    　前記第２画像を表示する場合に、前記第２画像内に、前記検出器により検出された前記対象物を配置する表示制御方法。
  18. 　請求項１～１７のいずれかに記載の表示制御方法であって、
    　前記検出器により検出された前記対象物のうち１または２以上の対象物を対象として車両の走行を制御している場合には、前記第２画像内において、前記制御の対象となる前記対象物を強調して表示する表示制御方法。
  19. 　請求項１～１８のいずれかに記載の表示制御方法であって、
    　前記第２画像を表示する場合に、車両から前記対象物までの距離を示唆する距離情報を重畳する表示制御方法。
  20. 　請求項１～１９のいずれかに記載の表示制御方法であって、
    　前記第１画像と前記第２画像とを切り替える場合に、前記第１画像から前記第２画像への遷移、または、前記第２画像から前記第１画像への遷移を表す切り替え画像を表示する表示制御方法。
  21. 　請求項２０に記載の表示制御方法であって、
    　車両の加速度に基づいて、前記第１画像と前記第２画像との切り替え時間を変更する表示制御方法。
  22. 　カメラを含む検出器により検出された対象物の検出情報の表示制御を行う表示制御装置であって、
    　前記検出情報は、前記カメラにより撮像された撮像画像に基づく第１画像と、前記検出器の検出結果に基づいて描画された画像に基づく第２画像とを含み、
    　車両の車速指標に応じて、前記第１画像と第２画像とを切り替えて表示する表示制御装置。
PCT/JP2015/079877 2015-10-22 2015-10-22 表示制御方法および表示制御装置 WO2017068692A1 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
JP2017546348A JP6489230B2 (ja) 2015-10-22 2015-10-22 表示制御方法および表示制御装置
KR1020187013121A KR102086272B1 (ko) 2015-10-22 2015-10-22 표시 제어 방법 및 표시 제어 장치
RU2018118327A RU2704773C1 (ru) 2015-10-22 2015-10-22 Способ и устройство управления отображением
US15/769,479 US10322674B2 (en) 2015-10-22 2015-10-22 Display control method and display control device
MYPI2018701519A MY187205A (en) 2015-10-22 2015-10-22 Display control method and display control device
CA3002628A CA3002628C (en) 2015-10-22 2015-10-22 Display control method and display control device
BR112018008099-3A BR112018008099A2 (ja) 2015-10-22 2015-10-22 A display control method and a display control
PCT/JP2015/079877 WO2017068692A1 (ja) 2015-10-22 2015-10-22 表示制御方法および表示制御装置
CN201580083935.3A CN108140318A (zh) 2015-10-22 2015-10-22 显示控制方法及显示控制装置
EP15906698.4A EP3367366B1 (en) 2015-10-22 2015-10-22 Display control method and display control device
MX2018004891A MX2018004891A (es) 2015-10-22 2015-10-22 Metodo de control de presentacion visual y dispositivo de control de presentacion visual.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/079877 WO2017068692A1 (ja) 2015-10-22 2015-10-22 表示制御方法および表示制御装置

Publications (1)

Publication Number Publication Date
WO2017068692A1 true WO2017068692A1 (ja) 2017-04-27

Family

ID=58556887

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/079877 WO2017068692A1 (ja) 2015-10-22 2015-10-22 表示制御方法および表示制御装置

Country Status (11)

Country Link
US (1) US10322674B2 (ja)
EP (1) EP3367366B1 (ja)
JP (1) JP6489230B2 (ja)
KR (1) KR102086272B1 (ja)
CN (1) CN108140318A (ja)
BR (1) BR112018008099A2 (ja)
CA (1) CA3002628C (ja)
MX (1) MX2018004891A (ja)
MY (1) MY187205A (ja)
RU (1) RU2704773C1 (ja)
WO (1) WO2017068692A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019087909A (ja) * 2017-11-08 2019-06-06 クラリオン株式会社 画像表示装置、及び画像表示システム
JP2021008246A (ja) * 2019-07-03 2021-01-28 三菱自動車工業株式会社 表示制御装置
WO2021161840A1 (ja) * 2020-02-12 2021-08-19 パナソニックＩｐマネジメント株式会社 描画システム、表示システム、移動体、描画方法及びプログラム
JP2022504713A (ja) * 2018-10-11 2022-01-13 テスラ，インコーポレイテッド 拡張データによって機械モデルを訓練するためのシステムおよび方法
WO2022168540A1 (ja) * 2021-02-08 2022-08-11 株式会社デンソー 表示制御装置及び表示制御プログラム
JP2022121370A (ja) * 2021-02-08 2022-08-19 株式会社デンソー 表示制御装置及び表示制御プログラム
US20230071940A1 (en) * 2019-11-19 2023-03-09 Volvo Car Corporation Long range lidar-based speed estimation

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3584120B1 (en) * 2017-02-17 2021-04-14 Sumitomo Heavy Industries, Ltd. Work machine surroundings monitoring system
EP3611591B1 (en) * 2017-04-13 2021-12-22 Panasonic Corporation Method for controlling an electrically driven vehicle and electrically driven vehicle controlled with the method
WO2020059380A1 (ja) * 2018-09-21 2020-03-26 本田技研工業株式会社 車両検査システム
CN112740007B (zh) * 2018-09-21 2023-06-30 本田技研工业株式会社 车辆检查系统
JP7200645B2 (ja) * 2018-12-11 2023-01-10 トヨタ自動車株式会社 車載装置、プログラム、及び車両
DE102019202587A1 (de) 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202578A1 (de) 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202581B4 (de) 2019-02-26 2021-09-02 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202588A1 (de) 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202576A1 (de) * 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202592A1 (de) 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
EP3817374A1 (en) * 2019-04-30 2021-05-05 SZ DJI Technology Co., Ltd. Method, apparatus and system for adjusting field of view of observation, and storage medium and mobile apparatus
CN110758243B (zh) * 2019-10-31 2024-04-02 的卢技术有限公司 一种车辆行驶过程中的周围环境显示方法和系统
CN113665360A (zh) * 2020-05-15 2021-11-19 上海仙豆智能机器人有限公司 显示控制方法、车载终端及存储介质
CN113810595B (zh) * 2021-06-16 2023-03-17 荣耀终端有限公司 视频拍摄的编码方法、设备和存储介质
CN118270037A (zh) * 2022-06-08 2024-07-02 上海集度汽车有限公司 显示方法、车辆及介质
CN115366677A (zh) * 2022-08-12 2022-11-22 重庆长安汽车股份有限公司 车机界面的主页切换方法、装置、车辆及存储介质
CN115297276B (zh) * 2022-10-09 2023-01-17 东风悦享科技有限公司 一种视野自适应切换的远程驾驶图像处理系统和方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028440A (ja) * 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 後側方視認システム
JP2007071662A (ja) * 2005-09-06 2007-03-22 Navitime Japan Co Ltd ナビゲーションシステム、ナビゲーション装置およびナビゲーション装置における動作モード制御方法
JP2007282098A (ja) * 2006-04-11 2007-10-25 Denso Corp 画像処理装置及び画像処理プログラム
JP2008013022A (ja) * 2006-07-05 2008-01-24 Sanyo Electric Co Ltd 車両の運転支援装置
JP2008294616A (ja) * 2007-05-23 2008-12-04 Sanyo Electric Co Ltd 運転支援システム及び車両
JP2010218058A (ja) * 2009-03-13 2010-09-30 Denso It Laboratory Inc 運転支援装置及び運転支援方法
JP2012140106A (ja) * 2011-01-05 2012-07-26 Denso Corp 後方視界支援システム
US20140152774A1 (en) * 2011-09-27 2014-06-05 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring device
JP2015144406A (ja) * 2013-12-27 2015-08-06 株式会社Ｊｖｃケンウッド 視界支援装置、視界支援方法、及び視界支援プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3400584B2 (ja) * 1994-12-19 2003-04-28 本田技研工業株式会社 車載用表示装置
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US8004394B2 (en) * 2006-11-07 2011-08-23 Rosco Inc. Camera system for large vehicles
JP5045172B2 (ja) * 2007-03-20 2012-10-10 マツダ株式会社 車両用運転支援装置
JP4281817B2 (ja) * 2007-03-28 2009-06-17 トヨタ自動車株式会社 撮像システム
US8012061B2 (en) * 2007-03-30 2011-09-06 Caterpillar Inc. Vehicle overspeed system implementing impeller clutch lockout
JP5262515B2 (ja) * 2008-09-25 2013-08-14 日産自動車株式会社 車両用表示装置および表示方法
JP5087051B2 (ja) * 2009-07-02 2012-11-28 富士通テン株式会社 画像生成装置及び画像表示システム
RU102331U1 (ru) * 2010-09-24 2011-02-27 Малышев Павел Михайлович Система повышения безопасности управления транспортным средством
EP2481637B1 (en) * 2011-01-28 2014-05-21 Nxp B.V. Parking Assistance System and Method
JP5408198B2 (ja) * 2011-08-01 2014-02-05 日産自動車株式会社 映像表示装置及び映像表示方法
JP5867273B2 (ja) * 2012-04-27 2016-02-24 富士通株式会社 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
EP2680677A1 (en) * 2012-06-25 2014-01-01 General Electric Company Image display method
JP5643272B2 (ja) 2012-09-21 2014-12-17 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9758099B2 (en) * 2013-03-15 2017-09-12 Gentex Corporation Display system and method thereof
JP6081247B2 (ja) 2013-03-19 2017-02-15 アルパイン株式会社 車両後方画像の表示切替装置および表示切替方法
JP6177585B2 (ja) * 2013-05-23 2017-08-09 アルパイン株式会社 ナビゲーション装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028440A (ja) * 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 後側方視認システム
JP2007071662A (ja) * 2005-09-06 2007-03-22 Navitime Japan Co Ltd ナビゲーションシステム、ナビゲーション装置およびナビゲーション装置における動作モード制御方法
JP2007282098A (ja) * 2006-04-11 2007-10-25 Denso Corp 画像処理装置及び画像処理プログラム
JP2008013022A (ja) * 2006-07-05 2008-01-24 Sanyo Electric Co Ltd 車両の運転支援装置
JP2008294616A (ja) * 2007-05-23 2008-12-04 Sanyo Electric Co Ltd 運転支援システム及び車両
JP2010218058A (ja) * 2009-03-13 2010-09-30 Denso It Laboratory Inc 運転支援装置及び運転支援方法
JP2012140106A (ja) * 2011-01-05 2012-07-26 Denso Corp 後方視界支援システム
US20140152774A1 (en) * 2011-09-27 2014-06-05 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring device
JP2015144406A (ja) * 2013-12-27 2015-08-06 株式会社Ｊｖｃケンウッド 視界支援装置、視界支援方法、及び視界支援プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3367366A4 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019087909A (ja) * 2017-11-08 2019-06-06 クラリオン株式会社 画像表示装置、及び画像表示システム
JP7028609B2 (ja) 2017-11-08 2022-03-02 フォルシアクラリオン・エレクトロニクス株式会社 画像表示装置、及び画像表示システム
JP2022504713A (ja) * 2018-10-11 2022-01-13 テスラ，インコーポレイテッド 拡張データによって機械モデルを訓練するためのシステムおよび方法
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
JP2021008246A (ja) * 2019-07-03 2021-01-28 三菱自動車工業株式会社 表示制御装置
JP7310372B2 (ja) 2019-07-03 2023-07-19 三菱自動車工業株式会社 表示制御装置
US20230071940A1 (en) * 2019-11-19 2023-03-09 Volvo Car Corporation Long range lidar-based speed estimation
US11921212B2 (en) * 2019-11-19 2024-03-05 Volvo Car Corporation Long range lidar-based speed estimation
JP2021128471A (ja) * 2020-02-12 2021-09-02 パナソニックＩｐマネジメント株式会社 描画システム、表示システム、移動体、描画方法及びプログラム
JP7357284B2 (ja) 2020-02-12 2023-10-06 パナソニックＩｐマネジメント株式会社 描画システム、表示システム、移動体、描画方法及びプログラム
WO2021161840A1 (ja) * 2020-02-12 2021-08-19 パナソニックＩｐマネジメント株式会社 描画システム、表示システム、移動体、描画方法及びプログラム
JP2022121370A (ja) * 2021-02-08 2022-08-19 株式会社デンソー 表示制御装置及び表示制御プログラム
JP7342926B2 (ja) 2021-02-08 2023-09-12 株式会社デンソー 表示制御装置及び表示制御プログラム
WO2022168540A1 (ja) * 2021-02-08 2022-08-11 株式会社デンソー 表示制御装置及び表示制御プログラム

Also Published As

Publication number Publication date
CA3002628C (en) 2022-03-08
US20180312110A1 (en) 2018-11-01
KR20180067600A (ko) 2018-06-20
JP6489230B2 (ja) 2019-03-27
BR112018008099A2 (ja) 2018-11-06
JPWO2017068692A1 (ja) 2018-09-27
RU2704773C1 (ru) 2019-10-30
MX2018004891A (es) 2018-06-20
CA3002628A1 (en) 2017-04-27
MY187205A (en) 2021-09-10
EP3367366A4 (en) 2018-11-14
US10322674B2 (en) 2019-06-18
EP3367366B1 (en) 2021-05-05
CN108140318A (zh) 2018-06-08
EP3367366A1 (en) 2018-08-29
KR102086272B1 (ko) 2020-03-06

Similar Documents

Publication Publication Date Title
JP6489230B2 (ja) 表示制御方法および表示制御装置
JP6825709B2 (ja) 周囲車両表示方法及び周囲車両表示装置
JP6547836B2 (ja) 駐車支援方法及び駐車支援装置
JP5987791B2 (ja) ヘッドアップディスプレイ及びプログラム
JP5070809B2 (ja) 運転支援装置、運転支援方法、及び、プログラム
WO2019098323A1 (ja) 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
JP7002246B2 (ja) 車両用表示方法及び車両用表示装置
JP7354649B2 (ja) 周辺監視装置
CN111034186B (zh) 周围车辆显示方法及周围车辆显示装置
JP7019239B2 (ja) 車両用表示方法及び車両用表示装置
JP2009226978A (ja) 車両用周囲監視装置
JP7047586B2 (ja) 車両用表示制御装置
JP6733277B2 (ja) 画像表示方法及び画像表示装置
JP4986070B2 (ja) 車両用周囲監視装置
JP6102509B2 (ja) 車両用表示装置
JP2023165721A (ja) 表示制御装置
JP2020085688A (ja) 表示システム、表示制御方法、およびプログラム
JP2020140603A (ja) 表示制御装置、表示制御方法、および表示制御プログラム
JP2018167834A (ja) 画像生成装置
JP7342926B2 (ja) 表示制御装置及び表示制御プログラム
JP2019028568A (ja) 車両用表示方法及び車両用表示装置
WO2022039146A1 (ja) 表示制御装置
CN116868251A (zh) 显示控制装置以及显示控制程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15906698

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017546348

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3002628

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 15769479

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: MX/A/2018/004891

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112018008099

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 20187013121

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2015906698

Country of ref document: EP

Ref document number: 2018118327

Country of ref document: RU

ENP Entry into the national phase

Ref document number: 112018008099

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20180420