WO2020145302A1 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
WO2020145302A1
WO2020145302A1 PCT/JP2020/000305 JP2020000305W WO2020145302A1 WO 2020145302 A1 WO2020145302 A1 WO 2020145302A1 JP 2020000305 W JP2020000305 W JP 2020000305W WO 2020145302 A1 WO2020145302 A1 WO 2020145302A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
intersection
display
road surface
Prior art date
Application number
PCT/JP2020/000305
Other languages
English (en)
French (fr)
Inventor
真悟 井村
ウチェル シン
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2020145302A1 publication Critical patent/WO2020145302A1/ja
Priority to US17/369,207 priority Critical patent/US20210331680A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/169—Remaining operating distance or charge
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/174—Economic driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84—Data processing systems or methods, management, administration

Definitions

  • the present disclosure relates to a driving assistance device that provides driving assistance to a driver when a vehicle enters an intersection.
  • Patent Document 1 when it is detected that a vehicle enters an intersection with poor visibility, the display image on the display is switched from the road guide image to the side image captured by the left and right blind corner cameras.
  • a driving assistance device configured as described above is known.
  • the vehicle it is determined whether or not the vehicle enters an intersection with poor visibility based on the image in front of the vehicle captured by the front camera, and there are obstacles and buildings on the left and right of the road ahead of the vehicle. In this case, the display image is switched to the side image.
  • the front camera is attached to a stay of a room mirror provided in the center of the interior of the vehicle, and is configured to image the front of the vehicle from a central upper portion of the windshield within a predetermined right and left angle range.
  • the viewing angle is narrow.
  • the decision whether to switch the display image to the side image is made at a position where the vehicle is away from the intersection to some extent and the vicinity of the intersection can be imaged by the front camera.
  • blind corner cameras are attached to the left and right sides of the front end of the vehicle and are configured to capture an image of the area extending to the left and right of the front end, it is not possible to image the traveling path in front of the vehicle like the front camera. Can not.
  • a front camera for determining display image switching in order to detect that the vehicle enters an intersection with poor visibility, a front camera for determining display image switching must be provided in addition to the blind corner camera for capturing the intersection. There is also a problem.
  • an image of an intersection can be displayed when a vehicle enters an intersection without providing a camera for determining display image switching, and driving assistance to a driver can be appropriately performed. It is desirable to be able to provide a vehicle driving support device.
  • a vehicle driving assistance apparatus is configured to recognize a camera configured to capture a peripheral image of a vehicle and to recognize that a vehicle is approaching an intersection intersecting a currently traveling road. And an approach recognition unit.
  • the road surface recognition unit recognizes the road surface from the peripheral image captured by the camera. Further, the image switching unit determines whether or not the road surface recognition unit has recognized the road surface of the intersection.
  • the image switching unit determines that the road surface of the intersection has been recognized by the road surface recognition unit, it switches the display image of the display device that displays the driving guide of the vehicle to the image of the intersection captured by the camera.
  • the display image of the display device displays the image of the intersection captured by the camera. Will be switched to.
  • the display image is not switched to the image captured by the camera, and the display image is displayed by the camera on the road surface of the intersection. Can be switched at an appropriate timing so that the can be imaged.
  • the driver can grasp the condition of the intersection from the switched display image, that is, the captured image of the intersection, and safely drive the vehicle into the intersection.
  • the image captured by the camera used for road surface recognition is used as the display image switched for driving support.
  • the driving support device of the present disclosure can be applied to a vehicle that does not include a camera for determination of display image switching, and the application of the driving support device can be expanded.
  • the driving support device 1 of the present embodiment is mounted on a vehicle 2 illustrated in FIG. 2, and an image captured by a peripheral camera 10 is displayed on a display 32 of a navigation device 30 to drive the vehicle.
  • the driver assists a person, and includes an ECU 20 for image processing.
  • the peripheral cameras 10 are, for example, four cameras 11, 12, 13, which are respectively attached to the front, rear, left, and right of the vehicle 2 so that the front, rear, left side, and right side of the vehicle 2 can be imaged. 14 is provided.
  • Each of the cameras 11 to 14 is equipped with a CCD image sensor, a CMOS image sensor, etc. Further, the number of the peripheral cameras 10 can be appropriately changed as necessary, but the peripheral camera, which is a main part of the present disclosure, is provided at the center of the tip of the vehicle 2 as shown in FIG. It is the front camera 11 that images the front of the camera.
  • a wide-angle camera equipped with a wide-angle lens is used for the front camera 11 so that the front of the vehicle 2 can be imaged in a wide range.
  • the display 32 as a display device may be a liquid crystal display, a head-up display, or the like.
  • the ECU 20 is an electronic control device that includes an image processing unit 22 that processes captured images captured by the cameras 11 to 14, a CPU 24 that controls the image processing unit 22, and a memory 26 such as a ROM or a RAM. .. That is, the ECU 20 includes a microcomputer having an image processing function.
  • the ECU 20 also includes a vehicle input I/F 28 that receives detection signals from various sensors such as the vehicle speed sensor 34 and the obstacle sensor 36 that detect the traveling state of the vehicle 2 and the peripheral state of the vehicle 2, and inputs the detection signals to the CPU 24. Has been.
  • I/F represents an interface.
  • the CPU 24 executes a predetermined control process according to a program stored in the memory 26 to grasp the vehicle state based on a detection signal input from the vehicle input I/F 28 and information obtained from other in-vehicle devices. To do.
  • the CPU 24 causes the image processing unit 22 to perform image processing in accordance with the grasped vehicle state or a command from the occupant, so that the bird's-eye view of the front image, the rear image, and the vehicle surroundings of the vehicle 2 viewed from above. Generate an image such as an image for driving support.
  • the image processing unit 22 generates an image for driving support in accordance with a command from the CPU 24 and outputs the image for driving support to the navigation device 30, so that the image displayed on the display 32 is an image for driving support from the road guidance image.
  • the road guidance image is an image for travel guidance generated by the navigation device 30 based on map data. [Image switching process at intersection]
  • the CPU 24 causes the image processing unit 22 to generate an image for driving support, and switches the display image on the display 32 to the image for driving support. Then, when the vehicle 2 enters an intersection with poor visibility while traveling, the image of the intersection intersecting the currently traveling traveling road is displayed on the display 32 so that the driver can grasp the condition of the intersection. Driving assistance is provided to the driver so that it becomes easier.
  • the image switching process shown in FIG. 3 is one of the processes repeatedly executed by the CPU 24 when it is detected that the vehicle 2 is traveling based on the detection signal from the vehicle speed sensor 34.
  • the CPU 24 first starts the image capturing by the front camera 11 in S110, and in the subsequent S120, the CPU 24 stops and displays the image captured by the front camera 11 on the image processing unit 22. To recognize.
  • stop display As this stop display, as shown in FIG. 4A, there is a stop line 41 shown on the road, and as shown in FIG. 4B, there is a display 42 showing “to rare” written on the road. it can.
  • the stop display also includes a marker 43 that indicates “to rare”, which is installed on the shoulder or above the traveling path, as illustrated in FIG. 4C. Then, the image processing unit 22 determines whether or not these stop displays are present in the captured image by pattern recognition or the like.
  • the CPU 24 determines whether or not the stop display is detected from the captured image as a result of the recognition processing by the image processing unit 22, and if the stop display is detected, the process proceeds to S140. If the stop display is not detected, the image switching process ends.
  • the CPU 24 determines whether or not the vehicle 2 has moved to the stop position corresponding to the stop display after the stop display is detected.
  • FIG. 5 shows a state in which it is determined that the vehicle 2 has reached the stop position when the vehicle 2 reaches the stop line on the traveling road. Then, in S140, for example, it may be determined that the vehicle 2 has reached the stop position when the front camera 11 no longer captures the stop display. Further, in S140, it may be determined that the vehicle 2 has reached the stop position when the vehicle 2 moves a predetermined distance after detecting the stop display.
  • the CPU 24 proceeds to S150 and determines whether the obstacle sensor 36 detects an obstacle existing on the left and right of the vehicle 2. to decide. That is, in S150, it is determined whether or not there are other vehicles or structures parked at the left and right of the stop position of the vehicle 2, in other words, whether or not the obstacle makes it difficult for the driver to see the intersection. To judge.
  • the CPU 24 determines that the intersection at which the vehicle 2 is about to enter has good visibility, and ends the image switching process.
  • the CPU 24 determines that the vehicle 2 is about to enter an intersection with poor visibility, and proceeds to S160.
  • the image processing unit 22 is subjected to a road surface recognition process of classifying the image captured by the front camera 11 into a road surface area and a non-road surface area other than the road surface by, for example, semantic segmentation to recognize the road surface. To do.
  • the image processing unit 22 functions as a road surface recognition unit of the present disclosure, and as shown in FIG. 5, after the vehicle reaches the stop position, from the captured image captured by the front camera 11, The road surface area indicated by hatching will be recognized.
  • Semantic segmentation is a technology that uses machine learning data and the like to label which class of object each pixel forming an image belongs to. For example, as described in Japanese Patent No. 6309663. Has been. Therefore, in this specification, the description of the procedure for recognizing the road surface by the semantic segmentation is omitted.
  • the CPU 24 proceeds to S170, and the road surface recognized by the image processing unit 22 includes the road surface of the intersection road extending in the left-right direction from the traveling road. Determine whether or not
  • this determination may be made, for example, when the width of the recognized road surface is widened in the traveling direction of the vehicle 2, it is determined that the road surface of the intersection is included. Then, if the road surface recognized by the image processing unit 22 does not include the road surface of the intersection, the front camera 11 cannot capture the image of the intersection due to the obstacle, so the CPU 24 returns to S160 and recognizes the road surface. To continue.
  • the CPU 24 causes the image processing unit 22 in S170. It is determined that the road surface recognized in step S4 includes the road surface of the intersection, and the process proceeds to S180.
  • the image processing unit 22 is caused to extract the imaged images of the left and right intersections from the imaged images of the front camera 11, and to generate an image for driving assistance including the imaged images of the left and right intersections,
  • the navigation device 30 is caused to output the generated image for driving assistance.
  • the display image on the display 32 is changed from the road guide image generated by the navigation device 30 based on the map data to the image for driving support including the picked-up images of the left and right intersections. Can be switched.
  • the image captured by the front camera 11 is used as an image for driving assistance in the image processing unit 22 in S180 without being subjected to image processing.
  • the navigation device 30 may be made to output.
  • the CPU 24 causes the image processing unit 22 to display the image displayed on the display 32 from the image captured by the front camera 11 on the road.
  • the image is returned to the guide image, and the image switching process ends.
  • the front camera 11 captures a display image on the display 32 from the road guidance image generated by the navigation device 30. Switch to the image of the intersection.
  • the driving support device 1 of the present embodiment when the front camera 11 captures the road surface of the intersection before the vehicle 2 enters the intersection, the image displayed on the display 32 is Will be switched to the image.
  • the front camera 11 cannot capture the road surface of the intersection, it is possible to prevent the display image on the display 32 from being switched to the image captured by the front camera 11. That is, according to the driving support device 1 of the present embodiment, it is possible to switch the display image at an appropriate timing when the front camera 11 can image the road surface of the intersection.
  • the driver can grasp the condition of the intersection from the switched display image, that is, the captured image of the intersection, and safely drive the vehicle into the intersection.
  • the image captured by the front camera 11 is used to determine the switching of the display image, and the image of the intersection to be displayed according to the image switching is generated.
  • the driving support device 1 of the present embodiment can be applied to a vehicle that does not have a camera for determining display image switching, the usage of the driving support device can be expanded.
  • the obstacle sensor 36 when the vehicle moves to the stop position, when the obstacle sensor 36 does not detect the left and right obstacles, that is, when the vehicle enters an intersection with good visibility, the image of the intersection is captured. The image is not displayed.
  • the display image on the display 32 is not switched from the road guidance image to the images of the left and right intersections captured by the front camera 11, and the display image is displayed. Unnecessary switching can be suppressed.
  • the ECU 20 corresponds to the approach recognition unit, the road surface recognition unit, and the image switching unit according to the present disclosure. More specifically, the processes of S120 to S140 executed by the CPU 24 function as the approach recognition unit of the present disclosure together with the image processing unit 22, and the process of S160 executed by the CPU 24 together with the image processing unit 22 of the present disclosure. Function as a road surface recognition unit. Further, the processes of S150, S170, and S180 executed by the CPU 24 function as the image switching unit of the present disclosure together with the image processing unit 22. [Other Embodiments] Although the embodiments of the present disclosure have been described above, the present disclosure is not limited to the above-described embodiments, and various modifications can be implemented.
  • the process when it is determined that the stop display is detected from the image captured by the front camera 11 in S130, the process waits for the vehicle 2 to move to the stop position in S140, and then in S160. It has been described that the road surface recognition processing is executed.
  • the road surface recognition process in S160 may be started without executing the determination process in S140.
  • the road surface recognition is performed by the semantic segmentation.
  • semantic segmentation may be used to recognize the stop display in S120. That is, in the semantic segmentation, the captured image can be classified into various areas including the stop display. Therefore, in S120, the stop display such as the stop line and the road surface may be simultaneously recognized by the semantic segmentation. ..
  • road surface recognition by semantic segmentation cannot be performed accurately at night when the surroundings are dark or when it is raining and the weather is bad, and it is normally judged whether the road surface of the intersection is imaged or not. There are things you can't do.
  • the display image on the display 32 may be switched from the road guidance image to the image of the left and right intersections captured by the front camera 11 without performing road surface recognition. ..
  • the display image on the display 32 is crossed. You may make it switch to the image of a road.
  • the judgment result of the stop display by the image processing unit 22 is used when determining whether or not the stop display is detected in S130.
  • the intersection where the image of the intersection is displayed for driving assistance can be specified from the map data of the navigation device 30.
  • the approach to the intersection may be detected based on the map data and the current position of the vehicle. Even in this case, when the vehicle 2 enters the intersection, it is possible to display an image of the intersection on the display 32 and provide driving assistance to the driver.
  • the display 32 when switching the display image of the display 32 to the image of the intersection, displays the road guidance image generated based on the map data by the navigation device 30. Described as a thing.
  • the display 32 may display an information providing image indicating the vehicle state such as the operating state of the air conditioner, or an audio image such as a TV/video output or a music playback screen.
  • the display image on the display 32 is displayed by the image switching process described above. May be switched to the image of the intersection.
  • the functions of the approach recognition unit, the road surface recognition unit, and the image switching unit of the present disclosure have been described as being realized by the CPU 24 executing the program as the image switching process. ..
  • each of these units is not limited to software, and some or all of the elements may be realized using hardware that is a combination of logic circuits and analog circuits.
  • a plurality of functions of one constituent element in the above-described embodiment may be realized by a plurality of constituent elements, or one function of one constituent element may be realized by a plurality of constituent elements. Further, a plurality of functions of a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may omit a part of structure of the said embodiment. Further, at least a part of the configuration of the above-described embodiment may be added or replaced with respect to the configuration of the other above-described embodiment.
  • the present disclosure is applicable to various programs such as a program for causing a computer to function as the driving support device, a non-transitional actual recording medium such as a semiconductor memory that records the program, and a driving support method.
  • the present disclosure can be realized in a form.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示の一局面の運転支援装置は、車両の周辺画像を撮像するよう構成されたカメラ（１１）と、車両が現在走行中の道路と交差する交差路に接近したことを認識するよう構成された接近認識部（２４）とを備える。接近認識部にて交差路への接近が認識されると、路面認識部（２２）が、カメラにより撮像された周辺画像から路面を認識する。そして、路面認識部にて交差路の路面が認識されたと判断すると、画像切替部（２４）が、車両の走行案内を表示する表示装置（３２）の表示画像を、カメラにより撮像された交差路の画像に切り替える。

Description

運転支援装置 関連出願の相互参照
　本国際出願は、２０１９年１月９日に日本国特許庁に出願された日本国特許出願第２０１９－００１９２７号に基づく優先権を主張するものであり、日本国特許出願第２０１９－００１９２７号の全内容を本国際出願に参照により援用する。
　本開示は、車両が交差点に進入する際に、運転者に対する運転支援を行う運転支援装置に関する。
　特許文献１に記載のように、車両が見通しの悪い交差点に進入することを検知すると、ディスプレイへの表示画像を、道路案内画像から、左右のブラインドコーナーカメラにて撮像された側方画像に切り替えるように構成された運転支援装置が知られている。
特開２００７－１４０９９２号公報
　上記運転支援装置では、車両が見通しの悪い交差点に進入するか否かを、フロントカメラにて撮像された車両前方の画像に基づき判断し、車両前方の走行路の左右に障害物や建物が存在する場合に、表示画像を側方画像に切り替える。
　そして、フロントカメラは、車両の室内の中央に設けられたルームミラーのステイに取り付けられ、フロントガラスの中央上部から、車両の前方を左右所定の角度範囲で撮像するように構成されており、その視野角は狭角である。
　このため、表示画像を側方画像に切り替えるか否かの判断は、車両が交差点からある程度離れていて、フロントカメラにより交差点付近を撮像可能な位置で行われることになる。
　しかしながら、発明者の詳細な検討の結果、車両が見通しの悪い交差点に進入すると判断され、ディスプレイへの表示画像を側方画像に切り替えた際には、ブラインドコーナーカメラでは、走行路に交差する交差路を撮像できないことがあるという課題が見出された。
　つまり、ディスプレイへの表示画像を側方画像に切り替えた際には、車両が交差点から離れていたり、走行路の左右に障害物等が存在していたりするので、表示装置には、障害物だけが映った側方画像が表示されることがある。そして、この場合には、運転者に対する運転支援を良好に実施することができなくなってしまう。
　また、ブラインドコーナーカメラは、車両前端部の左右に取り付けられ、前端部の左右に広がる領域を撮像するように構成されていることから、フロントカメラのように車両前方の走行路を撮像することはできない。
　このため、上記運転支援装置では、車両が見通しの悪い交差点に進入することを検知するために、交差路撮像用のブラインドコーナーカメラとは別に、表示画像切り替え判定用のフロントカメラを設けなければならない、という問題もある。
　本開示の１つの局面は、表示画像切り替え判定用のカメラを別途設けることなく、車両が交差点に進入する際に交差路の画像を表示して、運転者に対する運転支援を適正に行うことのできる、車両の運転支援装置を提供できることが望ましい。
　本開示の１つの局面による車両の運転支援装置は、車両の周辺画像を撮像するよう構成されたカメラと、車両が現在走行中の道路と交差する交差路に接近したことを認識するよう構成された接近認識部とを備える。
　そして、接近認識部にて交差路への接近が認識されると、路面認識部が、カメラにより撮像された周辺画像から路面を認識する。また、画像切替部が、路面認識部にて、交差路の路面が認識されたか否かを判断する。
　また、画像切替部は、路面認識部にて交差路の路面が認識されたと判断すると、車両の走行案内を表示する表示装置の表示画像を、前記カメラにより撮像された交差路の画像に切り替える。
　従って、本開示の運転支援装置によれば、車両が交差点に進入する手前で、カメラにより交差路の路面が撮像されたときに、表示装置の表示画像が、カメラにより撮像された交差路の画像に切り替えられることになる。
　このため、交差点周囲に障害物等があって、カメラにより交差路の路面を撮像できないときに、表示画像が、カメラによる撮像画像に切り替えられることがなく、表示画像を、カメラにより交差路の路面を撮像し得る適正なタイミングで切り替えることができる。
　よって、運転者は、その切り替えられた表示画像、つまり、交差路の撮像画像から、交差路の状況を把握し、車両を交差点内に安全に進入させることができるようになる。
　また、本開示の運転支援装置によれば、運転支援のために切り替える表示画像に、路面認識に用いるカメラによる撮像画像を利用する。
　このため、特許文献１に開示された装置のように、交差路撮像用のカメラとは別に、表示画像切り替え判定用のカメラを設ける必要がなく、装置構成を簡素化することができる。また、本開示の運転支援装置は、表示画像切り替え判定用のカメラを搭載していない車両にも適用することができ、運転支援装置の用途を拡大することもできる。
実施形態の運転支援装置の構成を表すブロック図である。 車両の前方を撮像する前方カメラの車両への取付位置を表す説明図である。 ＣＰＵにて実行される画像切替処理を表すフローチャートである。 走行路の停止線、停止表示、停止標識の一例を表す説明図である。 画像切替処理による表示画像の切替手順を説明する説明図である。
　以下に、本開示の実施形態を図面と共に説明する。
［実施形態］
［構成］
　図１に示すように、本実施形態の運転支援装置１は、図２に例示する車両２に搭載され、周辺カメラ１０にて撮像された画像をナビゲーション装置３０のディスプレイ３２に表示させて、運転者に対する運転支援を行うものであり、画像処理用のＥＣＵ２０を備える。
　周辺カメラ１０は、例えば、車両２の前方、後方、左側方、右側方をそれぞれ撮像できるように、車両２の前・後・左・右にそれぞれ取り付けられた４つのカメラ１１、１２、１３、１４を備える。
　なお、各カメラ１１～１４は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等を備える。また、周辺カメラ１０の数は、必要に応じて、適宜変更できるが、本開示の主要部となる周辺カメラは、図２に示すように、車両２の先端中央部分に設けられて、車両２の前方を撮像する前方カメラ１１である。
　そして、この前方カメラ１１には、車両２の前方を広範囲に撮像できるように、広角レンズを備えた広角カメラが利用される。また、表示装置としてのディスプレイ３２は、液晶ディスプレイやヘッドアップディスプレイ等であってもよい。
　ＥＣＵ２０は、各カメラ１１～１４にて撮像された撮像画像を処理する画像処理部２２、画像処理部２２を制御するＣＰＵ２４、及び、ＲＯＭ、ＲＡＭ等のメモリ２６、を備えた電子制御装置である。つまり、ＥＣＵ２０は、画像処理機能を有するマイクロコンピュータを備える。
　また、ＥＣＵ２０には、車速センサ３４や障害物センサ３６等、車両２の走行状態や車両２の周辺状態を検出する各種センサからの検出信号を取り込み、ＣＰＵ２４に入力する車両入力Ｉ／Ｆ２８も備えられている。なお、Ｉ／Ｆはインターフェイスを表す。
　ＥＣＵ２０において、ＣＰＵ２４は、メモリ２６に記憶されたプログラムに従い所定の制御処理を実行することで、車両入力Ｉ／Ｆ２８から入力される検出信号や他の車載装置から得られる情報に基づき車両状態を把握する。
　そして、ＣＰＵ２４は、把握した車両状態、若しくは、乗員からの指令に応じて、画像処理部２２に画像処理を実行させることで、車両２の前方画像、後方画像、車両周囲を上方から見た俯瞰画像など、運転支援用の画像を生成させる。
　また、画像処理部２２は、ＣＰＵ２４からの指令に従い、運転支援用の画像を生成し、ナビゲーション装置３０に出力することで、ディスプレイ３２への表示画像を、道路案内画像から、運転支援用の画像に切り替える。なお、道路案内画像は、ナビゲーション装置３０にて地図データに基づき生成される走行案内用の画像である。
［交差点での画像切替処理］
　このように、ＣＰＵ２４は、画像処理部２２に運転支援用の画像を生成させて、ディスプレイ３２の表示画像を運転支援用の画像に切り替える。そして、車両２が走行中に見通しの悪い交差点に進入する際には、現在走行中の走行路と交わる交差路の画像をディスプレイ３２に表示させることで、運転者が交差路の状況を把握し易くなるように、運転者に対する運転支援を行う。
　以下、こうした交差点での運転支援のためにＣＰＵ２４において実行される画像切替処理について、図３に示すフローチャートに沿って説明する。
　図３に示す画像切替処理は、車速センサ３４からの検出信号に基づき、車両２が走行していることが検出されているときに、ＣＰＵ２４において繰り返し実行される処理の１つである。
　図３に示すように、画像切替処理において、ＣＰＵ２４は、まずＳ１１０にて、前方カメラ１１による撮像を開始し、続くＳ１２０にて、画像処理部２２に対し、前方カメラ１１による撮像画像から停止表示を認識させる。
　この停止表示としては、図４Ａに例示するように、走行路上に記載された停止線４１や、図４Ｂに例示するように、走行路上に記載された「とまれ」を表す表示４２を挙げることができる。また、停止表示には、図４Ｃに例示するように、走行路の路肩若しくは上方に設置された「とまれ」を表す標識４３も含まれる。そして、画像処理部２２は、撮像画像中にこれらの停止表示があるか否かを、パターン認識等で判定する。
　次に、ＣＰＵ２４は、Ｓ１３０にて、画像処理部２２による認識処理の結果、撮像画像の中から停止表示が検知されたか否かを判断し、停止表示が検知されていれば、Ｓ１４０に移行し、停止表示が検知されていなければ、当該画像切替処理を終了する。
　Ｓ１４０において、ＣＰＵ２４は、停止表示が検知されてから、車両２が停止表示に対応した停止位置まで移動したか否かを判断する。
　つまり、図５の左側欄に示すように、前方カメラ１１にて停止表示が撮像されて、停止表示が検知されたときには、車両２は、まだ停止位置に到達しておらず、停止位置から離れている。このため、Ｓ１４０では、その後車両２が移動して、図５の中央欄に示すように、車両２が停止表示に対応した停止位置に到達するのを待機する。
　なお、図５では、車両２が走行路上の停止線に到達したときに、車両２が停止位置に到達したと判断した状態を表している。そして、Ｓ１４０では、例えば、前方カメラ１１にて停止表示が撮像されなくなったときに、車両２が停止位置に到達したと判断するようにしてもよい。また、Ｓ１４０では、停止表示を検知してから車両２が所定距離移動したときに、車両２が停止位置に到達したと判断するようにしてもよい。
　Ｓ１４０にて、車両２が停止位置まで移動したと判断されると、ＣＰＵ２４は、Ｓ１５０に移行し、障害物センサ３６にて、車両２の左右に存在する障害物が検出されているか否かを判断する。つまり、Ｓ１５０では、車両２の停止位置の左右に、駐停車中の他の車両や建造物があるか否か、換言すれば、障害物により運転者が交差路を見難くなっているか否かを判断する。
　そして、障害物センサ３６にて左右の障害物が検出されていなければ、ＣＰＵ２４は、車両２が進入しようとしている交差点は見通しがよいと判断して、当該画像切替処理を終了する。
　一方、障害物センサ３６にて左右の障害物が検出されている場合には、ＣＰＵ２４は、車両２は見通しの悪い交差点に進入しようとしていると判断して、Ｓ１６０に移行する。
　Ｓ１６０では、画像処理部２２に対し、前方カメラ１１による撮像画像を、例えば、セマンティック・セグメンテーションにより、路面領域と路面以外の非路面領域とに分類して、路面を認識させる、路面認識処理を実行する。
　なお、この処理により、画像処理部２２は、本開示の路面認識部として機能し、図５に示すように、車両が停止位置に到達した後、前方カメラ１１にて撮像される撮像画像から、ハッチングで示す路面領域が認識されることになる。
　セマンティック・セグメンテーションは、機械学習データ等を利用して、画像を構成する各ピクセルがどのクラスのオブジェクトに属しているのかをラベリングする技術であり、例えば、特許第６３０９６６３号公報に記載のように知られている。このため、本明細書では、セマンティック・セグメンテーションにて路面認識を行う手順については、説明を省略する。
　次に、Ｓ１６０にて路面認識処理が実行されると、ＣＰＵ２４は、Ｓ１７０に移行して、画像処理部２２にて認識された路面に、走行路から左右方向に延びる交差路の路面が含まれているか否かを判断する。
　なお、この判断は、例えば、認識された路面の幅が車両２の進行方向に対し広がっているときに、交差路の路面が含まれていると判断するようにすればよい。そして、画像処理部２２にて認識された路面に、交差路の路面が含まれていなければ、前方カメラ１１では障害物により交差路を撮像できていないので、ＣＰＵ２４は、Ｓ１６０に戻り、路面認識を継続する。
　次に、図５の右側欄に示すように、車両２が停止位置から交差点方向に移動し、前方カメラ１１にて交差路を撮像できるようになると、ＣＰＵ２４は、Ｓ１７０にて、画像処理部２２にて認識された路面に交差路の路面が含まれていると判断し、Ｓ１８０に移行する。
　そして、Ｓ１８０では、画像処理部２２に対し、前方カメラ１１による撮像画像から左右の交差路の撮像画像を抽出して、その左右の交差路の撮像画像を含む運転支援用の画像を生成させ、その生成した運転支援用の画像をナビゲーション装置３０に出力させる。
　この結果、図５に示すように、ディスプレイ３２への表示画像が、ナビゲーション装置３０にて地図データに基づき生成された道路案内画像から、左右の交差路の撮像画像を含む運転支援用の画像に切り替えられる。
　なお、前方カメラ１１による撮像画像には左右の交差路が映っているので、Ｓ１８０では、画像処理部２２に対し、前方カメラ１１による撮像画像を、画像処理することなく、運転支援用の画像として、ナビゲーション装置３０に出力させるようにしてもよい。
　次に、Ｓ１８０にて、ディスプレイ３２への表示画像が、道路案内画像から、前方カメラ１１による交差路の撮像画像に切り替えられると、ＣＰＵ２４は、Ｓ１９０に移行し、車両２が交差点へ進入したか否かを判断する。つまり、ＣＰＵ２４は、Ｓ１９０にて、車両２が交差点へ進入するのを待つ。
　そして、Ｓ１９０にて、車両２が交差点へ進入したと判断されると、ＣＰＵ２４は、画像処理部２２を介して、ディスプレイ３２への表示画像を、前方カメラ１１による交差路の撮像画像から、道路案内画像に戻し、当該画像切替処理を終了する。
［効果］
　以上説明したように、本実施形態の車両の運転支援装置１においては、車両２の走行中に、前方カメラ１１による撮像画像から車両進行方向前方の停止表示を検知すると、車両２が停止位置まで移動するのを待って、撮像画像を利用した路面認識を行う。
　そして、その路面認識により、交差点で走行路と交差する交差路の路面が認識されると、ディスプレイ３２への表示画像を、ナビゲーション装置３０にて生成された道路案内画像から、前方カメラ１１により撮像された交差路の画像に切り替える。
　このため、本実施形態の運転支援装置１によれば、車両２が交差点に進入する手前で、前方カメラ１１により交差路の路面が撮像されたときに、ディスプレイ３２への表示画像が、交差路の画像に切り替えられることになる。
　従って、前方カメラ１１により交差路の路面を撮像できないときに、ディスプレイ３２への表示画像が、前方カメラ１１による撮像画像に切り替えられるのを抑制できる。つまり、本実施形態の運転支援装置１によれば、前方カメラ１１により交差路の路面を撮像し得る適正なタイミングで表示画像を切り替えることができる。
　よって、運転者は、その切り替えられた表示画像、つまり、交差路の撮像画像から、交差路の状況を把握し、車両を交差点内に安全に進入させることができるようになる。
　また、本実施形態の運転支援装置１においては、前方カメラ１１による撮像画像を利用して、表示画像の切り替え判定を行い、画像切り替えに伴い表示する交差路の画像を生成する。
　このため、特許文献１に開示された装置のように、表示画像切り替え判定用のカメラを別途設ける必要がなく、装置構成を簡素化できる。また、本実施形態の運転支援装置１は、表示画像切り替え判定用のカメラを搭載していない車両に適用できることから、運転支援装置の用途を拡大することもできる。
　また、本実施形態では、車両が停止位置まで移動した際、障害物センサ３６にて左右の障害物が検出されていないとき、つまり、車両が見通しのよい交差点に進入するときには、交差路の撮像画像を表示しないようにされている。
　このため、車両が見通しのよい交差点に進入する際、ディスプレイ３２への表示画像が道路案内画像から、前方カメラ１１にて撮像された左右の交差路の画像に切り替えられることはなく、表示画像が不必要に切り替えられるのを抑制することができる。
　なお、本実施形態において、ＥＣＵ２０は、本開示の接近認識部、路面認識部、画像切替部に相当する。より詳しくは、ＣＰＵ２４にて実行されるＳ１２０～Ｓ１４０の処理は、画像処理部２２と共に本開示の接近認識部として機能し、ＣＰＵ２４にて実行されるＳ１６０の処理は、画像処理部２２と共に本開示の路面認識部として機能する。また、ＣＰＵ２４にて実行されるＳ１５０、Ｓ１７０及びＳ１８０の処理は、画像処理部２２と共に本開示の画像切替部として機能する。
［他の実施形態］
　以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
　例えば、上記実施形態では、画像切替処理において、Ｓ１３０にて前方カメラ１１による撮像画像から停止表示を検知したと判定すると、Ｓ１４０にて、車両２が停止位置まで移動するのを待って、Ｓ１６０の路面認識処理を実行するものとして説明した。
　これに対し、Ｓ１３０にて前方カメラ１１による撮像画像から停止表示を検知したと判定すると、Ｓ１４０の判定処理を実施することなく、Ｓ１６０の路面認識処理を開始するようにしてもよい。
　また、上記実施形態では、前方カメラ１１によって交差路の路面が撮像されているか否かを判断するために、セマンティック・セグメンテーションによる路面認識を行うものとして説明した。
　これに対し、Ｓ１２０での停止表示の認識にも、セマンティック・セグメンテーションを利用するようにしてもよい。つまり、セマンティック・セグメンテーションでは、撮像画像を、停止表示を含む各種領域に分類することができることから、Ｓ１２０において、セマンティック・セグメンテーションにて停止線等の停止表示や路面を同時に認識するようにしてもよい。
　一方、セマンティック・セグメンテーションによる路面認識は、周囲が暗くなる夜間や雨が降っていて天候が悪いときには、精度よく実施することができず、交差路の路面が撮像されているか否かを正常に判断できないことがある。
　このため、夜間や天候が悪いときには、路面認識を行うことなく、ディスプレイ３２への表示画像を、道路案内画像から前方カメラ１１にて撮像された左右の交差路の画像に切り替えるようにしてもよい。
　つまり、夜間や天候が悪いときには、Ｓ１３０にて停止表示を検知したと判定したとき、或いは、Ｓ１４０にて車両２が停止位置まで移動したと判断したときに、ディスプレイ３２への表示画像を、交差路の画像に切り替えるようにしてもよい。
　次に、上記実施形態では、Ｓ１３０にて停止表示を検知したか否かを判断する際には、画像処理部２２による停止表示の認識結果を利用するものとして説明した。しかし、運転支援のために交差路の画像表示を行う交差点は、ナビゲーション装置３０の地図データ等から特定できる。
　このため、接近認識部としてのＳ１２０～Ｓ１４０の処理においては、交差点への接近を、地図データと車両の現在位置とに基づき検知するようにしてもよい。このようにしても、車両２が交差点に進入する際に、交差路の画像をディスプレイ３２に表示させて、運転者に対する運転支援を行うことができる。
　また次に、上記実施形態では、ディスプレイ３２の表示画像を交差路の画像に切り替える際には、ディスプレイ３２には、ナビゲーション装置３０にて地図データに基づき生成された道路案内画像が表示されているものとして説明した。
　しかし、ディスプレイ３２には、道路案内画像ではなく、例えば、エアコンの作動状態等の車両状態を表す情報提供画像や、テレビ・ビデオ出力や音楽再生画面等のオーディオ画像が表示されることもある。
　そして、このように、道路案内画像とは異なる画像がディスプレイ３２に表示されている場合であっても、車両２が交差点に進入する際には、上述した画像切替処理によって、ディスプレイ３２の表示画像を交差路の画像に切り替えるようにしてもよい。
　また、上記実施形態では、本開示の接近認識部、路面認識部、及び、画像切替部としての機能は、ＣＰＵ２４が、画像切替処理としてのプログラムを実行することで、実現されるものとして説明した。
　しかし、これら各部の機能は、ソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現するようにしてもよい。
　また、上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
　また、本開示は、車両の運転支援装置の他、コンピュータを運転支援装置として機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、運転支援方法など、種々の形態で本開示を実現することもできる。

Claims (3)

  1. 　車両の周辺画像を撮像するよう構成されたカメラ（１１）と、
    　前記車両が現在走行中の道路と交差する交差路に接近したことを認識するよう構成された接近認識部（２２，２４，Ｓ１２０～Ｓ１４０）と、
    　前記カメラにより撮像された前記周辺画像から路面を認識するよう構成された路面認識部（２２，２４，Ｓ１６０）と、
    　前記接近認識部にて前記交差路への接近が認識されると、前記路面認識部にて前記交差路の路面が認識されたか否かを判断し、前記路面認識部にて前記交差路の路面が認識されると、前記車両の走行案内を表示する表示装置の表示画像を、前記カメラにより撮像された前記交差路の画像に切り替えるよう構成された画像切替部（２２，２４，Ｓ１５０，Ｓ１７０，Ｓ１８０）と、
    　を備えた、車両の運転支援装置。
  2. 　請求項１に記載の車両の運転支援装置であって、
    　前記接近認識部は、前記カメラによる撮像画像に基づき、前記車両が前記交差路に接近したことを認識するよう構成されている、車両の運転支援装置。
  3. 　請求項１又は請求項２に記載の車両の運転支援装置であって、
    　前記車両の左右に存在する障害物を検出するよう構成された障害物センサ（３６）を備え、
    　前記画像切替部は、前記障害物センサにて前記障害物が検出されているときに、前記表示画像を、前記カメラにより撮像された前記交差路の画像に切り替えるよう構成されている、車両の運転支援装置。
PCT/JP2020/000305 2019-01-09 2020-01-08 運転支援装置 WO2020145302A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/369,207 US20210331680A1 (en) 2019-01-09 2021-07-07 Vehicle driving assistance apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019001927A JP6981433B2 (ja) 2019-01-09 2019-01-09 運転支援装置
JP2019-001927 2019-01-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/369,207 Continuation US20210331680A1 (en) 2019-01-09 2021-07-07 Vehicle driving assistance apparatus

Publications (1)

Publication Number Publication Date
WO2020145302A1 true WO2020145302A1 (ja) 2020-07-16

Family

ID=71521666

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/000305 WO2020145302A1 (ja) 2019-01-09 2020-01-08 運転支援装置

Country Status (3)

Country Link
US (1) US20210331680A1 (ja)
JP (1) JP6981433B2 (ja)
WO (1) WO2020145302A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202212584A (zh) 2020-06-30 2022-04-01 日商三菱綜合材料股份有限公司 銅合金塑性加工材、銅合金棒材、電子電氣機器用零件、端子
WO2022004791A1 (ja) 2020-06-30 2022-01-06 三菱マテリアル株式会社 銅合金、銅合金塑性加工材、電子・電気機器用部品、端子、バスバー、リードフレーム、放熱基板
US20230250514A1 (en) 2020-06-30 2023-08-10 Mitsubishi Materials Corporation Copper alloy, copper alloy plastic working material, component for electronic/electrical device, terminal, bus bar, lead frame, and heat dissipation substrate
US20230243020A1 (en) 2020-06-30 2023-08-03 Mitsubishi Materials Corporation Plastic copper alloy working material, copper alloy wire material, component for electronic and electrical equipment, and terminal

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129382A1 (ja) * 2006-04-28 2007-11-15 Panasonic Corporation ナビゲーション装置およびその方法
JP2008241276A (ja) * 2007-03-26 2008-10-09 Alpine Electronics Inc 車載用ナビゲーション装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847873B1 (en) * 2003-07-08 2005-01-25 Shih-Hsiung Li Driver information feedback and display system
JP4380550B2 (ja) * 2004-03-31 2009-12-09 株式会社デンソー 車載用撮影装置
JP2007233430A (ja) * 2006-02-27 2007-09-13 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP2007317002A (ja) * 2006-05-26 2007-12-06 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
US20100253780A1 (en) * 2009-04-03 2010-10-07 Shih-Hsiung Li Vehicle auxiliary device
JP2011134237A (ja) * 2009-12-25 2011-07-07 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置及び車両用画像表示方法
CN103661190B (zh) * 2014-01-07 2017-12-01 江苏新安电器有限公司 大型汽车转弯时的侧防撞装置及侧防撞方法
JP2018201121A (ja) * 2017-05-26 2018-12-20 京セラ株式会社 路側機、通信装置、車両、送信方法及びデータ構造
US20190279508A1 (en) * 2018-03-07 2019-09-12 SF Motors Inc. Systems and methods of inter-vehicle communication

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129382A1 (ja) * 2006-04-28 2007-11-15 Panasonic Corporation ナビゲーション装置およびその方法
JP2008241276A (ja) * 2007-03-26 2008-10-09 Alpine Electronics Inc 車載用ナビゲーション装置

Also Published As

Publication number Publication date
JP2020112927A (ja) 2020-07-27
US20210331680A1 (en) 2021-10-28
JP6981433B2 (ja) 2021-12-15

Similar Documents

Publication Publication Date Title
WO2020145302A1 (ja) 運転支援装置
JP5022609B2 (ja) 撮像環境認識装置
US8854466B2 (en) Rearward view assistance apparatus displaying cropped vehicle rearward image
JP4513318B2 (ja) 後側方画像制御装置および方法
JP5003946B2 (ja) 駐車支援装置
JP3695319B2 (ja) 車両周辺モニタ装置
WO2017068694A1 (ja) 駐車支援方法及び駐車支援装置
US10688868B2 (en) On-vehicle display control device, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
JP4772409B2 (ja) 画像表示システム
JP2009227245A (ja) 車載機器の操作装置
JP4259368B2 (ja) ノーズビューモニタ装置
JP2008306402A (ja) 車載撮像表示装置
JPH08293098A (ja) 車両側方監視装置
JP2000251198A (ja) 車両用周辺監視装置
JP3464368B2 (ja) 車両用後側方監視装置
JP4930432B2 (ja) 車両用周辺監視装置
US20230242137A1 (en) Notification device and notification method
JP7294388B2 (ja) 運転支援装置
JP2007299047A (ja) 運転支援装置
JP4677820B2 (ja) 予測進路表示装置および予測進路表示方法
JP2005309660A (ja) 車両用右左折支援装置
JP2005316746A (ja) 接近物体報知装置
CN114999205A (zh) 泊车辅助方法和泊车辅助装置
JP2010000843A (ja) 周辺表示装置
JP2008305162A (ja) 車両走行支援装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20738630

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20738630

Country of ref document: EP

Kind code of ref document: A1