WO2023053355A1 - 運転支援装置及び車両並びにコンピュータプログラムを記録した記録媒体 - Google Patents

運転支援装置及び車両並びにコンピュータプログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2023053355A1
WO2023053355A1 PCT/JP2021/036166 JP2021036166W WO2023053355A1 WO 2023053355 A1 WO2023053355 A1 WO 2023053355A1 JP 2021036166 W JP2021036166 W JP 2021036166W WO 2023053355 A1 WO2023053355 A1 WO 2023053355A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
shadow
light source
driving
collision
Prior art date
Application number
PCT/JP2021/036166
Other languages
English (en)
French (fr)
Inventor
育郎 後藤
Original Assignee
株式会社Subaru
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Subaru filed Critical 株式会社Subaru
Priority to US17/926,034 priority Critical patent/US20240233392A1/en
Priority to JP2023550921A priority patent/JPWO2023053355A1/ja
Priority to PCT/JP2021/036166 priority patent/WO2023053355A1/ja
Publication of WO2023053355A1 publication Critical patent/WO2023053355A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present disclosure relates to a recording medium that records a driving support device, a vehicle, and a computer program that support the driving of a vehicle so as to avoid a collision with an object protruding from a blind spot.
  • Patent Document 1 proposes a vehicle control device that can appropriately control the vehicle according to the situation when the own vehicle is traveling in a situation with a blind spot. Specifically, in Patent Document 1, a blind area that is a blind spot for an own vehicle is detected, a relative priority between the course of a moving object that may appear from the blind area and the course of the own vehicle is determined, A vehicle control device is disclosed that outputs a control signal for a host vehicle based on the determined priority.
  • the driving support device disclosed in Patent Literature 1 does not actually detect an object coming out of the blind spot area. is executed. If deceleration or the like is repeated even though the vehicle does not jump out, the reliability and acceptability of the driving assistance system may decrease, and in some cases, the driving assistance function may not be utilized.
  • one or more processors can communicate with the one or more processors. and one or more memories connected to the processor, the processor detects a shadow of an object existing in a blind spot area viewed from the vehicle based on image data captured around the vehicle, and a light source that forms the shadow , calculates the position, moving direction, and moving speed of an object based on the position of the light source and the time change of the shadow, and determines the possibility of collision between the own vehicle and the object.
  • a driving assistance device that assists driving to avoid a collision with an object, based on image data obtained by photographing the surroundings of the vehicle, a shadow area detection unit that detects the shadow of an object existing in the blind spot area; a light source position estimation unit that estimates the position of the light source that forms the shadow;
  • a driving assistance device includes a collision determination unit that calculates the direction and speed of movement and determines the possibility of collision between the own vehicle and an object.
  • the driving assistance device includes one or more A processor and one or more memories communicatively connected to the one or more processors, the processor existing in a blind spot area viewed from the vehicle based on image data captured around the vehicle Detects the shadow of an object, estimates the position of the light source that forms the shadow, calculates the position, moving direction, and moving speed of the object based on the position of the light source and the time change of the shadow, and can collide with the vehicle and the object.
  • a vehicle for determining sex is provided.
  • a recording medium recording a computer program applied to a driving assistance device that assists driving to avoid a collision with an object comprising: One or a plurality of processors detect a shadow of an object existing in a blind spot area seen from the vehicle based on image data taken around the vehicle, estimate the position of a light source forming the shadow, A recording medium recording a computer program for executing processes including calculating the position, moving direction, and moving speed of an object based on the position and shadow over time, and determining the possibility of collision between the vehicle and the object. is provided.
  • FIG. 1 is a schematic diagram showing a configuration example of a vehicle provided with a driving assistance device according to an embodiment of the present disclosure
  • FIG. 1 is a block diagram showing a configuration example of a driving assistance device according to a first embodiment
  • FIG. It is a flowchart which shows the processing operation of the driving assistance device of the same embodiment. It is a flowchart which shows the processing operation of the driving assistance device of the same embodiment. It is a flowchart which shows the light source position estimation process by the driving assistance device of the same embodiment.
  • FIG. 10 is a diagram showing a driving scene for explaining an example in which the light source is the sun
  • FIG. 7 is a diagram showing the traveling scene of FIG. 6 as viewed from the traveling direction of the host vehicle;
  • FIG. 7 is a diagram showing the traveling scene of FIG. 6 as viewed from the traveling direction of the host vehicle;
  • FIG. 10 is a diagram showing a driving scene for explaining an example in which the light source is a streetlight;
  • FIG. 10 is a diagram showing the running scene of FIG. 9 as seen from the traveling direction of the host vehicle;
  • FIG. 10 is a diagram showing the running scene of FIG. 9 as seen from the traveling direction of the host vehicle;
  • FIG. 10 is a diagram showing a driving scene for explaining an example in which the light source is a light of a moving body;
  • FIG. 13 is a diagram showing the running scene of FIG. 12 as seen from the traveling direction of the host vehicle;
  • FIG. 13 is a diagram showing the running scene of FIG.
  • FIG. 18 is a diagram showing the traveling scene of FIG. 17 viewed from the traveling direction of the host vehicle;
  • FIG. 18 is a diagram showing the traveling scene of FIG. 17 viewed from the traveling direction of the host vehicle;
  • FIG. 1 is a schematic diagram showing a configuration example of a vehicle 1 equipped with a driving support device 50 according to this embodiment.
  • the vehicle 1 shown in FIG. When not required, it is configured as a four-wheel drive vehicle that transmits to the "wheel 3").
  • the driving force source 9 may be an internal combustion engine such as a gasoline engine or a diesel engine, or may be a driving motor, or may include both an internal combustion engine and a driving motor.
  • the vehicle 1 may be, for example, an electric vehicle equipped with two drive motors, a front wheel drive motor and a rear wheel drive motor, or an electric vehicle equipped with drive motors corresponding to the respective wheels 3. There may be.
  • the vehicle 1 is an electric vehicle or a hybrid electric vehicle, the vehicle 1 includes a secondary battery for accumulating electric power supplied to the drive motor, a motor for generating electric power for charging the battery, a fuel cell, and the like.
  • a generator is included.
  • the vehicle 1 may be a two-wheel drive four-wheeled vehicle, or may be another type of vehicle such as a two-wheeled vehicle.
  • the vehicle 1 includes a driving force source 9, an electric steering device 15, and a brake fluid pressure control unit 20 as devices used for operation control of the vehicle 1.
  • the drive force source 9 outputs drive torque that is transmitted to the front wheel drive shaft 5F and the rear wheel drive shaft 5R via a transmission (not shown), the front wheel differential mechanism 7F and the rear wheel differential mechanism 7R.
  • the drive of the driving force source 9 and the transmission is controlled by a vehicle control device 41 including one or more electronic control units (ECU: Electronic Control Unit).
  • ECU Electronic Control Unit
  • An electric steering device 15 is provided on the front wheel drive shaft 5F.
  • the electric steering device 15 includes an electric motor and a gear mechanism (not shown).
  • the electric steering device 15 is controlled by the vehicle control device 41 to adjust the steering angles of the front left wheel 3LF and the front right wheel 3RF.
  • the vehicle control device 41 controls the electric steering device 15 based on the steering angle of the steering wheel 13 by the driver during manual driving.
  • the vehicle control device 41 controls the electric steering device 15 based on a target steering angle set by the driving support device 50 or an automatic driving control device (not shown).
  • the brake system of vehicle 1 is configured as a hydraulic brake system.
  • the brake fluid pressure control unit 20 includes brake calipers 17LF, 17RF, 17LR, and 17RR (hereinafter referred to as "brake caliper 17" when no particular distinction is required) provided on the front, rear, left, and right drive wheels 3LF, 3RF, 3LR, and 3RR, respectively. ) are adjusted to generate braking force.
  • Driving of the brake fluid pressure control unit 20 is controlled by the vehicle control device 41 .
  • the brake fluid pressure control unit 20 is used together with regenerative braking by a drive motor.
  • the vehicle control device 41 includes a driving force source 9 that outputs the driving torque of the vehicle 1, an electric steering device 15 that controls the steering angle of the steering wheel 13 or steered wheels, and a brake fluid pressure control unit 20 that controls the braking force of the vehicle 1. includes one or more electronic controllers that control the drive of the vehicle control device 41 may have a function of controlling the driving of a transmission that changes the speed of the output output from the driving force source 9 and transmits the changed speed to the wheels 3 .
  • the vehicle control device 41 is configured to be able to acquire information transmitted from the driving support device 50 or an automatic driving control device (not shown), and is configured to be able to execute automatic driving control of the vehicle 1 .
  • the vehicle control device 41 acquires information on the amount of operation by the driver, and the driving force source 9 that outputs the driving torque of the vehicle 1, the steering wheel 13, or the steering wheels are steered. It controls the driving of the electric steering device 15 that controls the steering angle and the brake fluid pressure control unit 20 that controls the braking force of the vehicle 1 .
  • the vehicle 1 is equipped with front imaging cameras 31LF and 31RF, a vehicle state sensor 35, and a GNSS (Global Navigation Satellite System) sensor 37.
  • the front imaging cameras 31LF and 31RF constitute a surrounding environment sensor 31 for acquiring information on the surrounding environment of the vehicle 1 .
  • the forward photographing cameras 31LF and 31RF photograph the front of the vehicle 1 and generate image data.
  • the forward shooting cameras 31 LF and 31 RF are provided with imaging elements such as CCD (Charged-Coupled Devices) or CMOS (Complementary Metal-Oxide-Semiconductor), and transmit generated image data to the driving support device 50 .
  • CCD Charge-Coupled Devices
  • CMOS Complementary Metal-Oxide-Semiconductor
  • the front imaging cameras 31LF and 31RF are configured as stereo cameras including a pair of left and right cameras, but they may be monocular cameras.
  • the vehicle 1 may be provided with, for example, a rear camera provided at the rear portion of the vehicle 1 for photographing the rear side or a camera provided on a side mirror for photographing the rear left side or the rear right side, in addition to the forward photographing cameras 31LF and 31RF. good.
  • the vehicle 1 includes forward imaging cameras 31LF and 31RF as ambient environment sensors for acquiring information about the ambient environment, and one or more of radar sensors such as LiADR and millimeter wave radar or ultrasonic sensors. sensors.
  • the vehicle state sensor 35 consists of one or more sensors that detect the operating state and behavior of the vehicle 1 .
  • Vehicle state sensor 35 includes at least one of, for example, a steering angle sensor, an accelerator position sensor, a brake stroke sensor, a brake pressure sensor, or an engine speed sensor. These sensors detect the operating state of the vehicle 1, such as the steering wheel 13 or the steering angle of the steered wheels, the accelerator opening, the amount of brake operation, or the number of engine revolutions.
  • the vehicle state sensor 35 includes at least one of, for example, a vehicle speed sensor, an acceleration sensor, and an angular velocity sensor. These sensors detect vehicle behavior such as vehicle speed, longitudinal acceleration, lateral acceleration, and yaw rate.
  • the vehicle state sensor 35 transmits a sensor signal containing the detected information to the driving assistance device 50 .
  • the GNSS sensor 37 receives satellite signals transmitted from satellites typified by GPS (Global Positioning System) satellites.
  • the GNSS sensor 37 transmits the position information of the own vehicle 1 on the world coordinate system contained in the received satellite signal to the driving support device 50 .
  • the GNSS sensor 37 may have an antenna for receiving satellite signals from other satellite systems for identifying the position of the vehicle 1, in addition to the GPS satellites.
  • the notification device 43 presents various information to the driver based on the information transmitted from the driving support device 50 by means of image display, voice output, or the like.
  • the notification device 43 includes, for example, a display device provided in the instrument panel and a speaker provided in the vehicle.
  • the display device may be a display device of a navigation system.
  • the notification device 43 may also include a HUD (heads-up display) that superimposes on the scenery around the vehicle 1 and displays it on the front window.
  • HUD heads-up display
  • the driving support device 50 according to this embodiment will be specifically described.
  • the vehicle 1 equipped with the driving support device 50 is hereinafter referred to as the own vehicle.
  • FIG. 2 is a block diagram showing a configuration example of the driving support device 50 according to this embodiment.
  • An ambient environment sensor 31, a vehicle state sensor 35, and a GNSS sensor 37 are connected to the driving support device 50 via a dedicated line or communication means such as CAN (Controller Area Network) or LIN (Local Internet).
  • a vehicle control device 41 and a notification device 43 are connected to the driving support device 50 via a dedicated line or a communication means such as CAN or LIN.
  • the driving support device 50 is not limited to the electronic control device mounted on the vehicle 1, and may be a terminal device such as a smart phone or wearable device.
  • the driving support device 50 functions as a device that supports the driving of the own vehicle 1 by executing a computer program by one or more processors such as CPUs (Central Processing Units).
  • the computer program is a computer program for causing the processor to execute an operation to be executed by the driving support device 50, which will be described later.
  • the computer program executed by the processor may be recorded in a recording medium functioning as a storage unit (memory) 53 provided in the driving assistance device 50, or may be recorded in a recording medium built in the driving assistance device 50 or in the driving assistance device. It may be recorded on any recording medium that can be externally attached to the device 50 .
  • Recording media for recording computer programs include magnetic media such as hard disks, floppy disks and magnetic tapes, CD-ROMs (Compact Disk Read Only Memory), DVDs (Digital Versatile Disks), and Blu-ray (registered trademark).
  • Optical recording media magneto-optical media such as floptical disks, storage elements such as RAM (Random Access Memory) and ROM (Read Only Memory), and flash such as USB (Universal Serial Bus) memory and SSD (Solid State Drive) It may be a memory or other medium capable of storing programs.
  • the driving support device 50 includes a processing unit 51 and a storage unit 53.
  • the processing unit 51 is configured with one or more processors. A part or all of the processing unit 51 may be composed of an updatable device such as firmware, or may be a program module or the like executed by a command from a CPU or the like.
  • the storage unit 53 is configured by a memory such as RAM or ROM, and is communicatively connected to the processing unit 51 . However, the number and types of storage units 53 are not particularly limited.
  • the storage unit 53 stores information such as computer programs executed by the processing unit 51, various parameters used in arithmetic processing, detected data, and arithmetic results.
  • the driving support device 50 also includes a high-precision map data storage unit 55 and a solar position data storage unit 57.
  • the high-precision map data storage unit 55 and the solar position data storage unit 57 each consist of a recording medium communicably connected to the processing unit 51 .
  • the high-precision map data storage unit 55 stores map data including position information and three-dimensional shape data of roads and off-road structures.
  • the high-precision map data includes position information and three-dimensional shape data of structures such as buildings, side walls, hedges, and bridges, or installed objects such as traffic signals and street lights.
  • the high-definition map data includes height data of the light sources of street lamps.
  • the sun position data storage unit 57 also stores the altitude and direction of the sun.
  • the sun position data includes altitude and orientation data of the sun depending on time of day, season and region.
  • any recording medium may be used as the recording medium that constitutes the high-precision map data storage unit 55 and the solar position data storage unit 57 . Further, the high-precision map data storage unit 55 and the solar position data storage unit 57 may be provided in a server or the like outside the vehicle connected via wireless communication means such as mobile communication.
  • the driving support device 50 also includes a first communication unit 58 and a second communication unit 59.
  • the first communication unit 58 and the second communication unit 59 are interfaces for external communication that are communicably connected to the processing unit 51 .
  • the first communication unit 58 is, for example, an interface for wireless communication such as mobile communication, and is used for transmission/reception with telematics services.
  • the second communication unit 59 is an interface for inter-vehicle communication, and is used for communication with other vehicles around the own vehicle 1 .
  • the processing unit 51 of the driving support device 50 includes a driving state detection unit 61, an ambient environment detection unit 63, a blind spot area detection unit 65, a shadow area detection unit 67, a light source position estimation unit 69, a collision determination unit 71, and a driving condition setting unit 73. and a notification unit 75 .
  • Each of these units is a function realized by execution of a computer program by a processor, but part of each unit may be configured by an analog circuit.
  • the processing operation of the driving support device 50 will be explained in detail.
  • the running state detection unit 61 detects information about the operating state and behavior of the own vehicle 1 based on detection data transmitted from the vehicle state sensor 35 .
  • the driving state detection unit 61 detects the operating state of the own vehicle 1, such as the steering angle of the steering wheel or steered wheels, accelerator opening, brake operation amount, or engine speed, and the vehicle speed, longitudinal acceleration, lateral acceleration, yaw rate, and the like. Information on the behavior of the vehicle 1 is obtained for each predetermined calculation cycle, and the information is stored in the storage unit 53 .
  • the ambient environment detection unit 63 detects the ambient environment of the vehicle 1 based on the image data transmitted from the ambient environment sensor 31 . Specifically, the ambient environment detection unit 63 detects the type, size (width, height, and depth), position, distance from the vehicle 1 to the object, and distance between the vehicle 1 and the object. Calculate the relative velocity with Objects to be detected include other moving vehicles, parked vehicles, pedestrians, bicycles, side walls, curbs, buildings, utility poles, traffic signs, traffic lights, natural objects, and any other moving objects existing around the own vehicle 1. and stationary objects.
  • the blind area detection unit 65 detects the blind area seen from the vehicle 1 based on the surrounding environment information detected by the surrounding environment detection unit 63 and the high-precision map data storage unit 55 . For example, based on the high-precision map data storage unit 55, the blind area detection unit 65 detects that there is a building such as a side wall in front of the turning corner in front of the vehicle 1, and the surrounding environment sensor 31 cannot detect the turning corner. area is detected as a blind spot area. Based on the information of the surrounding environment detected by the surrounding environment detection unit 63, the blind spot area detection unit 65 detects a parked vehicle in front of the own vehicle 1 and detects a parked vehicle that cannot be detected by the surrounding environment sensor 31.
  • the area in the back is detected as a blind spot area.
  • the blind area detection unit 65 detects the blind area seen from the vehicle 1 based on either the information of the surrounding environment detected by the surrounding environment detection unit 63 or the information of the high-precision map data storage unit 55. You may However, the method of detecting the blind area is not particularly limited.
  • the shadow area detection unit 67 detects shadows present in the image data based on the image data transmitted from the surrounding environment sensor 31 .
  • the term “shadow” refers to a dark area that appears on a wall, ground, or the like as a result of an object such as a moving object or a stationary object blocking the progress of light.
  • the shadow area detection unit 67 can identify a shadow by obtaining a contour line whose luminance or hue changes significantly within a predetermined distance based on the luminance information and hue information of each pixel of the image data.
  • the shadow detection method is not particularly limited, and any known shadow detection technique can be used.
  • the shadow detected by the shadow area detection unit 67 is not only the shadow of the object detected by the surrounding environment detection unit 63, but also exists in the blind spot area seen from the own vehicle 1, and is directly detected by the surrounding environment detection unit 63. Also includes shadows of objects that are not hidden (hereinafter also referred to as “latent objects”).
  • the light source position estimator 69 estimates the position of the light source that emits the light that creates the shadow detected by the shadow area detector 67 .
  • the light source position estimator 69 receives image data, time information, high-precision map data, solar position data, information obtained from the telematics service, and other data transmitted from the surrounding environment sensor 31 via inter-vehicle communication. Information obtained from the vehicle is used to estimate the light source and the position of the light source.
  • the light source position estimating unit 69 determines whether the light source that creates the shadow is the sun, the illumination device is installed immovably, or the light source is a moving body equipped with the light source. It discriminates and estimates the position of the sun, which is the light source, the lighting device installed immovably, or the moving body.
  • the collision determination unit 71 determines the collision between the vehicle 1 and the latent object based on information on the shadow of the latent object detected by the shadow area detection unit 67 and information on the position of the light source estimated by the light source position estimation unit 69. Determine collision probability. Specifically, the collision determination unit 71 calculates the position, moving direction, and moving speed of the latent object within the blind spot area based on the position of the light source and the time change of the shadow of the latent object, and collision possibility.
  • the driving condition setting unit 73 sets driving conditions for the vehicle 1 to avoid collision. Specifically, the driving condition setting unit 73 sets a target acceleration or a target steering angle for decelerating the own vehicle 1 or correcting the traveling trajectory, and transmits this information to the vehicle control device 41 .
  • the vehicle control device 41 that has received the information on the operating conditions controls the driving of each control device based on the information on the set operating conditions.
  • the notification unit 75 When the collision determination unit 71 determines that there is a possibility of collision between the own vehicle 1 and the potential object, the notification unit 75 outputs a command signal to the notification device 43 to notify the driver of the possibility of a collision. notify you that there is The notification unit 75 may not only notify that there is a possibility of collision, but may also notify information about the emerging latent object such as the pop-out position and the pop-up speed.
  • step S11 when the in-vehicle system including the driving support device 50 is activated (step S11), the ambient environment detection unit 63 of the processing unit 51 acquires ambient environment information of the own vehicle 1 (step S13). Specifically, the ambient environment detection unit 63 detects objects existing around the vehicle 1 based on the detection data transmitted from the ambient environment sensor 31 . The ambient environment detection unit 63 also calculates the position, size, and speed of the detected object, the distance from the vehicle 1 to the object, and the relative speed between the vehicle 1 and the object.
  • the surrounding environment detection unit 63 detects an object in front of the vehicle 1 using pattern matching technology or the like by processing image data transmitted from the front imaging cameras 31LF and 31RF.
  • the surrounding environment detection unit 63 detects the position of the object in the image data, the size of the object in the image data, and the parallax information of the left and right front cameras 31LF and 31RF. Calculate the position, size and distance to an object.
  • the ambient environment detection unit 63 calculates the relative speed between the vehicle 1 and the object by differentiating the change in distance with time, and calculates the relative speed of the object based on the information on the relative speed and the information on the speed of the vehicle 1 . Calculate the velocity of
  • the surrounding environment detection unit 63 labels objects whose speed is equal to or less than a predetermined value, for example slow speed (10 km/h or less), as stationary objects, and labels objects whose speed exceeds the predetermined value as moving objects. do.
  • a predetermined value may be 0 km/h
  • by setting the slow-moving speed to the predetermined value pedestrians who are at risk of running out of the blind spot area between slow-moving vehicles during traffic jams are treated as blind spots in the technology of the present disclosure. It can be detected as an object existing in the area.
  • the ambient environment detection unit 63 records information on the detected object in the storage unit 53 .
  • the object detection method is not limited to the above example.
  • the blind spot detection unit 65 of the processing unit 51 refers to the high-precision map data stored in the high-precision map data storage unit 55, and based on the information on the current position of the vehicle 1 transmitted from the GNSS sensor 37, Data such as roads and structures around the host vehicle 1 are acquired (step S15).
  • the blind area detection unit 65 acquires data on the position and shape of the road on which the vehicle 1 is traveling, and the position, shape and size (height) of the structure on the roadside on which the vehicle 1 is traveling.
  • the blind area detection unit 65 determines whether or not there is a blind area in front of the vehicle 1 (step S17). Specifically, the blind spot area detection unit 65 detects an area in front of the vehicle 1 based on the information on the surrounding environment detected in step S13 and the data on the surroundings of the vehicle 1 acquired in step S15. It is determined whether or not there is a blind spot area. For example, when there is a parked vehicle in front of the own vehicle 1 or when the back of the turn in front of the own vehicle 1 cannot be seen, the blind area detection unit 65 determines that there is a blind area.
  • the processing unit 51 returns to step S13 and repeats the process until a blind spot area is detected unless it is determined in step S21 that the in-vehicle system has stopped.
  • the shadow area detection unit 67 determines whether or not there is a shadow of a potential object existing in the blind spot area (step S19). Specifically, the shadow area detection unit 67 detects shadows present in the image data based on the image data transmitted from the ambient environment sensor 31 . The shadow area detection unit 67 detects the shadow of an object that is not detected by the surrounding environment detection unit 63 among the detected shadows and extends outside the blind area. It is determined that there is a shadow of a latent object existing in .
  • the processing unit 51 If it is not determined that there is a shadow of a potential object existing in the blind spot area (S19/No), the processing unit 51 returns to step S13 and repeats the processing described so far unless it is determined in step S21 that the in-vehicle system has stopped. repeat. On the other hand, if it is determined that there is a shadow of a latent object existing in the blind spot area (S19/Yes), the light source position estimation unit 69 of the processing unit 51 executes processing for estimating the position of the light source that creates the shadow. (Step S23).
  • FIG. 5 is a flowchart showing an example of processing for estimating the position of the light source.
  • the light source position estimator 69 acquires a light source and various data for estimating the position of the light source (step S41).
  • the light source position estimator 69 includes image data and time information transmitted from the surrounding environment sensor 31, information on the position and traveling direction of the vehicle 1 transmitted from the GNSS sensor 37, and a high-precision map data storage unit. 55, solar position data stored in the solar position data storage unit 57, weather information transmitted from the telematics service, and other vehicle information obtained through inter-vehicle communication.
  • the light source position estimation unit 69 determines whether or not the light source creating the shadow is the sun (step S43). For example, the light source position estimation unit 69 determines that the light source is the sun when the weather is fine and the current time is after sunrise and before sunset. The time may be limited, such as from a predetermined time after sunrise to a predetermined time before sunset. Further, the light source position estimating unit 69 determines the image data transmitted from the ambient environment sensor 31 based on the luminance and hue around the shadow determined to be the shadow of the potential object existing in the blind spot area. It may also be determined whether or not the sun is shining.
  • the light source position estimating unit 69 estimates the position of the sun as seen from the own vehicle 1 or the blind spot area (step S45). Specifically, the light source position estimator 69 identifies the altitude and orientation (direction) of the sun at the current time based on the time information and the sun position data. Further, the light source position estimator 69 estimates the direction of the sun as seen from the vehicle 1 based on the information on the altitude and direction of the sun and the information on the traveling direction of the vehicle 1 . The altitude and direction of the sun seen from the blind spot area can be regarded as the same as the altitude and direction of the sun seen from the own vehicle 1 . The light source position estimating unit 69 stores information on the estimated altitude and direction of the sun in the storage unit 53 .
  • the light source position estimation unit 69 determines whether or not the light source is a street lamp (step S47). For example, the light source position estimating unit 69 determines that the light source is a street lamp when the current time is after the sunset time and there is street lamp data corresponding to the installation position data of the street lamp included in the high-precision map data. judge. Specifically, when the current time is after the sunset time and there is data of a streetlight installed in the direction opposite to the direction in which the shadow extending from the blind spot area extends, the light source position estimation unit 69 is determined to be a streetlight.
  • a street lamp will be described as an example of an immovably installed lighting device, but the immovably installed lighting device is not limited to a street lamp. Any lighting device may be used as long as it is stored in the high-precision map data storage unit 55 in advance and the installation position can be specified by the processing unit 51 .
  • the immovably installed lighting device may be, for example, a lighting device installed in a commercial facility or a leisure facility.
  • the light source position estimation unit 69 refers to the installation position and height data of the streetlight included in the high-precision map data, and estimates the streetlight as seen from the blind spot area. A position is estimated (step S49).
  • the position of the streetlight means the height and orientation of the light source of the streetlight.
  • the light source position estimation unit 69 stores information on the estimated height and orientation of the streetlight in the storage unit 53 .
  • the light source position estimation unit 69 determines whether or not the light source is the light of a moving body such as a vehicle (step S51). For example, the light source position estimating unit 69 determines that the current time is after the sunset time, and the direction in which the shadow extending from the blind spot area extends based on the information on the position and traveling direction of the other vehicle acquired via inter-vehicle communication. If there is another vehicle moving in the direction of the blind spot area from the opposite direction, it is determined that the light source is the light of the moving object.
  • the light source position estimation unit 69 estimates the position of the light of the other vehicle as seen from the blind area based on the information of the other vehicle (step S53).
  • the light source position estimation unit 69 calculates the distance from the position coordinates of the other vehicle to the front of the other vehicle on the GNSS system. Based on the distance and the vehicle height of the other vehicle, the height and direction of the lights of the other vehicle viewed from the blind spot area are estimated.
  • the light source position estimation unit 69 uses preset distance and height information to determine the height and height of the lights of the other vehicle as seen from the blind spot area. Estimate orientation.
  • the preset distance and height may be, for example, the average distance from the position coordinates of the passenger car on the GNSS system to the front part of the vehicle body and the average height of the passenger car, but are not particularly limited. not something.
  • the light source position estimation unit 69 stores information on the estimated height and direction of the light of the moving object in the storage unit 53 .
  • the light source position estimation unit 69 determines that the position of the light source cannot be specified (step S55).
  • the collision determination unit 71 determines whether or not the light source has been specified (step S25). If the light source is not specified by the light source estimation process (S25/No), the shadow area detection unit 67 determines whether or not the shadow of the potential object existing in the blind spot area is moving (step S27). For example, the shadow area detection unit 67 determines that the shadow of the latent object existing in the blind spot area is moving when the position of the shadow of the stationary object whose position of the light source can be estimated has changed.
  • step S29 the notification unit 75 notifies the driver of the presence of a latent object in the blind area by at least one means of sound, warning sound, or warning display.
  • the collision determination unit 71 determines the position and moving direction of the latent object based on the position of the light source and the temporal change in the shadow of the latent object existing in the blind spot area. And the moving speed is estimated (step S31). A method for estimating the position, moving direction, and moving speed of a latent object will be described below for each of the cases where the light source is the sun, a street lamp, and a light of a moving object.
  • FIG. 7 and 8 are diagrams showing the driving scene of FIG. 6 as seen from the traveling direction of the own vehicle 1.
  • FIG. 7 shows the situation at time t
  • FIG. 8 shows the situation at time t+ ⁇ t.
  • the height of the pedestrian 83 is h1
  • the distance from the pedestrian 83 to the outer edge of the parked vehicle 80 (tire position in the illustrated example) is x1
  • the distance from the parked vehicle 80 to the tip of the shadow 84 of the pedestrian 83 is L1
  • ⁇ 1 be the angle between the line connecting the sun S and the tip of the shadow 84 and the ground.
  • the height h1 of the pedestrian 83 may be set to any value such as the average height of children or adults. From trigonometry, the following equations (1) and (2) hold at time t and time t+ ⁇ t, respectively.
  • the position of the pedestrian 83 at each time t and time t+ ⁇ t is obtained by the above equations (1) and (2), and the pedestrian 83 position between the time t and the time t+ ⁇ t is obtained by the above equation (3).
  • the moving speed v(t) of Therefore based on the image data transmitted from the surrounding environment sensor 31, the collision determination unit 71 determines the distance L1 from the parked vehicle 80 to the tip of the shadow 84 of the pedestrian 83, and the line connecting the sun S and the tip of the shadow 84. By obtaining the angle .theta.1 with the ground, the position and moving speed of the pedestrian 83 can be obtained.
  • the collision determination unit 71 can obtain the moving direction of the pedestrian 83 from the change in the position of the tip of the shadow 84 of the pedestrian 83 .
  • the reference point for determining the movement direction of the pedestrian 83 is not limited to the position of the tip of the shadow 84, and may be any position.
  • FIG. 9 to 11 show a method for estimating the position and moving speed of a latent object based on the position of the streetlight 93 estimated in step S53 and the time change of the shadow 91 of the latent object when the light source is the streetlight 93. It is a figure shown in order to demonstrate.
  • the own vehicle 1 is traveling on an alley with side walls 94 and 95 on both left and right sides, and the front right corner is a blind spot.
  • a scene will be described as an example.
  • a pedestrian 90 exists as a latent object in the blind spot area, and the pedestrian 90 is moving toward the route along which the own vehicle 1 travels.
  • a shadow 91 of a pedestrian 90 is visually recognized from the own vehicle 1 .
  • FIG. 10 and 11 are diagrams showing the driving scene of FIG. 9 as seen from the traveling direction of the host vehicle 1.
  • FIG. 10 shows the situation at time t
  • FIG. 11 shows the situation at time t+ ⁇ t.
  • the height of the pedestrian 90 is h2
  • the height of the light source of the street lamp 93 is H2
  • the distance from the pedestrian 90 to the edge of the side wall 94 is x2
  • the distance from the installation position of the street lamp 93 to the edge of the side wall 94 is X2
  • L2 be the distance from the end of 94 to the tip of the shadow 91 of the pedestrian 90
  • ⁇ 2 be the angle between the line connecting the light source of the street lamp 93 and the tip of the shadow 91 and the ground.
  • the height h2 of the pedestrian 90 may be set to any value such as the average height of a child or adult. From trigonometry, the following equations (4) and (5) hold at time t and time t+ ⁇ t, respectively.
  • the moving speed v of the pedestrian 90 can be obtained by dividing the moving distance from the time t to the time t+ ⁇ t by the time ⁇ t, the moving speed v of the pedestrian 90 is obtained from the above equations (4) and (5). It can be represented by the following formula (6).
  • the collision determination section 71 obtains the horizontal distance X2 from the installation position of the streetlight 93 to the edge of the side wall 94 based on the high-precision map data, and determines the edge of the side wall 94 based on the image data transmitted from the ambient environment sensor 31. to the tip of the shadow 91 of the pedestrian 90, and the angle ⁇ 2 between the line connecting the light source of the street lamp 93 and the tip of the shadow 91 and the ground. can be done.
  • the collision determination unit 71 can obtain the moving direction of the pedestrian 90 from the change in the position of the tip of the shadow 91 of the pedestrian 90 .
  • the reference point for determining the movement direction of pedestrian 90 is not limited to the position of the tip of shadow 91, and may be any position.
  • FIG. 13 and 14 are diagrams showing the driving scene of FIG. 12 as seen from the traveling direction of the own vehicle 1.
  • FIG. 13 shows the situation at time t
  • FIG. 14 shows the situation at time t+ ⁇ t.
  • H3 is the height of the pedestrian 96
  • H3 is the height of the light of the other vehicle 98, which is a moving object
  • x3 is the distance from the pedestrian 96 to the edge of the side wall 95 on the left side of the road
  • x3 is the position of the light of the other vehicle 98 to the side wall.
  • the distance to the edge of 95 is X3
  • the height of the shadow 97 of the pedestrian 96 projected on the side wall 95 is L3
  • the line connecting the light of the other vehicle 98 and the upper end of the shadow 97 projected on the side wall 95 is parallel to the ground.
  • ⁇ 3 be the angle between the two lines.
  • the height h3 of the pedestrian 96 may be set to any value such as the average height of a child or adult. From trigonometry, the following equations (7) and (8) hold at time t and time t+ ⁇ t, respectively.
  • the moving speed v of the pedestrian 96 can be obtained by dividing the moving distance from the time t to the time t+ ⁇ t by the time ⁇ t, the moving speed v of the pedestrian 96 is obtained from the above equations (7) and (8). It can be represented by the following formula (9).
  • the collision determination unit 71 obtains the distance X3 from the lights of the other vehicle 98 to the side wall 95 based on the data of the other vehicle 98 and the high-precision map data acquired by inter-vehicle communication, and the distance X3 is transmitted from the surrounding environment sensor 31.
  • the height L3 of the shadow 91 of the pedestrian 90 projected on the side wall 95 and the angle ⁇ 3 between the line connecting the light of the other vehicle 98 and the upper end of the shadow 97 and the line parallel to the ground are determined.
  • the position and moving speed of the pedestrian 96 can be obtained.
  • the collision determination unit 71 can obtain the moving direction of the pedestrian 96 from the change in the position of the tip of the shadow 97 of the pedestrian 96 .
  • the reference point for determining the moving direction of the pedestrian 96 is not limited to the position of the tip of the shadow 97, and may be any position.
  • the collision determination unit 71 may estimate the position, moving direction, and moving speed of the latent object by assuming other moving objects such as bicycles and passenger cars in addition to pedestrians. In this case, it is preferable to change the value of the height h used in each of the above formulas according to the assumed latent object. Further, the processing unit 51 may detect the outline of the detected shadow area and estimate the type of the latent object by matching processing or the like. By assuming the type of the latent object based on the contour of the shadow area, it is possible to reduce the processing load of the processor compared to the case of assuming multiple types of latent objects.
  • the collision determination unit 71 determines the possibility of collision between the latent object and the own vehicle 1 (step S33). For example, the collision determination unit 71 estimates the running track of the own vehicle 1 based on the information on the running state of the own vehicle 1 detected by the running state detection unit 61, and also assumes a running range according to the size of the own vehicle 1. do. Then, the collision determination unit 71 estimates the trajectory of the latent object based on the position, moving direction, and moving speed of the latent object, and when the trajectory of the latent object overlaps the travel range of the own vehicle 1, It is determined that the own vehicle 1 will collide.
  • the method of determining the possibility of collision between the latent object and the own vehicle 1 is not limited to the above example, and any determination method may be used.
  • the possibility of collision between the latent object and the own vehicle 1 may be determined by a known risk calculation process of setting risk values for the own vehicle 1 and the latent object and calculating the collision risk.
  • the collision determination unit 71 determines whether or not there is a possibility of collision between the latent object and the own vehicle 1 as a result of the collision possibility determination (step S35). If there is no possibility of collision (S35/No), the processing unit 51 returns to step S13 and repeats the processing described so far unless it is determined in step S39 that the in-vehicle system has stopped. On the other hand, if there is a possibility of collision (S35/Yes), the processing unit 51 executes driving support processing for avoiding collision between the latent vehicle and the host vehicle 1 (step S37).
  • the driving condition setting unit 73 of the processing unit 51 transmits a command signal for decelerating the own vehicle 1 to the vehicle control device 41 to decelerate the own vehicle 1 .
  • the operating condition setting unit 73 may set a minimum target acceleration that can avoid a collision within a range that does not exceed the maximum value of deceleration. As a result, the risk of excessive rapid deceleration of the own vehicle 1 can be reduced.
  • the driving condition setting unit 73 sets a target steering angle for correcting the traveling trajectory of the own vehicle 1 in combination with the deceleration operation of the own vehicle 1 when the collision cannot be avoided only by decelerating the own vehicle 1. You may In this case, the target steering angle is set so that the host vehicle 1 does not spin or collide with a side wall or the like.
  • the notification unit 75 of the processing unit 51 may output a command signal to the notification device 43 to notify that there is a possibility of collision between the own vehicle 1 and the latent object.
  • the notification unit 75 may also notify that the latent object is likely to fly out of the blind spot area, and information about the latent object such as the projection position and projection speed of the latent object.
  • the notification unit 75 may notify that the driver has intervened in the driving operation to avoid a collision between the potential object and the own vehicle 1 .
  • the processing unit 51 determines whether or not the in-vehicle system has stopped (step S39). If the in-vehicle system is not stopped (S39/No), the processing unit 51 returns to step S13 and repeats the processing of each step described so far. On the other hand, if the in-vehicle system has stopped (S39/Yes), the processing unit 51 terminates the processing of this routine.
  • the driving assistance device 50 detects shadows of potential objects existing in the blind spot area viewed from the own vehicle 1 based on the image data generated by the front imaging cameras 31LF and 31RF. , to estimate the position of the light source forming the shadow. Further, the driving support device 50 calculates the position, moving direction, and moving speed of the latent object based on the estimated position of the light source and the temporal change of the shadow of the latent object, and determines the possibility of collision between the own vehicle 1 and the latent object. judge. As a result, when a blind spot area is detected, driving assistance such as decelerating the host vehicle 1 is not executed even when it is not known whether an object will actually come out.
  • the driving assistance device 50 estimates the position of the sun, calculates the position, moving direction, and moving speed of the latent object, and determines the possibility of collision between the own vehicle 1 and the latent object. can be done. As a result, if the conditions are satisfied that the latent object is illuminated by sunlight during the daytime and a shadow is created, the position of the latent object existing in the blind spot area viewed from the own vehicle 1 is determined. can determine the possibility of collision with
  • the driving assistance device 50 estimates the position of the lighting device installed immovably, calculates the position, moving direction, and moving speed of the latent object, and determines whether the vehicle 1 and the latent object collision possibility can be determined. As a result, even in a time period after sunset, if there is a lighting device that illuminates the potential object, the position of the potential object existing in the blind spot area viewed from the own vehicle 1 can be detected. A possibility of collision between the vehicle 1 and a potential object can be determined.
  • the driving support device 50 estimates the position of the light source provided on the moving object, calculates the position, moving direction, and moving speed of the latent object, and calculates the collision between the own vehicle 1 and the latent object. Possibilities can be determined. As a result, even if there is no lighting device that illuminates the latent object in the time zone after sunset, if another vehicle or the like that illuminates the latent object is present, the vehicle 1 can see it. The possibility of collision between the own vehicle 1 and the latent object can be determined based on the position of the latent object existing in the blind spot area.
  • the driving support device 50 may be configured not to acquire data unnecessary for discrimination according to the type of light source to be discriminated.
  • the driving support device 50 is capable of acquiring information about the existing position or the installation position of the light source. An embodiment will be described in which information about the location cannot be acquired.
  • the functions of the driving support device according to this embodiment may be used together with the functions of the driving support device according to the first embodiment.
  • the driving assistance device according to the present embodiment and the overall configuration of the vehicle equipped with the driving assistance device may be the same as the driving assistance device 50 and the vehicle 1 according to the first embodiment. However, when the driving support device has only the functions of the driving support device according to the second embodiment, the driving support device includes the solar position data storage unit 57, the first communication unit 58 and the second communication unit 59. may not be provided.
  • a driving state detection unit 61 Of the functional configuration of the processing unit 51 of the driving support device 50, a driving state detection unit 61, an ambient environment detection unit 63, a blind spot area detection unit 65, a shadow area detection unit 67, a collision determination unit 71, a driving condition setting unit 73, and a notification
  • the unit 75 has the same function as each unit of the processing unit 51 of the driving support device 50 according to the first embodiment.
  • the light source position estimating unit 69 traces the shadow of a moving body that has moved from within the blind spot area to the outside of the blind spot area and becomes apparent, and estimates the position of the light source based on the time change of the shadow of the moving body.
  • the position of the light source is estimated based on the time change of the shadow of the moving object that has become apparent, the position and movement of the latent object can be estimated based on the time change of the shadow of the other latent object created by the same light source and the position of the light source.
  • Direction and speed of movement can be estimated. Therefore, even in a driving scene in which information about the position of the light source that creates the shadow cannot be obtained, it is possible to determine the possibility of collision between the vehicle 1 and a latent object existing in the blind spot area.
  • steps S11 to S21 and steps S27 to S39 are steps in the processing operation of the driving assistance device 50 of the first embodiment shown in FIGS.
  • the processes of S11 to S21 and S27 to S39 are executed in the same manner.
  • the driving assistance device 50 of the present embodiment executes the processing of steps S61 to S65 instead of steps S23 to S25 in the processing operation of the driving assistance device 50 of the first embodiment.
  • step S11 When the in-vehicle system including the driving support device 50 is activated (step S11), the processing unit 51 executes the processing of steps S11 to S21 according to the procedure described in the first embodiment.
  • the shadow area detection unit 67 determines whether or not an object that has moved from the blind spot area to the outside of the blind spot area has been detected. (step S61). Specifically, when the shadow detected as the shadow of the latent object existing in the blind spot area is changed to the shadow of the object detected by the surrounding environment detecting unit 63, the shadow area detection unit 67 detects the shadow from the blind spot area. It is determined that an object that has moved outside the blind area has been detected.
  • the shadow area detection unit 67 proceeds to step S27 to determine whether or not the shadow of the potential object existing in the blind area has moved. move on.
  • the light source position estimator 69 executes processing for estimating the position of the light source that creates the shadow (step S63). .
  • a method for estimating the position of a light source will be described below, taking as an example the case where the light source is a street lamp.
  • 17 to 19 show a method of estimating the position of the light source (street lamp) 109 based on the time change of the shadow 105 of another vehicle 103 that has moved from the blind spot area to the outside of the blind spot area when the light source is the street lamp 109. It is a figure shown for demonstrating.
  • FIG. 17 an example of a driving scene in which a building 107 exists on the right side of the road on which the vehicle 1 is traveling at night, and the corner behind the building 107 is a blind spot. to explain.
  • a pedestrian 100 exists as a latent object in the blind spot area, and the pedestrian 100 is moving toward the route along which the own vehicle 1 travels.
  • the other vehicle 103 which was present as a latent object in the blind spot area, has moved out of the blind spot area and has become an actualized object.
  • a shadow 101 of a pedestrian 100 , another vehicle 103 , and a shadow 105 of the other vehicle 103 are visually recognized from the own vehicle 1 .
  • FIG. 18 and 19 are diagrams showing the driving scene of FIG. 17 viewed from the traveling direction of the own vehicle 1.
  • FIG. 18 shows the situation at time t
  • FIG. 19 shows the situation at time t+ ⁇ t.
  • H4 is the height of the light source of the streetlight 109
  • h4 is the height from the ground to the portion 104 of the other vehicle 103 where the line connecting the light source of the streetlight 109 and the tip of the shadow 105 of the other vehicle 103 touches
  • h4 is the height of the shadow 105 from the portion 104.
  • the horizontal distance to the tip is x4, the horizontal distance from the light source of the streetlight 109 to the edge of the building 107 is X4, the horizontal distance from the edge of the building 107 to the tip of the shadow 105 of the other vehicle 103 is L4, and the light source of the streetlight 109 and the tip of the shadow 105 of the other vehicle 103, and the angle formed by the ground is ⁇ 4.
  • a tip portion of the shadow 105 is a shadow of the portion 104 of the other vehicle 103 .
  • the height H4 of the light source of the streetlight 109 and the horizontal distance X4 from the light source of the streetlight 109 to the edge of the building 107 are unknown values. From trigonometry, the following equations (10) and (11) hold at time t and time t+ ⁇ t, respectively.
  • the height H4 of the light source of the street lamp 109 and the height h4 and the distance x4 and L4 other than the horizontal distance X4 from the light source of the street lamp 109 to the edge of the building 107 are based on the image data transmitted from the surrounding environment sensor 31. can be calculated. Therefore, the light source position estimator 69 obtains the height h4 and the distances x4 and L4 based on the image data, and uses the above equations (10) and (11) to determine the height H4, and the horizontal distance X4 from the light source of the street lamp 109 to the edge of the building 107 can be calculated.
  • the shadow area detection unit 67 determines whether or not there is a shadow of a potential object existing in the blind area in the same procedure as in step S19. (step S65). If there is no shadow of the potential object existing in the blind spot area (S65/No), the processing unit 51 returns to step S13 and repeats the processing described so far unless it is determined in step S39 that the onboard system has stopped. On the other hand, if there is a shadow of the latent object existing in the blind spot area (S65/Yes), the process proceeds to step S31, and the processing unit 51 performs steps S31 to S39 according to the procedure described in the first embodiment. Execute the process.
  • the driving support device 50 estimates the position of the light source by tracing the shadow of the moving body that has moved from the blind spot area to the outside of the blind spot area. It is possible to estimate the position, moving direction, and moving speed of the potential object existing in the blind area.
  • the driving support device 50 traces the shadow of a moving object that has moved from the blind spot area to the outside of the blind spot area, even when information about the position of the light source cannot be acquired.
  • the position of the light source can be estimated. For this reason, even if information about the position of the light source cannot be acquired, as in the driving assistance device 50 according to the first embodiment, the estimated position of the light source and the shadow of the latent object change over time. By calculating the position, moving direction, and moving speed of the object, it is possible to determine the possibility of collision between the own vehicle 1 and the potential object.
  • the light source position estimation unit 69 may record the data of the estimated position of the light source on the high-precision map data. As a result, the position data of the light source is accumulated, and the position of the light source can be estimated by facilitating the identification of the light source that creates the shadow of the latent object, as in the case where the light source is the street lamp in the first embodiment. processing load can be reduced.
  • the driving assistance device calculates the position, moving direction, and moving speed of the latent object based on the position of the light source that forms each shadow and the time change of the shadow, and then uses the respective average values to and potential objects.
  • the driving support device can calculate the position, moving direction, and moving speed of the latent object by weighting it based on the shadow density and the sharpness of the shadow outline, etc., and then make it possible for the vehicle to collide with the latent object. Gender may be determined.
  • the processor constituting the processing unit 51 detects the shadow of an object existing in the blind spot area viewed from the vehicle based on the image data of the surroundings of the vehicle, and estimates the position of the light source forming the shadow. and calculating the position, moving direction, and moving speed of the object based on the position of the light source and the time change of the shadow, and determining the possibility of collision between the vehicle and the object.
  • the program also belongs to the technical scope of the technology of the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

死角領域に存在する物体を検出し、当該物体と自車両との衝突を判定可能とする。 物体との衝突を回避する運転を支援する運転支援装置は、車両の周囲を撮影した画像データに基づいて車両から見た死角領域に存在する物体の影を検出し、影を形成する光源の位置を推定し、光源の位置及び影の時間変化に基づいて物体の位置、移動方向及び移動速度を計算するとともに自車両と物体との衝突可能性を判定する。

Description

運転支援装置及び車両並びにコンピュータプログラムを記録した記録媒体
　本開示は、死角領域から飛び出す物体との衝突を回避するように車両の運転を支援する運転支援装置及び車両並びにコンピュータプログラムを記録した記録媒体に関する。
　近年、主として交通事故の削減及び運転負荷の軽減を目的として、運転支援機能や自動運転機能が搭載された車両の実用化が進められている。例えば自車両に設けられた車外撮影カメラやＬｉＤＡＲ（Light　Detection　and　Ranging）等の種々のセンサにより検出された情報に基づいて自車両の周囲に存在する物体を検知し、自車両と物体との衝突を回避するよう自車両の運転を支援する装置が知られている。しかしながら、交通事故のなかには、死角領域からの急な飛び出しなど、あらかじめ事故を想定して減速等の予備行動を取っていない場合には回避が困難な事象が存在する。
　これに対して、例えば特許文献１には、自車両が死角のある状況を走行する場合に、状況に応じて適切に車両を制御することができる車両制御装置が提案されている。具体的に、特許文献１には、自車両にとって死角となる死角領域を検出し、死角領域から出現する可能性のある移動体の進路と自車両の進路の相対的な優先度を判定し、判定した優先度に基づいて自車両に対する制御信号を出力する車両制御装置が開示されている。
特開２０１６－１２２３０８号公報
　しかしながら、特許文献１に開示された運転支援装置は、死角領域から飛び出してくる物体を実際に検出するものではないため、死角領域を通過する際に実際に飛び出しが無い場合にも減速等の制御が実行される。飛び出しが無いにもかかわらず減速等が繰り返されると、運転支援装置に対する信頼や受容性が低下し、場合によっては運転支援機能が活用されなくなるおそれがある。
　本開示は、上記問題に鑑みてなされたものであり、本開示の目的とするところは、死角領域に存在する物体を検出し、当該物体と自車両との衝突を判定可能な運転支援装置及び車両並びにコンピュータプログラムを記録した記録媒体を提供することにある。
　上記課題を解決するために、本開示のある観点によれば、物体との衝突を回避する運転を支援する運転支援装置において、一つ又は複数のプロセッサと、一つ又は複数のプロセッサと通信可能に接続された一つ又は複数のメモリと、を備え、プロセッサは、車両の周囲を撮影した画像データに基づいて車両から見た死角領域に存在する物体の影を検出し、影を形成する光源の位置を推定し、光源の位置及び影の時間変化に基づいて物体の位置、移動方向及び移動速度を計算するとともに自車両と物体との衝突可能性を判定する運転支援装置が提供される。
　また、上記課題を解決するために、本開示の別の観点によれば、物体との衝突を回避する運転を支援する運転支援装置において、車両の周囲を撮影した画像データに基づいて車両から見た死角領域に存在する物体の影を検出する影領域検出部と、影を形成する光源の位置を推定する光源位置推定部と、光源の位置及び影の時間変化に基づいて物体の位置、移動方向及び移動速度を計算するとともに自車両と物体との衝突可能性を判定する衝突判定部とを備えた運転支援装置が提供される。
　また、上記課題を解決するために、本開示の別の観点によれば、物体との衝突を回避する運転を支援する運転支援装置を備えた車両において、運転支援装置は、一つ又は複数のプロセッサと、一つ又は複数のプロセッサと通信可能に接続された一つ又は複数のメモリと、を備え、プロセッサは、車両の周囲を撮影した画像データに基づいて車両から見た死角領域に存在する物体の影を検出し、影を形成する光源の位置を推定し、光源の位置及び影の時間変化に基づいて物体の位置、移動方向及び移動速度を計算するとともに自車両と物体との衝突可能性を判定する車両が提供される。
　また、上記課題を解決するために、本開示の別の観点によれば、物体との衝突を回避する運転を支援する運転支援装置に適用されるコンピュータプログラムを記録した記録媒体であって、一つ又は複数のプロセッサに、車両の周囲を撮影した画像データに基づいて車両から見た死角領域に存在する物体の影を検出することと、影を形成する光源の位置を推定することと、光源の位置及び影の時間変化に基づいて物体の位置、移動方向及び移動速度を計算するとともに自車両と物体との衝突可能性を判定することとを含む処理を実行させるコンピュータプログラムを記録した記録媒体が提供される。
　以上説明したように本開示によれば、死角領域に存在する物体を検出し、当該物体と自車両との衝突を判定することができる。
本開示の一実施形態に係る運転支援装置を備えた車両の構成例を示す模式図である。 第１の実施の形態に係る運転支援装置の構成例を示すブロック図である。 同実施形態の運転支援装置の処理動作を示すフローチャートである。 同実施形態の運転支援装置の処理動作を示すフローチャートである。 同実施形態の運転支援装置による光源位置推定処理を示すフローチャートである。 光源が太陽である場合の例を説明するための走行シーンを示す図である。 図６の走行シーンを自車両の進行方向から見た様子を示す図である。 図６の走行シーンを自車両の進行方向から見た様子を示す図である。 光源が街灯である場合の例を説明するための走行シーンを示す図である。 図９の走行シーンを自車両の進行方向から見た様子を示す図である。 図９の走行シーンを自車両の進行方向から見た様子を示す図である。 光源が移動体のライトである場合の例を説明するための走行シーンを示す図である。 図１２の走行シーンを自車両の進行方向から見た様子を示す図である。 図１２の走行シーンを自車両の進行方向から見た様子を示す図である。 第２の実施の形態の運転支援装置の処理動作を示すフローチャートである。 同実施形態の運転支援装置の処理動作を示すフローチャートである。 同実施形態の光源位置の推定方法を説明するための走行シーンを示す図である。 図１７の走行シーンを自車両の進行方向から見た様子を示す図である。 図１７の走行シーンを自車両の進行方向から見た様子を示す図である。
　以下、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜＜１．第１の実施の形態＞＞
　＜１－１．車両の全体構成＞
　まず、本開示の実施の形態に係る運転支援装置を適用可能な車両の全体構成の一例を説明する。
　図１は、本実施形態に係る運転支援装置５０を備えた車両１の構成例を示す模式図である。図１に示した車両１は、車両１の駆動トルクを生成する駆動力源９から出力される駆動トルクを左前輪３ＬＦ、右前輪３ＲＦ、左後輪３ＬＲ及び右後輪３ＲＲ（以下、特に区別を要しない場合には「車輪３」と総称する）に伝達する四輪駆動車として構成されている。駆動力源９は、ガソリンエンジンやディーゼルエンジン等の内燃機関であってもよく、駆動用モータであってもよく、内燃機関及び駆動用モータをともに備えていてもよい。
　なお、車両１は、例えば前輪駆動用モータ及び後輪駆動用モータの二つの駆動用モータを備えた電気自動車であってもよく、それぞれの車輪３に対応する駆動用モータを備えた電気自動車であってもよい。また、車両１が電気自動車やハイブリッド電気自動車の場合、車両１には、駆動用モータへ供給される電力を蓄積する二次電池や、バッテリに充電される電力を発電するモータや燃料電池等の発電機が搭載される。さらに、車両１は、二輪駆動の四輪自動車であってもよく、二輪自動車等の他の種類の車両であってもよい。
　車両１は、車両１の運転制御に用いられる機器として、駆動力源９、電動ステアリング装置１５及びブレーキ液圧制御ユニット２０を備えている。駆動力源９は、図示しない変速機や前輪差動機構７Ｆ及び後輪差動機構７Ｒを介して前輪駆動軸５Ｆ及び後輪駆動軸５Ｒに伝達される駆動トルクを出力する。駆動力源９や変速機の駆動は、一つ又は複数の電子制御装置（ＥＣＵ：Electronic　Control　Unit）を含んで構成された車両制御装置４１により制御される。
　前輪駆動軸５Ｆには電動ステアリング装置１５が設けられている。電動ステアリング装置１５は図示しない電動モータやギヤ機構を含む。電動ステアリング装置１５は、車両制御装置４１により制御されることによって左前輪３ＬＦ及び右前輪３ＲＦの操舵角を調節する。車両制御装置４１は、手動運転中には、ドライバによるステアリングホイール１３の操舵角に基づいて電動ステアリング装置１５を制御する。また、車両制御装置４１は、自動運転中には、運転支援装置５０や図示しない自動運転制御装置により設定される目標操舵角に基づいて電動ステアリング装置１５を制御する。
　車両１のブレーキシステムは、油圧式のブレーキシステムとして構成されている。ブレーキ液圧制御ユニット２０は、それぞれ前後左右の駆動輪３ＬＦ，３ＲＦ，３ＬＲ，３ＲＲに設けられたブレーキキャリパ１７ＬＦ，１７ＲＦ，１７ＬＲ，１７ＲＲ（以下、特に区別を要しない場合には「ブレーキキャリパ１７」と総称する）に供給する油圧をそれぞれ調節し、制動力を発生させる。ブレーキ液圧制御ユニット２０の駆動は、車両制御装置４１により制御される。車両１が電気自動車あるいはハイブリッド電気自動車の場合、ブレーキ液圧制御ユニット２０は、駆動用モータによる回生ブレーキと併用される。
　車両制御装置４１は、車両１の駆動トルクを出力する駆動力源９、ステアリングホイール１３又は操舵輪の操舵角を制御する電動ステアリング装置１５、車両１の制動力を制御するブレーキ液圧制御ユニット２０の駆動を制御する一つ又は複数の電子制御装置を含む。車両制御装置４１は、駆動力源９から出力された出力を変速して車輪３へ伝達する変速機の駆動を制御する機能を備えていてもよい。車両制御装置４１は、運転支援装置５０又は図示しない自動運転制御装置から送信される情報を取得可能に構成され、車両１の自動運転制御を実行可能に構成されている。また、車両制御装置４１は、車両１の手動運転時においては、ドライバの運転による操作量の情報を取得し、車両１の駆動トルクを出力する駆動力源９、ステアリングホイール１３又は操舵輪の操舵角を制御する電動ステアリング装置１５、車両１の制動力を制御するブレーキ液圧制御ユニット２０の駆動を制御する。
　また、車両１は、前方撮影カメラ３１ＬＦ，３１ＲＦ、車両状態センサ３５及びＧＮＳＳ（Global　Navigation　Satellite　System）センサ３７を備えている。前方撮影カメラ３１ＬＦ，３１ＲＦは、車両１の周囲環境の情報を取得するための周囲環境センサ３１を構成する。前方撮影カメラ３１ＬＦ，３１ＲＦは、車両１の前方を撮影し、画像データを生成する。前方撮影カメラ３１ＬＦ，３１ＲＦは、ＣＣＤ（Charged-Coupled　Devices）又はＣＭＯＳ（Complementary　Metal-Oxide-Semiconductor）等の撮像素子を備え、生成した画像データを運転支援装置５０へ送信する。
　図１に示した車両１では、前方撮影カメラ３１ＬＦ，３１ＲＦは、左右一対のカメラを含むステレオカメラとして構成されているが、単眼カメラであってもよい。車両１は、前方撮影カメラ３１ＬＦ，３１ＲＦ以外に、例えば車両１の後部に設けられて後方を撮影する後方撮影カメラあるいはサイドミラーに設けられて左後方又は右後方を撮影するカメラを備えていてもよい。
　車両１は、周囲環境の情報を取得するための周囲環境センサとして、前方撮影カメラ３１ＬＦ，３１ＲＦと併せて、ＬｉＡＤＲ、ミリ波レーダ等のレーダセンサ又は超音波センサのうちのいずれか一つ又は複数のセンサを備えていてもよい。
　車両状態センサ３５は、車両１の操作状態及び挙動を検出する一つ又は複数のセンサからなる。車両状態センサ３５は、例えば舵角センサ、アクセルポジションセンサ、ブレーキストロークセンサ、ブレーキ圧センサ又はエンジン回転数センサのうちの少なくとも一つを含む。これらのセンサは、それぞれステアリングホイール１３あるいは操舵輪の操舵角、アクセル開度、ブレーキ操作量又はエンジン回転数等の車両１の操作状態を検出する。また、車両状態センサ３５は、例えば車速センサ、加速度センサ、角速度センサのうちの少なくとも一つを含む。これらのセンサは、それぞれ車速、前後加速度、横加速度、ヨーレート等の車両の挙動を検出する。車両状態センサ３５は、検出した情報を含むセンサ信号を運転支援装置５０へ送信する。
　ＧＮＳＳセンサ３７は、ＧＰＳ（Global　Positioning　System）衛星に代表される衛星から送信される衛星信号を受信する。ＧＮＳＳセンサ３７は、受信した衛星信号に含まれる世界座標系上の自車両１の位置情報を運転支援装置５０へ送信する。なお、ＧＮＳＳセンサ３７は、ＧＰＳ衛星以外に、自車両１の位置を特定する他の衛星システムからの衛星信号を受信するアンテナを備えていてもよい。
　通知装置４３は、運転支援装置５０から送信される情報に基づいて、画像表示や音声出力等の手段により、ドライバに対して種々の情報を提示する。通知装置４３は、例えばインストルメントパネル内に設けられた表示装置及び車両に設けられたスピーカを含む。表示装置は、ナビゲーションシステムの表示装置であってもよい。また、通知装置４３は、自車両１の周囲の風景に重畳させてフロントウィンドウ上へ表示を行うＨＵＤ（ヘッドアップディスプレイ）を含んでもよい。
　＜１－２．運転支援装置＞
　続いて、本実施形態に係る運転支援装置５０を具体的に説明する。なお、以下、運転支援装置５０を搭載した車両１を自車両と称する。
　（１－２－１．全体構成）
　図２は、本実施形態に係る運転支援装置５０の構成例を示すブロック図である。
　運転支援装置５０には、専用線又はＣＡＮ（Controller　Area　Network）やＬＩＮ（Local　Inter　Net）等の通信手段を介して、周囲環境センサ３１、車両状態センサ３５及びＧＮＳＳセンサ３７が接続されている。また、運転支援装置５０には、専用線又はＣＡＮやＬＩＮ等の通信手段を介して、車両制御装置４１及び通知装置４３が接続されている。なお、運転支援装置５０は、自車両１に搭載された電子制御装置に限られるものではなく、スマートホンやウェアラブル機器等の端末装置であってもよい。
　運転支援装置５０は、一つ又は複数のＣＰＵ（Central　Processing　Unit）等のプロセッサがコンピュータプログラムを実行することで自車両１の運転を支援する装置として機能する。当該コンピュータプログラムは、運転支援装置５０が実行すべき後述する動作をプロセッサに実行させるためのコンピュータプログラムである。プロセッサにより実行されるコンピュータプログラムは、運転支援装置５０に備えられた記憶部（メモリ）５３として機能する記録媒体に記録されていてもよく、運転支援装置５０に内蔵された記録媒体又は運転支援装置５０に外付け可能な任意の記録媒体に記録されていてもよい。
　コンピュータプログラムを記録する記録媒体としては、ハードディスク、フロッピーディスク及び磁気テープ等の磁気媒体、ＣＤ－ＲＯＭ（Compact　Disk　Read　Only　Memory）、ＤＶＤ（Digital　Versatile　Disk）、及びＢｌｕ－ｒａｙ（登録商標）等の光記録媒体、フロプティカルディスク等の磁気光媒体、ＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）等の記憶素子、並びにＵＳＢ（Universal　Serial　Bus）メモリ及びＳＳＤ（Solid　State　Drive）等のフラッシュメモリ、その他のプログラムを格納可能な媒体であってよい。
　運転支援装置５０は、処理部５１及び記憶部５３を備えている。処理部５１は、一つ又は複数のプロセッサを備えて構成される。処理部５１の一部又は全部は、ファームウェア等の更新可能なもので構成されてもよく、また、ＣＰＵ等からの指令によって実行されるプログラムモジュール等であってもよい。記憶部５３は、ＲＡＭ又はＲＯＭ等のメモリにより構成され、処理部５１と通信可能に接続される。ただし、記憶部５３の数や種類は特に限定されない。記憶部５３は、処理部５１により実行されるコンピュータプログラムや、演算処理に用いられる種々のパラメタ、検出データ、演算結果等の情報を記憶する。
　また、運転支援装置５０は、高精度地図データ記憶部５５及び太陽位置データ記憶部５７を備えている。高精度地図データ記憶部５５及び太陽位置データ記憶部５７は、それぞれ処理部５１と通信可能に接続された記録媒体からなる。高精度地図データ記憶部５５は、道路や路外の構造物の位置情報及び立体形状のデータを含む地図データを記憶する。高精度地図データは、例えば建物や側壁、生け垣、橋梁等の構造物あるいは交通信号機、街灯等の設置物などの位置情報及び立体形状のデータを含む。特に、高精度地図データは、街灯の光源の高さのデータを含む。また、太陽位置データ記憶部５７は、太陽の高度及び向きを記憶する。太陽位置データは、時刻、季節及び地域に応じた太陽の高度及び向きのデータを含む。
　高精度地図データ記憶部５５及び太陽位置データ記憶部５７を構成する記録媒体は、任意の記録媒体であってよい。また、高精度地図データ記憶部５５及び太陽位置データ記憶部５７は、移動体通信等の無線通信手段を介して接続された車外のサーバ等に備えられていてもよい。
　また、運転支援装置５０は、第１の通信部５８及び第２の通信部５９を備えている。第１の通信部５８及び第２の通信部５９は、それぞれ処理部５１と通信可能に接続された外部通信用のインタフェースである。第１の通信部５８は、例えば移動体通信等の無線通信用のインタフェースであり、テレマティクスサービスとの送受信に用いられる。第２の通信部５９は、車車間通信用のインタフェースであり、自車両１の周囲の他車両との通信に用いられる。
　（１－２－２．機能構成）
　運転支援装置５０の処理部５１は、走行状態検出部６１、周囲環境検出部６３、死角領域検出部６５、影領域検出部６７、光源位置推定部６９、衝突判定部７１、運転条件設定部７３及び通知部７５を備えている。これらの各部は、プロセッサによるコンピュータプログラムの実行により実現される機能であるが、各部の一部が、アナログ回路により構成されていてもよい。以下、各部の機能を簡単に説明した後、運転支援装置５０の処理動作を詳しく説明する。
　　　（走行状態検出部）
　走行状態検出部６１は、車両状態センサ３５から送信される検出データに基づいて自車両１の操作状態及び挙動の情報を検出する。走行状態検出部６１は、ステアリングホイールあるいは操舵輪の操舵角、アクセル開度、ブレーキ操作量又はエンジン回転数等の自車両１の操作状態、及び、車速、前後加速度、横加速度、ヨーレート等の自車両１の挙動の情報を所定の演算周期ごとに取得し、これらの情報を記憶部５３に記憶する。
　　　（周囲環境検出部）
　周囲環境検出部６３は、周囲環境センサ３１から送信される画像データに基づいて自車両１の周囲環境を検出する。具体的に、周囲環境検出部６３は、自車両１の前方に存在する物体の種類、サイズ（幅、高さ及び奥行き）、位置、自車両１から物体までの距離、及び自車両１と物体との相対速度を算出する。検出される物体は、走行中の他車両や駐車車両、歩行者、自転車、側壁、縁石、建造物、電柱、交通標識、交通信号機、自然物、その他の自車両１の周囲に存在するあらゆる移動体及び静止物を含む。
　　　（死角領域検出部）
　死角領域検出部６５は、周囲環境検出部６３により検出された周囲環境の情報及び高精度地図データ記憶部５５に基づいて、自車両１から見た死角領域を検出する。例えば死角領域検出部６５は、高精度地図データ記憶部５５に基づいて、自車両１の前方の曲がり角の手前に側壁等の建造物が存在しており、周囲環境センサ３１では検出できない曲がり角の先の領域を死角領域として検出する。また、死角領域検出部６５は、周囲環境検出部６３により検出された周囲環境の情報に基づいて、自車両１の前方に駐車車両が存在しており、周囲環境センサ３１では検出できない駐車車両の奥の領域を死角領域として検出する。なお、死角領域検出部６５は、周囲環境検出部６３により検出された周囲環境の情報又は高精度地図データ記憶部５５のいずれか一方の情報に基づいて、自車両１から見た死角領域を検出してもよい。ただし、死角領域の検出方法は特に限定されるものではない。
　　　（影領域検出部）
　影領域検出部６７は、周囲環境センサ３１から送信される画像データに基づいて、画像データ内に存在する影を検出する。本実施形態において、「影」とは、移動体や静止物等の物体が光の進行を遮る結果、壁や地面等に生じる暗い領域をいう。例えば影領域検出部６７は、画像データの各ピクセルの輝度情報及び色相情報に基づいて、所定距離内で輝度又は色相が大きく変化する輪郭線を求めることで影を特定することができる。ただし、影の検出方法は特に限定されるものではなく、任意の公知の影検出技術を利用することができる。影領域検出部６７により検出される影は、周囲環境検出部６３により検出されている物体の影だけでなく、自車両１から見た死角領域に存在し、周囲環境検出部６３によっては直接検出されていない物体（以下「潜在物体」ともいう）の影も含む。
　　　（光源位置推定部）
　光源位置推定部６９は、影領域検出部６７により検出された影を作り出している光を発している光源の位置を推定する。本実施形態では、光源位置推定部６９は、周囲環境センサ３１から送信される画像データ、時刻情報、高精度地図データ、太陽位置データ及びテレマティクスサービスから取得される情報並びに車車間通信を介して他車両から取得される情報を用いて光源及び光源の位置を推定する。具体的に、光源位置推定部６９は、影を作り出している光源が太陽である場合、移動不可能に設置された照明装置である場合、又は光源を備えた移動体のライトである場合をそれぞれ判別するとともに、光源である太陽、移動不可能に設置された照明装置又は移動体の位置を推定する。
　　　（衝突判定部）
　衝突判定部７１は、影領域検出部６７により検出された潜在物体の影の情報、及び、光源位置推定部６９により推定された光源の位置の情報に基づいて、自車両１と潜在物体との衝突可能性を判定する。具体的に、衝突判定部７１は、光源の位置及び潜在物体の影の時間変化に基づいて死角領域内での潜在物体の位置、移動方向及び移動速度を計算し、自車両１と潜在物体との衝突可能性を判定する。
　　　（運転条件設定部）
　運転条件設定部７３は、衝突判定部７１により自車両１と潜在物体とが衝突する可能性があると判定された場合、衝突を回避するための自車両１の運転条件を設定する。具体的に、運転条件設定部７３は、自車両１を減速させ、あるいは、走行軌道を修正するための目標加速度又は目標操舵角を設定し、これらの情報を車両制御装置４１へ送信する。運転条件の情報を受信した車両制御装置４１は、設定された運転条件の情報に基づいてそれぞれの制御機器の駆動を制御する。
　　　（通知部）
　通知部７５は、衝突判定部７１により自車両１と潜在物体とが衝突する可能性があると判定された場合、通知装置４３に対して指令信号を出力し、ドライバに対して衝突の可能性があることを通知する。通知部７５は、衝突の可能性があることを通知するだけでなく、飛び出し位置及び飛び出し速度等の飛び出してくる潜在物体の情報を併せて通知してもよい。
　＜１－３．運転支援装置の動作＞
　続いて、本実施形態に係る運転支援装置５０の動作例をフローチャートに沿って具体的に説明する。
　図３～図４は、本実施形態の運転支援装置５０の処理動作の一例を示すフローチャートである。まず、運転支援装置５０を含む車載システムが起動されると（ステップＳ１１）、処理部５１の周囲環境検出部６３は、自車両１の周囲環境情報を取得する（ステップＳ１３）。具体的に、周囲環境検出部６３は、周囲環境センサ３１から送信される検出データに基づいて自車両１の周囲に存在する物体を検出する。また、周囲環境検出部６３は、検出した物体の位置、サイズ、速度、自車両１から物体までの距離及び自車両１と物体との相対速度を算出する。
　例えば周囲環境検出部６３は、前方撮影カメラ３１ＬＦ，３１ＲＦから送信される画像データを画像処理することにより、パターンマッチング技術等を用いて自車両１の前方の物体を検出する。また、周囲環境検出部６３は、画像データ中の物体の位置、画像データ中に物体が占めるサイズ及び左右の前方撮影カメラ３１ＬＦ，３１ＲＦの視差の情報に基づいて、自車両１から見た物体の位置、サイズ及び物体までの距離を算出する。さらに、周囲環境検出部６３は、距離の変化を時間微分することにより自車両１と物体との相対速度を算出するとともに、当該相対速度の情報と自車両１の車速の情報とに基づいて物体の速度を算出する。
　周囲環境検出部６３は、検出した物体のうち、速度が所定値以下、例えば徐行速度（１０ｋｍ／ｈ以下）の物体を静止物としてラベリングし、速度が当該所定値を超える物体を移動体としてラベリングする。所定値は０ｋｍ／ｈであってもよいが、徐行速度を所定値とすることで、渋滞時に徐行している車両の間の死角領域から飛び出すリスクのある歩行者を、本開示の技術における死角領域に存在する物体として検出することができるようになる。周囲環境検出部６３は、検出した物体の情報を記憶部５３に記録する。ただし、物体の検出方法は、上記の例に限られない。
　次いで、処理部５１の死角領域検出部６５は、高精度地図データ記憶部５５に記憶された高精度地図データを参照し、ＧＮＳＳセンサ３７から送信される自車両１の現在位置の情報に基づいて自車両１の周囲の道路及び構造物等のデータを取得する（ステップＳ１５）。例えば死角領域検出部６５は、自車両１が走行する道路の位置及び形状と、自車両１が走行中の道路端の構造物の位置、形状及びサイズ（高さ）のデータを取得する。
　次いで、死角領域検出部６５は、自車両１の前方に死角領域があるか否かを判定する（ステップＳ１７）。具体的に、死角領域検出部６５は、ステップＳ１３で検出された周囲環境の情報及びステップＳ１５で取得した自車両１の周囲のデータに基づいて、自車両１の前方に、自車両１から見た死角領域が存在するか否かを判定する。例えば自車両１の前方に駐車車両が存在する場合や自車両１の前方の曲がり角の奥が見えない場合に、死角領域検出部６５は、死角領域があると判定する。
　死角領域があると判定されない場合（Ｓ１７／Ｎｏ）、処理部５１は、ステップＳ２１において車載システムが停止したと判定されない限り、ステップＳ１３に戻って死角領域が検出されるまで処理を繰り返す。一方、死角領域があると判定された場合（Ｓ１７／Ｙｅｓ）、影領域検出部６７は、死角領域に存在する潜在物体の影があるか否かを判定する（ステップＳ１９）。具体的に、影領域検出部６７は、周囲環境センサ３１から送信される画像データに基づいて、画像データ内に存在する影を検出する。また、影領域検出部６７は、検出した影のうち、周囲環境検出部６３により検出されていない物体の影であって、死角領域から外へ延びている物体の影がある場合に、死角領域に存在する潜在物体の影があると判定する。
　死角領域に存在する潜在物体の影があると判定されない場合（Ｓ１９／Ｎｏ）、処理部５１は、ステップＳ２１において車載システムが停止したと判定されない限り、ステップＳ１３に戻ってここまで説明した処理を繰り返す。一方、死角領域に存在する潜在物体の影があると判定された場合（Ｓ１９／Ｙｅｓ）、処理部５１の光源位置推定部６９は、影を作り出している光源の位置を推定する処理を実行する（ステップＳ２３）。
　図５は、光源の位置を推定する処理の一例を示すフローチャートである。
　まず、光源位置推定部６９は、光源及び光源の位置を推定するための種々のデータを取得する（ステップＳ４１）。本実施形態では、光源位置推定部６９は、周囲環境センサ３１から送信される画像データ、時刻情報、ＧＮＳＳセンサ３７から送信される自車両１の位置及び進行方向の情報、高精度地図データ記憶部５５に記憶された高精度地図データ、太陽位置データ記憶部５７に記憶された太陽位置データ、テレマティクスサービスから送信される天候情報及び車車間通信を介して取得される他車両の情報を取得する。
　次いで、光源位置推定部６９は、影を作り出している光源が太陽であるか否かを判定する（ステップＳ４３）。例えば光源位置推定部６９は、天候が晴であり、現在時刻が日の出時刻後、日の入時刻前である場合に、光源が太陽であると判定する。日の出時刻より所定時間後から日の入時刻から所定時間前まで等、時間が限定されていてもよい。さらに、光源位置推定部６９は、周囲環境センサ３１から送信される画像データ中の、死角領域に存在する潜在物体の影と判定された影の周囲の輝度及び色相に基づいて当該影の周囲に日が当たっているか否かを併せて判定してもよい。
　光源が太陽であると判定した場合（Ｓ４３／Ｙｅｓ）、光源位置推定部６９は、自車両１あるいは死角領域から見た太陽の位置を推定する（ステップＳ４５）。具体的に、光源位置推定部６９は、時刻情報及び太陽位置データに基づいて現在時刻における太陽の高度及び向き（方向）を特定する。さらに、光源位置推定部６９は、太陽の高度及び向きの情報と、自車両１の進行方向の情報に基づいて、自車両１から見た太陽の向きを推定する。死角領域から見た太陽の高度及び向きは、自車両１から見た太陽の高度及び向きと同じと見做すことができる。光源位置推定部６９は、推定した太陽の高度及び向きの情報を記憶部５３に記憶する。
　一方、光源が太陽であると判定されない場合（Ｓ４３／Ｎｏ）、光源位置推定部６９は、光源が街灯であるか否かを判定する（ステップＳ４７）。例えば光源位置推定部６９は、現在時刻が日の入時刻後であり、高精度地図データに含まれる街灯の設置位置のデータに該当する街灯のデータが存在する場合に、光源が街灯であると判定する。具体的には、現在時刻が日の入時刻後であり、死角領域から延びる影が延びる方向とは反対の方向に設置されている街灯のデータが存在する場合、光源位置推定部６９は、光源が街灯であると判定する。
　なお、本実施形態では、移動不可能に設置された照明装置として街灯を例に採って説明するが、移動不可能に設置された照明装置は街灯に限られない。あらかじめ高精度地図データ記憶部５５に記憶されるなど、処理部５１により設置位置を特定可能な照明装置であればよい。移動不可能に設置された照明装置は、例えば商業施設やレジャー施設に設置された照明装置であってもよい。
　光源が街灯であると判定した場合（Ｓ４７／Ｙｅｓ）、光源位置推定部６９は、高精度地図データに含まれる当該街灯の設置位置及び高さのデータを参照し、死角領域から見た街灯の位置を推定する（ステップＳ４９）。この場合、街灯の位置は、街灯の光源の高さ及び向きを意味する。光源位置推定部６９は、推定した街灯の高さ及び向きの情報を記憶部５３に記憶する。
　一方、光源が街灯であると判定されない場合（Ｓ４７／Ｎｏ）、光源位置推定部６９は、光源が車両等の移動体のライトであるか否かを判定する（ステップＳ５１）。例えば光源位置推定部６９は、現在時刻が日の入時刻後であり、車車間通信を介して取得される他車両の位置及び進行方向の情報に基づいて死角領域から延びる影が延びる方向とは反対の方向から死角領域の方向へと移動する他車両が存在する場合、光源が移動体のライトであると判定する。
　光源が移動体のライトと判定した場合（Ｓ５１／Ｙｅｓ）、光源位置推定部６９は、他車両の情報に基づき、死角領域から見た他車両のライトの位置を推定する（ステップＳ５３）。車車間通信を介して取得される他車両の情報が、他車両の種類のデータを含む場合、光源位置推定部６９は、ＧＮＳＳシステム上での他車両の位置座標から他車両の前部までの距離と、他車両の車高とに応じて、死角領域から見た他車両のライトの高さ及び向きを推定する。他車両の情報が他車両の種類のデータを含まない場合、光源位置推定部６９は、あらかじめ設定された距離や高さの情報を用いて、死角領域から見た他車両のライトの高さ及び向きを推定する。あらかじめ設定された距離や高さは、例えばＧＮＳＳシステム上での乗用車の位置座標から車体の前部までの平均的な距離及び乗用車の平均的な車高の値であってよいが、特に限定されるものではない。光源位置推定部６９は、推定した移動体のライトの高さ及び向きの情報を記憶部５３に記憶する。
　一方、光源が移動体のライトと判定されない場合（Ｓ５１／Ｎｏ）、光源位置推定部６９は、光源の位置を特定することができないと判定する（ステップＳ５５）。
　図４に戻り、光源推定処理の終了後、衝突判定部７１は、光源が特定されたか否かを判定する（ステップＳ２５）。光源推定処理により光源が特定されなかった場合（Ｓ２５／Ｎｏ）、影領域検出部６７は、死角領域に存在する潜在物体の影が移動しているか否かを判定する（ステップＳ２７）。例えば影領域検出部６７は、光源の位置を推定可能な静止物の影の位置が変化している場合に、死角領域に存在する潜在物体の影が移動していると判定する。
　死角領域に存在する潜在物体の影が移動していない場合（Ｓ２７／Ｎｏ）、ステップＳ３９において車載システムが停止したと判定されない限り、ステップＳ１３に戻ってここまで説明した処理を繰り返す。死角領域に存在する潜在物体の影が移動している場合（Ｓ２７／Ｙｅｓ）、死角領域に存在する潜在物体が自車両１の前方に飛び出してくると判断することまではできないものの、死角領域に潜在物体が存在することをドライバに知らせるために、通知部７５は、警告処理を行う（ステップＳ２９）。例えば通知部７５は、音声、警告音又は警告表示のうちの少なくとも一つの手段により、ドライバに対して死角領域に潜在物体が存在することを通知する。
　一方、光源推定処理により光源が特定された場合（Ｓ２５／Ｙｅｓ）、衝突判定部７１は、光源の位置及び死角領域に存在する潜在物体の影の時間変化に基づいて潜在物体の位置、移動方向及び移動速度を推定する（ステップＳ３１）。以下、光源が太陽である場合、街灯である場合、移動体のライトである場合のそれぞれについて、潜在物体の位置、移動方向及び移動速度を推定する方法を説明する。
　　　（光源が太陽である場合）
　図６～図８は、光源が太陽Ｓである場合に、ステップＳ５３で推定された太陽Ｓの位置及び潜在物体の影８４の時間変化に基づいて潜在物体の位置及び移動速度を推定する方法を説明するために示す図である。ここでは、図６に示すように、昼間の太陽Ｓが照っている時刻において、自車両１が走行する道路の前方の左側に存在する駐車車両８０の先が死角になっている走行シーンを例に採って説明する。死角領域には潜在物体として歩行者が存在し、当該歩行者は自車両１が走行する経路上に向かって移動している。自車両１からは、駐車車両８０の影８１及び歩行者の影８４が視認されている。
　図７及び図８は、図６の走行シーンを自車両１の進行方向から見た様子を示す図であり、図７は時刻tでの状況、図８は時刻t+Δtでの状況を示す。歩行者８３の高さをh1、歩行者８３から駐車車両８０の外縁（図示の例ではタイヤ位置）までの距離をx1、駐車車両８０から歩行者８３の影８４の先端までの距離をL1、太陽Ｓと影８４の先端を結ぶ線と地面とのなす角度をθ1とする。歩行者８３の高さh1は、子供又は大人の平均身長等の任意の値に設定されてよい。三角法から、時刻t及び時刻t+Δtにおいて、それぞれ下記式（１）及び（２）が成り立つ。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　光源が太陽Ｓである場合、光源の位置は短時間で変化しないとみなせることから、cotθ1(t)とcotθ1(t+Δt)とは近似的に等しいと言えるため、歩行者８３の移動速度vは下記式（３）で表すことができる。
Figure JPOXMLDOC01-appb-M000003
　つまり、上記式（１）及び（２）により、各時刻t及び時刻t+Δtにおける歩行者８３の位置が求められ、上記式（３）により時刻tから時刻t+Δtの間の歩行者８３の移動速度v(t)が求められる。したがって、衝突判定部７１は、周囲環境センサ３１から送信される画像データに基づいて駐車車両８０から歩行者８３の影８４の先端までの距離L1、及び太陽Ｓと影８４の先端を結ぶ線と地面とのなす角度θ1を求めることにより、歩行者８３の位置及び移動速度を求めることができる。さらに、衝突判定部７１は、歩行者８３の影８４の先端の位置の変化から、歩行者８３の移動方向を求めることができる。歩行者８３の移動方向を求めるための基準点は、影８４の先端の位置に限定されるものではなく任意の位置であってよい。
　　　（光源が街灯である場合）
　図９～図１１は、光源が街灯９３である場合に、ステップＳ５３で推定された街灯９３の位置及び潜在物体の影９１の時間変化に基づいての潜在物体の位置及び移動速度を推定する方法を説明するために示す図である。ここでは、図９に示すように、夜間において、左右両側に側壁９４，９５が存在する路地を自車両１が走行しており、前方の右側に存在する曲がり角の先が死角になっている走行シーンを例に採って説明する。死角領域には潜在物体として歩行者９０が存在し、当該歩行者９０は自車両１が走行する経路上に向かって移動している。自車両１からは、歩行者９０の影９１が視認されている。
　図１０及び図１１は、図９の走行シーンを自車両１の進行方向から見た様子を示す図であり、図１０は時刻tでの状況、図１１は時刻t+Δtでの状況を示す。歩行者９０の高さをh2、街灯９３の光源の高さをH2、歩行者９０から側壁９４の端までの距離をx2、街灯９３の設置位置から側壁９４の端までの距離をX2、側壁９４の端から歩行者９０の影９１の先端までの距離をL2、街灯９３の光源と影９１の先端を結ぶ線と地面とのなす角度をθ2とする。歩行者９０の高さh2は、子供又は大人の平均身長等の任意の値に設定されてよい。三角法から、時刻t及び時刻t+Δtにおいて、それぞれ下記式（４）及び（５）が成り立つ。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　時刻tから時刻t+Δtまでの移動距離を時間Δtで割ることで歩行者９０の移動速度vが求められることから、上記式（４）及び（５）より、歩行者９０の移動速度vは下記式（６）で表すことができる。
Figure JPOXMLDOC01-appb-M000006
　つまり、上記式（４）及び（５）により、各時刻t及び時刻t+Δtにおける歩行者９０の位置が求められ、上記式（６）により時刻tから時刻t+Δtの間の歩行者９０の移動速度v(t)が求められる。したがって、衝突判定部７１は、高精度地図データに基づいて街灯９３の設置位置から側壁９４の端までの水平距離X2を求め、周囲環境センサ３１から送信される画像データに基づいて側壁９４の端から歩行者９０の影９１の先端までの距離L2、及び街灯９３の光源と影９１の先端を結ぶ線と地面とのなす角度θ2を求めることにより、歩行者９０の位置及び移動速度を求めることができる。さらに、衝突判定部７１は、歩行者９０の影９１の先端の位置の変化から、歩行者９０の移動方向を求めることができる。歩行者９０の移動方向を求めるための基準点は、影９１の先端の位置に限定されるものではなく任意の位置であってよい。
　　　（光源が移動体のライトである場合）
　図１２～図１４は、光源が移動体のライトである場合に、ステップＳ５３で推定されたライトの位置及び潜在物体の影９７の時間変化に基づいての潜在物体の位置及び移動速度を推定する方法を説明するために示す図である。ここでは、図１２に示すように、夜間において、左右両側に側壁９４，９５が存在する路地を自車両１が走行しており、前方の右側に存在する曲がり角の先が死角になっている走行シーンを例に採って説明する。死角領域には潜在物体として歩行者９６が存在し、当該歩行者９６は自車両１が走行する経路上に向かって移動している。自車両１からは、歩行者９６の影９７が視認されている。
　図１３及び図１４は、図１２の走行シーンを自車両１の進行方向から見た様子を示す図であり、図１３は時刻tでの状況、図１４は時刻t+Δtでの状況を示す。歩行者９６の高さをh3、移動体である他車両９８のライトの高さをH3、歩行者９６から道路左側の側壁９５の端までの距離をx3、他車両９８のライトの位置から側壁９５の端までの距離をX3、側壁９５に投影される歩行者９６の影９７の高さをL3、他車両９８のライトと側壁９５に投影された影９７の上端を結ぶ線と地面に平行な線とのなす角度をθ3とする。歩行者９６の高さh3は、子供又は大人の平均身長等の任意の値に設定されてよい。三角法から、時刻t及び時刻t+Δtにおいて、それぞれ下記式（７）及び（８）が成り立つ。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　時刻tから時刻t+Δtまでの移動距離を時間Δtで割ることで歩行者９６の移動速度vが求められることから、上記式（７）及び（８）より、歩行者９６の移動速度vは下記式（９）で表すことができる。
Figure JPOXMLDOC01-appb-M000009
　つまり、上記式（７）及び（８）により、各時刻t及び時刻t+Δtにおける歩行者９６の位置が求められ、上記式（９）により時刻tから時刻t+Δtの間の歩行者９６の移動速度v(t)が求められる。したがって、衝突判定部７１は、車車間通信により取得される他車両９８のデータ及び高精度地図データに基づいて他車両９８のライトから側壁９５までの距離X3を求め、周囲環境センサ３１から送信される画像データに基づいて側壁９５に投影される歩行者９０の影９１の高さL3、及び他車両９８のライトと影９７の上端を結ぶ線と地面に平行な線とのなす角度θ3を求めることにより、歩行者９６の位置及び移動速度を求めることができる。さらに、衝突判定部７１は、歩行者９６の影９７の先端の位置の変化から、歩行者９６の移動方向を求めることができる。歩行者９６の移動方向を求めるための基準点は、影９７の先端の位置に限定されるものではなく任意の位置であってよい。
　なお、光源の位置及び影の時間変化に基づいて潜在物体の位置、移動方向及び移動速度を推定する例として潜在物体が歩行者である例を説明したが、潜在物体として想定する物体は歩行者に限られない。衝突判定部７１は、歩行者以外にも自転車や乗用車等の他の移動体を想定して潜在物体の位置、移動方向及び移動速度を推定してもよい。この場合、想定する潜在物体に応じて、上記の各式で用いる高さhの値を変更することが好ましい。また、処理部５１は、検出される影領域の輪郭を検出し、マッチング処理等により潜在物体の種類を想定してもよい。影領域の輪郭に基づいて潜在物体の種類を想定することにより、複数の種類の潜在物体を想定する場合に比べてプロセッサの演算処理の負荷を軽減することができる。
　図４に戻り、衝突判定部７１は、潜在物体の位置、移動方向及び移動速度を推定した後、潜在物体と自車両１との衝突可能性を判定する（ステップＳ３３）。例えば衝突判定部７１は、走行状態検出部６１により検出される自車両１の走行状態の情報に基づいて自車両１の走行軌道を推定するとともに、自車両１のサイズに応じた走行範囲を仮定する。そして、衝突判定部７１は、潜在物体の位置、移動方向及び移動速度に基づいて潜在物体の軌道を推定するとともに、潜在物体の軌道が自車両１の走行範囲に重複する場合に、潜在物体と自車両１とが衝突すると判定する。ただし、潜在物体と自車両１との衝突可能性の判定方法は、上記の例に限定されるものではなく、任意の判定方法であってよい。例えば自車両１及び潜在物体に対してリスク値を設定し衝突リスクを演算する公知のリスク演算処理により、潜在物体と自車両１との衝突可能性を判定してもよい。
　次いで、衝突判定部７１は、衝突可能性の判定の結果、潜在物体と自車両１とが衝突する可能性があるか否かを判定する（ステップＳ３５）。衝突の可能性がない場合（Ｓ３５／Ｎｏ）、処理部５１は、ステップＳ３９において車載システムが停止したと判定されない限り、ステップＳ１３に戻ってここまで説明した処理を繰り返す。一方、衝突の可能性がある場合（Ｓ３５／Ｙｅｓ）、処理部５１は、潜在車両と自車両１との衝突を回避するための運転支援処理を実行する（ステップＳ３７）。
　例えば処理部５１の運転条件設定部７３は、自車両１を減速させる指令信号を車両制御装置４１へ送信し、自車両１を減速させる。この場合、運転条件設定部７３は、減速度の最大値を超えない範囲で、衝突を回避可能な最低限の目標加速度を設定してもよい。これにより、自車両１の過剰な急減速による危険を軽減することができる。また、運転条件設定部７３は、自車両１の減速だけでは衝突を回避できない場合、あるいは、自車両１の減速動作と併せて、自車両１の走行軌道を修正するための目標操舵角を設定してもよい。この場合、自車両１のスピンや側壁等への衝突を生じないように目標操舵角を設定する。
　さらに、処理部５１の通知部７５は、通知装置４３に対して指令信号を出力し、自車両１と潜在物体とが衝突する可能性があることを通知してもよい。この場合、通知部７５は、潜在物体が死角領域から飛び出すおそれがあることや、潜在物体の飛び出し位置及び飛び出し速度等の潜在物体の情報を併せて通知してもよい。さらに、通知部７５は、潜在物体と自車両１との衝突を回避するために運転操作に介入したことを通知してもよい。
　次いで、処理部５１は、車載システムが停止したか否かを判定する（ステップＳ３９）。車載システムが停止していない場合（Ｓ３９／Ｎｏ）、処理部５１は、ステップＳ１３に戻って、これまでに説明した各ステップの処理を繰り返す。一方、車載システムが停止した場合（Ｓ３９／Ｙｅｓ）、処理部５１は、本ルーチンの処理を終了する。
　以上説明したように、本実施形態に係る運転支援装置５０は、前方撮影カメラ３１ＬＦ，３１ＲＦにより生成された画像データに基づいて自車両１から見た死角領域に存在する潜在物体の影を検出し、当該影を形成する光源の位置を推定する。また、運転支援装置５０は、推定した光源の位置及び潜在物体の影の時間変化に基づいて潜在物体の位置、移動方向及び移動速度を計算し、自車両１と潜在物体との衝突可能性を判定する。これにより、死角領域が検出された場合に、実際に物体が飛び出してくるか分からない場合においても自車両１を減速させる等の運転支援が実行されるのではなく、死角領域に潜在物体が存在することを認識し、当該潜在物体の飛び出しによって自車両１に衝突するおそれがある場合に運転支援が実行されるようになる。したがって、自車両１と潜在物体との衝突の可能性を低減することができるとともに、運転支援装置に対する信頼や受容性の低下を防ぐことができる。
　また、本実施形態に係る運転支援装置５０は、太陽の位置を推定して、潜在物体の位置、移動方向及び移動速度を計算し、自車両１と潜在物体との衝突可能性を判定することができる。これにより、昼間に潜在物体に日光が照射されて影が作り出される条件が成立していれば、自車両１から見た死角領域に存在する潜在物体の位置等に基づいて自車両１と潜在物体との衝突可能性を判定することができる。
　また、本実施形態に係る運転支援装置５０は、移動不可能に設置された照明装置の位置を推定して、潜在物体の位置、移動方向及び移動速度を計算し、自車両１と潜在物体との衝突可能性を判定することができる。これにより、日の入時刻後の時間帯であっても、潜在物体を照らす照明装置が存在している場合に、自車両１から見た死角領域に存在する潜在物体の位置等に基づいて自車両１と潜在物体との衝突可能性を判定することができる。
　また、本実施形態に係る運転支援装置５０は、移動体に設けられた光源の位置を推定して、潜在物体の位置、移動方向及び移動速度を計算し、自車両１と潜在物体との衝突可能性を判定することができる。これにより、日の入時刻後の時間帯に、潜在物体を照らす照明装置が存在していない場合であっても、潜在物体を照らす他車両等が存在している場合に、自車両１から見た死角領域に存在する潜在物体の位置等に基づいて自車両１と潜在物体との衝突可能性を判定することができる。
　なお、上記実施の形態では、光源が太陽である場合、移動不可能な照明装置である場合及び移動体の光源である場合を判別可能に構成されていたが、いずれか一つのみ又は任意の二つの組み合わせを判別可能に構成されていてもよい。この場合、運転支援装置５０
は、判別する光源の種類に応じて、判別に不要なデータを取得しないように構成されていてもよい。
＜＜２．第２の実施の形態＞＞
　続いて、本開示の第２の実施の形態に係る運転支援装置を説明する。
　第１の実施の形態では、運転支援装置５０が、光源の存在位置あるいは設置位置に関する情報を取得できる場合の実施形態を説明したが、第２の実施の形態では、運転支援装置が、光源の存在位置に関する情報を取得できない場合の実施形態を説明する。
　なお、本実施形態に係る運転支援装置の機能は、第１の実施の形態に係る運転支援装置の機能と併用されてもよい。
　＜２－１．車両及び運転支援装置の全体構成＞
　本実施形態に係る運転支援装置及び運転支援装置を搭載した車両の全体構成は、第１の実施の形態に係る運転支援装置５０及び車両１と同一であってよい。ただし、運転支援装置が、第２の実施の形態に係る運転支援装置の機能のみを備える場合、運転支援装置は、太陽位置データ記憶部５７、第１の通信部５８及び第２の通信部５９を備えていなくてもよい。
　以下、図２に示す運転支援装置５０の構成例を参照しながら、同一の符号を用いて、第２の実施の形態に係る運転支援装置を説明する。
　＜２－２．運転支援装置の機能構成＞
　運転支援装置５０の処理部５１の機能構成のうち、走行状態検出部６１、周囲環境検出部６３、死角領域検出部６５、影領域検出部６７、衝突判定部７１、運転条件設定部７３及び通知部７５は、第１の実施の形態に係る運転支援装置５０の処理部５１の各部と同様の機能を有している。
　本実施形態において、光源位置推定部６９は、死角領域内から死角領域の外へ移動して顕在化した移動体の影をトレースし、当該移動体の影の時間変化に基づいて光源の位置を推定する。顕在化した移動体の影の時間変化に基づいて光源の位置が推定されれば、同じ光源により作り出される他の潜在物体の影の時間変化と光源の位置とに基づいて潜在物体の位置、移動方向及び移動速度を推定することができる。したがって、影を作り出している光源の位置に関する情報を取得することができない走行シーンにおいても、死角領域に存在する潜在物体と自車両１との衝突可能性を判定することができる。
　＜２－３．運転支援装置の動作＞
　続いて、本実施形態に係る運転支援装置５０の動作例をフローチャートに沿って具体的に説明する。
　図１５～図１６は、本実施形態の運転支援装置５０の処理動作の一例を示すフローチャートである。図１５～図１６に示すフローチャートのうち、ステップＳ１１～ステップＳ２１及びステップＳ２７～ステップＳ３９の処理は、図３～図４に示した第１の実施の形態の運転支援装置５０の処理動作におけるステップＳ１１～ステップＳ２１及びステップＳ２７～ステップＳ３９の処理と同様に実行される。一方、本実施形態の運転支援装置５０は、第１の実施の形態の運転支援装置５０の処理動作におけるステップＳ２３～ステップＳ２５の代わりに、ステップＳ６１～ステップＳ６５の処理が実行される。
　運転支援装置５０を含む車載システムが起動されると（ステップＳ１１）、処理部５１は、第１の実施の形態で説明した手順に沿ってステップＳ１１～ステップＳ２１の処理を実行する。
　ステップＳ１９において死角領域に存在する物体の影があると判定された場合（Ｓ１９／Ｙｅｓ）、影領域検出部６７は、死角領域から死角領域の外へ移動した物体を検出したか否かを判定する（ステップＳ６１）。具体的に、影領域検出部６７は、死角領域に存在する潜在物体の影として検出していた影が、周囲環境検出部６３により検出された物体の影に変更された場合に、死角領域から死角領域の外へ移動した物体を検出したと判定する。
　死角領域から死角領域の外へ移動した物体が検出されない場合（Ｓ６１／Ｎｏ）、影領域検出部６７は、死角領域に存在する潜在物体の影が移動しているか否かを判定するステップＳ２７へ進む。一方、死角領域から死角領域の外へ移動した物体が検出された場合（Ｓ６１／Ｙｅｓ）、光源位置推定部６９は、影を作り出している光源の位置を推定する処理を実行する（ステップＳ６３）。以下、光源が街灯である場合を例に採って、光源の位置を推定する方法を説明する。
　図１７～図１９は、光源が街灯１０９である場合に、死角領域から死角領域の外へ移動した他車両１０３の影１０５の時間変化に基づいて光源（街灯）１０９の位置を推定する方法を説明するために示す図である。ここでは、図１７に示すように、夜間において、自車両１が走行する道路の右側に建造物１０７が存在し、当該建造物１０７の奥の曲がり角の先が死角になっている走行シーンを例に採って説明する。死角領域には潜在物体として歩行者１００が存在し、当該歩行者１００は自車両１が走行する経路上に向かって移動している。また、死角領域に潜在物体として存在していた他車両１０３が死角領域の外へ移動して顕在化した物体となっている。自車両１からは、歩行者１００の影１０１、他車両１０３及び他車両１０３の影１０５が視認されている。
　図１８～図１９は、図１７の走行シーンを自車両１の進行方向から見た様子を示す図であり、図１８は時刻tでの状況、図１９は時刻t+Δtでの状況を示す。街灯１０９の光源の高さをH4、地面から街灯１０９の光源と他車両１０３の影１０５の先端を結ぶ線が接する他車両１０３の部分１０４までの高さをh4、当該部分１０４から影１０５の先端までの水平距離をx4、街灯１０９の光源から建造物１０７の端までの水平距離をX4、建造物１０７の端から他車両１０３の影１０５の先端までの水平距離をL4、街灯１０９の光源と他車両１０３の影１０５の先端を結ぶ線と地面とのなす角度をθ4とする。影１０５の先端部分は、他車両１０３の部分１０４の影である。本実施形態では、街灯１０９の光源の高さH4、及び街灯１０９の光源から建造物１０７の端までの水平距離X4は、未知の値である。三角法から、時刻t及び時刻t+Δtにおいて、それぞれ下記式（１０）及び（１１）が成り立つ。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
　街灯１０９の光源の高さH4、及び街灯１０９の光源から建造物１０７の端までの水平距離X4以外の高さh4及び距離x4, L4は、周囲環境センサ３１から送信される画像データに基づいて算出することができる。したがって、光源位置推定部６９は、画像データに基づいてそれぞれの高さh4及び距離x4, L4を求めることにより、上記式（１０）及び（１１）を用いて街灯１０９の光源の高さH4、及び街灯１０９の光源から建造物１０７の端までの水平距離X4を算出することができる。
　図１６に戻り、光源位置推定部６９により光源の位置が推定された後、影領域検出部６７は、ステップＳ１９の処理と同様の手順で死角領域に存在する潜在物体の影が存在するか否かを判定する（ステップＳ６５）。死角領域に存在する潜在物体の影が存在しない場合（Ｓ６５／Ｎｏ）、処理部５１は、ステップＳ３９において車載システムが停止したと判定されない限り、ステップＳ１３に戻ってここまで説明した処理を繰り返す。一方、死角領域に存在する潜在物体の影が存在する場合（Ｓ６５／Ｙｅｓ）、ステップＳ３１に進み、処理部５１は、第１の実施の形態で説明した手順に沿ってステップＳ３１～ステップＳ３９の処理を実行する。これにより、運転支援装置５０は、光源の位置に関する情報を取得できない場合であっても、死角領域から死角領域の外へ移動した移動体の影をトレースすることにより光源の位置を推定して、死角領域に存在する潜在物体の位置、移動方向及び移動速度を推定することができる。
　以上説明したように、本実施形態に係る運転支援装置５０は、光源の位置に関する情報を取得できない場合であっても、死角領域から死角領域の外へ移動した移動体の影をトレースすることにより光源の位置を推定することができる。このため、光源の位置に関する情報を取得できない場合であっても、第１の実施の形態に係る運転支援装置５０と同様に、推定した光源の位置及び潜在物体の影の時間変化に基づいて潜在物体の位置、移動方向及び移動速度を計算し、自車両１と潜在物体との衝突可能性を判定することができる。これにより、死角領域が検出された場合に、実際に物体が飛び出してくるか分からない場合においても自車両１を減速させる等の運転支援が実行されるのではなく、死角領域に潜在物体が存在することを認識し、当該潜在物体の飛び出しによって自車両１に衝突するおそれがある場合に運転支援が実行されるようになる。したがって、自車両１と潜在物体との衝突の可能性を低減することができるとともに、運転支援装置に対する信頼や受容性の低下を防ぐことができる。
　なお、本実施形態において、光源位置推定部６９は、推定された光源の位置のデータを高精度地図データ上に記録してもよい。これにより、光源の位置データが蓄積され、第１の実施の形態における光源が街灯である場合と同様に、潜在物体の影を作り出している光源の特定が容易になって、光源の位置を推定する処理の負荷を軽減することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、影を作り出す光源が一つである例を説明したが、影を作り出す光源が複数ある場合、つまり、一つの潜在物体に対して複数の影が形成されている場合であっても本開示の技術を適用することができる。この場合、運転支援装置は、それぞれの影を形成する光源の位置と影の時間変化に基づいて潜在物体の位置、移動方向及び移動速度を計算したうえで、それぞれの平均値を用いて自車両と潜在物体との衝突可能性を判定してもよい。あるいは、運転支援装置は、影の濃さや影の輪郭の鮮明さ等に基づいて重み付けをして潜在物体の位置、移動方向及び移動速度を計算したうえで、自車両と潜在物体との衝突可能性を判定してもよい。複数の光源によって形成された影の時間変化に基づいて潜在物体の位置等を推定することにより、自車両と潜在物体との衝突可能性の判定精度を高めることができる。
　また、上記処理部５１を構成するプロセッサに、車両の周囲を撮影した画像データに基づいて車両から見た死角領域に存在する物体の影を検出することと、影を形成する光源の位置を推定することと、光源の位置及び影の時間変化に基づいて物体の位置、移動方向及び移動速度を計算するとともに自車両と物体との衝突可能性を判定することと、を含む処理を実行させるコンピュータプログラムも本開示の技術の技術的範囲に属する。
１：車両（自車両）、３１：周囲環境センサ、３１ＬＦ・３１ＲＦ：前方撮影カメラ、３５：車両状態センサ、３７：ＧＮＳＳセンサ、４１：車両制御装置、４３：通知装置、５０：運転支援装置、５１：処理部、５３：記憶部、５５：高精度地図データ記憶部、５７：太陽位置データ記憶部、６１：走行状態検出部、６３：周囲環境検出部、６５：死角領域検出部、６７：影領域検出部、６９：光源位置推定部、７１：衝突判定部、７３：運転条件設定部、７５：通知部、８０：駐車車両、８１：影、８３：歩行者、８４：影、９０：歩行者、９１：影、９３：街灯、９４：側壁、９５：側壁、９６：歩行者、９７：影、９８：他車両

Claims (8)

  1. 　物体との衝突を回避する運転を支援する運転支援装置において、
    　一つ又は複数のプロセッサと、前記一つ又は複数のプロセッサと通信可能に接続された一つ又は複数のメモリと、を備え、
    　前記プロセッサは、
    　前記車両の周囲を撮影した画像データに基づいて前記車両から見た死角領域に存在する物体の影を検出し、
    　前記影を形成する光源の位置を推定し、
    　前記光源の位置及び前記影の時間変化に基づいて前記物体の位置、移動方向及び移動速度を計算するとともに前記自車両と前記物体との衝突可能性を判定する、運転支援装置。
  2. 　前記プロセッサは、
    　日の出時刻及び日の入時刻の情報及び現在時刻に基づいて前記光源としての太陽の位置を推定する、請求項１に記載の運転支援装置。
  3. 　前記プロセッサは、
    　移動不可能に設置された照明装置の設置位置のデータに基づいて前記光源としての照明装置の位置を推定する、請求項１に記載の運転支援装置。
  4. 　前記プロセッサは、
    　前記車両の外部から受信した移動体のデータに基づいて前記光源を備えた移動体の位置を推定する、請求項１に記載の運転支援装置。
  5. 　前記プロセッサは、
    　前記画像データに基づいて前記死角領域から前記死角領域の外へ移動した移動体及び当該移動体の影を検出し、
    　前記移動体及び前記移動体の影に基づいて前記光源の位置を推定する、請求項１に記載の運転支援装置。
  6. 　物体との衝突を回避する運転を支援する運転支援装置において、
    　前記車両の周囲を撮影した画像データに基づいて前記車両から見た死角領域に存在する物体の影を検出する影領域検出部と、
    　前記影を形成する光源の位置を推定する光源位置推定部と、
    　前記光源の位置及び前記影の時間変化に基づいて前記物体の位置、移動方向及び移動速度を計算するとともに前記自車両と前記物体との衝突可能性を判定する衝突判定部と、
    　を備えた、運転支援装置。
  7. 　物体との衝突を回避する運転を支援する運転支援装置を備えた車両において、
    　前記運転支援装置は、一つ又は複数のプロセッサと、前記一つ又は複数のプロセッサと通信可能に接続された一つ又は複数のメモリと、を備え、
    　前記プロセッサは、
    　前記車両の周囲を撮影した画像データに基づいて前記車両から見た死角領域に存在する物体の影を検出し、
    　前記影を形成する光源の位置を推定し、
    　前記光源の位置及び前記影の時間変化に基づいて前記物体の位置、移動方向及び移動速度を計算するとともに前記自車両と前記物体との衝突可能性を判定する、車両。
  8. 　物体との衝突を回避する運転を支援する運転支援装置に適用されるコンピュータプログラムを記録した記録媒体であって、
    　一つ又は複数のプロセッサに、
    　前記車両の周囲を撮影した画像データに基づいて前記車両から見た死角領域に存在する物体の影を検出することと、
    　前記影を形成する光源の位置を推定することと、
    　前記光源の位置及び前記影の時間変化に基づいて前記物体の位置、移動方向及び移動速度を計算するとともに前記自車両と前記物体との衝突可能性を判定することと、を含む処理を実行させるコンピュータプログラムを記録した記録媒体。
PCT/JP2021/036166 2021-09-30 2021-09-30 運転支援装置及び車両並びにコンピュータプログラムを記録した記録媒体 WO2023053355A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/926,034 US20240233392A1 (en) 2021-09-30 2021-09-30 Driver assistance apparatus and vehicle, and recording medium containing computer program
JP2023550921A JPWO2023053355A1 (ja) 2021-09-30 2021-09-30
PCT/JP2021/036166 WO2023053355A1 (ja) 2021-09-30 2021-09-30 運転支援装置及び車両並びにコンピュータプログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/036166 WO2023053355A1 (ja) 2021-09-30 2021-09-30 運転支援装置及び車両並びにコンピュータプログラムを記録した記録媒体

Publications (1)

Publication Number Publication Date
WO2023053355A1 true WO2023053355A1 (ja) 2023-04-06

Family

ID=85781776

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036166 WO2023053355A1 (ja) 2021-09-30 2021-09-30 運転支援装置及び車両並びにコンピュータプログラムを記録した記録媒体

Country Status (3)

Country Link
US (1) US20240233392A1 (ja)
JP (1) JPWO2023053355A1 (ja)
WO (1) WO2023053355A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074595A (ja) * 2000-08-29 2002-03-15 Hitachi Ltd 車両の安全運転支援システム
JP2009244985A (ja) * 2008-03-28 2009-10-22 Toyota Central R&D Labs Inc 運転支援装置及び歩行者検出装置
JP2019109591A (ja) * 2017-12-15 2019-07-04 株式会社デンソー 自動運転支援装置
JP2020154502A (ja) * 2019-03-19 2020-09-24 株式会社デンソー 車両における運転支援制御装置、運転支援システムおよび運転支援方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074595A (ja) * 2000-08-29 2002-03-15 Hitachi Ltd 車両の安全運転支援システム
JP2009244985A (ja) * 2008-03-28 2009-10-22 Toyota Central R&D Labs Inc 運転支援装置及び歩行者検出装置
JP2019109591A (ja) * 2017-12-15 2019-07-04 株式会社デンソー 自動運転支援装置
JP2020154502A (ja) * 2019-03-19 2020-09-24 株式会社デンソー 車両における運転支援制御装置、運転支援システムおよび運転支援方法

Also Published As

Publication number Publication date
US20240233392A1 (en) 2024-07-11
JPWO2023053355A1 (ja) 2023-04-06

Similar Documents

Publication Publication Date Title
US10937314B2 (en) Driving assistance apparatus for vehicle and control method thereof
JP6600897B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN109515434B (zh) 车辆控制装置、车辆控制方法及存储介质
EP3428027B1 (en) Driving system for vehicle
US11472433B2 (en) Advanced driver assistance system, vehicle having the same and method for controlling the vehicle
JP6402684B2 (ja) 表示装置
CN109466542B (zh) 车辆控制装置、车辆控制方法及存储介质
CN109421799B (zh) 车辆控制装置、车辆控制方法及存储介质
KR102649709B1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
WO2021057344A1 (zh) 一种数据呈现的方法及终端设备
JP2015501249A5 (ja)
JP2019197467A (ja) 車両制御装置
JP2021064118A (ja) 遠隔自動運転車両、及び車両遠隔指示システム
US20200202535A1 (en) Driver assistance apparatus and vehicle
JP7495178B2 (ja) 車両の走行支援装置
JP7414497B2 (ja) 運転支援装置
JP2019159427A (ja) 車両制御装置、車両制御方法、およびプログラム
KR20210025523A (ko) 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 이동체 장치
JP7521862B2 (ja) 運転支援装置
JP6648384B2 (ja) 車両制御装置、車両制御方法、およびプログラム
WO2023053355A1 (ja) 運転支援装置及び車両並びにコンピュータプログラムを記録した記録媒体
KR20230140775A (ko) 운전자 보조 장치 및 그를 가지는 차량
WO2024195065A1 (ja) 運転支援装置、運転支援方法、及び記録媒体
US20210323469A1 (en) Vehicular around view image providing apparatus and vehicle
CN114868381A (zh) 图像处理装置、图像处理方法以及程序

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 17926034

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959393

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023550921

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE