WO2021095481A1 - 運転支援方法、路側装置および車載装置 - Google Patents

運転支援方法、路側装置および車載装置 Download PDF

Info

Publication number
WO2021095481A1
WO2021095481A1 PCT/JP2020/039773 JP2020039773W WO2021095481A1 WO 2021095481 A1 WO2021095481 A1 WO 2021095481A1 JP 2020039773 W JP2020039773 W JP 2020039773W WO 2021095481 A1 WO2021095481 A1 WO 2021095481A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
displayed
roadside
display
Prior art date
Application number
PCT/JP2020/039773
Other languages
English (en)
French (fr)
Inventor
剛 上野
須藤 浩章
慎太郎 村松
相原 弘一
安木 慎
大久保 義行
亨 岡田
林 俊光
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2021095481A1 publication Critical patent/WO2021095481A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the present disclosure relates to a driving support method for assisting a driver's driving operation in a vehicle, a roadside device installed on a road, and an in-vehicle device mounted on the vehicle.
  • the autonomous driving ECU determines whether or not the route change is necessary. For example, if the traffic accident is relatively minor, it is possible to pass by the side of the traffic accident occurrence point, and in this case, there is no need to change the route. Therefore, it is desirable to let the driver decide whether or not to change the route. In particular, when an image of a point ahead of the vehicle's direction of travel is displayed on the display device mounted on the vehicle, the driver immediately confirms the specific situation of that point and determines whether or not the route needs to be changed. Can be done quickly.
  • the communication between the roadside unit installed on the road and the vehicle is used to determine the road condition, etc. I try to provide various information to the vehicle. Therefore, it is conceivable to mount a camera on the roadside machine and provide an image of the road taken from the roadside machine to the vehicle.
  • the driver can immediately determine the image showing the event to be noted on the road, and the driver can quickly confirm the specific situation of the event to be noted.
  • the main purpose is to provide methods, roadside devices and in-vehicle devices.
  • the roadside device installed on the road photographs the road around the own device with a camera
  • the in-vehicle device mounted on the vehicle acquires the image captured by the roadside device.
  • the display device mounted on the vehicle displays the image and the roadside device detects a specific event occurring on the road around the own device
  • the display device emphasizes the image showing the specific event. It is configured to be displayed.
  • the roadside device of the present disclosure is a self-device based on a radar that detects a moving body existing on the road around the self-device, a camera that photographs the road around the self-device, and the detection result of the radar.
  • a processor that detects a specific event that occurs on the road around the vehicle and an image taken by the camera are transmitted directly or via a distribution device to an in-vehicle device mounted on the vehicle, and the specific event is transmitted.
  • the configuration includes a communication unit that transmits the detected information to the in-vehicle device directly or via another roadside device.
  • the in-vehicle device of the present disclosure receives an image of a surrounding road taken by the roadside device directly from the roadside device or via a distribution device, and when a specific event is detected in the roadside device.
  • the image is displayed on the communication unit that receives the information to that effect directly or via another roadside device and the display device mounted on the vehicle, and the information that the specific event is detected is received.
  • a processor that highlights the image in which the specific event is reflected.
  • the driver can immediately determine the image showing the specific event and see the image to quickly confirm the specific situation of the specific event that occurred on the road.
  • Explanatory drawing which shows operation outline of vehicle 1 and roadside machine 6 which concerns on 1st modification of 1st Embodiment
  • Explanatory drawing which shows the navigation screen displayed on the navigation display 4 which concerns on 1st modification of 1st Embodiment
  • Explanatory drawing which shows an example of the navigation screen by the navigation display 4 mounted on the vehicle 1 which concerns on the 2nd modification of 1st Embodiment, and the front AR screen 201 by the front AR display 35.
  • Explanatory drawing which shows the case where the failure event occurred in the example of the navigation screen and the front AR screen which concerns on the 2nd modification of 1st Embodiment
  • a block diagram showing a schematic configuration of a vehicle 1 according to a second modification of the first embodiment.
  • Explanatory drawing which shows operation outline of vehicle 1 and roadside machine 6 which concerns on 2nd Embodiment
  • Explanatory drawing which shows the navigation screen by the navigation display 4 mounted on the vehicle 1 which concerns on 2nd Embodiment
  • Explanatory drawing which shows operation outline of vehicle 1 which concerns on 3rd Embodiment
  • Explanatory drawing which shows the navigation screen by the navigation display 4 mounted on the vehicle 1 which concerns on 3rd Embodiment
  • a block diagram showing a schematic configuration of the vehicle 1 according to the third embodiment.
  • Explanatory drawing which shows the navigation screen by the navigation display 4 mounted on the vehicle 1 which concerns on 4th Embodiment, and the front AR screen 201 by the front AR display 35.
  • a block diagram showing a schematic configuration of a vehicle 1 according to a fourth embodiment.
  • a flow chart showing an operation procedure of the in-vehicle terminal 2 according to the fourth embodiment.
  • a roadside device installed on a road photographs a road around the own device by a camera, and an in-vehicle device mounted on a vehicle photographs the roadside device.
  • the display device mounted on the vehicle displays the image and the roadside device detects a specific event that has occurred on the road around the own device, the display device performs the identification.
  • the structure is such that the image in which the event is reflected is highlighted.
  • the driver can immediately determine the image of the specific event and see the image to quickly confirm the specific situation of the specific event that occurred on the road.
  • the in-vehicle device acquires a plurality of the images taken by the roadside device installed at each of a plurality of intersections on the traveling path of the vehicle, and the display device has a plurality of the images. Each of the images is displayed at a position on the screen corresponding to the position of the roadside device in which the image was taken.
  • the driver can quickly check the status of multiple intersections ahead of the vehicle's travel path.
  • the in-vehicle device or the roadside device sets a display priority for each of the plurality of images, and the display device displays the image based on the priority. ..
  • the fourth invention is configured such that the display device displays the high-priority image larger than the low-priority image.
  • the fifth invention is configured such that the display device superimposes the high-priority image on the image display frame of the low-priority image.
  • the driver sees less video. For this reason, the driver can quickly confirm the specific situation of the moving object or obstacle event to be noted in the image showing the moving object or obstacle event to be noted without being bothered by the image that requires less attention. can do.
  • the in-vehicle device or the roadside device sets the priority for each image based on the importance of the event reflected in the image and the distance from the vehicle to the shooting point. It is configured.
  • the image of the point near the vehicle is displayed with priority over the image of the point far from the vehicle, and the image showing the important event is displayed with priority over the image showing the important event. Therefore, the driver can make an appropriate judgment according to the degree of urgency.
  • the seventh invention is configured such that the display device displays a mark image indicating the moving direction of the moving body on the image.
  • the driver can immediately recognize the moving direction of the moving body and easily determine whether or not the moving body should be noted.
  • the eighth invention is configured such that the specific event is an obstacle event that obstructs the passage of the vehicle.
  • the driver can quickly determine the necessity of changing the route.
  • the in-vehicle device detects a moving body existing around the own vehicle and may change to a high-risk state depending on the behavior of the own vehicle.
  • the display device is configured to display an image of the moving body taken by a camera mounted on the own vehicle.
  • the driver can immediately recognize that the state changes to a high risk state by seeing the image of the moving object, and can quickly perform the driving operation to avoid the danger.
  • the display device displays the image being displayed at the edge of the driver's field of view. The image is highlighted.
  • the driver when the driver is looking aside, the driver can immediately guide the line of sight to the image that cannot be seen and alert him.
  • the eleventh invention is configured such that the roadside device transmits the video to the distribution device, and the vehicle-mounted device receives the video from the distribution device.
  • the video is distributed from the roadside device to the in-vehicle device via the distribution device, the load of road-to-vehicle communication between the roadside device and the in-vehicle device can be reduced.
  • the roadside device transmits the video link information of the own device to the vehicle-mounted device directly or via another roadside device, and the vehicle-mounted device is based on the video link information. Therefore, the video is received from the distribution device.
  • the video taken by the required roadside device can be reliably received from the distribution device.
  • the thirteenth invention is an AR display in which the display device displays an AR screen in which virtual objects are superimposed on a real space seen by the driver, and the virtual object is displayed on the space outside the vehicle seen by the driver through a window glass.
  • the image is displayed as an object.
  • the image can be displayed in a large size near the actual position, so that the visibility of the image can be improved.
  • the fourteenth invention further includes a navigation display for displaying a navigation screen in which the traveling direction of the vehicle is drawn on a map, a mark image of a moving body drawn on the image on the AR screen, and the navigation screen. It is assumed that the mark image of the moving body drawn on the map in the above is the same color.
  • the driver can immediately recognize the correspondence between the moving body displayed on the navigation screen and the moving body displayed on the image on the AR screen.
  • the fifteenth invention further includes a navigation display for displaying a navigation screen in which the traveling direction of the vehicle is drawn on a map, and the AR screen includes the image displayed on the AR screen and the navigation screen.
  • the guide image associated with the mark image of the moving object displayed in is displayed.
  • the driver can immediately recognize the correspondence between the image displayed on the front AR screen and the mark image of the moving object displayed on the navigation screen.
  • the sixteenth invention is based on a radar for detecting a moving body existing on a road around the own device, a camera for photographing the road around the own device, and the detection result of the radar of the own device.
  • a processor that detects a specific event that occurs on the surrounding road and an image taken by the camera are transmitted directly or via a distribution device to an in-vehicle device mounted on the vehicle, and the specific event is detected.
  • the configuration includes a communication unit that transmits the information to that effect to the in-vehicle device directly or via another roadside device.
  • the driver can immediately determine the image showing the specific event and see the image to quickly determine the specific situation of the specific event occurring on the road. You can check.
  • the seventeenth invention is a case where an image of a surrounding road taken by a roadside device is received from the roadside device directly or via a distribution device, and a specific event is detected by the roadside device.
  • the image is displayed on the communication unit that receives the information to that effect directly or via another roadside device and the display device mounted on the vehicle, and the information that the specific event is detected is received, the information is received.
  • the configuration includes a processor that highlights the image in which the specific event is displayed.
  • the driver can immediately determine the image showing the specific event and see the image to quickly determine the specific situation of the specific event occurring on the road. You can check.
  • FIG. 1 is an overall configuration diagram of the driving support system according to the first embodiment.
  • This driving support system provides the in-vehicle terminal 2 with an image of a road that is out of sight from the vehicle 1 (autonomous driving vehicle) to support the driver's emergency driving operation in the vehicle 1.
  • This driving support system includes an in-vehicle terminal 2 (vehicle-mounted device) mounted on the vehicle 1, an automatic driving ECU 3 (travel control device), a navigation display 4 (display device), and a pedestrian terminal 5 (walking) possessed by a pedestrian.
  • ITS communication is performed between the in-vehicle terminal 2, the pedestrian terminal 5, and the roadside device 6.
  • This ITS communication is a wireless communication using a frequency band (for example, 700 MHz band or 5.8 GHz band) adopted in a safe driving support wireless system using ITS (Intelligent Transport System).
  • ITS Intelligent Transport System
  • a message including necessary information such as the position information of the vehicle 1 and a pedestrian is transmitted and received.
  • the one performed between the in-vehicle terminals 2 is referred to as vehicle-to-vehicle communication
  • the one performed between the roadside unit 6 and the in-vehicle terminal 2 is referred to as road-to-vehicle communication
  • the in-vehicle terminal 2 and the roadside device 6 can also perform ITS communication (communication between pedestrians and vehicles, communication between pedestrians) with the pedestrian terminal 5.
  • the in-vehicle terminal 2 transmits and receives a message including position information and the like to and from another in-vehicle terminal 2 by ITS communication (vehicle-to-vehicle communication), determines the risk of collision between vehicles 1, and determines the risk of collision. If there is, a warning activation operation for the driver is performed. The alert activation operation may be performed using a car navigation device (not shown) connected to the in-vehicle terminal 2. Further, the in-vehicle terminal 2 transmits and receives a message to and from the pedestrian terminal 5 by ITS communication (pedestrian-vehicle communication), and determines the risk of collision between the pedestrian and the vehicle 1.
  • ITS communication vehicle-to-vehicle communication
  • the automatic driving ECU 3 detects obstacles around the vehicle 1 based on the output of the sensor, detects the state of the vehicle 1, and controls the running of the vehicle 1.
  • the roadside unit 6 notifies the in-vehicle terminal 2 and the pedestrian terminal 5 of the existence of a vehicle 1 or a pedestrian located in the vicinity of the own device by ITS communication (road-to-vehicle communication, road-to-walk communication). This makes it possible to prevent a collision when turning left or right at an intersection outside the line of sight.
  • the roadside machine 6 distributes traffic information to the in-vehicle terminal 2 and the pedestrian terminal 5.
  • the roadside machine 6 includes an antenna 11, a radar 12, and a camera 13.
  • the antenna 11 transmits and receives radio waves for ITS communication.
  • the radar 12 detects a moving object (pedestrian or vehicle 1) existing on the road around the own device by detecting the reflected wave of the radiated radio wave, and measures the direction and distance of the moving object.
  • the camera 13 photographs the road around the own device.
  • a night-vision camera infrared light camera
  • the roadside unit 6 communicates with other roadside units 6 installed in the vicinity via a dedicated roadside network (wired or wireless) or a network such as cellular communication (roadside communication). ..
  • the server 7 is connected to the roadside machine 6.
  • the server 7 receives the image taken by the camera 13 of the roadside device 6 from the roadside device 6 and distributes the image to the in-vehicle terminal 2.
  • Communication is performed between the server 7 and the vehicle-mounted terminal 2 using wireless LAN communication or cellular communication.
  • the roadside machine 6 notifies the vehicle-mounted terminal 2 of the link information (address) assigned to each camera 13 of the roadside machine 6.
  • the in-vehicle terminal 2 can acquire the image of the camera 13 of the roadside machine 6 by accessing the server 7 based on the link information and requesting the distribution of the image of the camera 13 of the required roadside machine 6.
  • the image taken by the camera 13 of the roadside machine 6 is displayed on the navigation display 4 mounted on the vehicle 1.
  • the video captured by the roadside machine 6 is once transmitted to the video distribution server, and the video is distributed from the video distribution server to the vehicle-mounted terminal 2.
  • the roadside unit 6 distributes the video to the vehicle-mounted terminal 2.
  • the video may be delivered directly to 2.
  • wireless LAN communication such as WiFi (registered trademark) is performed between the roadside unit 6 and the in-vehicle terminal 2.
  • the video captured by the roadside device 6 may be distributed to the in-vehicle terminal 2 via another roadside device 6 by multi-hop type communication.
  • FIG. 2 is an explanatory diagram showing an outline of operations of the vehicle 1 and the roadside machine 6.
  • Roadside machine 6 is installed at each intersection.
  • the image taken by the camera 13 of the roadside machine 6 is distributed to the in-vehicle terminal 2 via the server 7.
  • the in-vehicle terminal 2 acquires an image of a non-line-of-sight road taken by a roadside machine 6 installed at each intersection, and displays the image on the navigation display 4.
  • the roadside machine 6 detects a moving body (vehicle, pedestrian) existing on the road around the intersection based on the detection result of the radar 12, and the moving body existing on the road. Acquire position information (moving object detection process). It should be noted that the moving body existing on the road may be detected by image recognition of the image captured by the camera 13.
  • the roadside machine 6 detects that an obstacle event (event that obstructs passage) in which it is desirable to change the route of the vehicle 1 has occurred on the road around the intersection (obstacle event detection processing).
  • This failure event detection process is performed based on the detection result of the radar 12 and the image captured by the camera 13. In this failure event detection process, the position information of the failure event occurrence point can be obtained.
  • obstacle events are, for example, traffic accidents, traffic jams, road construction, crowds (for example, a group of children going to and from school), emergency vehicles, obstacles, fallen trees, landslides, flooding, etc.
  • a person requiring attention for example, a person who frequently takes dangerous actions such as jumping out in the past may be detected as an obstacle event while walking.
  • a vehicle requiring attention may be detected as a failure event.
  • the vehicles requiring attention are, for example, vehicles whose traveling speed exceeds a predetermined value, vehicles that meander, vehicles that accelerate and decelerate more than necessary (including sudden acceleration and sudden stop), and vehicles that change lanes, and lights more than necessary.
  • Vehicles that turn on hazard lamps, etc. vehicles that are driven by elderly people, persons with disabilities, drivers who are not confident in driving, etc. (for example, vehicles with a beginner's mark or vehicles in a car training center) is there.
  • an event other than the failure event may be regarded as a specific event, and the driver may be notified of the occurrence of the specific event.
  • a two-wheeled vehicle including, for example, a motorcycle, a bicycle, etc.
  • the driver is notified of the occurrence of a specific event.
  • a message at the normal time that is, when a failure event has not occurred, a message at the normal time is transmitted from the roadside unit 6 to the in-vehicle terminal 2.
  • a message of the failure event notification is transmitted from the roadside machine 6 to the in-vehicle terminal 2 by road-to-vehicle communication, and further by road-to-road communication. It is transmitted to the roadside machine 6.
  • a failure event transfer message is transmitted from the roadside machine 6 to the vehicle-mounted terminal 2.
  • an obstacle event (traffic accident, traffic jam, etc.) occurs at the next intersection that goes straight on the nearest intersection as seen from the vehicle 1.
  • the roadside machine 6 installed at the next intersection detects the occurrence of a failure event, the roadside machine 6 sends a message of failure event notification to the roadside machine 6 installed at the nearest intersection, and further.
  • a message of failure event transfer is transmitted from the roadside machine 6 to the vehicle-mounted terminal 2.
  • the control is performed to highlight the image of the failure event among the images of the non-line-of-sight roads at each intersection displayed on the navigation display 4. It is said. As a result, the driver can immediately recognize the occurrence of a failure event and quickly determine the necessity of changing the route.
  • the image may be enlarged and the thickness and color of the image display frame may be changed. Further, as another highlighting method, for example, the video display frame may be changed from a dotted line to a solid line.
  • the automatic operation ECU 3 when the message of the failure event notification from the roadside machine 6 is received, the automatic operation ECU 3 is based on the position information of the failure event occurrence point and the position information of the destination included in the failure event notification message. Then, a detour route that bypasses the failure event occurrence point and heads for the destination is generated (travel route planning process). Then, the automatic driving ECU 3 controls to drive the own vehicle along the generated detour route. In addition, the detour route is displayed on the navigation display 4.
  • the automatic operation ECU 3 when a failure event occurs around the planned route during automatic operation, the automatic operation ECU 3 does not perform an operation (alert output) to inquire the driver whether or not to change the route, and follows the detour route. It is also possible to start control to drive the own vehicle. However, depending on the situation of the failure event, it may not be necessary to change the route, and it may be difficult for the automatic driving ECU 3 to determine whether or not the route change is necessary. For example, if the traffic accident is relatively minor, it is possible to pass by the side of the traffic accident occurrence point, and in this case, there is no need to change the route.
  • an image showing the failure event is displayed on the navigation display 4, and the driver sees the image showing the failure event, confirms the specific situation of the failure event, and needs to change the route. And perform necessary operations such as changing the route. The same applies when a failure event occurs while the driver cancels the automatic driving and the driver himself / herself is performing the driving operation.
  • FIG. 3 is an explanatory diagram showing an example of a navigation screen.
  • FIG. 4 is an explanatory diagram showing a case where a failure event occurs in an example of the navigation screen.
  • FIG. 5 is an explanatory diagram showing another example of the navigation screen.
  • FIG. 6 is an explanatory diagram showing a case where the detection status of the moving object is changed in another example of the navigation screen.
  • the navigation screen 101 is displayed on the navigation display 4.
  • a map 102 around the planned route of the own vehicle is displayed.
  • a mark image 111 showing the current position of the own vehicle and the planned route (traveling direction) is displayed.
  • a mark image 112 representing a moving body detected by the roadside machine 6 is displayed.
  • the navigation screen 101 displays the images 121 and 122 of the non-line-of-sight road at the intersection taken by the camera 13 of the roadside unit 6.
  • the images 121 and 122 are superimposed and displayed on the area excluding the central part of the image on which the current position of the own vehicle is displayed on the map 102.
  • a map may be displayed in the center of the image, and an image may be displayed around the map.
  • a plurality of images 121 and 122 of non-line-of-sight roads at intersections are displayed on the navigation screen 101.
  • the plurality of images 121 and 122 are displayed at the shooting points, that is, at positions on the screen corresponding to the positions of the roadside machines 6 in which the images 121 and 122 are photographed.
  • the current position of the own vehicle is set to the lower center of the screen, and the traveling route of the own vehicle is displayed above the current position. Therefore, for example, when the shooting point of the image is located on the left side of the vehicle, the image is displayed on the left side of the screen.
  • the shooting point of the image is located on the right side of the vehicle, the image is displayed on the right side of the screen. If the shooting point of the image is far from the vehicle, the image is displayed on the upper side of the screen. On the other hand, when the shooting point of the image is close to the vehicle, the image is displayed at the bottom of the screen.
  • the priority for each image is set based on both the importance of the event reflected in the image and the distance from the vehicle to the roadside machine 6 which is the shooting point. Specifically, the priority of the image increases as the importance increases, and decreases as the distance increases. The importance is related to the importance of the event that has occurred, and the priority is related to the high priority when displaying the image.
  • the navigation screen 101 displays an image 121 of the non-line-of-sight road on the left side at the nearest intersection and an image 122 of the non-line-of-sight road on the right side at the next intersection when going straight on the nearest intersection.
  • the importance of the events shown in the images 121 and 122 is equal, so that the priority of each image 121 and 122 is set from the own vehicle. It is set according to the distance to the roadside machine 6 which is the shooting point. Specifically, the image 121 of the nearest intersection near the own vehicle is prioritized over the image 122 of the next intersection located far away, and the image 121 is displayed larger than the image 122.
  • the process of setting the display priority for each image is performed by the in-vehicle terminal 2.
  • the roadside machine 6 it is also possible for the roadside machine 6 to perform the process of setting the priority.
  • the driver may be automatically guided to an appropriate route.
  • This automatic guidance can be realized, for example, by the driver inputting the destination and map information to the in-vehicle terminal 2 and the in-vehicle terminal 2 or the automatic driving ECU 3 automatically selecting a route avoiding the corresponding portion. ..
  • a mark image 113 showing the failure event occurrence point is blinking and displayed on the map 102.
  • the mark image 111 of the moving body related to the failure event may be displayed blinking.
  • a guide image 114 that associates the image 123 showing the failure event with the mark image 113 indicating the failure event occurrence point displayed on the map 102 is displayed.
  • the image display frame 141 on which the image 123 showing the failure event is displayed is highlighted. Specifically, the image display frame 141 is displayed with a thick line of a predetermined color (for example, red).
  • the image of the intersection is displayed. Further, the display form of the image changes according to the priority of the image. As a result, the driver can quickly determine the necessity of changing the route. Further, even when the automatic driving ECU 3 executes a route change and proceeds on a detour route, the driver can recognize the cause of the detour by watching an image showing a failure event.
  • the display form of the image is changed according to the necessity of display, that is, the priority of the image. Specifically, if there is no moving object in the image, there is no need to display it, so the image is not displayed.
  • the image of the next intersection with high priority has priority. It is overlaid on the image of the intersection in front of the low degree.
  • the image of the next intersection with high priority is the image of the front intersection with low priority. It is displayed on top of it.
  • the image of the intersection one ahead with a high priority is in front of the intersection with a low priority. It is overlaid on the image of the intersection of.
  • the image of the next intersection is displayed small in the image display frame where the image of the intersection in front is displayed. This reduces the amount of video the driver sees. For this reason, it is possible to quickly confirm the specific situation of the moving object or obstacle event to be noted in the image showing the moving object or obstacle event to be noted without being bothered by the image that requires less attention. ..
  • the image 121 of the left non-line-of-sight road at the nearest intersection and the image 124 of the right non-line-of-sight road at the nearest intersection are displayed on the navigation screen.
  • the image of the intersection where the moving object is detected is detected.
  • 122 is displayed in preference to the image 124 (see FIG. 5) of the non-line-of-sight road on the right side at the nearest intersection.
  • the image 124 (see FIG. 5) of the non-line-of-sight road on the right side at the nearest intersection where no moving object is detected is not displayed (blackout), and only the image display frame 141 is displayed.
  • the image 122 of the intersection where the moving object is detected is superimposed and displayed in the image display frame 141 for the image of the nearest intersection.
  • a high-priority image for example, an image showing a specific event or an image showing a moving object is displayed with priority, and an image in which a specific event does not occur or an image in which a moving object does not exist is displayed.
  • the display form of the image is changed, but there are cases where it cannot be dealt with only by changing the display form of the image. Therefore, characters that guide the position of the moving body (vehicle 1, person, etc.) related to the obstacle event may be displayed. For example, the characters "a person requiring attention is moving xm ahead of the own vehicle, and ym ahead is in a traffic jam" are displayed.
  • the images 121 and 122 of the non-line-of-sight road displayed on the navigation screen have a mark image 131 indicating a moving body (pedestrian, vehicle 1, etc.), specifically, a rectangular shape surrounding the moving body.
  • the frame image is superimposed and drawn. This allows the driver to immediately recognize the moving object.
  • the mark image 132 (arrow image) showing the moving direction of the moving body is superimposed and drawn on the image. As a result, the driver can immediately recognize the moving direction of the moving body and easily determine whether or not the moving body should be noted.
  • the same moving body is displayed in the same color in the moving body mark image 131 displayed on the image 121 and the moving body mark image 112 displayed on the map 102.
  • the driver can immediately recognize the correspondence between the moving body displayed on the image 121 and the moving body displayed on the map 102.
  • the image of the non-line-of-sight road at the intersection taken by the roadside machine 6 is superimposed and displayed on the map on the navigation display 4, but the screen configuration is not limited to this. ..
  • the image taken by the roadside machine 6 may be superimposed and displayed on the image taken in front of the own vehicle.
  • the vehicle 1 is equipped with a camera that captures the front of the own vehicle, and the image captured by the camera is displayed on the navigation display 4.
  • FIG. 7 is a block diagram showing a schematic configuration of the roadside machine 6.
  • the roadside unit 6 includes an ITS communication unit 21, an inter-road communication unit 22, a server communication unit 23, a memory 24, and a processor 25, in addition to the radar 12 and the camera 13.
  • the ITS communication unit 14 broadcasts a message to the vehicle-mounted terminal 2 by ITS communication (road-to-vehicle communication), and also receives a message transmitted from the vehicle-mounted terminal 2.
  • the roadside communication unit 22 communicates with the adjacent roadside unit 6 via a dedicated roadside network (wired or wireless) or a network such as cellular communication.
  • the server communication unit 23 communicates with the server 7 via the network.
  • the memory 24 stores a program or the like executed by the processor 25.
  • the processor 25 performs various processes related to information collection by executing the program stored in the memory 24.
  • the processor 25 performs a moving body detection process, a moving body display information generation process, a mark image composition process, a failure event detection process, and the like.
  • the processor 25 detects a moving body (vehicle 1, pedestrian) based on the detection result of the radar 12, and acquires the position information and the moving information of the moving body. Specifically, the processor 25 first determines the relative position information of the moving body with respect to the road terminal based on the detection result of the radar 12, that is, the direction in which the moving body exists as seen from the road terminal. Calculate the distance from the road terminal to the moving body. Next, the processor 25 determines the absolute position information (latitude) of the moving body based on the relative position information (direction, distance) of the moving body and the position information (latitude, longitude) of the installation position of the road terminal. , Longitude). Further, the processor 25 acquires the movement information of the moving body, that is, the moving speed and the moving direction of the moving body, based on the change status of the position information of the moving body.
  • a moving body vehicle 1, pedestrian
  • the processor 25 displays the display information for each moving body detected on the image, that is, the display position (coordinates, size) and the display position (coordinates, size) of the mark image (frame image) indicating the moving body on the image. Generate information about display colors. Specifically, the processor 25 acquires the position of the moving body on the image based on the position information and the moving information of the moving body acquired in the moving body detection process. It should be noted that the moving body may be detected from the moving body by image recognition for the moving body to acquire the position of the moving body. Further, the processor 25 allocates a display color for each moving body detected on the video. At this time, when a plurality of moving objects are detected, the display color for each moving object is set so that the display colors of the mark images do not overlap.
  • the processor 25 In the mark image compositing process, the processor 25 generates a composite image in which a mark image pointing to a moving object is superimposed and drawn on the image taken by the camera 13. At this time, a mark image is drawn in the display color for each moving body acquired in the moving body display information generation process. The video generated by this mark image composition process is uploaded to the server 7.
  • the processor 25 detects that a failure event (event that hinders passage) in which it is desirable to change the route of the vehicle 1 has occurred on the road around the intersection. At this time, it is determined whether or not a failure event has occurred based on the position, moving direction, and moving speed of each moving body acquired in the moving body detection process.
  • a failure event event that hinders passage
  • FIG. 8 is a block diagram showing a schematic configuration of the vehicle 1.
  • the vehicle 1 includes a sensor 31, a steering ECU 32, a driving ECU 33, and a braking ECU 34, in addition to the in-vehicle terminal 2, the automatic driving ECU 3, and the navigation display 4.
  • the in-vehicle terminal 2 includes an ITS communication unit 41, a wireless communication unit 42, a positioning unit 43, a memory 44, and a processor 45.
  • the ITS communication unit 41 broadcasts a message to another vehicle-mounted terminal 2 by ITS communication (vehicle-to-vehicle communication), and also receives a message transmitted from the other vehicle-mounted terminal 2. Further, the ITS communication unit 41 transmits a message to the roadside unit 6 by ITS communication (road-to-vehicle communication), and also receives a message transmitted from the roadside unit 6.
  • the wireless communication unit 42 communicates with the server 7 by using wireless communication such as cellular communication or wireless LAN communication.
  • the positioning unit 43 measures the position of its own device by a satellite positioning system such as GNSS (Global Navigation Satellite System), that is, GPS (Global Positioning System) or QZSS (Quasi-Zenith Satellite System), and position information of its own device. Get (latitude, longitude).
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • QZSS Quadasi-Zenith Satellite System
  • the memory 44 stores map information, a program executed by the processor 45, and the like.
  • the processor 45 performs various processes related to information collection by executing the program stored in the memory 44.
  • the processor 45 performs collision determination processing, video reception control processing, video display control processing, screen display control processing, and the like.
  • the processor is based on the position information of the other vehicle or pedestrian included in the message received from the in-vehicle terminal 2 or the pedestrian terminal 5 of the other vehicle, the position information of the own vehicle acquired by the positioning unit 43, and the like. Then, the possibility of collision between another vehicle or pedestrian and the own vehicle is determined. When it is determined by this collision determination process that there is a risk of collision, control is performed to execute a predetermined alert activation operation for the user.
  • the processor 45 accesses the server 7 based on the video link information included in the message received from the roadside machine 6, transmits the video distribution request to the video distribution server, and the server 7 sends the request for video distribution to the video distribution server.
  • the wireless communication unit is controlled so as to receive the delivered video.
  • the processor 45 controls to display the video received from the video distribution server on the navigation screen of the navigation display 4. Specifically, the images taken by each roadside machine 6 installed at the nearest intersection and the intersection beyond it are navigated in a size according to the distance from the current position of the own vehicle to the roadside machine 6 (shooting point). It is displayed on the screen. In addition, the image in which the obstacle event is captured is highlighted.
  • the processor 45 controls the navigation screen of the navigation display 4. Specifically, a mark image representing a moving object is displayed on the map of the navigation screen. In particular, the mark image of the moving body related to the obstacle event is highlighted. Specifically, for example, a mark image of a moving body related to a failure event is displayed blinking.
  • the automatic driving ECU 3 is connected to the steering ECU 32, the driving ECU 33, and the braking ECU 34, and controls the steering ECU 32, the driving ECU 33, and the braking ECU 34 based on the detection result of the sensor 31 to automatically drive the vehicle 1 (autonomous driving). To realize.
  • the senor 31 is a radar, a rider, a camera, or the like, and detects a moving body existing on the road around the own vehicle.
  • the steering ECU 32 controls the steering mechanism of the own vehicle
  • the drive ECU 33 controls the drive mechanism (engine, electric motor, etc.) of the own vehicle
  • the braking ECU 34 controls the braking mechanism of the own vehicle. Is to control.
  • FIG. 9 is a sequence diagram showing an outline of operations of the in-vehicle terminal 2, the roadside device 6, and the server 7.
  • the image of the non-line-of-sight road taken by the two roadside machines 6 installed at the two intersections arranged in the traveling direction of the vehicle 1 is displayed on the navigation display 4 of the vehicle 1.
  • the roadside machine 6 installed at the nearest intersection as viewed from the vehicle 1 is referred to as the first roadside machine 6, and the roadside machine 6 installed at the next intersection after the nearest intersection is referred to as the second roadside machine. It is called 6.
  • the in-vehicle terminal 2 receives the video link information of the first roadside machine 6 from the first roadside machine 6, and based on the video link information, the vehicle-mounted terminal 2 transmits the video shot by the first roadside machine 6 from the server 7. Upon receiving the information, the image captured by the first roadside machine 6 is displayed on the navigation display 4. Further, the in-vehicle terminal 2 receives the video link information of the second roadside machine 6 via the first roadside machine 6, and is photographed by the second roadside machine 6 based on the video link information. The video is received from the server 7, and the video captured by the second roadside machine 6 is displayed on the navigation display 4.
  • a message in the normal time is transmitted from the roadside unit 6 to the in-vehicle terminal 2.
  • the message in the normal time includes the video link information of the own device (first roadside machine 6), specifically, the link information of the video distribution server that distributes the video of the roadside machine 6 as the notification information in the normal time. , Position information and display information of the moving body detected by the roadside machine 6.
  • the display information of the moving body includes information on the display position (coordinates, size) and display color of the mark image (frame image) pointing to the moving body on the image.
  • the mark image of the moving body to be displayed in the navigation image can be displayed in the same color as the mark image of the moving body drawn on the image.
  • a failure event notification message is transmitted from the roadside machine 6. Similar to the normal message, this message includes video link information and moving body position information and display information as normal notification information. Further, the message of the failure event occurrence notification includes the video link information of the roadside machine 6, the position information of the failure event occurrence point as the notification information about the failure event, and the position information of the roadside machine 6 that detected the failure event. Is done.
  • the message of the failure event notification transmitted from the roadside machine 6 installed at the intersection next to the nearest intersection is relayed by the roadside machine 6 installed at the nearest intersection and then received by the in-vehicle terminal 2.
  • the roadside machine 6 installed at the nearest intersection receives the failure event notification message transmitted from the roadside machine 6 installed at the next intersection, the roadside machine 6 generates a failure event transfer message and the in-vehicle terminal 2 Send to.
  • This failure event transfer message is the notification information included in the failure event notification message plus the normal notification information of the own device. Specifically, in the message of the failure event transfer, the video link information of the first roadside machine 6 and the position information and display of the moving body are displayed as normal notification information about the first roadside machine 6 (own device). Information and is included. In addition, the message includes video link information of the second roadside machine 6 and position information and display information of the moving body as normal notification information regarding the second roadside machine 6. Further, in the message, as notification information regarding the failure event, the video link information of the second roadside machine 6, the position information of the failure event occurrence point, the position information of the second roadside machine 6 that detected the failure event, and the position information of the second roadside machine 6 are included. Is included.
  • FIG. 10 is a flow chart showing an operation procedure of the roadside machine 6.
  • the processor 25 detects a moving body (vehicle 1, pedestrian) existing on the road around the intersection based on the detection result of the radar 12, and moves on the road around the intersection (vehicle 1). It is determined whether or not a vehicle (vehicle 1, pedestrian) is present (moving object detection process) (ST101).
  • the processor 25 instructs the camera 13 to take a picture of the road where the moving body exists (ST103).
  • the camera 13 takes a picture of the road on which the moving body exists in response to the instruction of the processor 25.
  • the processor 25 acquires the position of the moving body on the image taken by the camera 13 based on the position information (latitude, longitude) and the moving information (moving direction, moving speed) of the moving body, and obtains the image.
  • the processor 25 generates a composite image in which a mark image pointing to a moving object is superimposed and drawn on the image captured by the camera 13 based on the display information (mark image composition process) (ST105).
  • the server communication unit 23 transmits the processed video, that is, the composite video in which the mark image of the moving body is superimposed and drawn, to the server 7 (video upload) (ST106).
  • the image of the moving body and the display information for superimposing and drawing the mark image of the moving body on the image are transmitted to the server 7, and the server 7 superimposes the mark image of the moving body on the image.
  • the process of drawing may be performed.
  • the processor 25 determines whether or not a predetermined failure event has occurred around the intersection based on the position information and the movement information of the moving body acquired in the moving body detection process (fault event detection process) ( ST107).
  • the processor 25 when a failure event occurs (Yes in ST107), the processor 25 generates a failure event notification message. Then, the ITS communication unit 21 transmits a failure event occurrence notification message to the in-vehicle terminal 2, and the road-to-road communication unit 22 transmits a failure event occurrence notification message to the adjacent roadside machine 6 ( ST108).
  • the road-to-road communication unit 22 determines whether or not the failure event notification message has been received from the surrounding roadside unit 6 (No). ST109).
  • the processor 25 when the failure event notification message is received (Yes in ST109), the processor 25 generates the failure event notification transfer message. Then, the ITS communication unit 21 transmits a message of failure event transfer to the in-vehicle terminal 2 (ST110).
  • the processor On the other hand, if the failure event notification message has not been received (No in ST109), the processor generates a normal message. Then, the ITS communication unit 21 transmits a normal message to the in-vehicle terminal 2 (ST111).
  • FIG. 11 is a flow chart showing an operation procedure of the in-vehicle terminal 2 and the automatic driving ECU 3.
  • the processor acquires the video link information included in the received message, the position information of the failure event occurrence point, and the like. (ST202). Next, the processor sends a video distribution request to the video distribution server based on the video link information, and controls the wireless communication unit so as to receive the video distributed from the video distribution server (video reception control process). ) (ST203).
  • the processor 45 controls to display the video received from the video distribution server on the navigation screen of the navigation display 4 (video display control process) (ST204). Specifically, the images taken by each roadside machine 6 installed at the nearest intersection and the intersection beyond it are navigated in a size according to the distance from the current position of the own vehicle to the roadside machine 6 (shooting point). It is displayed on the screen. In addition, when a failure event has occurred, the image in which the failure event is captured is highlighted. At this time, the mark image of the moving body reflected in the image is also highlighted. As a result, the driver can quickly determine the necessity of changing the route.
  • the automatic driving ECU 3 acquires the position information of the failure event occurrence point included in the message received from the roadside machine 6 from the in-vehicle terminal 2 (ST301). Next, the automatic driving ECU 3 generates a detour route that bypasses the failure event occurrence point and heads for the destination based on the position information of the failure event occurrence point, the location information of the destination, and the like (travel route planning process). (ST302). Then, the automatic driving ECU 3 displays the generated detour route on the navigation screen of the navigation display 4 (ST303).
  • the automatic driving ECU 3 controls the traveling of the own vehicle so that the own vehicle bypasses the failure event occurrence point according to the detour route (travel control processing) (ST304). At this time, the automatic driving ECU 3 performs an operation (alert output) to inquire the driver about the necessity of the route change, and in response to this, the driver approves the route change or switches the operation from the automatic driving ECU 3. Do the operation to do.
  • FIG. 12 is an explanatory diagram showing an outline of operations of the vehicle 1 and the roadside machine 6 according to the first modification of the first embodiment.
  • the image taken by the roadside machine 6 located in front of the vehicle 1 in the traveling direction is delivered to the in-vehicle terminal 2, but in this modification, it is rearward in the traveling direction of the vehicle 1.
  • the image taken by the located roadside machine 6 is delivered to the in-vehicle terminal 2 of the vehicle 1.
  • the roadside machine 6 detects an emergency vehicle existing in the vicinity of the own device as an obstacle event (an event that obstructs the passage of the vehicle 1). Specifically, it is determined whether or not the vehicle from which the message is transmitted is an emergency vehicle based on the vehicle information included in the message received from the vehicle-mounted terminal 2 of the emergency vehicle by road-to-vehicle communication.
  • the roadside unit 6 When the roadside unit 6 detects an emergency vehicle existing in the vicinity of its own device, it transmits a failure event notification message to the in-vehicle terminal 2 of the vehicle 1 directly or via another roadside unit 6.
  • the message of this failure event notification includes video link information, location information of an emergency vehicle, and the like.
  • the vehicle-mounted terminal 2 of the vehicle 1 receives the message of the failure event notification from the roadside machine 6, whether or not the emergency vehicle is approaching from behind the own vehicle based on the position information of the emergency vehicle included in the message.
  • the image of the emergency vehicle is received from the server 7 based on the image link information included in the received message, and the image is navigated. Display on the screen.
  • FIG. 13 is an explanatory diagram showing a navigation screen.
  • the navigation screen 101 of the navigation display 4 displays the image 121 taken by the roadside machine 6 in front of the own vehicle as in the first embodiment (see FIG. 3), and further, the own vehicle.
  • the image 125 taken by the roadside machine 6 behind the own vehicle is displayed.
  • An emergency vehicle is shown in the image 125 taken by the roadside aircraft 6 behind this.
  • the image 125 taken by the roadside machine 6 behind this is displayed with priority over the other images 121, and specifically, is displayed larger than the other images 121. Further, the image 125 taken by the roadside machine 6 behind is highlighted. Specifically, the image display frame 141 is displayed with a thick line of a predetermined color (for example, red). As a result, the driver can immediately recognize that the emergency vehicle is approaching from behind the own vehicle and quickly perform a driving operation of giving way to the emergency vehicle, such as stopping or changing the course. it can.
  • a predetermined color for example, red
  • the mark image 115 representing the emergency vehicle is superimposed and displayed on the position of the emergency vehicle on the map.
  • the mark image 115 representing this emergency vehicle is highlighted, specifically blinking.
  • characters for urging the driver to perform a driving operation to give way to the emergency vehicle for example, characters 142 saying "Stop at the roadside" are displayed.
  • the emergency vehicle is detected and the image 125 showing the emergency vehicle is displayed on the vehicle 1 located in front of the emergency vehicle in the traveling direction, but the vehicle requiring attention (dangerous vehicle).
  • the vehicle requiring attention for example, a vehicle whose traveling speed exceeds a predetermined value, a vehicle meandering, or the like may be detected and an image of the vehicle requiring attention may be displayed.
  • the image 125 showing the emergency vehicle the image taken by the roadside machine 6 behind is displayed on the navigation screen 101, but a camera for taking a picture of the rear of the vehicle body is mounted on the vehicle 1 and the camera is used.
  • the captured image may be displayed.
  • FIG. 14 is an explanatory diagram showing an example of a navigation screen by the navigation display 4 mounted on the vehicle 1 according to the second modification of the first embodiment and the front AR screen 201 by the front AR display 35.
  • FIG. 15 is an explanatory diagram showing a case where a failure event occurs in an example of the navigation screen and the front AR screen.
  • FIG. 16 is a block diagram showing a schematic configuration of the vehicle 1.
  • the vehicle 1 is provided with the navigation display 4, and the image taken by the roadside machine 6 is displayed on the navigation screen 101 of the navigation display 4.
  • a front AR display 35 (display device) is provided in addition to the navigation display 4, and the front AR display 35 provides a vehicle as shown in FIG.
  • the front AR screen 201 is superimposed and displayed on the windshield of No. 1, and the images 121 and 122 taken by the roadside machine 6 are displayed on the front AR screen 201.
  • the front AR display 35 is, for example, a head-up display, and is composed of a display device such as a projector or a liquid crystal display panel, and a transparent panel that reflects a display image (projected image) of the display device in a semitransparent state.
  • a display device such as a projector or a liquid crystal display panel
  • a transparent panel that reflects a display image (projected image) of the display device in a semitransparent state.
  • the front AR display 35 is provided as an AR display device so that the AR screen is superimposed and displayed on the windshield of the vehicle 1, but the AR screen is superimposed and displayed on the side glass of the vehicle 1. It may be. Further, although an example of a head-up display is shown as an AR display device, other AR display devices such as a head-mounted display are also possible.
  • the images 121 and 122 taken by the roadside machine 6 are superimposed and displayed as virtual objects on the real space outside the vehicle that can be seen through the window glass.
  • a plurality of images 121 and 122 taken by the roadside machine 6 are displayed in the same display mode as that of the first embodiment (see FIG. 3).
  • the plurality of images 121 and 122 are displayed at the shooting points, that is, at positions on the screen corresponding to the positions of the roadside machines 6 where the images 121 and 122 are shot.
  • the shooting point of the image is located on the left side of the vehicle
  • the image is displayed on the left side of the screen.
  • the shooting point of the image is located on the right side of the vehicle.
  • the image is displayed on the right side of the screen. If the shooting point of the image is far from the vehicle, the image is displayed on the back side (upper side) of the screen.
  • the shooting point of the image is close to the vehicle, the image is displayed on the front side (lower side) of the screen.
  • the mark image 131 (detection frame) indicating the moving body in the image and the mark image 132 (arrow) indicating the moving direction of the moving body are displayed on the images 121 and 122. It is superimposed and displayed on.
  • the mark image 111 representing the current position and the traveling direction of the own vehicle and the mark image 112 representing the moving body are superimposed and displayed on the map 102 as in the first embodiment.
  • the mark image 131 of the moving body displayed on the image 121 of the front AR screen 201 and the mark image 112 of the moving body displayed on the map 102 of the navigation screen 101 are the same moving body. Is displayed in the same color.
  • the driver can immediately recognize the correspondence between the mark image 112 of the moving body displayed on the navigation screen 101 and the moving body displayed on the images 121 and 122 of the front AR screen 201.
  • the image 123 showing the failure event is highlighted on the front AR screen 201.
  • a guide image 211 that associates the image 123 showing the failure event with the mark image 113 of the failure event occurrence point displayed on the navigation screen 101 is displayed.
  • the driver can immediately recognize the correspondence between the image 123 displayed on the front AR screen 201 and the mark image 113 of the failure event occurrence point displayed on the navigation screen 101. That is, the driver can confirm the specific situation of the failure event occurrence point displayed on the map 102 on the image 123, and conversely, the position of the failure event occurrence point displayed on the image 123 can be confirmed on the map 102. You can check with.
  • the screen control may be performed so as to obtain the above.
  • a mark image 212 showing the traveling direction (straight, right turn, left turn) of the own vehicle at the nearest intersection is displayed on the front AR screen.
  • a mark image (x mark) is displayed when it is not appropriate to proceed due to the occurrence of a failure event.
  • a mark image (x mark) indicating that the straight line is not appropriate is displayed on the straight line mark image 212. ..
  • FIG. 17 is an explanatory diagram showing an outline of operations of the vehicle 1 and the roadside machine 6 according to the second embodiment.
  • the display form of the image is changed, specifically, the control of highlighting the image showing the failure event is performed.
  • the control of highlighting the image showing the failure event is performed.
  • a moving body existing around the own vehicle is detected and the risk changes to a high state depending on the behavior of the own vehicle, particularly the traveling direction (straight, right turn, left turn). If there is a tendency, an image showing the moving object is displayed on the navigation screen.
  • the vehicle 1 when the vehicle 1 makes a left turn at an intersection, in order to prevent an accident involving a two-wheeled vehicle such as a bicycle trying to pass by the side of the vehicle 1, when the traveling direction of the own vehicle is a left turn, the vehicle 1 makes a left turn.
  • a moving object such as a two-wheeled vehicle
  • an image showing the moving object is displayed on the navigation screen.
  • FIG. 18 is an explanatory diagram showing a navigation screen.
  • the traveling direction of the own vehicle is a left turn and a moving object (such as a two-wheeled vehicle) approaching from the rear is detected on the left side of the vehicle body of the own vehicle
  • the image 126 showing the moving object is navigated. It is displayed on the navigation screen 101 by the display 4.
  • the image 126 showing the moving object is highlighted on the navigation screen 101.
  • the image display frame 141 is displayed with a thick line of a predetermined color (for example, red).
  • a mark image 116 showing the moving body on the left side of the vehicle body is displayed at the position of the moving body on the map 102.
  • the mark image 116 of the moving body is highlighted, specifically, blinks.
  • the driver can be alerted to the moving body existing on the left side of the vehicle body of the own vehicle. Therefore, it is possible to prevent an accident involving a two-wheeled vehicle (bicycle or the like) when turning left.
  • both the images 121 and 122 of the front intersection taken by the roadside machine 6 and the images 126 of the left side of the vehicle body taken by the camera of the own vehicle are displayed on the navigation screen 101.
  • the image of the intersection in front and the image on the left side of the vehicle body may be switched. Specifically, when the traveling direction of the own vehicle is straight or right turn, the image of the intersection in front is displayed, and when the traveling direction of the own vehicle is left turn, the image of the left side of the vehicle body is displayed. To do so.
  • FIG. 19 is a block diagram showing a schematic configuration of the vehicle 1.
  • the vehicle 1 is provided with an in-vehicle terminal 2, an automatic driving ECU 3, a navigation display 4, and the like as in the first embodiment (see FIG. 8), but is also provided with a camera 36.
  • the camera 36 captures the surroundings of the own vehicle (at least on the left side of the vehicle body).
  • the in-vehicle terminal 2 includes an ITS communication unit 41, a wireless communication unit 42, a positioning unit 43, a memory 44, and a processor 45, as in the first embodiment (see FIG. 8). Further, the processor 45 performs collision determination processing, video reception control processing, video display control processing, screen display control processing, and the like, as in the first embodiment, but also performs mobile object detection processing.
  • the processor 45 detects a moving body (bicycle, etc.) existing on the left side of the vehicle body of the own vehicle based on the detection result of the sensor (radar, rider, etc.), and moves to the left side of the vehicle body of the own vehicle. Determine if a moving object exists. It should be noted that the moving body existing on the left side of the vehicle body of the own vehicle may be detected based on the image taken by the camera.
  • the processor 45 controls to display the image on the left side of the vehicle body taken by the camera of the own vehicle on the navigation screen when the traveling direction of the own vehicle is a left turn. At this time, the image of the moving body (bicycle, etc.) on the left side of the vehicle body is highlighted. Specifically, the image display frame is drawn with a thick line of a predetermined color (for example, red).
  • a predetermined color for example, red
  • the processor 45 controls to display a mark image (detection frame) indicating a moving body on the left side of the vehicle body on the map of the navigation screen. At this time, the mark image of the moving body is highlighted. Specifically, the mark image of the moving body is displayed blinking.
  • the in-vehicle terminal 2 performs a process of detecting a moving body existing on the left side of the vehicle body of the vehicle 1 (moving body detection process), but the roadside machine 6 performs the moving body detection process. You may do so.
  • FIG. 20 is a flow chart showing the operation procedure of the in-vehicle terminal 2 and the automatic operation ECU 3. In this embodiment as well, the same processing as in the first embodiment (see FIG. 11) is performed.
  • the automatic driving ECU 3 detects a moving body (bicycle, etc.) existing on the left side of the vehicle body of the own vehicle based on the detection result of the sensor (radar, rider, etc.), and the moving body exists on the left side of the vehicle body of the own vehicle. Whether or not it is determined (moving object detection process) (ST311).
  • the automatic driving ECU 3 transmits a moving body detection notification indicating that the moving body exists on the left side of the vehicle body to the in-vehicle terminal 2. (ST312).
  • the processor 45 acquires information on the traveling direction of the own vehicle from the automatic driving ECU 3 and turns left in the traveling direction of the own vehicle. It is determined whether or not it is (ST212).
  • the processor 45 instructs the camera 36 to take a picture of the left side of the vehicle body in which the moving body is present (ST213).
  • the camera 36 takes a picture of the left side of the vehicle body where the moving body is present in response to the instruction of the in-vehicle terminal 2.
  • the processor 45 controls to display the image on the left side of the vehicle body taken by the camera 36 of the own vehicle on the navigation screen (image display control process) (ST214). At this time, the image of the moving body (bicycle, etc.) on the left side of the vehicle body is highlighted.
  • the image displayed on the navigation screen is controlled according to the behavior of the own vehicle (whether or not the vehicle turns left), but in addition to the behavior of the own vehicle, it exists in the vicinity of the own vehicle.
  • the image displayed on the navigation screen may be controlled according to the behavior of the other vehicle. Specifically, depending on the positional relationship between the own vehicle and another vehicle, one of the image of the intersection in front taken by the roadside machine 6 and the image of the surroundings of the vehicle body taken by the camera of the own vehicle. Only may be displayed, or both the image of the intersection in front and the image of the surroundings of the vehicle body may be displayed.
  • a two-wheeled vehicle is traveling on the left side of the vehicle body of the own vehicle
  • another vehicle is traveling unnaturally such as meandering, or the other vehicle is traveling at a speed exceeding a predetermined value. If this is the case, the image around the vehicle body may be displayed preferentially.
  • FIG. 21 is an explanatory diagram showing an outline of operation of the vehicle 1 according to the third embodiment.
  • the collision between the other vehicle or the pedestrian and the own vehicle is caused based on the position information of the other vehicle acquired from the in-vehicle terminal 2 of the other vehicle by the vehicle-to-vehicle communication.
  • a collision determination is made to determine the possibility.
  • FIG. 22 is an explanatory diagram showing the navigation screen 101.
  • an image 127 showing the other vehicle is displayed on the navigation screen 101.
  • the image 127 showing another vehicle approaching from behind the own vehicle is highlighted.
  • the image display frame 141 is displayed with a thick line of a predetermined color (for example, red).
  • the mark image 117 showing the accident prediction point is displayed at the position of the accident prediction point on the map 102.
  • the mark image 117 of the accident prediction point is highlighted, and specifically, blinks. This makes it possible to alert the driver to other vehicles that may collide.
  • FIG. 23 is a block diagram showing a schematic configuration of the vehicle 1.
  • the vehicle 1 is provided with an in-vehicle terminal 2, an automatic driving ECU 3, a navigation display 4, and the like as in the first embodiment (see FIG. 8), but is also provided with a camera 37.
  • the camera 37 photographs the surroundings of the own vehicle (at least behind the vehicle body).
  • the in-vehicle terminal 2 includes an ITS communication unit 41, a wireless communication unit 42, a positioning unit 43, a memory 44, and a processor 45, as in the first embodiment (see FIG. 8). Further, the processor 45 performs collision determination processing, video reception control processing, video display control processing, screen display control processing, and the like, as in the first embodiment.
  • the processor 45 when the processor 45 is determined by the collision determination process that there is a possibility of a collision with another vehicle approaching from behind the own vehicle, the camera 37 is activated and the own vehicle is attached to the camera 37. The rear of the vehicle body is photographed, an image of another vehicle approaching from the rear is acquired, and the image is displayed on the navigation screen.
  • FIG. 24 is a flow chart showing an operation procedure of the in-vehicle terminal 2. In this embodiment as well, the same processing as in the first embodiment (see FIG. 11) is performed.
  • the in-vehicle terminal 2 determines whether or not there is a possibility of a collision with another vehicle approaching from behind the own vehicle based on the determination result in the collision determination process (ST221).
  • the processor instructs the camera to take a picture of the rear of the vehicle body where the moving body is present (ST222).
  • the camera captures the rear of the vehicle body where the moving body is present, in response to instructions from the processor.
  • the processor controls to display the image of the rear part of the vehicle body taken by the camera of the own vehicle on the navigation screen (image display control process) (ST223). At this time, the image of the moving body (truck, etc.) behind the vehicle body is highlighted.
  • the image of the rear part of the vehicle body showing the other vehicle is displayed.
  • a sensor radar, etc.
  • the image of the rear part of the vehicle body in which the other vehicle is reflected may be displayed.
  • FIG. 25 is an explanatory diagram showing a navigation screen by the navigation display 4 mounted on the vehicle 1 according to the fourth embodiment and a front AR screen 201 by the front AR display 35.
  • the images 121 and 122 taken by the roadside machine 6 are displayed on the front AR screen 201 by 35 on the front AR display. ..
  • the state outside the vehicle that is, the occurrence of a failure event, the moving body (bicycle, etc.) existing around the own vehicle, and the moving body (truck) that may collide with the own vehicle. , Etc.) as a trigger event
  • the image display control for highlighting a predetermined image is performed by using the driver's state (internal factor) as a trigger event.
  • the driver's field of vision is The image 121 displayed at the edge is highlighted.
  • the image 122 of the outer road is displayed.
  • the driver since the driver is looking at the screen of the smartphone at hand, if it is determined that the driver is looking aside, of the images 121 and 122 displayed on the front AR screen 201, the latest one is An image 121 of a non-line-of-sight road to the left of the intersection is displayed at the edge of the driver's field of vision. Therefore, the image 121 is highlighted. Specifically, the image display frame 141 on which the image 121 of the nearest intersection is displayed is drawn with a thick line of a predetermined color (for example, red). As a result, the driver is guided to see the highlighted image 121 on the front AR screen 201, and the driver can be alerted to the moving body existing on the non-line-of-sight road at the nearest intersection.
  • a predetermined color for example, red
  • FIG. 26 is a block diagram showing a schematic configuration of the vehicle 1.
  • the vehicle 1 includes an in-vehicle terminal 2, an automatic driving ECU 3, a navigation display 4, a front AR display 35, and the like, as in the second modification of the first embodiment (see FIG. 8). It is equipped with an in-vehicle camera 38.
  • the in-vehicle camera 38 captures the inside of the vehicle (at least the range including the driver's face).
  • the in-vehicle terminal 2 includes an ITS communication unit 41, a wireless communication unit 42, a positioning unit 43, a memory 44, and a processor 45, as in the first embodiment (see FIG. 8). Further, the processor 45 performs collision determination processing, video reception control processing, video display control processing, screen display control processing, and the like, as in the first embodiment, but also performs sideways determination processing.
  • the processor 45 detects the driver's line-of-sight direction based on the driver's image taken by the in-vehicle camera 38, and whether the driver is looking aside based on the driver's line-of-sight direction. Judge whether or not.
  • aside is a case where the driver is not looking in front of the vehicle through the front glass. For example, the driver is looking at the screen of the smartphone at hand and the driver's line of sight is diagonally forward and downward. There is a case.
  • the processor 45 is displayed at the edge of the driver's field of view based on the driver's line-of-sight direction acquired in the sideways determination process and the display position of the image displayed on the front AR screen. Select the video you are in and highlight that video.
  • FIG. 27 is a flow chart showing an operation procedure of the in-vehicle terminal 2. In this embodiment as well, the same processing as in the first embodiment (see FIG. 11) is performed.
  • the processor detects the driver's line-of-sight direction based on the driver's image taken by the in-vehicle camera (ST231). Then, it is determined whether or not the driver is looking aside based on the direction of the driver's line of sight (ST232).
  • the processor highlights the image of the non-line-of-sight road at the nearest intersection among the images displayed on the front AR screen (ST233). At this time, the mark image of the moving body reflected in the image is also highlighted.
  • the roadside unit 6 transmits the video of the moving body to the server 7 ( (Upload), and the in-vehicle terminal 2 receives (uploads) the video of the moving object from the server 7.
  • this video is uploaded and downloaded.
  • obstacle events traffic accidents, traffic jams, road construction, crowds, emergency vehicles, etc.
  • the video may be uploaded and downloaded at all times.
  • the video may be displayed as a video or still image, the resolution may be changed, or the display range of the video may be changed.
  • the frame rate when displaying the video as a video and the update rate when displaying the video as a still image are changed according to the speed of the vehicle. May be good. Specifically, when the traveling speed of the vehicle is relatively high as in normal driving, the frame rate of the video and the update rate of the still image are set high, and the traveling speed of the vehicle is increased as in the case of traffic jam. If it is slow, set the frame rate of the video and the update rate of the still image low.
  • the frame rate of the moving image and the updating rate of the still image may be changed depending on the location, surrounding conditions, and the like.
  • the frame rate of moving images and the updating rate of still images may be set high.
  • the frame rate of the moving image or the updating rate of the still image may be set high.
  • the resolution of the video at the intersection displayed on the screen may be changed according to the distance from the vehicle. Specifically, the image of the intersection near the vehicle is displayed in high resolution, and the image of the intersection far from the vehicle is displayed in low resolution.
  • the video resolution may be changed according to the location, surrounding conditions, etc., as well as the frame rate of the moving image and the updating rate of the still image.
  • the in-vehicle terminal 2 and the roadside device 6 may be linked with the cloud.
  • the video information collected by the in-vehicle terminal 2 and the roadside device 6 is transmitted to the device on the cloud side, and the device on the cloud side analyzes, for example, the place and the date and time when a traffic accident or a driving accident is likely to occur. Then, the vehicle traveling in the vicinity of the place obtained as a result of the analysis may be notified. This makes it possible to reduce traffic accidents and road rage.
  • a dangerous vehicle is detected, for example, by automatically notifying the police immediately, it is possible to prevent damage caused by driving in a hurry.
  • the driver immediately determines an image showing a noteworthy event occurring on the road, and the driver determines the specific situation of the noteworthy event. It has the effect of being able to be confirmed quickly, and is useful as a driving support method for assisting a driver's driving operation in a vehicle, a roadside device installed on a road, an in-vehicle device mounted on a vehicle, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

道路上で発生した注意すべき事象が映る映像を運転者が即座に判別して、注意すべき事象の具体的な状況を運転者が迅速に確認できるようにすることを課題とする。当該課題を解決するため、道路に設置された路側機(6)が、カメラ(13)により自装置の周辺の道路を撮影し、車両(1)に搭載された車載端末(2)が、路側機(6)が撮影した映像をサーバ(7)を介して取得し、車両(1)に搭載されたナビゲーションディスプレイ(4)が、路側機(6)が撮影した映像を表示し、路側機(6)が、自装置の周辺の道路上で発生した特定事象を検知すると、ナビゲーションディスプレイ(4)が、特定事象が映る映像を強調表示する。

Description

運転支援方法、路側装置および車載装置
 本開示は、車両における運転者の運転操作を支援する運転支援方法、道路に設置された路側装置、および車両に搭載された車載装置に関するものである。
 近年、自動運転車の走行を支援する自動走行システムの実用化および普及に向けた技術開発が進められている。この自動運転車では、予め設定された走行経路に沿って走行させる制御が行われるが、車両の進行方向の先で、交通事故などの障害事象(通行の障害となる事象)が発生すると、障害事象の発生地点を迂回した経路に走行経路を変更することが望ましい。
 しかしながら、障害事象の状況によっては経路変更を行う必要がない場合があり、自動運転ECUにとっては経路変更の要否の判断が難しい場合がある。例えば、交通事故が比較的軽微なものであれば、交通事故の発生地点の脇を通り抜けることができ、この場合、経路変更の必要はない。そこで、経路変更の要否を運転者に判断させることが望ましい。特に、車両に搭載された表示装置に、車両の進行方向の先にある地点の映像を表示すると、その地点の具体的な状況を運転者が即座に確認して、経路変更の要否の判断を迅速に行うことができる。
 このような車両に搭載された表示装置に、車両の進行方向の先にある地点の映像を表示する技術として、従来、車両に搭載された表示装置が、車両の走行経路の周辺に存在する撮影地点の映像を、配信サーバから取得して表示する技術が知られている(特許文献1参照)。
特許第4004798号公報
 さて、ITS(Intelligent Transport System:高度道路交通システム)を利用した安全運転支援無線システムでは、道路に設置された路側機と車両との間の通信(路車間通信)を利用して、道路状況などの様々な情報を車両に提供するようにしている。そこで、路側機にカメラを搭載して、道路が撮影された映像を路側機から車両に提供することが考えられる。
 しかしながら、従来の技術のように、予め設定された撮影地点の映像、すなわち、各交差点に設置された路側機で撮影された映像を車両に配信すると、車両の表示装置に多数の映像が表示されて、交通事故などの障害事象が映る映像を運転者が即座に判別できなくなる。このため、注意すべき障害事象の具体的な状況を運転者が迅速に確認することができず、障害事象に対する対応、例えば経路変更の要否の判断が遅れるという問題があった。
 そこで、本開示は、道路上で発生した注意すべき事象が映る映像を運転者が即座に判別して、注意すべき事象の具体的な状況を運転者が迅速に確認することができる運転支援方法、路側装置および車載装置を提供することを主な目的とする。
 本開示の運転支援方法は、道路に設置された路側装置が、カメラにより自装置の周辺の道路を撮影し、車両に搭載された車載装置が、前記路側装置が撮影した映像を取得し、前記車両に搭載された表示装置が、前記映像を表示し、前記路側装置が、自装置の周辺の道路上で発生した特定事象を検知すると、前記表示装置が、前記特定事象が映る前記映像を強調表示する構成とする。
 また、本開示の路側装置は、自装置の周辺の道路上に存在する移動体を検出するレーダと、自装置の周辺の道路を撮影するカメラと、前記レーダの検出結果に基づいて、自装置の周辺の道路上で発生した特定事象を検知するプロセッサと、前記カメラで撮影された映像を、直接または配信装置を経由して、車両に搭載された車載装置に送信すると共に、前記特定事象を検知した旨の情報を、直接または他の路側装置を経由して、前記車載装置に送信する通信部と、を備えた構成とする。
 また、本開示の車載装置は、路側装置において周辺の道路を撮影した映像を、前記路側装置から、直接または配信装置を経由して受信すると共に、前記路側装置において特定事象が検知された場合に、その旨の情報を、直接または他の路側装置を経由して受信する通信部と、車両に搭載された表示装置に前記映像を表示すると共に、前記特定事象を検知した旨の情報を受信すると、その特定事象が映る前記映像を強調表示するプロセッサと、を備えた構成とする。
 本開示によれば、運転者が、特定事象が映る映像を即座に判別して、その映像を見ることで、道路上で発生した特定事象の具体的な状況を迅速に確認することができる。
第1実施形態に係る運転支援システムの全体構成図 第1実施形態に係る車両1および路側機6の動作概要を示す説明図 第1実施形態に係る車両1に搭載されたナビゲーションディスプレイ4に表示されるナビゲーション画面の一例を示す説明図 第1実施形態に係るナビゲーション画面の一例で障害事象が発生した場合を示す説明図 第1実施形態に係るナビゲーション画面の別例を示す説明図 第1実施形態に係るナビゲーション画面の別例で移動体の検出状況が変化した場合を示す説明図 第1実施形態に係る路側機6の概略構成を示すブロック図 第1実施形態に係る車両1の概略構成を示すブロック図 第1実施形態に係る車載端末2、路側機6およびサーバ7の動作概要を示すシーケンス図 第1実施形態に係る路側機6の動作手順を示すフロー図 第1実施形態に係る車載端末2および自動運転ECU3の動作手順を示すフロー図 第1実施形態の第1変形例に係る車両1および路側機6の動作概要を示す説明図 第1実施形態の第1変形例に係るナビゲーションディスプレイ4に表示されるナビゲーション画面を示す説明図 第1実施形態の第2変形例に係る車両1に搭載されたナビゲーションディスプレイ4によるナビゲーション画面、およびフロントARディスプレイ35によるフロントAR画面201の一例を示す説明図 第1実施形態の第2変形例に係るナビゲーション画面およびフロントAR画面の一例で障害事象が発生した場合を示す説明図 第1実施形態の第2変形例に係る車両1の概略構成を示すブロック図 第2実施形態に係る車両1および路側機6の動作概要を示す説明図 第2実施形態に係る車両1に搭載されたナビゲーションディスプレイ4によるナビゲーション画面を示す説明図 第2実施形態に係る車両1の概略構成を示すブロック図 第2実施形態に係る車載端末2の動作手順を示すフロー図 第3実施形態に係る車両1の動作概要を示す説明図 第3実施形態に係る車両1に搭載されたナビゲーションディスプレイ4によるナビゲーション画面を示す説明図 第3実施形態に係る車両1の概略構成を示すブロック図 第3実施形態に係る車載端末2の動作手順を示すフロー図 第4実施形態に係る車両1に搭載されたナビゲーションディスプレイ4によるナビゲーション画面、およびフロントARディスプレイ35によるフロントAR画面201を示す説明図 第4実施形態に係る車両1の概略構成を示すブロック図 第4実施形態に係る車載端末2の動作手順を示すフロー図
 前記課題を解決するためになされた第1の発明は、道路に設置された路側装置が、カメラにより自装置の周辺の道路を撮影し、車両に搭載された車載装置が、前記路側装置が撮影した映像を取得し、前記車両に搭載された表示装置が、前記映像を表示し、前記路側装置が、自装置の周辺の道路上で発生した特定事象を検知すると、前記表示装置が、前記特定事象が映る前記映像を強調表示する構成とする。
 これによると、運転者が、特定事象が映る映像を即座に判別して、その映像を見ることで、道路上で発生した特定事象の具体的な状況を迅速に確認することができる。
 また、第2の発明は、前記車載装置が、前記車両の走行経路上にある複数の交差点ごとに設置された前記路側装置で撮影された前記映像を複数取得し、前記表示装置が、複数の前記映像の各々を、その映像を撮影した前記路側装置の位置に対応する画面上の位置に表示する構成とする。
 これによると、運転者が、車両の走行経路の先にある複数の交差点の状況を迅速に確認することができる。
 また、第3の発明は、前記車載装置または前記路側装置が、複数の前記映像ごとの表示の優先度を設定し、前記表示装置が、前記優先度に基づいて前記映像を表示する構成とする。
 これによると、優先度の高い映像の視認性が高まり、運転者がより一層適切な判断を行うことができる。
 また、第4の発明は、前記表示装置が、優先度が高い前記映像を、優先度が低い前記映像より大きく表示する構成とする。
 これによると、優先度の高い映像に運転者の視線を誘導することができる。
 また、第5の発明は、前記表示装置が、優先度が高い前記映像を、優先度が低い前記映像の映像表示枠上に重ねて表示する構成とする。
 これによると、運転手が見る映像を少なくなる。このため、運転者は、注意する必要性が低い映像に煩わされることなく、注意すべき移動体や障害事象が映る映像で、注意すべき移動体や障害事象の具体的な状況を迅速に確認することができる。
 また、第6の発明は、前記車載装置または前記路側装置が、前記映像に写る事象の重要度と、前記車両から撮影地点までの距離とに基づいて、前記映像ごとの前記優先度を設定する構成とする。
 これによると、車両から近い地点の映像が、車両から遠い地点の映像より優先して表示され、また、重要な事象が写る映像が、重要な事象が写っていない映像より優先して表示されるため、運転者が、緊急度に応じた適切な判断を行うことができる。
 また、第7の発明は、前記表示装置が、前記映像上に移動体の移動方向を表すマーク画像を表示する構成とする。
 これによると、運転者が、移動体の移動方向を即座に認識して、注意すべき移動体か否かを容易に判断することができる。
 また、第8の発明は、前記特定事象が、車両の通行の障害となる障害事象である構成とする。
 これによると、運転者が、経路変更の要否を迅速に判断することができる。
 また、第9の発明は、前記車載装置が、自車両の周囲に存在する移動体を検出し、かつ、自車両の挙動に応じて危険性が高い状態に推移する可能性があると判定すると、前記表示装置が、自車両に搭載されたカメラで撮影された前記移動体が映る映像を表示する構成とする。
 これによると、運転者が、移動体が映る映像を見ることで、危険性が高い状態に推移することを即座に認識して、危険を回避する運転操作を迅速に行うことができる。
 また、第10の発明は、前記車載装置が、自車両の運転者がわき見をしているものと判定すると、前記表示装置が、表示中の前記映像のうち、運転者の視界の端に表示された前記映像を強調表示する構成とする。
 これによると、運転者がわき見をしている場合に、運転者が即座に視認できない映像に視線を誘導して注意させることができる。
 また、第11の発明は、前記路側装置が、前記映像を配信装置に送信し、前記車載装置が、前記配信装置から前記映像を受信する構成とする。
 これによると、路側装置から配信装置を経由して車載装置に映像が配信されるため、路側装置と車載装置との間の路車間通信の負荷を軽減することができる。
 また、第12の発明は、前記路側装置が、自装置の映像リンク情報を、直接または他の路側装置を経由して、前記車載装置に送信し、前記車載装置が、前記映像リンク情報に基づいて、前記配信装置から前記映像を受信する構成とする。
 これによると、所要の路側装置で撮影された映像を、配信装置から確実に受信することができる。
 また、第13の発明は、前記表示装置が、運転者から見える実空間上に仮想オブジェクトを重畳したAR画面を表示するARディスプレイであり、運転者からウィンドウガラス越しに見える車外空間上に前記仮想オブジェクトとして前記映像が表示される構成とする。
 これによると、映像を実際の位置の近くに大きく表示させることができるため、映像の視認性を高めることができる。
 また、第14の発明は、さらに、車両の進行方向を地図上に描画したナビゲーション画面を表示するナビゲーションディスプレイを備え、前記AR画面における映像上に描画された移動体のマーク画像と、前記ナビゲーション画面における地図上に描画された移動体のマーク画像と、が同一色である構成とする。
 これによると、運転者が、ナビゲーション画面に表示された移動体と、AR画面の映像に映る移動体との対応関係を即座に認識することができる。
 また、第15の発明は、さらに、車両の進行方向を地図上に描画したナビゲーション画面を表示するナビゲーションディスプレイを備え、前記AR画面には、そのAR画面に表示された前記映像と、前記ナビゲーション画面に表示された移動体のマーク画像と、を対応付けるガイド画像が表示される構成とする。
 これによると、運転者が、フロントAR画面に表示された映像と、ナビゲーション画面に表示された移動体のマーク画像との対応関係を即座に認識することができる。
 また、第16の発明は、自装置の周辺の道路上に存在する移動体を検出するレーダと、自装置の周辺の道路を撮影するカメラと、前記レーダの検出結果に基づいて、自装置の周辺の道路上で発生した特定事象を検知するプロセッサと、前記カメラで撮影された映像を、直接または配信装置を経由して、車両に搭載された車載装置に送信すると共に、前記特定事象を検知した旨の情報を、直接または他の路側装置を経由して、前記車載装置に送信する通信部と、を備えた構成とする。
 これによると、第1の発明と同様に、運転者が、特定事象が映る映像を即座に判別して、その映像を見ることで、道路上で発生した特定事象の具体的な状況を迅速に確認することができる。
 また、第17の発明は、路側装置において周辺の道路を撮影した映像を、前記路側装置から、直接または配信装置を経由して受信すると共に、前記路側装置において特定事象が検知された場合に、その旨の情報を、直接または他の路側装置を経由して受信する通信部と、車両に搭載された表示装置に前記映像を表示すると共に、前記特定事象を検知した旨の情報を受信すると、その特定事象が映る前記映像を強調表示するプロセッサと、を備えた構成とする。
 これによると、第1の発明と同様に、運転者が、特定事象が映る映像を即座に判別して、その映像を見ることで、道路上で発生した特定事象の具体的な状況を迅速に確認することができる。
 以下、本開示の実施の形態を、図面を参照しながら説明する。
(第1実施形態)
 図1は、第1実施形態に係る運転支援システムの全体構成図である。
 この運転支援システムは、車両1(自動運転車両)から見通し外となる道路を撮影した映像を車載端末2に提供して、車両1における運転者の緊急時の運転操作を支援するものである。この運転支援システムは、車両1に搭載される車載端末2(車載装置)、自動運転ECU3(走行制御装置)、およびナビゲーションディスプレイ4(表示装置)と、歩行者が所持する歩行者端末5(歩行者装置)と、道路に設置される路側機6(路側装置)と、サーバ7(配信装置)と、を備えている。
 車載端末2、歩行者端末5および路側機6の間ではITS通信が行われる。このITS通信は、ITS(Intelligent Transport System:高度道路交通システム)を利用した安全運転支援無線システムで採用されている周波数帯(例えば700MHz帯や5.8GHz帯)を利用した無線通信である。このITS通信では、車両1や歩行者の位置情報などの所要の情報を含むメッセージを送受信する。
 なお、このITS通信のうち、車載端末2同士の間で行われるものを車車間通信、路側機6と車載端末2との間で行われるものを路車間通信とそれぞれ呼称する。また、車載端末2および路側機6は、歩行者端末5との間でもITS通信(歩車間通信、路歩間通信)を行うことができる。
 車載端末2は、ITS通信(車車間通信)により他の車載端末2との間で、位置情報などを含むメッセージを送受信して、車両1同士の衝突の危険性を判定し、衝突の危険性がある場合には、運転者に対する注意喚起動作を行う。なお、注意喚起動作は、車載端末2と接続されたカーナビゲーション装置(図示せず)を用いて行うとよい。また、車載端末2は、ITS通信(歩車間通信)により歩行者端末5との間でメッセージを送受信して、歩行者と車両1との衝突の危険性を判定する。
 自動運転ECU3は、センサの出力に基づいて、車両1の周囲の障害物を検知し、また、車両1の状態を検出して、車両1の走行を制御する。
 路側機6は、ITS通信(路車間通信、路歩間通信)により、自装置の周辺に位置する車両1や歩行者の存在を、車載端末2や歩行者端末5に通知する。これにより、見通し外の交差点における右左折の際の衝突を防止することができる。なお、路側機6では、この他に、交通情報を車載端末2や歩行者端末5に配信する。
 また、路側機6は、アンテナ11と、レーダ12と、カメラ13と、を備えている。アンテナ11は、ITS通信用の電波を送受信する。レーダ12は、放射した電波の反射波を検出することで、自装置の周辺の道路上に存在する移動体(歩行者や車両1)を検出して、移動体の方向および距離を測定する。カメラ13は、自装置の周辺の道路を撮影する。なお、カメラ13には、可視光カメラの他に、暗視カメラ(赤外光カメラ)を用いるようにしてもよい。これにより、夜間の照明光が少ない地点でも視認性の高い映像を取得することができる。
 また、路側機6は、周辺に設置された他の路側機6との間では、専用の路側ネットワーク(有線または無線)やセルラー通信などによるネットワークを介して通信(路路間通信)が行われる。
 サーバ7は、路側機6に接続されている。このサーバ7は、路側機6のカメラ13で撮影された映像を路側機6から受信して、その映像を車載端末2に配信する。サーバ7と車載端末2との間では、無線LAN通信やセルラー通信を利用して通信が行われる。路側機6は、路側機6のカメラ13ごとに割り振られたリンク情報(アドレス)を車載端末2に通知する。車載端末2は、リンク情報に基づいてサーバ7にアクセスして、所要の路側機6のカメラ13の映像の配信を要求することで、路側機6のカメラ13の映像を取得することができる。これにより、路側機6のカメラ13で撮影された映像が、車両1に搭載されたナビゲーションディスプレイ4に表示される。
 なお、本実施形態では、路側機6で撮影された映像を一旦、映像配信サーバに送信して、その映像配信サーバから車載端末2に映像を配信するようにしたが、路側機6から車載端末2に映像を直接配信するようにしてもよい。この場合、路側機6と車載端末2との間で、WiFi(登録商標)などの無線LAN通信が行われるようにするとよい。
 また、路側機6で撮影された映像は、マルチホップ型通信により、他の路側機6を経由して車載端末2に配信されてもよい。
 次に、第1実施形態に係る車両1および路側機6の動作概要について説明する。図2は、車両1および路側機6の動作概要を示す説明図である。
 路側機6は、各交差点に設置されている。本実施形態では、路側機6のカメラ13で撮影された映像が、サーバ7を経由して車載端末2に配信される。車載端末2は、各交差点に設置された路側機6で撮影された見通し外道路の映像を取得し、その映像をナビゲーションディスプレイ4に表示させる。
 また、本実施形態では、路側機6が、レーダ12の検出結果に基づいて、交差点の周辺の道路上に存在する移動体(車両、歩行者)を検出し、道路上に存在する移動体の位置情報を取得する(移動体検出処理)。なお、カメラ13で撮影された映像に対する画像認識により、道路上に存在する移動体を検出するようにしてもよい。
 また、本実施形態では、路側機6が、交差点の周辺の道路において車両1の経路変更が望ましい障害事象(通行の障害となる事象)が発生したことを検知する(障害事象検知処理)。この障害事象検知処理は、レーダ12の検出結果およびカメラ13で撮影された映像に基づいて行われる。この障害事象検知処理では、障害事象発生地点の位置情報が得られる。
 ここで、障害事象は、例えば、交通事故、渋滞、道路工事、群衆(例えば登下校中の子供の集団)、緊急車両、障害物、倒木、がけ崩れ、浸水などである。また、要注意人物(危険人物)、例えば、過去に飛び出しなどの危険行動を頻繁にとった人物が歩行していることを障害事象として検知するようにしてもよい。また、要注意車両(危険車両)を障害事象として検知するようにしてもよい。ここで、要注意車両は、例えば、走行速度が所定値を越える車両、蛇行走行する車両、必要以上に加速減速(急加速や急停車も含めて)や車線変更を行う車両、必要以上にライト(ハザードランプなどを含む)を点灯させる車両、高齢者及び障害者や運転に自信のないドライバーなどが運転している車両(例えば、初心者マークを付けている車両や自動車教習所の車両を含む)などである。
 なお、本実施形態では、車両の通行の障害となる障害事象を検知して、その特定事象の発生を運転者に通知することで、運転者が経路変更の要否を迅速に判断できるようにするが、障害事象以外の事象を特定事象として、その特定事象の発生を運転者に通知するようにしてもよい。例えば、後述する実施形態では、車両の左折時に巻き込み事故を起こす可能性のある二輪車(例えば、自動二輪車、自転車などを含む)や、後方から衝突する可能性のある他車両を特定事象として、その特定事象の発生を運転者に通知するようにしている。
 また、本実施形態では、通常時、すなわち障害事象が発生していない場合には、通常時のメッセージが路側機6から車載端末2に送信される。また、路側機6が、障害事象(衝突事故など)を検知すると、障害事象通知のメッセージが、路側機6から、路車間通信により車載端末2に送信され、さらに、路路間通信により別の路側機6に送信される。また、路側機6が、別の路側機6からの障害事象通知のメッセージを受信すると、障害事象転送のメッセージが、路側機6から車載端末2に送信される。
 図2に示す例では、車両1から見て直近の交差点を直進した次の交差点において障害事象(交通事故や渋滞など)が発生している。この場合、次の交差点に設置された路側機6が障害事象の発生を検知し、その路側機6から障害事象通知のメッセージが、直近の交差点に設置された路側機6に送信され、さらに、その路側機6から障害事象転送のメッセージが車載端末2に送信される。
 車載端末2では、路側機6からの障害事象通知のメッセージを受信すると、ナビゲーションディスプレイ4に表示された各交差点の各見通し外道路の映像のうち、障害事象が映る映像を強調表示する制御が行われる。これにより、運転者が、障害事象の発生を即座に認識して、経路変更の要否の判断を迅速に行うことができる。なお、映像の強調表示方法としては、以下に示す例のように、映像を拡大表示したり、映像表示枠の太さや色を変更したりすればよい。また、他の強調表示方法として、例えば、映像表示枠を点線から実線に変更するなどでもよい。
 また、本実施形態では、路側機6からの障害事象通知のメッセージを受信すると、自動運転ECU3が、障害事象通知のメッセージに含まれる障害事象発生地点の位置情報および目的地の位置情報などに基づいて、障害事象発生地点を迂回して目的地に向かう迂回ルートを生成する(走行経路計画処理)。そして、自動運転ECU3が、生成した迂回ルートに沿って自車両を走行させる制御を行う。また、迂回ルートがナビゲーションディスプレイ4に表示される。
 ここで、自動運転ECU3が、自動運転中に、予定経路の周辺で障害事象が発生した場合、経路変更の要否を運転者に問い合わせる動作(アラート出力)を行うことなく、迂回ルートに沿って自車両を走行させる制御を開始することも可能である。しかしながら、障害事象の状況によっては経路変更を行う必要がない場合があり、自動運転ECU3にとっては経路変更の要否の判断が難しい場合がある。例えば、交通事故が比較的軽微なものであれば、交通事故発生地点の脇を通り抜けることができ、この場合、経路変更の必要はない。
 そこで、本実施形態では、障害事象が映る映像がナビゲーションディスプレイ4に表示され、運転者が、障害事象が映る映像を見て、障害事象の具体的な状況を確認して、経路変更の要否を判断して、経路変更などの必要な操作を行う。なお、運転者が自動運転を解除して運転者自身が運転操作を行っている最中に、障害事象が発生した場合も同様である。
 次に、第1実施形態に係る車両1に搭載されたナビゲーションディスプレイ4に表示されるナビゲーション画面について説明する。図3は、ナビゲーション画面の一例を示す説明図である。図4は、ナビゲーション画面の一例で障害事象が発生した場合を示す説明図である。図5は、ナビゲーション画面の別例を示す説明図である。図6は、ナビゲーション画面の別例で移動体の検出状況が変化した場合を示す説明図である。
 車両1では、ナビゲーションディスプレイ4にナビゲーション画面101が表示される。このナビゲーション画面101では、自車両の予定経路の周辺の地図102が表示される。地図102上には、自車両の現在位置および予定経路(進行方向)を表すマーク画像111が表示される。また、地図102上には、路側機6で検知された移動体を表すマーク画像112が表示される。
 また、本実施形態では、ナビゲーション画面101に、路側機6のカメラ13で撮影された交差点の見通し外道路の映像121,122が表示される。映像121,122は、地図102上における自車両の現在位置が表示される画像中心部を除く領域に重畳して表示される。なお、画像中心部に地図が表示されて、その地図の周囲に映像が表示されるようにしてもよい。
 また、本実施形態では、ナビゲーション画面101に、交差点の見通し外道路の映像121,122が複数表示される。この複数の映像121,122は、その撮影地点、すなわち、その映像121,122を撮影した路側機6の位置に対応する画面上の位置に表示される。具体的には、ナビゲーション画面101では、自車両の現在位置を画面中央下側に設定して、その上方に自車両の走行経路が表示されるようにしている。このため、例えば、映像の撮影地点が車両の左側に位置する場合には、その映像が画面の左側に表示される。一方、映像の撮影地点が車両の右側に位置する場合には、その映像が画面の右側に表示される。また、映像の撮影地点が車両から離れている場合には、その映像が画面の上側に表示される。一方、映像の撮影地点が車両に近い場合には、その映像が画面の下側に表示される。
 また、本実施形態では、複数の映像のうち、優先度が高いものが、優先度が低いものより優先して表示される。特に、本実施形態では、映像ごとの優先度が、映像に写る事象の重要度と、車両から撮影地点となる路側機6までの距離との双方に基づいて設定される。具体的には、映像の優先度は、重要度が高くなるのに応じて高くなり、距離が長くなるのに応じて低くなる。なお、重要度は、発生した事象の重要性の高さに関するものであり、優先度は、映像を表示させる際の優先順位の高さに関するものである。
 図3に示す例では、ナビゲーション画面101に、直近の交差点における左側の見通し外道路の映像121と、直近の交差点を直進した場合の次の交差点における右側の見通し外道路の映像122と、が表示されている。ここで、通常時、すなわち、交通事故などの障害事象が発生していない場合には、映像121,122に写る事象の重要度が等しいため、映像121,122ごとの優先度が、自車両から撮影地点となる路側機6までの距離に応じて設定される。具体的には、自車両に近い直近の交差点の映像121が、遠くに位置する次の交差点の映像122より優先され、映像121が映像122より大きく表示される。
 なお、直近の交差点における右側の見通し外道路の映像と、直近の交差点を直進した先の次の交差点における左側の見通し外道路の映像とは、道路に移動体が存在しないため、表示されない。
 一方、図4に示すように、交差点で障害事象(交通事故)が発生すると、その障害事象が発生した交差点の映像123の優先度が高くなる。図4に示す例では、直近の交差点の次の交差点で衝突事故が発生している。このため、障害事象が写る映像123は、通常時の映像122(図3参照)から拡大して表示される。また、障害事象が写る映像123では、車両から撮影地点までの距離が長くなるが、障害事象の発生により重要度が高くなるので、その優先度は他の映像121より高くなる。このため、障害事象が写る映像123は、直近の交差点の映像121より大きく表示される。これにより、運転者は、直近の交差点の次の交差点で障害事象(交通事故)が発生していることを即座に認識して、直近の交差点を直進するのをやめて、直近の交差点を右折または左折するように経路変更を判断することができる。
 ここで、映像ごとの表示の優先度は、車両から撮影地点となる路側機6までの距離に応じて変化することから、映像ごとの表示の優先度を設定する処理は、車載端末2で行われる構成とすればよいが、優先度を設定する処理を路側機6で行うことも可能である。
 なお、このように障害事象が発生した場合には、運転者に対して適切な経路を自動案内するようにしてもよい。この自動案内は、例えば運転者が車載端末2に対して目的地と地図情報を入力しておき、車載端末2または自動運転ECU3が該当箇所を回避した経路を自動選択することにより実現可能である。
 また、ナビゲーション画面101では、交差点で障害事象が発生すると、地図102上に、障害事象発生地点を表すマーク画像113が点滅表示される。なお、移動体のマーク画像111のうち、その障害事象に係る移動体のマーク画像111が点滅表示されるようにしてもよい。
 また、ナビゲーション画面101では、交差点で障害事象が発生すると、その障害事象が映る映像123と、地図102上に表示された障害事象発生地点を表すマーク画像113と、を対応付けるガイド画像114が表示される。
 また、ナビゲーション画面101では、交差点で障害事象が発生すると、その障害事象が映る映像123が表示される映像表示枠141が強調表示される。具体的には、映像表示枠141が所定色(例えば赤色)の太線で表示される。
 このように本実施形態では、交差点の映像が表示される。さらに、映像の優先度に応じて映像の表示形態が変化する。これにより、運転者は、経路変更の要否を迅速に判断することができる。また、自動運転ECU3が、経路変更を実行して迂回ルートを進行する場合でも、運転者は、障害事象が映る映像を見ることで、迂回する原因を認識することができる。
 また、本実施形態では、少なくとも直近の交差点とその次の交差点を映像表示対象とするが、車両1から見て各交差点において見通し外となる道路は多数あり、全ての映像を表示するようにすると、極めて煩わしいものとなる。そこで、本実施形態では、表示の必要性、すなわち映像の優先度に応じて、映像の表示形態を変化させる。具体的には、映像内に移動体が存在しない場合には表示の必要性はないため、その映像は表示しない。
 また、本実施形態では、手前の交差点の映像の優先度が低く、かつ、一つ先の交差点の映像の優先度が高い場合には、優先度が高い一つ先の交差点の映像が、優先度が低い手前の交差点の映像上に重ねて表示される。
 例えば、手前の交差点に移動体が存在せず、一つ先の交差点に移動体が存在する場合には、優先度が高い一つ先の交差点の映像が、優先度が低い手前の交差点の映像上に重ねて表示される。また、手前の交差点で障害事象が発生しておらず、一つ先の交差点で障害事象が発生している場合には、優先度が高い一つ先の交差点の映像が、優先度が低い手前の交差点の映像上に重ねて表示される。
 また、一つ先の交差点の映像は、手前の交差点の映像が表示される映像表示枠内に小さく表示される。これにより、運転手が見る映像を少なくなる。このため、注意する必要性が低い映像に煩わされることなく、注意すべき移動体や障害事象が映る映像で、注意すべき移動体や障害事象の具体的な状況を迅速に確認することができる。
 図5に示す例では、通常時には、ナビゲーション画面に、直近の交差点における左側の見通し外道路の映像121と、直近の交差点における右側の見通し外道路の映像124と、が表示されている。
 一方、図6に示すように、直近の交差点を直進した先の次の交差点における右側の見通し外道路の映像122で移動体が検知されると、その移動体が検知された先の交差点の映像122が、直近の交差点における右側の見通し外道路の映像124(図5参照)に優先して表示される。具体的には、移動体が検知されない直近の交差点における右側の見通し外道路の映像124(図5参照)は表示されず(ブラックアウト)、その映像表示枠141のみが表示される。一方、移動体が検知された先の交差点の映像122は、直近の交差点の映像用の映像表示枠141内に重ねて表示される。
 なお、この場合、優先度の高い映像、例えば、特定事象が映る映像や、移動体が映る映像が、優先して表示され、特定事象が発生していない映像や、移動体が存在しない映像が、隠れて見えない状態になる。
 また、本実施形態では、多数の映像が表示される煩わしさを軽減するために、映像の表示形態を変化させるようにしたが、映像の表示形態の変更だけでは対応できない場合もある。そこで、障害事象に係る移動体(車両1や人物など)の位置を案内する文字を表示するようにしてもよい。例えば、「自車両のxm先に要注意人物が移動中、その更にym先は渋滞中」という文字を表示する。
 また、本実施形態では、ナビゲーション画面に表示される見通し外道路の映像121,122に、移動体(歩行者や車両1など)を指し示すマーク画像131、具体的には、移動体を取り囲む矩形の枠画像が重畳描画される。これにより、運転者が、移動体を即座に認識することができる。また、移動体の移動方向を表すマーク画像132(矢印画像)が映像上に重畳描画される。これにより、運転者が、移動体の移動方向を即座に認識して、注意すべき移動体か否かを容易に判断することができる。
 また、本実施形態では、映像121上に表示される移動体のマーク画像131と、地図102上に表示される移動体のマーク画像112とで、同一の移動体が同一色で表示される。これにより、運転者が、映像121上に表示される移動体と、地図102上に表示される移動体との対応関係を即座に認識することができる。
 なお、本実施形態では、ナビゲーションディスプレイ4において、路側機6で撮影された交差点の見通し外道路の映像が、地図上に重畳して表示されるようにしたが、このような画面構成に限定されない。例えば、路側機6で撮影された映像が、自車両の前方が撮影された映像上に重畳して表示されるようにしてもよい。この場合、車両1に自車両の前方を撮影するカメラが搭載され、そのカメラで撮影された映像がナビゲーションディスプレイ4に表示される。
 次に、第1実施形態に係る路側機6の概略構成について説明する。図7は、路側機6の概略構成を示すブロック図である。
 路側機6は、レーダ12およびカメラ13の他に、ITS通信部21と、路路間通信部22と、サーバ通信部23と、メモリ24と、プロセッサ25と、を備えている。
 ITS通信部14は、ITS通信(路車間通信)により、メッセージをブロードキャストで車載端末2に送信し、また、車載端末2から送信されるメッセージを受信する。
 路路間通信部22は、専用の路側ネットワーク(有線または無線)、またはセルラー通信などによるネットワークを介して、隣り合う路側機6と通信を行う。
 サーバ通信部23は、ネットワークを介してサーバ7との間で通信を行う。
 メモリ24は、プロセッサ25で実行されるプログラムなどを記憶する。
 プロセッサ25は、メモリ24に記憶されたプログラムを実行することで情報収集に係る各種の処理を行う。本実施形態では、プロセッサ25が、移動体検出処理、移動体表示情報生成処理、マーク画像合成処理、および障害事象検知処理などを行う。
 移動体検出処理では、プロセッサ25が、レーダ12の検出結果に基づいて、移動体(車両1、歩行者)を検出して、移動体の位置情報および移動情報を取得する。具体的には、プロセッサ25が、まず、レーダ12の検出結果に基づいて、路端末を基準にした移動体の相対的な位置情報、すなわち、路端末から見た移動体が存在する方位と、路端末から移動体までの距離を算出する。次に、プロセッサ25が、移動体の相対的な位置情報(方位、距離)と、路端末の設置位置の位置情報(緯度、経度)とに基づいて、移動体の絶対的な位置情報(緯度、経度)を算出する。また、プロセッサ25が、移動体の位置情報の変化状況に基づいて、移動体の移動情報、すなわち、移動体の移動速度、移動方向を取得する。
 移動体表示情報生成処理では、プロセッサ25が、映像上で検出された移動体ごとの表示情報、すなわち、移動体を指し示すマーク画像(枠画像)の映像上の表示位置(座標、大きさ)および表示色に関する情報を生成する。具体的には、プロセッサ25が、移動体検出処理で取得した移動体の位置情報および移動情報に基づいて、映像上での移動体の位置を取得する。なお、映像に対する画像認識により映像から移動体を検出して移動体の位置を取得するようにしてもよい。また、プロセッサ25が、映像上で検出された移動体ごとに表示色を割り振る。このとき、複数の移動体が検知された場合には、マーク画像の表示色が重複しないように移動体ごとの表示色が設定される。
 マーク画像合成処理では、プロセッサ25が、カメラ13で撮影された映像上に、移動体を指し示すマーク画像を重畳描画した合成映像を生成する。このとき、移動体表示情報生成処理で取得した移動体ごとに表示色でマーク画像が描画される。このマーク画像合成処理で生成した映像がサーバ7にアップロードされる。
 障害事象検知処理では、プロセッサ25が、交差点の周辺の道路において車両1の経路変更が望ましい障害事象(通行の障害となる事象)が発生したことを検知する。このとき、移動体検出処理で取得した各移動体の位置、移動方向、および移動速度に基づいて、障害事象が発生しているか否かを判定する。
 次に、第1実施形態に係る車両1の概略構成について説明する。図8は、車両1の概略構成を示すブロック図である。
 車両1は、車載端末2、自動運転ECU3、およびナビゲーションディスプレイ4の他に、センサ31と、操舵ECU32と、駆動ECU33と、制動ECU34と、を備えている。
 車載端末2は、ITS通信部41と、無線通信部42と、測位部43と、メモリ44と、プロセッサ45と、を備えている。
 ITS通信部41は、ITS通信(車車間通信)により、メッセージをブロードキャストで他の車載端末2に送信し、また、他の車載端末2から送信されるメッセージを受信する。また、ITS通信部41は、ITS通信(路車間通信)により、メッセージを路側機6に送信し、また、路側機6から送信されるメッセージを受信する。
 無線通信部42は、セルラー通信や無線LAN通信などの無線通信を利用してサーバ7との間で通信を行う。
 測位部43は、GNSS(Global Navigation Satellite System)、すなわち、GPS(Global Positioning System)、QZSS(Quasi-Zenith Satellite System)などの衛星測位システムにより自装置の位置を測定して、自装置の位置情報(緯度、経度)を取得する。
 メモリ44は、地図情報や、プロセッサ45で実行されるプログラムなどを記憶する。
 プロセッサ45は、メモリ44に記憶されたプログラムを実行することで情報収集に係る各種の処理を行う。本実施形態では、プロセッサ45が、衝突判定処理、映像受信制御処理、映像表示制御処理、および画面表示制御処理などを行う。
 衝突判定処理では、プロセッサが、他車両の車載端末2や歩行者端末5から受信したメッセージに含まれる他車両や歩行者の位置情報、および測位部43で取得した自車両の位置情報などに基づいて、他車両や歩行者と自車両との衝突の可能性を判定する。この衝突判定処理で衝突の危険性があると判定されると、ユーザに対する所定の注意喚起動作を実行する制御が行われる。
 映像受信制御処理では、プロセッサ45が、路側機6から受信したメッセージに含まれる映像リンク情報に基づいて、サーバ7にアクセスして、映像配信の要求を映像配信サーバに送信して、サーバ7から配信される映像を受信するように無線通信部を制御する。
 映像表示制御処理では、プロセッサ45が、映像配信サーバから受信した映像を、ナビゲーションディスプレイ4のナビゲーション画面に表示させる制御を行う。具体的には、直近の交差点およびその先の交差点に設置された各路側機6で撮影された映像が、自車両の現在位置から路側機6(撮影地点)までの距離に応じたサイズでナビゲーション画面に表示される。また、障害事象が撮影された映像が強調表示される。
 画面表示制御処理では、プロセッサ45が、ナビゲーションディスプレイ4のナビゲーション画面を制御する。具体的には、ナビゲーション画面の地図上に、移動体を表すマーク画像が表示される。特に、障害事象に係る移動体のマーク画像が強調表示される。具体的には、例えば、障害事象に係る移動体のマーク画像が点滅表示される。
 自動運転ECU3は、操舵ECU32、駆動ECU33、および制動ECU34と接続され、センサ31の検出結果に基づいて、操舵ECU32、駆動ECU33、および制動ECU34を制御して、車両1の自動運転(自律走行)を実現する。
 ここで、センサ31は、レーダ、ライダー、カメラなどであり、自車両の周囲の道路上に存在する移動体を検出する。また、操舵ECU32は、自車両の操舵機構を制御するものであり、駆動ECU33は、自車両の駆動機構(エンジンや電動モータなど)を制御するものであり、制動ECU34は、自車両の制動機構を制御するものである。
 次に、第1実施形態に係る車載端末2、路側機6およびサーバ7の動作概要について説明する。図9は、車載端末2、路側機6およびサーバ7の動作概要を示すシーケンス図である。
 本実施形態では、車両1の進行方向に並んだ2箇所の交差点に設置された2台の路側機6で撮影された見通し外道路の映像が、車両1のナビゲーションディスプレイ4に表示される。ここで、車両1から見て直近の交差点に設置された路側機6を第1の路側機6と呼称し、直近の交差点のその次の交差点に設置された路側機6を第2の路側機6と呼称する。
 車載端末2は、第1の路側機6の映像リンク情報を第1の路側機6から受信して、その映像リンク情報に基づいて、第1の路側機6で撮影された映像をサーバ7から受信して、その第1の路側機6で撮影された映像をナビゲーションディスプレイ4に表示する。また、車載端末2は、第2の路側機6の映像リンク情報を第1の路側機6を経由して受信して、その映像リンク情報に基づいて、第2の路側機6で撮影された映像をサーバ7から受信して、その第2の路側機6で撮影された映像をナビゲーションディスプレイ4に表示する。
 このとき、通常時、すなわち障害事象が発生していない場合には、通常時のメッセージが路側機6から車載端末2に送信される。この通常時のメッセージには、通常時の通知情報として、自装置(第1の路側機6)の映像リンク情報、具体的には、路側機6の映像を配信する映像配信サーバのリンク情報と、路側機6で検出された移動体の位置情報および表示情報と、が含まれる。
 なお、移動体の表示情報には、移動体を指し示すマーク画像(枠画像)の映像上の表示位置(座標、大きさ)および表示色に関する情報が含まれる。移動体ごとの表示色を車載端末2に通知することで、ナビゲーション画像に表示する移動体のマーク画像を、映像上に描画された移動体のマーク画像と同一色で表示することができる。
 一方、障害事象が発生した場合には、障害事象通知のメッセージが路側機6から送信される。このメッセージには、通常時のメッセージと同様に、通常時の通知情報として、映像リンク情報と、移動体の位置情報および表示情報と、が含まれる。さらに、障害事象発生通知のメッセージには、路側機6の映像リンク情報、障害事象に関する通知情報として、障害事象発生地点の位置情報と、障害事象を検知した路側機6の位置情報と、が含まれる。
 また、直近の交差点の次の交差点に設置された路側機6から送信される障害事象通知のメッセージは、直近の交差点に設置された路側機6で中継された上で車載端末2が受信する。このとき、直近の交差点に設置された路側機6では、次の交差点に設置された路側機6から送信される障害事象通知のメッセージを受信すると、障害事象転送のメッセージを生成して車載端末2に送信する。
 この障害事象転送のメッセージは、障害事象通知のメッセージに含まれる通知情報に、自装置の通常時の通知情報を付加したものである。具体的には、障害事象転送のメッセージには、第1の路側機6(自装置)に関する通常時の通知情報として、第1の路側機6の映像リンク情報と、移動体の位置情報および表示情報と、が含まれる。また、メッセージには、第2の路側機6に関する通常時の通知情報として、第2の路側機6の映像リンク情報と、移動体の位置情報および表示情報と、が含まれる。また、メッセージには、障害事象に関する通知情報として、第2の路側機6の映像リンク情報と、障害事象発生地点の位置情報と、障害事象を検知した第2の路側機6の位置情報と、が含まれる。
 次に、第1実施形態に係る路側機6の動作手順について説明する。図10は、路側機6の動作手順を示すフロー図である。
 路側機6では、プロセッサ25が、レーダ12の検出結果に基づいて、交差点の周辺の道路上に存在する移動体(車両1、歩行者)を検出し、交差点の周辺の道路上に移動体(車両1、歩行者)が存在するか否かを判定する(移動体検出処理)(ST101)。
 ここで、交差点の周辺の道路上に移動体が存在する場合には(ST101でYes)、レーダ12の検出結果に基づいて、移動体の位置情報(緯度、経度)および移動情報(移動方向、移動速度)を取得する(ST102)。
 また、プロセッサ25が、移動体が存在する道路の撮影をカメラ13に指示する(ST103)。カメラ13は、プロセッサ25の指示に応じて、移動体が存在する道路を撮影する。
 次に、プロセッサ25が、移動体の位置情報(緯度、経度)および移動情報(移動方向、移動速度)に基づいて、カメラ13で撮影された映像上の移動体の位置を取得して、映像に映る移動体を指し示すマーク画像(枠画像)を映像上に重畳描画するための表示情報を生成する(移動体表示情報生成処理)(ST104)。
 次に、プロセッサ25が、表示情報に基づいて、カメラ13で撮影された映像上に、移動体を指し示すマーク画像を重畳描画した合成映像を生成する(マーク画像合成処理)(ST105)。
 次に、サーバ通信部23が、処理済みの映像、すなわち、移動体のマーク画像が重畳描画された合成映像をサーバ7に送信する(映像アップロード)(ST106)。なお、移動体が撮影された映像と、移動体のマーク画像を映像上に重畳描画するための表示情報とをサーバ7に送信して、サーバ7が、移動体のマーク画像を映像上に重畳描画する処理を行うようにしてもよい。
 次に、プロセッサ25が、移動体検出処理で取得した移動体の位置情報および移動情報に基づいて、交差点の周辺において所定の障害事象が発生したか否かを判定する(障害事象検知処理)(ST107)。
 ここで、障害事象が発生した場合には(ST107でYes)、プロセッサ25が、障害事象通知のメッセージを生成する。そして、ITS通信部21が、障害事象発生通知のメッセージを、車載端末2に送信し、また、路路間通信部22が、障害事象発生通知のメッセージを、隣の路側機6に送信する(ST108)。
 一方、障害事象が発生していない場合には(ST107でNo)、次に、路路間通信部22が、障害事象通知のメッセージを周辺の路側機6から受信したか否かを判定する(ST109)。
 ここで、障害事象通知のメッセージを受信した場合には(ST109でYes)、プロセッサ25が、障害事象通知転送のメッセージを生成する。そして、ITS通信部21が、障害事象転送のメッセージを車載端末2に送信する(ST110)。
 一方、障害事象通知のメッセージを受信していない場合には(ST109でNo)、プロセッサが、通常時のメッセージを生成する。そして、ITS通信部21が、通常時のメッセージを車載端末2に送信する(ST111)。
 次に、第1実施形態に係る車載端末2および自動運転ECU3の動作手順について説明する。図11は、車載端末2および自動運転ECU3の動作手順を示すフロー図である。
 車載端末2では、ITS通信部41が、路側機6からのメッセージを受信すると(ST201でYes)、プロセッサが、受信したメッセージに含まれる映像リンク情報、および障害事象発生地点の位置情報などを取得する(ST202)。次に、プロセッサが、映像リンク情報に基づいて、映像配信の要求を映像配信サーバに送信して、映像配信サーバから配信される映像を受信するように無線通信部を制御する(映像受信制御処理)(ST203)。
 次に、プロセッサ45が、映像配信サーバから受信した映像を、ナビゲーションディスプレイ4のナビゲーション画面に表示させる制御を行う(映像表示制御処理)(ST204)。具体的には、直近の交差点およびその先の交差点に設置された各路側機6で撮影された映像が、自車両の現在位置から路側機6(撮影地点)までの距離に応じたサイズでナビゲーション画面に表示される。また、障害事象が発生している場合には、障害事象が撮影された映像が強調表示される。このとき、映像に映る移動体のマーク画像も強調表示される。これにより、運転者は、経路変更の要否を迅速に判断することができる。
 自動運転ECU3は、路側機6から受信したメッセージに含まれる障害事象発生地点の位置情報を車載端末2から取得する(ST301)。次に、自動運転ECU3は、障害事象発生地点の位置情報、および目的地の位置情報などに基づいて、障害事象発生地点を迂回して目的地に向かう迂回ルートを生成する(走行経路計画処理)(ST302)。そして、自動運転ECU3は、生成した迂回ルートをナビゲーションディスプレイ4のナビゲーション画面に表示する(ST303)。
 次に、自動運転ECU3は、迂回ルートにしたがって自車両が障害事象発生地点を迂回するように自車両の走行を制御する(走行制御処理)(ST304)。このとき、自動運転ECU3は、経路変更の要否を運転者に問い合わせる動作(アラート出力)を行い、これに応じて、運転者が、経路変更を承認する操作や、自動運転ECU3から運転を交代する操作を行う。
(第1実施形態の第1変形例)
 次に、第1実施形態の第1変形例について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図12は、第1実施形態の第1変形例に係る車両1および路側機6の動作概要を示す説明図である。
 第1実施形態では、車両1の進行方向の前方に位置する路側機6で撮影された映像が車載端末2に配信されるようにしたが、本変形例では、車両1の進行方向の後方に位置する路側機6で撮影された映像が車両1の車載端末2に配信される。
 また、本変形例では、路側機6が、障害事象(車両1の通行の障害となる事象)として、自装置の周辺に存在する緊急車両を検知する。具体的には、路車間通信により緊急車両の車載端末2から受信したメッセージに含まれる車両情報に基づいて、メッセージの送信元の車両が緊急車両であるか否かを判定する。
 路側機6は、自装置の周辺に存在する緊急車両を検知すると、障害事象通知のメッセージを、直接または他の路側機6を経由して、車両1の車載端末2に送信する。この障害事象通知のメッセージには、映像リンク情報、および緊急車両の位置情報などが含まれる。
 車両1の車載端末2は、路側機6からの障害事象通知のメッセージを受信すると、そのメッセージに含まれる緊急車両の位置情報に基づいて、自車両の後方から緊急車両が接近しているか否かを判定し、自車両の後方から緊急車両が接近している場合には、受信したメッセージに含まれる映像リンク情報に基づいて、緊急車両が映る映像をサーバ7から受信して、その映像をナビゲーション画面に表示する。
 次に、第1実施形態の第1変形例に係るナビゲーションディスプレイ4に表示されるナビゲーション画面について説明する。図13は、ナビゲーション画面を示す説明図である。
 本変形例では、ナビゲーションディスプレイ4のナビゲーション画面101に、第1実施形態(図3参照)と同様に、自車両の前方の路側機6で撮影された映像121が表示され、さらに、自車両の後方の路側機6で緊急車両が検知された場合に、自車両の後方の路側機6で撮影された映像125が表示される。この後方の路側機6で撮影された映像125には緊急車両が写る。
 また、この後方の路側機6で撮影された映像125は、他の映像121より優先表示され、具体的には他の映像121より大きく表示される。さらに、後方の路側機6で撮影された映像125は強調表示される。具体的には、映像表示枠141が所定色(例えば赤色)の太線で表示される。これにより、運転者が、自車両の後方から緊急車両が接近していることを即座に認識して、緊急車両に進路を譲る運転操作、例えば停車や進路変更などの操作を迅速に行うことができる。
 また、ナビゲーション画面101では、地図上における緊急車両の位置に、緊急車両を表すマーク画像115が重畳表示される。この緊急車両を表すマーク画像115は、強調表示され、具体的には点滅表示される。また、ナビゲーション画面101には、緊急車両に進路を譲る運転操作を運転者に催促する文字、例えば「道路端に停止せよ」との文字142が表示される。
 なお、本変形例では、緊急車両を検知して、その緊急車両の進行方向の前方に位置する車両1において、緊急車両が映る映像125を表示するようにしたが、要注意車両(危険車両)、例えば、走行速度が所定値を越える車両や、蛇行走行する車両などを検知して、その要注意車両が映る映像を表示するようにしてもよい。
 また、緊急車両が写る映像125として、後方の路側機6で撮影された映像がナビゲーション画面101に表示されるようにしたが、車体後方を撮影するカメラを車両1に搭載して、そのカメラで撮影された映像を表示するようにしてもよい。
(第1実施形態の第2変形例)
 次に、第1実施形態の第2変形例について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図14は、第1実施形態の第2変形例に係る車両1に搭載されたナビゲーションディスプレイ4によるナビゲーション画面、およびフロントARディスプレイ35によるフロントAR画面201の一例を示す説明図である。図15は、ナビゲーション画面およびフロントAR画面の一例で障害事象が発生した場合を示す説明図である。図16は、車両1の概略構成を示すブロック図である。
 第1実施形態では、車両1にナビゲーションディスプレイ4が設けられて、このナビゲーションディスプレイ4のナビゲーション画面101に、路側機6で撮影された映像が表示される。一方、本変形例では、図16に示すように、ナビゲーションディスプレイ4に加えて、フロントARディスプレイ35(表示装置)が設けられており、このフロントARディスプレイ35により、図14に示すように、車両1のフロントガラスにフロントAR画面201が重畳表示され、そのフロントAR画面201に、路側機6で撮影された映像121,122が表示される。
 フロントARディスプレイ35は、例えば、ヘッドアップディスプレイであり、プロジェクターや液晶表示パネルなどの表示デバイスと、表示デバイスの表示画像(投影画像)を半透過状態で反射する透明パネルとから構成される。
 なお、本実施形態では、AR表示デバイスとしてフロントARディスプレイ35が設けられ、車両1のフロントガラスにAR画面が重畳表示されるようにしたが、車両1のサイドガラスにAR画面が重畳表示されるようにしてもよい。また、AR表示デバイスとしてヘッドアップディスプレイの例を示したが、その他のAR表示デバイス、例えばヘッドマウントディスプレイなども可能である。
 フロントARディスプレイ35によるフロントAR画面201では、ウィンドウガラス越しに見える車外の実空間上に、仮想オブジェクトとして、路側機6で撮影された映像121,122が重畳表示される。このフロントAR画面201では、第1実施形態(図3参照)と同様の表示形態で、路側機6で撮影された複数の映像121,122が表示される。
 この複数の映像121,122は、その撮影地点、すなわち、その映像121,122を撮影した路側機6の位置に対応する画面上の位置に表示される。例えば、映像の撮影地点が車両の左側に位置する場合には、その映像が画面の左側に表示される。一方、映像の撮影地点が車両の右側に位置する場合には、その映像が画面の右側に表示される。また、映像の撮影地点が車両から離れている場合には、その映像が画面の奥側(上側)に表示される。一方、映像の撮影地点が車両に近い場合には、その映像が画面の手前側(下側)に表示される。
 また、フロントAR画面201では、第1実施形態と同様に、映像内の移動体を指し示すマーク画像131(検出枠)と移動体の移動方向を表すマーク画像132(矢印)が映像121,122上に重畳表示される。
 一方、ナビゲーションディスプレイ4によるナビゲーション画面101では、第1実施形態と同様に、地図102上に、自車両の現在位置および進行方向を表すマーク画像111と移動体を表すマーク画像112とが重畳表示される。
 また、本変形例では、フロントAR画面201の映像121上に表示される移動体のマーク画像131と、ナビゲーション画面101の地図102に表示される移動体のマーク画像112とで、同一の移動体が同一色で表示される。これにより、運転者が、ナビゲーション画面101に表示された移動体のマーク画像112と、フロントAR画面201の映像121,122に映る移動体との対応関係を即座に認識することができる。
 また、図15に示すように、本変形例では、交差点で障害事象が発生すると、フロントAR画面201に障害事象が映る映像123が強調表示される。また、障害事象が映る映像123と、ナビゲーション画面101に表示された障害事象発生地点のマーク画像113と、を対応付けるガイド画像211が表示される。これにより、運転者が、フロントAR画面201に表示された映像123と、ナビゲーション画面101に表示された障害事象発生地点のマーク画像113との対応関係を即座に認識することができる。すなわち、運転者が、地図102上に表示された障害事象発生地点の具体的な状況を映像123で確認することができ、また、逆に映像123に映る障害事象発生地点の位置を地図102上で確認することができる。
 なお、路側機6で撮影された映像が、ナビゲーション画面101の障害事象発生地点のマーク画像113からズームアップ(ポップアップ)でフロントAR画面201に障害事象が映る映像123が表示されるようなアニメーション効果が得られる画面制御を行うようにしてもよい。
 また、本変形例では、フロントAR画面に、直近の交差点における自車両の進行方向(直進、右折および左折)を表すマーク画像212(矢印)が表示される。この進行方向を表すマーク画像212には、障害事象の発生により進行することが適切でない場合には、マーク画像(×印)が表示される。図15に示す例では、直近の交差点を直進した先の交差点で障害事象が発生しているため、直進のマーク画像212に、直進が適切でないことを表すマーク画像(×印)が表示される。
(第2実施形態)
 次に、第2実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図17は、第2実施形態に係る車両1および路側機6の動作概要を示す説明図である。
 前記の実施形態では、障害事象の発生が検知されると、映像の表示形態を変更する、具体的には、障害事象が映る映像を強調表示する制御が行われるようにした。一方、本実施形態では、自車両の周囲に存在する移動体が検出され、かつ、自車両の挙動、特に進行方向(直進、右折、左折)に応じて、危険性が高い状態に推移する可能性がある場合に、その移動体が映る映像がナビゲーション画面に表示される。
 特に本実施形態では、車両1が交差点で左折を行う場合、車両1の脇をすり抜けようとする自転車などの二輪車の巻き込み事故を防止するため、自車両の進行方向が左折である場合には、自車両の車体左側方において後方から接近する移動体(二輪車など)が検出されると、その移動体が映る映像がナビゲーション画面に表示される。
 なお、本実施形態では、車両1が左側通行である場合の例について説明したが、車両1が右側通行である場合には、左と右との場合分けが逆になる。
 次に、第2実施形態に係る車両1に搭載されたナビゲーションディスプレイ4によるナビゲーション画面について説明する。図18は、ナビゲーション画面を示す説明図である。
 本実施形態では、自車両の進行方向が左折である場合に、自車両の車体左側方において後方から接近する移動体(二輪車など)が検出されると、その移動体が映る映像126が、ナビゲーションディスプレイ4によるナビゲーション画面101に表示される。
 このとき、ナビゲーション画面101において、移動体が映る映像126が強調表示される。具体的には、映像表示枠141が所定色(例えば赤色)の太線で表示される。また、車体左側方の移動体を表すマーク画像116が地図102上の移動体の位置に表示される。この移動体のマーク画像116は、強調表示され、具体的には点滅表示される。これにより、自車両の車体左側方に存在する移動体に対する運転者の注意喚起を行うことができる。このため、左折時における二輪車(自転車など)の巻き込み事故を防止することができる。
 なお、本実施形態では、路側機6で撮影された前方の交差点の映像121,122と、自車両のカメラで撮影された車体左側方の映像126との双方がナビゲーション画面101に表示されるようにしたが、自車両の挙動(直進、右折、左折)に応じて、前方の交差点の映像と車体左側方の映像とを切り替えるようにしてもよい。具体的には、自車両の進行方向が直進または右折である場合には、前方の交差点の映像が表示され、自車両の進行方向が左折である場合には、車体左側方の映像が表示されるようにする。
 次に、第2実施形態に係る車両1の概略構成について説明する。図19は、車両1の概略構成を示すブロック図である。
 車両1は、第1実施形態(図8参照)と同様に、車載端末2、自動運転ECU3、ナビゲーションディスプレイ4などを備えているが、この他に、カメラ36を備えている。
 カメラ36は、自車両の周囲(少なくとも車体左側方)を撮影する。
 車載端末2は、第1実施形態(図8参照)と同様に、ITS通信部41と、無線通信部42と、測位部43と、メモリ44と、プロセッサ45と、を備えている。また、プロセッサ45は、第1実施形態と同様に、衝突判定処理、映像受信制御処理、映像表示制御処理、および画面表示制御処理などを行うが、この他に、移動体検出処理を行う。
 移動体検出処理では、プロセッサ45が、センサ(レーダ、ライダーなど)の検出結果に基づいて、自車両の車体左側方に存在する移動体(自転車など)を検出し、自車両の車体左側方に移動体が存在するか否かを判定する。なお、カメラで撮影された映像に基づいて、自車両の車体左側方に存在する移動体を検出するようにしてもよい。
 映像表示制御処理では、プロセッサ45が、自車両の進行方向が左折の場合に、自車両のカメラで撮影された車体左側方の映像をナビゲーション画面に表示させる制御を行う。このとき、車体左側方の移動体(自転車など)が撮影された映像が強調表示される。具体的には、映像表示枠が所定色(例えば赤色)の太線で描画される。
 画面表示制御処理では、プロセッサ45が、ナビゲーション画面の地図上に、車体左側方の移動体を指し示すマーク画像(検出枠)を表示させる制御を行う。このとき、移動体のマーク画像が強調表示される。具体的には、移動体のマーク画像が点滅表示される。
 なお、本実施形態では、車載端末2が、車両1の車体左側方に存在する移動体を検出する処理(移動体検出処理)を行うようにしたが、路側機6が移動体検出処理を行うようにしてもよい。
 次に、第2実施形態に係る車載端末2および自動運転ECU3の動作手順について説明する。図20は、車載端末2の動作手順および自動運転ECU3を示すフロー図である。なお、本実施形態でも、第1実施形態(図11参照)と同様の処理が行われる。
 自動運転ECU3は、センサ(レーダ、ライダーなど)の検出結果に基づいて、自車両の車体左側方に存在する移動体(自転車など)を検出し、自車両の車体左側方に移動体が存在するか否かを判定する(移動体検出処理)(ST311)。
 ここで、自車両の車体左側方に移動体が存在する場合には(ST311でYes)、自動運転ECU3が、車体左側方に移動体が存在する旨の移動体検出通知を車載端末2に送信する(ST312)。
 車載端末2では、自動運転ECU3からの移動体検出通知を受信すると(ST211でYes)、プロセッサ45が、自動運転ECU3から自車両の進行方向に関する情報を取得して、自車両の進行方向が左折であるか否かを判定する(ST212)。
 ここで、自車両の進行方向が左折である場合には(ST212でYes)、プロセッサ45が、移動体が存在する車体左側方の撮影をカメラ36に指示する(ST213)。カメラ36は、車載端末2の指示に応じて、移動体が存在する車体左側方を撮影する。次に、プロセッサ45が、自車両のカメラ36で撮影された車体左側方の映像をナビゲーション画面に表示させる制御を行う(映像表示制御処理)(ST214)。このとき、車体左側方の移動体(自転車など)が撮影された映像が強調表示される。
 なお、本実施形態では、自車両の挙動(左折か否か)に応じてナビゲーション画面に表示される映像を制御するようにしたが、自車両の挙動に加えて、自車両の周辺に存在する他車両の挙動に応じて、ナビゲーション画面に表示される映像を制御するようにしてもよい。具体的には、自車両と他車両との位置関係などに応じて、路側機6で撮影された前方の交差点の映像と、自車両のカメラで撮影された車体周囲の映像とのいずれか一方のみを表示したり、前方の交差点の映像と車体周囲の映像との双方を表示したりするようにしてもよい。また、例えば、自車両の車体左側方を二輪車が走行している場合の他に、他車両が蛇行走行などの不自然な走行を行う場合や、他車両が所定値を越えた速度で走行している場合に、車体周囲の映像を優先的に表示するようにしてもよい。
(第3実施形態)
 次に、第3実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図21は、第3実施形態に係る車両1の動作概要を示す説明図である。
 前記の実施形態では、路側機6が障害事象の発生を検知すると、その障害事象が映る映像が車両1のナビゲーションディスプレイ4に表示されるようにした。一方、本実施形態では、衝突判定において、自車両の後方から接近する他車両(例えばトラック)との衝突の可能性があると判定された場合に、その他車両が映る映像がナビゲーションディスプレイ4に表示されるようにする。
 なお、本実施形態では、第1実施形態と同様に、車車間通信で他車両の車載端末2から取得した他車両の位置情報などに基づいて、他車両や歩行者と自車両との衝突の可能性を判定する衝突判定が行われる。
 次に、第3実施形態に係る車両1に搭載されたナビゲーションディスプレイ4によるナビゲーション画面について説明する。図22は、ナビゲーション画面101を示す説明図である。
 本実施形態では、衝突判定において、自車両の後方から接近する他車両(例えばトラック)との衝突の可能性があると判定された場合に、その他車両が映る映像127がナビゲーション画面101に表示される。
 このとき、ナビゲーション画面101において、自車両の後方から接近する他車両が映る映像127が強調表示される。具体的には、映像表示枠141が所定色(例えば赤色)の太線で表示される。また、事故予測地点を表すマーク画像117が、地図102上の事故予測地点の位置に表示される。事故予測地点のマーク画像117は、強調表示され、具体的には点滅表示される。これにより、衝突の可能性がある他車両に対する運転者の注意喚起を行うことができる。
 次に、第3実施形態に係る車両1の概略構成について説明する。図23は、車両1の概略構成を示すブロック図である。
 車両1は、第1実施形態(図8参照)と同様に、車載端末2、自動運転ECU3、およびナビゲーションディスプレイ4などを備えているが、この他に、カメラ37を備えている。
 カメラ37は、自車両の周囲(少なくとも車体後方)を撮影する。
 車載端末2は、第1実施形態(図8参照)と同様に、ITS通信部41と、無線通信部42と、測位部43と、メモリ44と、プロセッサ45と、を備えている。また、プロセッサ45は、第1実施形態と同様に、衝突判定処理、映像受信制御処理、映像表示制御処理、および画面表示制御処理などを行う。
 映像表示制御処理では、プロセッサ45が、衝突判定処理により、自車両の後方から接近する他車両との衝突の可能性があると判定されると、カメラ37を起動して、カメラ37に自車両の車体後方を撮影させて、後方から接近する他車両が映る映像を取得して、その映像をナビゲーション画面に表示させる。
 次に、第3実施形態に係る車載端末2の動作手順について説明する。図24は、車載端末2の動作手順を示すフロー図である。なお、本実施形態でも、第1実施形態(図11参照)と同様の処理が行われる。
 車載端末2では、衝突判定処理での判定結果に基づいて、自車両の後方から接近する他車両との衝突の可能性があるか否かを判定する(ST221)。
 ここで、後方から接近する他車両との衝突の可能性がある場合には(ST221でYes)、プロセッサが、移動体が存在する車体後方の撮影をカメラに指示する(ST222)。カメラは、プロセッサの指示に応じて、移動体が存在する車体後方を撮影する。
 次に、車載端末2では、プロセッサが、自車両のカメラで撮影された車体後方の映像をナビゲーション画面に表示させる制御を行う(映像表示制御処理)(ST223)。このとき、車体後方の移動体(トラックなど)が撮影された映像が強調表示される。
 なお、本実施形態では、車車間通信で取得した他車両の位置情報に基づく衝突判定で、他車両との衝突の可能性があると判定された場合に、その他車両が映る車体後方の映像がナビゲーションディスプレイ4に表示されるようにしたが、自車両の後方から接近する他車両を検出するセンサ(レーダなど)を車両1に搭載して、自車両と他車両との間の距離を測定し、衝突判定の結果とは関係なく、自車両と他車両との間の距離が所定値以下になると、他車両が映る車体後方の映像を表示するようにしてもよい。
(第4実施形態)
 次に、第4実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図25は、第4実施形態に係る車両1に搭載されたナビゲーションディスプレイ4によるナビゲーション画面、およびフロントARディスプレイ35によるフロントAR画面201を示す説明図である。
 本実施形態では、第1実施形態の第2変形例(図14参照)と同様に、フロントARディスプレイに35よるフロントAR画面201に、路側機6で撮影された映像121,122が表示される。
 また、前記の実施形態では、車外の状態(外部要因)、すなわち、障害事象の発生、自車両の周囲に存在する移動体(自転車など)、自車両と衝突の可能性がある移動体(トラックなど)をトリガ事象として、外部要因と関係する映像を強調表示する映像表示制御を行うようにした。一方、本実施形態では、運転手の状態(内部要因)をトリガ事象として、所定の映像を強調表示する映像表示制御を行う。特に本実施形態では、運転手がわき見をしている場合、例えば、運転者が手元のスマートフォンの画面を見ている場合に、フロントAR画面201に表示される映像のうち、運転者の視界の端に表示されている映像121を強調表示する。
 図25に示す例では、直近の交差点の映像として、移動体が存在する左方向の見通し外道路の映像121と、直近の交差点の次の交差点の映像として、移動体が存在する右方向の見通し外道路の映像122と、が表示されている。
 ここで、運転者が手元のスマートフォンの画面を見ているため、運転者がわき見をしているものと判定されると、フロントAR画面201に表示されている映像121,122のうち、直近の交差点の左方向の見通し外道路の映像121が運転者の視界の端に表示されている。このため、この映像121が強調表示される。具体的には、直近の交差点の映像121が表示される映像表示枠141が所定色(例えば赤色)の太線で描画される。これにより、フロントAR画面201において強調表示された映像121を見るように運転者が誘導され、直近の交差点において見通し外道路に存在する移動体に対する運転者の注意喚起を行うことができる。
 次に、第4実施形態に係る車両1の概略構成について説明する。図26は、車両1の概略構成を示すブロック図である。
 車両1は、第1実施形態の第2変形例(図8参照)と同様に、車載端末2、自動運転ECU3、ナビゲーションディスプレイ4、およびフロントARディスプレイ35などを備えているが、この他に、車内カメラ38を備えている。
 車内カメラ38は、自車両の車室内(少なくとも運転者の顔が含まれる範囲)を撮影する。
 車載端末2は、第1実施形態(図8参照)と同様に、ITS通信部41と、無線通信部42と、測位部43と、メモリ44と、プロセッサ45と、を備えている。また、プロセッサ45は、第1実施形態と同様に、衝突判定処理、映像受信制御処理、映像表示制御処理、および画面表示制御処理などを行うが、この他に、わき見判定処理を行う。
 わき見判定処理では、プロセッサ45が、車内カメラ38で撮影された運転者の映像に基づいて、運転者の視線方向を検出し、運転者の視線方向に基づいて、運転者がわき見をしているか否かを判定する。ここで、わき見とは、運転者がフロントガラス越しに自車両の前方を見ていない場合であり、例えば、運転者が手元のスマートフォンの画面を見ていて、運転者の視線が前方斜め下向きである場合である。
 映像表示制御処理では、プロセッサ45が、わき見判定処理で取得した運転手の視線方向と、フロントAR画面に表示される映像の表示位置と、に基づいて、運転者の視界の端に表示されている映像を選択し、その映像を強調表示する。
 次に、第4実施形態に係る車載端末2の動作手順について説明する。図27は、車載端末2の動作手順を示すフロー図である。なお、本実施形態でも、第1実施形態(図11参照)と同様の処理が行われる。
 車載端末2では、プロセッサが、車内カメラで撮影された運転者の映像に基づいて、運転者の視線方向を検出する(ST231)。そして、運転者の視線方向に基づいて、運転者がわき見をしているか否かを判定する(ST232)。
 ここで、運転者がわき見をしている場合には(ST232でYes)、プロセッサが、フロントAR画面に表示されている映像のうち、直近の交差点の見通し外道路の映像を強調表示する(ST233)。このとき、映像に映る移動体のマーク画像も強調表示される。
 以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
 例えば、本開示では、映像配信に係る通信負荷を軽減するため、交差点の周辺の道路上に移動体が存在する場合に、路側機6が、移動体が撮影された映像をサーバ7に送信(アップロード)し、また、車載端末2が、移動体が撮影された映像をサーバ7から受信(アップロード)するようにしたが、さらに映像配信に係る通信負荷を軽減するため、この映像のアップロードおよびダウンロードが、障害事象(交通事故、渋滞、道路工事、群衆、緊急車両など)が検知された場合や、周辺の他車両や歩行者の挙動により危険性が高い状態が検知された場合に限定されるようにしてもよい。また、逆に通信環境が良好である場合には、映像のアップロードおよびダウンロードは常時行われるようにしてもよい。
 また、映像配信に係る通信負荷を軽減するため、映像の重要性(緊急性)に応じて、映像を動画または静止画で表示したり、解像度を変更したり、映像の表示範囲を変更したりしてもよい。例えば、検出された移動体の危険性が高い場合のように、映像の重要性が高い場合には、映像を動画で表示し、また、映像を高解像度で表示し、また、移動体にズームアップした狭い範囲の映像を表示するようにする。逆に、映像の重要性が低い場合には、映像を静止画で表示し、また、映像を低解像度で表示し、また、広い範囲の映像を表示するようにする。
 また、映像配信に係る通信負荷を軽減するため、車両の速度などに応じて、映像を動画で表示する際のフレームレートや、映像を静止画で表示する際の更新レートを変更するようにしてもよい。具体的には、通常走行時のように、車両の走行速度が比較的速い場合には、動画のフレームレートや静止画の更新レートが高く設定され、渋滞時のように、車両の走行速度が遅い場合には、動画のフレームレートや静止画の更新レートが低く設定されるようにする。なお、動画のフレームレートや静止画の更新レートは、場所や周囲の状況などに応じて変更されてもよい。例えば、交差点や交通事故が多い場所においては、動画のフレームレートや静止画の更新レートが高く設定されてもよい。また、例えば、危険人物や危険車両が近くにいる場合に、動画のフレームレートや静止画の更新レートが高く設定されてもよい。
 また、映像配信に係る通信負荷を軽減するため、車両からの距離に応じて、画面表示する交差点の映像の解像度を変更するようにしてもよい。具体的には、車両に近い交差点の映像は高解像度で表示され、車両から遠い交差点の映像は低解像度で表示されるようにする。なお、映像の解像度についても、動画のフレームレートや静止画の更新レートと同様に、場所や周囲の状況などに応じて変更されてもよい。
 さらに、本開示において、例えば車載端末2や路側機6は、クラウドと連携されてもよい。具体的には、車載端末2や路側機6が収集した映像情報などをクラウド側の装置に送信し、クラウド側の装置において、例えば交通事故や煽り運転などが発生し易い場所や日時などを分析し、分析の結果得られた場所付近を走行する車両に通知してもよい。これにより、交通事故や煽り運転などの低減を図ることが可能である。また、危険車両を検知した場合、例えばすぐに警察等に自動通知することにより、煽り運転による被害防止を図ることができる。
 本開示に係る運転支援方法、路側装置および車載装置は、道路上で発生した注意すべき事象が映る映像を運転者が即座に判別して、注意すべき事象の具体的な状況を運転者が迅速に確認することができる効果を有し、車両における運転者の運転操作を支援する運転支援方法、道路に設置された路側装置、および車両に搭載された車載装置などとして有用である。
1 車両
2 車載端末(車載装置)
3 自動運転ECU(走行制御装置)
4 ナビゲーションディスプレイ(表示装置)
5 歩行者端末(歩行者装置)
6 路側機(路側装置)
7 サーバ(配信装置)
12 レーダ
13 カメラ
35 フロントARディスプレイ(表示装置)
36 カメラ
37 カメラ
38 車内カメラ
101 ナビゲーション画面
102 地図
111~117 マーク画像
121~127 映像
131,132 マーク画像
141 映像表示枠
201 フロントAR画面
211 ガイド画像

Claims (17)

  1.  道路に設置された路側装置が、カメラにより自装置の周辺の道路を撮影し、
     車両に搭載された車載装置が、前記路側装置が撮影した映像を取得し、
     前記車両に搭載された表示装置が、前記映像を表示し、
     前記路側装置が、自装置の周辺の道路上で発生した特定事象を検知すると、
     前記表示装置が、前記特定事象が映る前記映像を強調表示することを特徴とする運転支援方法。
  2.  前記車載装置が、前記車両の走行経路上にある複数の交差点ごとに設置された前記路側装置で撮影された前記映像を複数取得し、
     前記表示装置が、複数の前記映像の各々を、その映像を撮影した前記路側装置の位置に対応する画面上の位置に表示することを特徴とする請求項1に記載の運転支援方法。
  3.  前記車載装置または前記路側装置が、複数の前記映像ごとの表示の優先度を設定し、
     前記表示装置が、前記優先度に基づいて前記映像を表示することを特徴とする請求項2に記載の運転支援方法。
  4.  前記表示装置が、優先度が高い前記映像を、優先度が低い前記映像より大きく表示することを特徴とする請求項2に記載の運転支援方法。
  5.  前記表示装置が、優先度が高い前記映像を、優先度が低い前記映像の映像表示枠上に重ねて表示することを特徴とする請求項2に記載の運転支援方法。
  6.  前記車載装置または前記路側装置が、前記映像に写る事象の重要度と、前記車両から撮影地点までの距離とに基づいて、前記映像ごとの前記優先度を設定することを特徴とする請求項3から請求項5のいずれかに記載の運転支援方法。
  7.  前記表示装置が、前記映像上に移動体の移動方向を表すマーク画像を表示することを特徴とする請求項1に記載の運転支援方法。
  8.  前記特定事象が、車両の通行の障害となる障害事象であることを特徴とする請求項1に記載の運転支援方法。
  9.  前記車載装置が、自車両の周囲に存在する移動体を検出し、かつ、自車両の挙動に応じて危険性が高い状態に推移する可能性があると判定すると、
     前記表示装置が、自車両に搭載されたカメラで撮影された前記移動体が映る映像を表示することを特徴とする請求項1に記載の運転支援方法。
  10.  前記車載装置が、自車両の運転者がわき見をしているものと判定すると、
     前記表示装置が、表示中の前記映像のうち、運転者の視界の端に表示された前記映像を強調表示することを特徴とする請求項1に記載の運転支援方法。
  11.  前記路側装置が、前記映像を配信装置に送信し、
     前記車載装置が、前記配信装置から前記映像を受信することを特徴とする請求項1に記載の運転支援方法。
  12.  前記路側装置が、自装置の映像リンク情報を、直接または他の路側装置を経由して、前記車載装置に送信し、
     前記車載装置が、前記映像リンク情報に基づいて、前記配信装置から前記映像を受信することを特徴とする請求項11に記載の運転支援方法。
  13.  前記表示装置が、運転者から見える実空間上に仮想オブジェクトを重畳したAR画面を表示するARディスプレイであり、
     運転者からウィンドウガラス越しに見える車外空間上に前記仮想オブジェクトとして前記映像が表示されることを特徴とする請求項1に記載の運転支援方法。
  14.  さらに、車両の進行方向を地図上に描画したナビゲーション画面を表示するナビゲーションディスプレイを備え、
     前記AR画面における映像上に描画された移動体のマーク画像と、前記ナビゲーション画面における地図上に描画された移動体のマーク画像と、が同一色であることを特徴とする請求項13に記載の運転支援方法。
  15.  さらに、車両の進行方向を地図上に描画したナビゲーション画面を表示するナビゲーションディスプレイを備え、
     前記AR画面には、そのAR画面に表示された前記映像と、前記ナビゲーション画面に表示された移動体のマーク画像と、を対応付けるガイド画像が表示されることを特徴とする請求項13に記載の運転支援方法。
  16.  自装置の周辺の道路上に存在する移動体を検出するレーダと、
     自装置の周辺の道路を撮影するカメラと、
     前記レーダの検出結果に基づいて、自装置の周辺の道路上で発生した特定事象を検知するプロセッサと、
     前記カメラで撮影された映像を、直接または配信装置を経由して、車両に搭載された車載装置に送信すると共に、前記特定事象を検知した旨の情報を、直接または他の路側装置を経由して、前記車載装置に送信する通信部と、を備えたことを特徴とする路側装置。
  17.  路側装置において周辺の道路を撮影した映像を、前記路側装置から、直接または配信装置を経由して受信すると共に、前記路側装置において特定事象が検知された場合に、その旨の情報を、直接または他の路側装置を経由して受信する通信部と、
     車両に搭載された表示装置に前記映像を表示すると共に、前記特定事象を検知した旨の情報を受信すると、その特定事象が映る前記映像を強調表示するプロセッサと、を備えたことを特徴とする車載装置。
PCT/JP2020/039773 2019-11-13 2020-10-22 運転支援方法、路側装置および車載装置 WO2021095481A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019205764A JP7349888B2 (ja) 2019-11-13 2019-11-13 運転支援方法および車載装置
JP2019-205764 2019-11-13

Publications (1)

Publication Number Publication Date
WO2021095481A1 true WO2021095481A1 (ja) 2021-05-20

Family

ID=75898116

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039773 WO2021095481A1 (ja) 2019-11-13 2020-10-22 運転支援方法、路側装置および車載装置

Country Status (2)

Country Link
JP (1) JP7349888B2 (ja)
WO (1) WO2021095481A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024185828A1 (ja) * 2023-03-09 2024-09-12 三菱ふそうトラック・バス株式会社 車両の監視装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023109072A (ja) * 2022-01-26 2023-08-07 パナソニックホールディングス株式会社 交通流計測システムおよび交通流計測方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000081339A (ja) * 1998-06-30 2000-03-21 Equos Research Co Ltd 経路案内装置、画像情報提供装置及び画像情報提供システム
JP2010009359A (ja) * 2008-06-27 2010-01-14 Kyocera Corp 送信装置および受信装置
JP2010198428A (ja) * 2009-02-26 2010-09-09 Alpine Electronics Inc 車載システム
JP2017151606A (ja) * 2016-02-23 2017-08-31 株式会社デンソー 脇見見落とし注意システム及びコンピュータプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044485A (ja) * 2012-08-24 2014-03-13 Jvc Kenwood Corp 車載器、情報提供システム、車載器の制御方法、及び、プログラム
JP6214278B2 (ja) * 2013-08-26 2017-10-18 三菱電機株式会社 マルチディスプレイ制御装置およびマルチディスプレイ制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000081339A (ja) * 1998-06-30 2000-03-21 Equos Research Co Ltd 経路案内装置、画像情報提供装置及び画像情報提供システム
JP2010009359A (ja) * 2008-06-27 2010-01-14 Kyocera Corp 送信装置および受信装置
JP2010198428A (ja) * 2009-02-26 2010-09-09 Alpine Electronics Inc 車載システム
JP2017151606A (ja) * 2016-02-23 2017-08-31 株式会社デンソー 脇見見落とし注意システム及びコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024185828A1 (ja) * 2023-03-09 2024-09-12 三菱ふそうトラック・バス株式会社 車両の監視装置

Also Published As

Publication number Publication date
JP7349888B2 (ja) 2023-09-25
JP2021077294A (ja) 2021-05-20

Similar Documents

Publication Publication Date Title
US20230311749A1 (en) Communication between autonomous vehicle and external observers
US10300930B2 (en) Geofencing for auto drive route planning
CA3013570C (en) Proximity awareness system for motor vehicles
US20180198955A1 (en) Vehicle-use image display system and method
US20170327035A1 (en) Methods and systems for beyond-the-horizon threat indication for vehicles
JP5169884B2 (ja) ヘッドアップディスプレイ装置
JP6107590B2 (ja) ヘッドアップディスプレイ装置
JP7445882B2 (ja) 走行支援方法、道路撮影画像収集方法、および路側装置
JP6451101B2 (ja) 車両用通信装置
JPWO2016113926A1 (ja) 走行制御装置
JP2015225366A (ja) 事故防止システム、事故防止装置、事故防止方法
JPWO2013051306A1 (ja) 脇見検出装置
JP2007288444A (ja) 車載カメラ制御装置および車載カメラ制御方法。
WO2021095481A1 (ja) 運転支援方法、路側装置および車載装置
JP2020091663A (ja) 車両用表示制御装置
JP2015010887A (ja) 車両用情報提供装置
JP2022176234A (ja) 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム
WO2019030182A2 (en) TRAFFIC WARNING SYSTEM
CN115983539A (zh) 用于基于云的动态车辆调度的方法和设备
KR102597825B1 (ko) 실시간 안전 네비게이션 장치
JP7215191B2 (ja) 運転支援制御装置、運転支援制御方法、およびプログラム
JP2009146141A (ja) 走行支援装置
JP2011227617A (ja) 運転支援システム及び車載装置
JP2006119949A (ja) 運行支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20887965

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20887965

Country of ref document: EP

Kind code of ref document: A1