WO2023042371A1 - 安全運転支援システム、安全運転支援装置、安全運転支援方法及びプログラム記録媒体 - Google Patents

安全運転支援システム、安全運転支援装置、安全運転支援方法及びプログラム記録媒体 Download PDF

Info

Publication number
WO2023042371A1
WO2023042371A1 PCT/JP2021/034298 JP2021034298W WO2023042371A1 WO 2023042371 A1 WO2023042371 A1 WO 2023042371A1 JP 2021034298 W JP2021034298 W JP 2021034298W WO 2023042371 A1 WO2023042371 A1 WO 2023042371A1
Authority
WO
WIPO (PCT)
Prior art keywords
animal
person
crossing
safe driving
determination
Prior art date
Application number
PCT/JP2021/034298
Other languages
English (en)
French (fr)
Inventor
信之 戸澤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023548057A priority Critical patent/JPWO2023042371A5/ja
Priority to PCT/JP2021/034298 priority patent/WO2023042371A1/ja
Publication of WO2023042371A1 publication Critical patent/WO2023042371A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering

Definitions

  • the present invention relates to a driving safety support system, a driving safety support device, a driving safety support method, and a program recording medium.
  • Patent Document 1 discloses a roadside device that can determine the situation of sidewalks.
  • this roadside device includes a camera as a detection unit that detects information that can determine the situation of the sidewalk around the device, and other devices (vehicle devices or portable electronic devices (for example, smartphones)). and a control unit. Then, it is described that the control unit determines the condition of the sidewalk around the machine based on the information detected by the camera, and transmits the determined condition of the sidewalk to other devices.
  • the "state of the sidewalk" notified by the roadside includes the presence and number of pedestrians and bicycles, information on whether the pedestrians include children or the elderly, and information on whether the pedestrians include children or the elderly. And it is described that situations such as jumping out of the bicycle may be included.
  • Patent Document 1 it is possible to notify other devices (in-vehicle devices or portable electronic devices (for example, smartphones)) of the sidewalk situation, However, there is a problem that it is not possible to notify pedestrians and bicycles crossing the roadway.
  • the present invention aims to provide a safe driving support system, a safe driving supporting device, a safe driving supporting method, and a program recording medium that can contribute to the early detection of a person or animal crossing outside a pedestrian crossing or crossing at an angle. aim.
  • a detection means for detecting a person or an animal crossing or likely to cross the road;
  • a safe driving support system comprising determination means for determining whether or not the crossing position of the animal is within the pedestrian crossing, and output means for outputting the result of the determination.
  • detection means for detecting a person or animal crossing or likely to cross the road based on an image acquired from a camera capable of photographing the road; and transmission means for transmitting the detection result of the crossing position of the person or the animal crossing based on the detection result of the person or the animal received from the server.
  • a driving safety support device includes means for determining whether or not the vehicle is on a sidewalk, and means for outputting the result of the determination.
  • a person or animal crossing or likely to cross the road is detected based on the image acquired from the camera, and the crossing position of the detected person or animal is within the crosswalk.
  • a safe driving support method for determining whether or not and outputting the result of the determination.
  • detection means for detecting a person or animal crossing or likely to cross the road based on an image acquired from a camera capable of photographing the road; receiving the detection result of the person or animal from a server comprising a transmission means for transmitting the detection result of;
  • a safe driving support method for determining whether a vehicle is in a pedestrian crossing and outputting the result of the determination.
  • a computer capable of acquiring an image from a camera detects a person or animal crossing or likely to cross the road based on the image acquired from the camera;
  • a program recording medium recording a program for executing a process of determining whether or not the detected crossing position of the person or animal is in a pedestrian crossing and a process of outputting the detection result and the determination result is provided. be done.
  • the present invention it is possible to contribute to the early detection of people and animals crossing outside the pedestrian crossing or crossing at an angle.
  • FIG. 1 is a flow chart representing the flow of operations of an embodiment of the present invention; It is a figure for demonstrating the operation
  • BRIEF DESCRIPTION OF THE DRAWINGS It is a figure showing the schematic structure of the 1st Embodiment of this invention.
  • 4 is a sequence diagram showing the operation of the first exemplary embodiment of the present invention;
  • FIG. It is a figure for demonstrating operation
  • FIG. 5 is another diagram for explaining the operation of the server according to the first embodiment of this invention;
  • FIG. 5 is another diagram for explaining the operation of the server according to the first embodiment of this invention;
  • FIG. 4 is a sequence diagram showing deformation operations of the first embodiment of the present invention; It is a figure showing the schematic structure of the 2nd Embodiment of this invention. It is a functional block diagram showing the structure of the server of the 2nd Embodiment of this invention.
  • FIG. 9 is a sequence diagram showing the operation of the second exemplary embodiment of the present invention; It is a figure showing the schematic structure of the 3rd Embodiment of this invention. It is a functional block diagram showing the structure of the server of the 3rd Embodiment of this invention.
  • FIG. 11 is a sequence diagram showing the operation of the third exemplary embodiment of the present invention. It is a figure for demonstrating operation
  • FIG. 11 is another diagram for explaining the operation of the server according to the third embodiment of this invention; It is a figure which shows the structure of the computer which can function as a server of this invention. It is a functional block diagram showing a modified configuration of the first embodiment of the present invention.
  • connection lines between blocks in drawings and the like referred to in the following description include both bidirectional and unidirectional connections.
  • the unidirectional arrows schematically show the flow of main signals (data) and do not exclude bidirectionality.
  • ports or interfaces at input/output connection points of each block in the figure they are omitted from the drawing.
  • a driving safety support system 10 comprising detection means 11, determination means 12, and output means 13 can be implemented.
  • the detection means 11 detects a person or an animal crossing or likely to cross the road based on an image obtained from a camera capable of photographing the road.
  • a camera for grasping the traffic flow and the situation in the intersection can be used.
  • a security camera or a camera mounted on another moving body can also be used.
  • a method for the detection means 11 to detect a person or an animal from an image a method using a class classifier that identifies the class of an object in the image, or an object detection technology used in the fields of automatic driving and security can be used. can be done.
  • the determination means 12 determines whether the detected crossing position of the person or animal is within the crosswalk.
  • crossing position refers to the current position of a person or animal crossing the road detected from the image, and the future predicted position of the person or animal crossing the road. It shall include a certain planned crossing position.
  • the determination means 12 determines the crossing position of the human or animal based on the position of the human or animal captured in the image (coordinates in the image).
  • the position of the image of the person or animal in the image is determined. Additionally, the size of the human or animal image in the image may be taken into account. Also, when the position of the crosswalk is not known or when the camera 14 is moving, it is determined whether or not the crosswalk position of the person or animal is within the crosswalk based on the image of the crosswalk captured in the image.
  • the output means 13 outputs the detection results and determination results to a predetermined output destination.
  • the output destination of the information of the output means 13 can be a vehicle that may cross (collide) with the person or animal.
  • the output means 13 can adopt a configuration that outputs such information to an electronic bulletin board or a large display installed at a position that is easy for the driver of the vehicle to see, such as near the road.
  • FIG. 2 is a flowchart showing the operation flow of the safe driving support system 10.
  • the safe driving support system 10 detects a person or animal crossing or likely to cross the road based on the image acquired from the camera 14 (step S001). For example, the safe driving support system 10 detects pedestrians P11, P13, bicycle P12, and animal P14 in FIG.
  • the safe driving support system 10 determines whether the detected crossing position of the person or animal is within the crosswalk. For example, the driving safety support system 10 determines that the pedestrian P11 in FIG. 3 is in a position to cross the pedestrian crossing. On the other hand, the safe driving support system 10 determines that the bicycle P12, the pedestrian P13, and the animal P14 in FIG. 3 are positioned to cross outside the crosswalk.
  • the safe driving support system 10 outputs the detection result and determination result to a predetermined output destination.
  • the safe driving support system 10 informs vehicles traveling on the road of the presence of a bicycle P12, a pedestrian P13, and an animal P14 in FIG. 3 and that they are positioned to cross outside the crosswalk. As a result, a driver driving a vehicle traveling on this road can take measures such as paying attention to the road ahead or slowing down.
  • FIG. 4 is a diagram showing a schematic configuration of the first embodiment of the present invention. Referring to FIG. 4, a configuration including server 100, base station 200, terminal 210, and camera 140 is shown.
  • the camera 140 is a camera that is installed near a traffic light at an intersection and captures images of vehicles and the like that pass through the intersection with a pedestrian crossing.
  • this camera 140 is used as a camera for detecting people or animals crossing the road at places other than crosswalks.
  • the case of detecting pedestrians and automobiles will be mainly described as specific examples of people.
  • FIG. 4 shows an example in which two cameras are arranged facing each other on the diagonal line of the intersection, there is no limit to the number of cameras.
  • one or more cameras may be installed on each signal pole of a traffic light at an intersection.
  • the camera 140 points toward the inside of the intersection, but a camera pointing toward the outside of the intersection may be used.
  • the terminal 210 is a terminal that has a function of wirelessly connecting to the base station 200 .
  • the terminal 210 functions as a transmission device that transmits an image captured by the camera 140 to the server 100 via the base station 200 .
  • This terminal 210 may be a traffic control terminal for transmitting an image captured by the camera 140 to a traffic control center, a server, or the like via the base station 200 .
  • the base station 200 transmits the camera image received from the terminal 210 to the server 100 .
  • the base station 200 may be a base station that provides services not only to the terminals 210 but also to the terminals of vehicles that pass near intersections or to the terminals of pedestrians.
  • the base station 200 may be a base station of a fifth generation mobile communication system installed by a telecommunications carrier, or a base station of a network called local 5G operated by a person other than the telecommunications carrier. may
  • the server 100 is a server that detects pedestrians and bicycles trying to cross the pedestrian crossing from the image captured by the camera 140 and notifies the vehicle.
  • the server 100 may be a server installed on a cloud infrastructure or on the Internet, but may also be an MEC server installed in a position physically close to the base station. Or it stands for Multi-access Edge Computing.
  • FIG. 5 is a functional block diagram showing the configuration of the server 100. As shown in FIG. Referring to FIG. 5, a configuration including detection section 101, determination section 102, and transmission section 103 is shown.
  • the detection unit 101 corresponds to the detection means 11 described above, and receives images captured by the camera 140 from the base station 200 .
  • the detection unit 101 detects pedestrians, bicycles, etc. that may cross the road in the image captured by the camera 140 .
  • the determination unit 102 corresponds to the determination means 12 described above, and determines whether the pedestrian or bicycle detected by the detection unit 101 is crossing or about to cross the pedestrian crossing. Quite simply, the determination unit 102 determines whether or not the pedestrian or bicycle is crossing or about to cross the pedestrian crossing based on the position of the pedestrian or bicycle in the image of the camera 140. It is possible to determine whether Furthermore, in this embodiment, the determination unit 102 identifies the positions of pedestrians and bicycles.
  • the position information here may be absolute coordinates such as latitude and longitude, or may be position information specified by intersection information and a relative position from the intersection.
  • the transmission unit 103 corresponds to the output means 13 described above, and notifies vehicles approaching the intersection of the positions of the detected pedestrians, bicycles, etc. and whether or not they are crossing the crosswalk or about to cross. It transmits the determination result of whether or not.
  • Various methods are conceivable as a form of transmission of these information by the transmission unit 103 .
  • a method in which the transmission unit 103 broadcasts these information via the base station 200 can be adopted.
  • the server 100 can acquire the IP address and the like of the in-vehicle terminal of each vehicle, the server 100 may select a vehicle and transmit such information by multicast or unicast.
  • the transmission unit 103 may transmit these pieces of information using a roadside device or the like installed on the road.
  • the transmitting unit 103 may add various types of information and transmit the information to vehicles passing through the intersection.
  • the transmission unit 103 may transmit images of pedestrians and bicycles in the images obtained from the camera 140 and attribute information obtained from these images to the vehicle.
  • FIG. 6 is a sequence diagram showing the operation of the first embodiment of the invention.
  • terminal 210 transmits an image received from camera 140 to server 100 via base station 200 (step S101).
  • the server 100 that has received the image detects pedestrians and bicycles crossing the road or that may cross the road from the received image.
  • the possibility of crossing the road may be determined based on the prior behavior of pedestrians and bicycles, as well as when an image of the vehicle actually starting to cross the road is obtained. For example, when there is a pedestrian on the curb of the road, or when the pedestrian is heading to the road and checking left and right in a place where there is no pedestrian crossing, it can be said that there is a high possibility that the pedestrian will cross the road soon. Also, if the bicycle is swaying while it is running, or if it changes its direction and starts to cross the road, it can be determined that there is a high possibility that the bicycle will catch this and cross the road. Alternatively, when a person riding a bicycle turns back toward the roadway, it can be said that there is a high possibility that the person will cross the road diagonally from now on.
  • the server 100 determines the current position of the detected pedestrian or bicycle and whether or not the crossing position is within the crosswalk (step S103).
  • the server 100 transmits to the vehicle the position of the detected pedestrian or bicycle and information on whether or not the crossing position is within the pedestrian crossing (step S104).
  • the in-vehicle terminal of the vehicle that receives the information performs an operation based on the information received from the server 100 (step S105).
  • the in-vehicle terminal that receives the information refers to the position, moving direction, and moving speed of its own vehicle, and determines whether or not to use the information received from the server 100 . For example, even if there is a pedestrian trying to cross outside the pedestrian crossing, if the vehicle is moving away from the pedestrian, there is no possibility of crossing (colliding) with the pedestrian, so the information is received. The in-vehicle terminal may discard this information. Also, even if the distance between the vehicle and the pedestrian is short, the possibility of crossing (collision) with the pedestrian is low when the vehicle is stopped or moving slowly. , the in-vehicle terminal that receives the information may discard the information. Also, when a pedestrian is about to cross the pedestrian crossing, the in-vehicle terminal may discard this information because there is no immediate danger.
  • the in-vehicle terminal will use this information to warn the driver. For example, the in-vehicle terminal displays the pedestrians and their positions notified from the server 100 using the display of the car navigation device or AR (Augmented Reality) display. This makes it possible for the driver to take action to avoid crossing (collision) with a pedestrian who is about to cross the pedestrian crossing.
  • AR Auggmented Reality
  • FIG. 7 it is assumed that an image as shown in FIG. 7 is sent from camera 140 .
  • the server 100 detects pedestrians P1 and P3 who are likely to cross the road from the image in FIG. It is assumed that the pedestrian P2 who has completely crossed the pedestrian crossing has already been detected at the previous timing.
  • the server 100 determines whether or not the detected crossing positions of the pedestrians P1 and P3 are within the crosswalk. For example, in the example of FIG. 7, the pedestrian P1 is at the waiting position in front of the pedestrian crossing, so it is determined that the crossing position is inside the pedestrian crossing. On the other hand, the pedestrian P3, who appears in the distance, is not at the waiting position of the crosswalk, so it is determined that the crossing position is outside the crosswalk.
  • the server 100 sending such determination results together with the existence of the pedestrians P1 and P3, the in-vehicle terminal or the like can perform an operation to alert the driver or the like of the vehicle to the pedestrian P3.
  • the in-vehicle terminal or the like may omit alerting the pedestrian P1 to the driver of the vehicle or the like in order to enhance the effect of alerting the pedestrian P3. This is because the pedestrian P1 is at the waiting position of the pedestrian crossing, and there is little possibility of crossing (colliding) with the vehicle.
  • FIG. 8 is a diagram showing an image transmitted from the camera 140 after a certain period of time has passed since the time of FIG.
  • the pedestrian signal for which the pedestrian P1 was waiting has turned green, and the pedestrian P1 has started crossing.
  • a bicycle P4 heading toward the intersection is shown.
  • the server 100 detects the bicycle P4 that may cross the road from the image of FIG. Pedestrian P1, who has started to cross the pedestrian crossing, does not need to be alerted to the driver of the vehicle or the like because the pedestrian P1 crosses the pedestrian crossing at the pedestrian crossing.
  • the server 100 determines whether or not the detected crossing position of the bicycle P4 is within the crosswalk. For example, in the example of FIG. 8, the bicycle P4 is outside the waiting position of the pedestrian crossing, so it is determined that the crossing position is outside the pedestrian crossing.
  • the server 100 sending such a determination result together with the presence of the bicycle P4, the in-vehicle terminal or the like can perform an operation to call attention to the bicycle P4 to the driver or the like of the vehicle.
  • the pedestrian is also an object of alerting the driver of the vehicle.
  • the server 100 has been described as transmitting the existence of pedestrians and bicycles and the determination results of their respective crossing positions. You may let For example, if the server 100 knows the position and traveling direction of each vehicle and can transmit information to each vehicle individually, the server 100 can create a message for each vehicle. can. For example, as shown in FIG. 9, when there is a vehicle entering the intersection from the left side of FIG. 9 and turning left, the server 100 sends a message to the vehicle, "Beware of pedestrians outside the crosswalk before turning left". can be created and sent to the in-vehicle terminal. Then, the in-vehicle terminal that has received the message outputs the message received from the server in voice or text. By doing so, it is possible to reduce the load on the in-vehicle terminal and improve the promptness of the warning message.
  • the server 100 determines the crossing positions of pedestrians and bicycles, but the vehicle may determine the crossing positions of pedestrians and bicycles (see FIG. 10). ).
  • a configuration as shown in FIG. 20 can be adopted.
  • the server 100c includes detection means (corresponding to the detection unit 101 in FIG. 20) for detecting a person or an animal crossing the road or likely to cross the road, based on an image acquired from a camera capable of photographing the road. , and transmitting means (corresponding to the transmitting section 103c in FIG. 20) for transmitting the detection result to the vehicle side.
  • the in-vehicle terminal 400 of the vehicle serves as a safe driving support device, and based on the detection result of the person or animal received from the server 100, means for determining whether or not the crossing position of the person or animal is within the crosswalk (Fig. 20) and means for outputting the determination result (corresponding to the output unit 403 in FIG. 20).
  • the server 100c detects pedestrians and bicycles based on the images acquired from the camera, and then transmits information on the detected pedestrians and bicycles to the vehicle (steps S202 and S203 in FIG. 10). ). Then, the vehicle determines the crossing position of the detected pedestrian or bicycle (step S203 in FIG. 10). By doing so, it is possible to reduce the load on the server side.
  • FIG. 11 is a diagram showing a schematic configuration of the second embodiment of the present invention.
  • the server 100a is connected to the signal control device 300 and can acquire information on the lighting state of the traffic signal. Since the rest of the configuration is the same as that of the first embodiment, the description is omitted, and the difference will be mainly described below.
  • the signal control device 300 is a device that controls the lights of traffic lights installed at intersections based on preset control information. For example, the signal control device 300 controls the lighting states of traffic signals at intersections based on information such as cycle, split, and offset.
  • FIG. 12 is a functional block diagram showing the configuration of the server 100a according to the second embodiment of the present invention.
  • the difference from the server 100 of the first embodiment shown in FIG. 5 is that a signal control information acquisition unit 104 is added to the server 100a, and that the transmission unit 103a detects the position of a pedestrian or the like and the crossing position. , to transmit the lighting status of the traffic signal at the intersection.
  • the signal control information acquisition unit 104 acquires from the signal control device 300 the information on the lighting state of the traffic light or the control information on which it is based (hereinafter collectively referred to as "signal control information").
  • FIG. 13 is a sequence diagram showing the operation of the second embodiment of the invention.
  • the terminal 210 first transmits an image received from the camera 140 to the server 100a via the base station 200 (step S301).
  • steps S302 and S303 are the same as steps S102 and S103 of the first embodiment.
  • the server 100a transmits the signal control information, the position of the detected pedestrian or the like, and the crossing position to the vehicle side (step S304).
  • the in-vehicle terminal of the vehicle that receives the information performs an operation based on the information received from the server 100a.
  • the vehicle-mounted terminal refers to the signal control information in addition to the vehicle's position, moving direction, and moving speed, and uses the information received from the server 100a. determine whether or not For example, even if there is a pedestrian trying to cross the crosswalk on the road ahead of the vehicle, it is expected that the traffic light will turn red and the vehicle will stop when the vehicle passes the intersection. If so, the in-vehicle terminal that receives the information discards the information.
  • the vehicle is about to turn left and there is a pedestrian about to cross the road beyond the pedestrian crossing on the left turn destination.
  • the on-vehicle terminal will alert the driver.
  • Whether or not the vehicle is about to turn left can be determined, for example, by whether or not the turn signal for left turn is being activated. Only when crossing with pedestrians is expected, the driver will be alerted.
  • the vehicle-mounted terminal can refer to the signal control information to calculate the degree of occurrence of crossing between the vehicle and a pedestrian trying to cross outside the pedestrian crossing.
  • the in-vehicle terminal may then perform different driver alerting actions according to this degree. For example, when the degree is large, the driver can be notified in a more conspicuous manner. Further, when the degree is large, the degree information may be used for controlling the vehicle itself, such as decelerating the vehicle.
  • the in-vehicle terminal determines whether or not to perform the driver's attention activation operation based on the information received from the server 100a. You can decide whether to do it or not.
  • the server 100a determines, based on the position, moving direction, moving speed, and signal lighting state of the target vehicle, whether or not the vehicle is expected to cross a pedestrian crossing outside the crosswalk. judge. For example, even if there is a pedestrian trying to cross outside the crosswalk on the road ahead of the target vehicle, if the target vehicle is expected to stop according to the signal lights, the server 100a detects Suppresses the transmission of the position of pedestrians, etc., and the crossing position.
  • the server 100a determines whether or not to perform an alerting action, the server 100a refers to the signal control information to notify the pedestrian who is about to cross the pedestrian outside of the crosswalk with the vehicle. It is possible to calculate the degree of intersection with the vehicle and use it for alerting the driver and controlling the vehicle.
  • FIG. 14 is a diagram showing a schematic configuration of the third embodiment of the invention. Since the basic configuration is the same as that of the first embodiment shown in FIG. 4, the differences will be mainly described below.
  • FIG. 15 is a functional block diagram showing the configuration of the server 100b according to the third embodiment of the present invention.
  • the difference from the server 100 of the first embodiment shown in FIG. 5 is that an analysis unit 105 is added to the server 100a, and that a transmission unit 103b detects pedestrians' positions and crossing positions in addition to pedestrians' positions. It is a point to transmit the moving direction and moving speed.
  • the analysis unit 105 analyzes the moving direction and moving speed of pedestrians and bicycles based on a plurality of images captured by the camera 140 .
  • the movement direction and movement speed of pedestrians and bicycles can be estimated using the movement and the amount of movement of a subject captured in two or more temporally consecutive images.
  • FIG. 16 is a sequence diagram showing the operation of the third embodiment of the invention.
  • the operations shown in steps S401 to S405 of FIG. 16 correspond to steps S101 to S105 of the first embodiment.
  • the operation added in this embodiment is the analysis processing of the moving direction and moving speed of the pedestrian in step S406. Note that the processing of step S406 may be performed before the determination of the crossing position in step S403.
  • the server 100b After completing the analysis of the moving direction and moving speed of the pedestrian, the server 100b transmits the detected position, crossing position, moving direction, and moving speed of the pedestrian to the vehicle side (step S404).
  • the in-vehicle terminal of the vehicle that receives the information performs an operation based on the information received from the server 100b.
  • the vehicle-mounted terminal displays their positions by AR display or the like. display.
  • the vehicle-mounted terminal displays the moving direction and moving speed of the pedestrian with arrows.
  • the length of the arrow represents the moving speed and the direction of the arrow represents the moving direction, but the display form of the moving direction and the moving speed is not limited to this.
  • the movement speed can also be represented by a numerical value, the thickness of the arrow, and the color.
  • the direction of movement can also be represented by a symbol indicating orientation.
  • the moving direction and moving speed are determined in addition to the positions of pedestrians and bicycles, it is possible for the own vehicle to visually represent objects that are likely to cross paths and should be paid more attention to. becomes possible.
  • the vehicle driver can decelerate or take evasive action.
  • the movement direction and movement speed of pedestrians and the like obtained in the present embodiment can be used not only for display but also for determining the presence or absence of crossing and the degree of crossing on the vehicle-mounted terminal and server 100b side. good too.
  • the vehicle-mounted terminal or the server 100b may control the vehicle (automatic deceleration, alert notification, etc.) according to the moving direction and moving speed.
  • the present invention is not limited to the above-described embodiments, and further modifications, replacements, and substitutions can be made without departing from the basic technical idea of the present invention. Adjustments can be made.
  • the system configuration, the configuration of each element, and the form of expression such as data shown in each drawing are examples for helping understanding of the present invention, and are not limited to the configuration shown in these drawings.
  • the camera 140 is installed at the intersection, but the arrangement of the camera 140 is not limited to this.
  • a camera installed on the street or a camera installed for crime prevention can be used as the camera 140.
  • the server side determines whether or not the pedestrian crossing position is within the pedestrian crossing. It is also possible to employ a configuration for determining whether or not there is. In this case, the server detects pedestrians and sends their positions to the vehicle (in-vehicle terminal).
  • the procedures shown in the above-described embodiments can be realized by a computer that functions as a device that constitutes a driving safety support system or a driving safety support device on the vehicle side.
  • a computer can be implemented by a program that causes a computer (9000 in FIG. 19) to implement the functions of these devices.
  • a computer is exemplified by a configuration comprising a CPU (Central Processing Unit) 9010, a communication interface 9020, a memory 9030, and an auxiliary storage device 9040 in FIG. That is, the CPU 9010 in FIG. 19 may execute the object recognition program and the crossing position determination program.
  • the computer executes the safe driving support method according to the program.
  • each part (processing means, function) of the above-described server and the like can be realized by a computer program that causes the processor installed in these devices to execute each of the above-described processes using the hardware.
  • the program can be recorded on a computer-readable program recording medium.
  • the recording medium can be non-transitory such as semiconductor memory, hard disk, magnetic recording medium, optical recording medium, and the like.
  • [Appendix 4] moreover, comprising means for acquiring information indicating the state of the lights of the traffic lights at the intersection; 3. The safe driving support system according to appendix 2 or 3, wherein the output means provides information indicating the state of the lights of the traffic lights at the intersection in addition to the result of the determination.
  • [Appendix 5] moreover, comprising means for acquiring information indicating the state of the lights of the traffic lights at the intersection; Safe driving support according to Supplementary Note 2 or 3, wherein the output means transmits the result of the determination to a vehicle that may cross the person or animal based on the information indicating the light status of the traffic signal at the intersection. system.
  • [Appendix 6] moreover, means for analyzing at least one of direction and speed of movement of said person or animal; 6.
  • the safe driving support system according to any one of Appendices 1 to 5, wherein the output means provides at least one of a moving direction and a moving speed of the person or animal in addition to the result of the determination.
  • Appendix 7 6.
  • Appendix 8 Supplementary Notes 1 to 7, wherein the determination means determines whether or not the crossing position of the person or the animal is within the pedestrian crossing based on the position in the image of the image captured by the camera. Any one safe driving support system.
  • the safe driving support device which outputs the result of the determination when there is a possibility that the own vehicle will cross the person or the animal based on the information indicating the state of the light of the traffic signal at the intersection.
  • Appendix 11 detecting a person or animal crossing or likely to cross the road based on the images obtained from the camera; determining whether the crossing position of the detected person or animal is within the pedestrian crossing; outputting the result of the determination; Safe driving assistance method.
  • Appendix 13 a computer capable of acquiring images from the camera, A process of detecting a person or animal crossing or likely to cross the road based on the image obtained from the camera; a process of determining whether the detected crossing position of the person or animal is within a pedestrian crossing; A process of outputting the detection result and the determination result; A program recording medium that records a program for executing It should be noted that the forms of appendices 9 to 13 can be developed into forms of appendices 2 to 8 in the same way as the form of appendix 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

安全運転支援システムは、道路を撮影可能なカメラから取得した画像に基づいて前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する判定手段と、上記検出の結果及び判定の結果を出力する出力手段と、を備える。

Description

安全運転支援システム、安全運転支援装置、安全運転支援方法及びプログラム記録媒体
 本発明は、安全運転支援システム、安全運転支援装置、安全運転支援方法及びプログラム記録媒体に関する。
 特許文献1に、歩道の状況を判別することができるという路側機が開示されている。同文献によると、この路側機は、自機の周囲の歩道の状況を判別できる情報を検出する検出部であるカメラと、他の機器(車載装置、又は、携帯電子機器(例えば、スマートフォン))と通信する通信部と、制御部とを備える。そして、制御部は、カメラで検出した情報に基づいて、自機の周囲の歩道の状況を判別し、判別した歩道の状況を他の機器に送信することが記載されている。また、同文献の段落0063には、この路側が通知する「歩道の状況」には、歩行者及び自転車の有無と数、歩行者に子供又は老人を含むか否かの情報、並びに、歩行者及び自転車の飛び出し等の状況が含まれ得ることが記載されている。
国際公開第2018/061975号公報
 以下の分析は、本発明者によって与えられたものである。特許文献1の発明によれば、他の機器(車載装置、又は、携帯電子機器(例えば、スマートフォン))に歩道の状況を通知することが可能であるが、歩道外、例えば、車道にはみ出したり、車道を横切ったりする歩行者や自転車を通知することができないという問題点がある。
 今後、自動運転技術の普及に伴い、車載カメラによる歩行者や自転車の検出精度が向上する可能性があるが、車載カメラでは、視点が低い上、視野角も限られるため、歩行者や自転車の発見が遅れる可能性がある。また、道路によっては、本来、道路交通法で禁止されている、横断歩道外での横断や斜め横断が日常的に行われている箇所があり、早急な対策が望まれている。また、地域によっては、車両が野生の動物等を衝突する事故も起きている。
 本発明は、横断歩道外での横断や斜め横断を行う人や動物の早期発見に貢献することができる安全運転支援システム、安全運転支援装置、安全運転支援方法及びプログラム記録媒体を提供することを目的とする。
 第1の視点によれば、道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する判定手段と、前記判定の結果を出力する出力手段と、を備える安全運転支援システムが提供される。
 第2の視点によれば、道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、前記人又は動物の検出結果を送信する送信手段と、を備えるサーバに接続される安全運転支援装置であり、前記サーバから受信した前記人又は動物の検出結果に基づいて、前記人又は前記動物の横断位置が横断歩道内であるか否かを判定する手段と、前記判定の結果を出力する手段と、を備える安全運転支援装置が提供される。
 第3の視点によれば、カメラから取得した画像に基づいて、道路を横断している又は横断する可能性のある人又は動物を検出し、前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定し、前記判定の結果を出力する安全運転支援方法が提供される。
 第4の視点によれば、道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、前記人又は動物の検出結果を送信する送信手段と、を備えるサーバから、前記人又は動物の検出結果を受信し、前記サーバから受信した前記人又は動物の検出結果に基づいて、前記人又は前記動物の横断位置が横断歩道内であるか否かを判定し、前記判定の結果を出力する、安全運転支援方法が提供される。
 第5の視点によれば、カメラから画像を取得可能なコンピュータに、カメラ から取得した画像に基づいて、前記道路 を横断している又は横断する可能性のある人又は動物を検出する処理と、前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する処理と、上記検出の結果及び判定の結果を出力する処理と、を実行させるプログラムを記録したプログラム記録媒体が提供される。
 本発明によれば、横断歩道外での横断や斜め横断を行う人や動物の早期発見に貢献することができる。
本発明の一実施形態の構成を示す図である。 本発明の一実施形態の動作の流れを表した流れ図である。 本発明の一実施形態の動作を説明するための図である。 本発明の第1の実施形態の概略構成を表した図である。 本発明の第1の実施形態のサーバの構成を表した機能ブロック図である。 本発明の第1の実施形態の動作を表したシーケンス図である。 本発明の第1の実施形態のサーバの動作を説明するための図である。 本発明の第1の実施形態のサーバの動作を説明するための別の図である。 本発明の第1の実施形態のサーバの動作を説明するための別の図である。 本発明の第1の実施形態の変形動作を表したシーケンス図である。 本発明の第2の実施形態の概略構成を表した図である。 本発明の第2の実施形態のサーバの構成を表した機能ブロック図である。 本発明の第2の実施形態の動作を表したシーケンス図である。 本発明の第3の実施形態の概略構成を表した図である。 本発明の第3の実施形態のサーバの構成を表した機能ブロック図である。 本発明の第3の実施形態の動作を表したシーケンス図である。 本発明の第3の実施形態のサーバの動作を説明するための図である。 本発明の第3の実施形態のサーバの動作を説明するための別の図である。 本発明のサーバとして機能可能なコンピュータの構成を示す図である。 本発明の第1の実施形態の変形構成を示す機能ブロック図である。
 はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースがあるが図示省略する。
 本発明は、その一実施形態において、図1に示すように、検出手段11と、判定手段12と、出力手段13とを備える安全運転支援システム10にて実現できる。
 検出手段11は、道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する。カメラ14としては、交通流や交差点内の状況を把握するカメラを用いることができる。もちろん、カメラ14として、防犯カメラやその他移動体に搭載されたカメラを用いることもできる。検出手段11が、画像から人又は動物を検出する方法としては、画像内の物体のクラスを識別するクラス識別器を用いる方法や、自動運転やセキュリティ分野で用いられている物体検出技術を用いることができる。
 判定手段12は、前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する。以下、本明細書では、「横断位置」という場合、画像から検出した人又は動物が道路を横断している場合の現在位置である横断中の位置と、これから横断する場合の将来の予測位置である横断予定位置を含むものとする。カメラ14で得られる画像中の横断歩道の位置が既知である場合、判定手段12は、画像中に写った人又は動物の位置(画像中の座標)により、人又は動物の横断位置が横断歩道内か否かを判定することができる。また、前記画像中に写った人又は動物の位置(画像中の座標)から、人又は動物の横断位置が横断歩道内か否かを判定するにあたり、画像中の人又は動物の像の位置に加え、画像中の人又は動物の像の大きさを考慮に入れてもよい。また、横断歩道の位置が既知でない場合やカメラ14が移動しているような場合、画像中に写った横断歩道の像に基づいて、人又は動物の横断位置が横断歩道内か否かを判定する方法を採ることもできる。例えば、予め横断歩道のパターンを学習させたモデルを用いて、画像において横断歩道が写った領域を検出し、画像内における人又は動物の横断位置と横断歩道の領域とが重複又は近接している場合に、横断位置が横断歩道内であると判定してもよい。さらに、地図情報上の位置情報として横断歩道の位置を取得できる場合、地図情報上の人又は動物の横断位置を求めることで、人又は動物の横断位置が横断歩道内か否かを判定する方法を採ることもできる。
 出力手段13は、所定の出力先に、前記検出の結果及び判定の結果を出力する。出力手段13の情報の出力先は、前記人や動物と交錯(衝突)の可能性のある車両とすることができる。また、別の態様として、出力手段13は、道路の付近等の車両のドライバーから見やすい位置に設置された電光掲示板や大型ディスプレイを出力先として、これらの情報を出力する構成を採ることができる。
 図2は、安全運転支援システム10の動作の流れを表した流れ図である。図2に示すとおり、安全運転支援システム10は、カメラ14から取得した画像に基づいて前記道路を横断している又は横断する可能性のある人又は動物を検出する(ステップS001)。例えば、安全運転支援システム10は、カメラ14から取得した画像に基づいて、図3の歩行者P11、P13、自転車P12、動物P14を検出する。
 次に、安全運転支援システム10は、前記検出した人又は動物の横断位置が横断歩道内か否かを判定する。例えば、安全運転支援システム10は、図3の歩行者P11については、横断歩道内を横断する位置にあると判定する。一方、安全運転支援システム10は、図3の自転車P12、歩行者P13、動物P14については、横断歩道外を横断する位置にあると判定する。
 最後に、安全運転支援システム10は、所定の出力先に対して、上記検出の結果及び判定の結果を出力する。安全運転支援システム10は、道路を通行中の車両に対し、図3の自転車P12、歩行者P13、動物P14の存在と、これらが横断歩道外を横断する位置にあることを知らせる。これにより、この道路を通行中の車両を運転しているドライバーは、前方に注意を払ったり、減速したりする等の対応を採ることができる。
 以上説明したように、本実施形態によれば、横断歩道外での横断や斜め横断を行う人や動物を早期に発見し、車両等に知らせることで事故を防止することが可能となる。
[第1の実施形態]
 続いて、本発明の第1の実施形態について図面を参照して詳細に説明する。図4は、本発明の第1の実施形態の概略構成を表した図である。図4参照すると、サーバ100と、基地局200と、端末210と、カメラ140とを含む構成が示されている。
 カメラ140は、交差点の信号機付近に設置され、横断歩道が設置された交差点を通行する車両等を撮影するカメラである。本実施形態では、このカメラ140を、横断歩道以外の箇所で道路を渡る人又は動物を検出するためのカメラとして用いる。なお、本実施形態では、人の具体例として歩行者や自動車を検出する場合を主に説明する。また、図4の例では、2台のカメラを交差点の対角線上に対向配置した例を示しているが、カメラの台数に制限はない。例えば、交差点の信号機の信号柱のそれぞれに1台以上のカメラを設置してもよい。また、図4の例では、カメラ140が、交差点の内側を指向しているが、交差点の外側を指向しているカメラを用いてもよい。
 端末210は、基地局200と無線で接続する機能を備えた端末である。本実施形態では、端末210は、カメラ140で撮影された画像を基地局200経由でサーバ100に送信する送信装置として機能する。この端末210は、基地局200を介して、カメラ140で撮影された画像を交通管制センターやサーバ等に送信するための交通管制用途の端末であってもよい。
 基地局200は、サーバ100に対して、端末210から受信したカメラ画像を送信する。この基地局200は、端末210だけでなく、交差点付近を通行する車両の車載端末は歩行者の端末にサービスを提供する基地局であってもよい。例えば、基地局200は、電気通信事業者が設置する第5世代移動通信システムの基地局であってもよいし、ローカル5Gと呼ばれる電気通信事業者以外の者が運営するネットワークの基地局であってもよい。
 サーバ100は、カメラ140で撮影された画像から横断歩道外を横断しようとする歩行者や自転車を検出し、車両に通知するサーバである。サーバ100は、クラウド基盤やインターネット上に設置されたサーバでもよいが、物理的に基地局に近い位置に設置されたMECサーバであってもよい、なお、「MEC」は、Multi-access Edge Computing又はMulti-access Edge Computingの略である。
 図5は、上記サーバ100の構成を表した機能ブロック図である。図5を参照すると、検出部101と、判定部102と、送信部103と、を備えた構成が示されている。
 検出部101は、上記した検出手段11に相当し、基地局200から、カメラ140で撮影された画像を受信する。検出部101は、カメラ140で撮影された画像内の道路を横断する可能性のある歩行者や自転車等を検出する。
 判定部102は、上記した判定手段12に相当し、検出部101にて検出された歩行者や自転車について、横断歩道内を渡っているか否か又は渡ろうとしているのか否かを判定する。ごく簡単には、判定部102は、カメラ140の画像内の歩行者や自転車が写っている位置に基づいて、歩行者や自転車が横断歩道内を渡っているか否か又は渡ろうとしているのか否かを判定することができる。さらに、本実施形態では、判定部102は、歩行者や自転車の位置を特定する。ここでの位置情報は、緯度経度といった絶対座標でもよいし、交差点の情報とその交差点からの相対位置によって特定された位置情報であってもよい。
 送信部103は、上記した出力手段13に相当し、交差点に接近する車両に対し、前記検出した歩行者や自転車等の位置と、これらが横断歩道内を渡っているか否か又は渡ろうとしているのか否かの判定結果を送信する。送信部103による、これらの情報の送信形態としては種々の方法が考えられる。例えば、送信部103が基地局200を介して、これらの情報をブロードキャストする方法を採ることができる。また、サーバ100が、それぞれの車両の車載端末のIPアドレス等を取得可能である場合、サーバ100が、車両を選択して、マルチキャスト又はユニキャストでこれらの情報を送信してもよい。さら送信部103は、道路に設置された路側機等を使って、これらの情報を送信してもよい。また、送信部103は、交差点を通行する車両に対し、上記した情報に加え、種々の情報を付加して送ってもよい。例えば、送信部103は、車両に対し、カメラ140から得られた画像中の歩行者や自転車の像やこれらの像から得た属性情報等を送信してもよい。
 続いて、本実施形態の動作について図面を参照して詳細に説明する。図6は、本発明の第1の実施形態の動作を表したシーケンス図である。図6を参照すると、端末210は、基地局200経由で、カメラ140から受信した画像をサーバ100に送信する(ステップS101)。
 前記画像を受信したサーバ100は、受信した画像から、道路を横断している又は横断する可能性のある歩行者や自転車を検出する。なお、道路を横断する可能性は、実際に、道路の横断を開始している像が得られている場合のほか、歩行者や自転車の事前の挙動に基づいて判定してもよい。例えば、道路の縁石に歩行者がいる場合や、横断歩道のない場所で歩行者が道路に向かい、左右を確認している場合、これから道路を横断する可能性が高いといえる。また、走行中の自転車がふらついていたり、車体の向きを変えて横断し始めていたりする場合、これを捉えて道路を横断する可能性が高いと、判定できる。または、自転車に乗った人が車道側を振り返った場合、これから道路を斜め横断する可能性が高いといえる。
 次に、サーバ100は、前記検出した歩行者や自転車の現在位置と、その横断位置が横断歩道内であるか否かを判定する(ステップS103)。
 次に、サーバ100は、車両に対し、前記検出した歩行者や自転車の位置と、その横断位置が横断歩道内であるか否かの情報を送信する(ステップS104)。
 前記情報を受信した車両の車載端末は、サーバ100から受信した情報に基づいた動作を実施する(ステップS105)。具体的には、前記情報を受信した車載端末は、自車の位置、移動方向や移動速度を参照して、サーバ100から受信した情報を利用するか否かを判断する。例えば、横断歩道外を渡ろうとしている歩行者がいたとしても、自車がその歩行者から遠ざかっている場合、その歩行者との交錯(衝突)の可能性はないため、当該情報を受信した車載端末はこれらの情報を破棄してもよい。また、自車との歩行者との距離が短い場合であっても、自車が停止している場合や、移動速度が遅い場合、その歩行者との交錯(衝突)の可能性は少ないため、当該情報を受信した車載端末はこれらの情報を破棄してもよい。また、歩行者が横断歩道内を渡ろうとしている場合、さしあたりの危険性はないため、車載端末はこれらの情報を破棄してもよい。
 一方、自車が横断歩道外を渡ろうとしている歩行者に近づいている場合、車載端末はこれらの情報を用いてドライバーに警告を行う。例えば、車載端末は、カーナビゲーション装置のディスプレイやAR(Augmented Reality)表示を用いて、サーバ100から通知された歩行者とその位置を表示する。これにより、ドライバーに、横断歩道外を渡ろうとしている歩行者との交錯(衝突)の回避動作を採らせることが可能なる。
 続いて、図7~図9を用いて、本実施形態のサーバ100の具体的な動作例を説明する。例えば、カメラ140から図7のような画像が送られてきたものとする。この場合、サーバ100は、図7の画像中から、道路を横断する可能性のある歩行者P1、P3を検出する。なお、横断歩道を渡りきっている歩行者P2は、前のタイミングにて検出済みであるものとする。
 次に、サーバ100は、検出した歩行者P1、P3の横断位置が横断歩道内であるか否かを判定する。例えば、図7の例では、歩行者P1は、横断歩道の手前の待機位置にいるので、横断位置は横断歩道内であると判定される。一方、遠方に写っている歩行者P3は、横断歩道の待機位置以外にいるので、横断位置は横断歩道外であると判定される。サーバ100が、歩行者P1、P3の存在とともに、このような判定結果を送ることで、車載端末等は、車両のドライバー等に、歩行者P3に注意を喚起する動作を行うことができる。また、このとき、車載端末等は、歩行者P3への注意喚起効果を高めるため、車両のドライバー等に対する歩行者P1に関する注意喚起を省略してもよい。歩行者P1は横断歩道の待機位置におり、車両との交錯(衝突)の可能性は少ないからである。
 図8は、図7の時点から一定時間が経過した後に、カメラ140から送信された画像を示す図である。図8の例では、歩行者P1が信号待ちをしていた歩行者信号が青になり、歩行者P1が横断を開始している。また、遠方には、交差点の方向に向かっている自転車P4が写っている。この場合、サーバ100は、図8の画像中から、道路を横断する可能性のある自転車P4を検出する。なお、横断歩道の横断を開始している歩行者P1は、横断位置が横断歩道内であるため、車両のドライバー等に対する注意喚起の対象外となる。
 次に、サーバ100は、検出した自転車P4の横断位置が横断歩道内であるか否かを判定する。例えば、図8の例では、自転車P4は、横断歩道の待機位置以外にいるので、横断位置は横断歩道外であると判定される。サーバ100が、自転車P4の存在とともに、このような判定結果を送ることで、車載端末等は、車両のドライバー等に、自転車P4に注意を喚起する動作を行うことができる。もちろん、自転車P4以外に、現に道路を横断しており、その位置が横断歩道外である歩行者が見つかっている場合、当該歩行者も、車両のドライバー等に対する注意喚起の対象となる。
 なお、上記図7、図8の例では、サーバ100は、歩行者や自転車の存在と、それぞれの横断位置の判定結果を送るものとして説明したが、サーバ100に車載端末に出力させる情報を作成させてもよい。例えば、サーバ100が、各車両の位置や進行方向を把握しており、かつ、個々の車両に対して個別に情報を送信できる場合、サーバ100は、個々の車両向けのメッセージを作成することができる。例えば、図9のように、図9の左側から交差点に進入し、左折する車両がある場合、サーバ100は、当該車両向けに、「左折先、横断歩道外の歩行者に注意」とのメッセージを作成し、車載端末に送信することができる。そして、前記メッセージを受信した車載端末は、サーバから受信したメッセージを、音声や文字で出力する。このようにすることで、車載端末側の負荷を軽減し、かつ、注意喚起メッセージの速報性を高めることが可能となる。
 なお、上記した説明では、サーバ100が、歩行者や自転車の横断位置を判定するものとして説明したが、車両側に、歩行者や自転車の横断位置の判定を行わせてもよい(図10参照)。この場合、図20に示すような構成を採ることができる。サーバ100cは、道路を撮影可能なカメラから取得した画像に基づいて、道路を横断している又は横断する可能性のある人又は動物を検出する検出手段(図20の検出部101に相当)と、車両側に前記検出結果を送信する送信手段(図20の送信部103cに相当)とを備える。車両の車載端末400は安全運転支援装置を担い、サーバ100から受信した前記人又は動物の検出結果に基づいて、人又は動物の横断位置が横断歩道内であるか否かを判定する手段(図20の判定部402に相当)と、判定の結果を出力する手段(図20の出力部403に相当)と、を備える。サーバ100cは、カメラから取得した画像に基づいて、歩行者や自転車の検出を行った後、車両に対し、検出した歩行者や自転車の情報を送信することになる(図10のステップS202、S203)。そして、車両側で、検出された歩行者や自転車の横断位置を判定することになる(図10のステップS203)。このようにすることで、サーバ側の負荷を軽減することが可能となる。
[第2の実施形態]
 続いてサーバが、交差点の信号機の灯火状態(信号現示)の情報を提供するようにした第2の実施形態について図面を参照して詳細に説明する。図11は、本発明の第2の実施形態の概略構成を表した図である。図4に示した第1の実施形態との構成上の相違点は、サーバ100aが信号制御装置300に接続され、信号機の灯火状態の情報を取得可能となっている点である。その他の構成は第1の実施形態と同等であるので、説明を省略し、以下、その相違点を中心に説明する。
 信号制御装置300は、事前に設定された制御情報に基づいて、交差点に設置された信号機の灯火を制御する装置である。例えば、信号制御装置300は、サイクル、スプリット、オフセットといった情報に基づいて、交差点の信号機の点灯状態をそれぞれ制御する。
 図12は、本発明の第2の実施形態のサーバ100aの構成を表した機能ブロック図である。図5に示した第1の実施形態のサーバ100との相違点は、サーバ100aに信号制御情報取得部104が追加されている点と、送信部103aが歩行者等の位置と横断位置に加え、交差点の信号機の点灯状態を送信する点である。
 信号制御情報取得部104は、信号制御装置300から、信号機の灯火状態の情報、または、そのベースとなる制御情報(以下、これらを総称して「信号制御情報」と記す。)を取得する。
 続いて、本実施形態の動作について図面を参照して詳細に説明する。図13は、本発明の第2の実施形態の動作を表したシーケンス図である。図13を参照すると、まず、端末210は、基地局200経由で、カメラ140から受信した画像をサーバ100aに送信する(ステップS301)。
 その後、ステップS302及びS303は、第1の実施形態のステップS102及びS103と同様である。その後、サーバ100aは、信号制御情報、検出した歩行者等の位置、横断位置を車両側に送信する(ステップS304)。
 前記情報を受信した車両の車載端末は、サーバ100aから受信した情報に基づいた動作を実施する。その際に、第1の実施形態と大きく異なるのは、車載端末が、自車の位置、移動方向や移動速度に加え、信号制御情報を参照して、サーバ100aから受信した情報を利用するか否かを判断する。例えば、自車の進行先にある道路の横断歩道外を渡ろうとしている歩行者がいたとしても、信号機の灯火状態がその交差点を通過する時点で赤になり、車両が停車することが予想される場合、当該情報を受信した車載端末はこれらの情報を破棄する。また例えば、自車が左折しようとしており、かつ、左折先の道路の横断歩道外を渡ろうとしている歩行者がいる場合がある。この場合、信号機の灯火状態により左折通行が可能となることが予想される場合、車載端末はドライバーに対し、注意喚起を行う。なお、自車が左折しようとしているか否かは、例えば、左折のウィンカーを出しているか否かにより判定できるこのように、車載端末は、信号機の灯火状態に基づき、横断歩道外を渡ろうとしている歩行者との交錯が予想される場合にのみ、ドライバーへの注意喚起動作を行う。
 以上のように本実施形態によれば、車両の車載端末等に、信号機の灯火状態を考慮した、歩行者への注意喚起動作を行わせることが可能となる。また、上記した信号制御情報を用いたドライバーへの注意喚起を行うか否かの制御は、上記した例に限られない。例えば、車載端末に、信号制御情報を参照して、車両と横断歩道外を渡ろうとしている歩行者との交錯が発生する度合いを算出させることができる。そして車載端末は、この度合いに応じて、異なるドライバーへの注意喚起動作を実施してもよい。例えば、前記度合いが大きい場合は、よりドライバーに目立つ態様で通知することができる。また、前記度合いが大きい場合、車両を減速する等の車両自体の制御に前記度合い情報を利用しても良い。
 なお、上記した実施形態では、車載端末が、サーバ100aから受信した情報に基づいて、ドライバーへの注意喚起動作を行うか否かを判断するものとしたが、サーバ100a側で、注意喚起動作を行うか否かを判断してもよい。この場合、サーバ100aが、対象車の位置、移動方向、移動速度及び信号の点灯状態に基づいて、当該車両と、横断歩道外を渡ろうとしている歩行者との交錯が予想されるか否かを判定する。例えば、対象車の進行先にある道路の横断歩道外を渡ろうとしている歩行者がいたとしても、信号灯火によれば当該対象車が停車することが予想される場合、サーバ100aは、検出した歩行者等の位置、横断位置の送信を抑止する。これにより、人、自転車、動物等と交錯する可能性のある車両に対し、判定の結果を送信することが可能となる。また、サーバ100a側で、注意喚起動作を行うか否かの判断を行う場合においても同様に、サーバ100a側に、信号制御情報を参照して、車両と横断歩道外を渡ろうとしている歩行者との交錯が発生する度合いを算出させ、ドライバーへの注意喚起や車両の制御に利用させることができる。
[第3の実施形態]
 続いてサーバが、歩行者や自転車の位置に加え、移動方向や移動速度を提供するようにした第3の実施形態について図面を参照して詳細に説明する。図14は、本発明の第3の実施形態の概略構成を表した図である。基本的な構成は、図4に示した第1の実施形態との構成と同様であるので、以下、その相違点を中心に説明する。
 図15は、本発明の第3の実施形態のサーバ100bの構成を表した機能ブロック図である。図5に示した第1の実施形態のサーバ100との相違点は、サーバ100aに分析部105が追加されている点と、送信部103bが歩行者等の位置と横断位置に加え、歩行者等の移動方向と移動速度を送信する点である。
 より具体的には、分析部105は、カメラ140で撮影された複数の画像に基づいて、歩行者や自転車の移動方向と移動速度を分析する。歩行者や自転車の移動方向や移動速度は、時間的に連続する2以上の画像に写った被写体の動きやその移動量を用いて推定することができる。
 続いて、本実施形態の動作について図面を参照して詳細に説明する。図16は、本発明の第3の実施形態の動作を表したシーケンス図である。図16のステップS401~S405で示した動作は、第1の実施形態のS101~S105に相当する。
 本実施形態で追加される動作は、ステップS406の歩行者等の移動方向と移動速度の分析処理である。なお、ステップS406の処理は、ステップS403の横断位置の判定の前であってもよい
 歩行者等の移動方向と移動速度の分析の完了後、サーバ100bは、検出した歩行者等の位置、横断位置、移動方向及び移動速度を車両側に送信する(ステップS404)。
 前記情報を受信した車両の車載端末は、サーバ100bから受信した情報に基づいた動作を実施する。例えば、図17に示すように自車の進行先にある道路の横断歩道外を渡ろうとしている歩行者P3や自転車P4が検出されている場合、車載端末は、これらをAR表示等でその位置を表示する。さらに、車載端末は、歩行者等の移動方向及び移動速度を矢線で表示する。なお、図17の例では、矢線の長さで移動速度を表し、矢線の向きで移動方向を表しているが、移動方向と移動速度の表示形態はこれに限定されない。例えば、移動速度は、数値、矢線の太さ、色で表すこともできる。同様に、移動方向も、方位を示す記号で表すこともできる。
 このような、歩行者や自転車の位置に加え、移動方向や移動速度を行う本実施形態によれば、自車にとって、交錯等の可能性が高く、より注意を払うべき対象を視覚的に表すことが可能となる。例えば、図17の場合、横断歩道外の歩行者や自転車として、歩行者P3、自転車P4が存在するが、自転車P4の方が、速度が速く、自車に近づいていることがわかる。車両のドライバーはこのような情報に基づいて、減速をしたり、回避動作を行ったりすることが可能となる。
 また、本実施形態によれば、図18に示すように、中央分離帯やゼブラゾーンで待機している歩行者等の動きの識別も可能となる。例えば、図18のケースでは、横断歩道外を渡っている歩行者P5がいるが、中央分離帯で待機しているので、直ちに交錯する危険は少ないことをドライバーに伝えることが可能となる。
 また、本実施形態で得られた歩行者等の移動方向や移動速度を、表示だけでなく、車載端末やサーバ100b側での交錯の発生の有無や交錯の発生の度合いの判定に使用してもよい。また、車載端末やサーバ100bが、これら移動方向や移動速度に応じて、車両の制御(自動減速、注意喚起通知等)を行ってもよい。
 以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的な技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したシステムの構成、各要素の構成、データ等の表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。例えば、上記した第1~第3の実施形態では、カメラ140が交差点に設置されているものとして説明したが、カメラ140の配置はこれらに限定されない。例えば、カメラ140として、街頭に設置されたカメラや防犯用途で設置されたカメラを用いることもできる。
 また、上記した各実施形態では、サーバ側で、歩行者等の横断位置が、横断歩道内であるか否かの判断を行うものとして説明したが、車両(車載端末)で、横断歩道内であるか否かの判断を行う構成も採用可能である。この場合、サーバからは歩行者等を検出し、車両(車載端末)側に、その位置を送ることになる。
 また、上記した各実施形態に示した手順は、安全運転支援システムや車両側の安全運転支援装置を構成する装置として機能するコンピュータにて実現できる。具体的には、コンピュータ(図19の9000)に、これらの装置としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図19のCPU(Central Processing Unit)9010、通信インタフェース9020、メモリ9030、補助記憶装置9040を備える構成に例示される。すなわち、図19のCPU9010にて、物体認識プログラムや横断位置判定プログラムを実行させればよい。コンピュータは、当該プログラムにより安全運転支援方法を実行する。
 即ち、上記したサーバ等の各部(処理手段、機能)は、これらの装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。当該プログラムは、コンピュータが読み取り可能なプログラム記録媒体に記録することができる。記録媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transitory)なものとすることができる。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
[付記1]
 道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、
 前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する判定手段と、
 前記判定の結果を出力する出力手段と、
を備える安全運転支援システム。
[付記2]
 前記カメラは、交差点の信号機付近に設置されたカメラである付記1の安全運転支援システム。
[付記3]
 上記した出力手段は、前記交差点の付近に位置する車両に対し、前記判定の結果を出力する付記2記載の安全運転支援システム。
[付記4]
 さらに、
 前記交差点の信号機の灯火の状態を示す情報を取得する手段を備え、
 前記出力手段は、前記判定の結果に加えて、前記交差点の信号機の灯火の状態を示す情報を提供する付記2又は3の安全運転支援システム。
[付記5]
 さらに、
 前記交差点の信号機の灯火の状態を示す情報を取得する手段を備え、
 前記出力手段は、前記交差点の信号機の灯火の状態を示す情報に基づいて、前記人又は動物と交錯する可能性のある車両に対し、前記判定の結果を送信する付記2又は3の安全運転支援システム。
[付記6]
 さらに、
 前記人又は動物の移動方向及び移動速度の少なくとも1方を分析する手段を備え、
 前記出力手段は、前記判定の結果に加えて、前記人又は動物の移動方向及び移動速度の少なくとも1方を提供する付記1から5いずれか一の安全運転支援システム。
[付記7]
 前記検出手段は、前記カメラで撮影された画像に写った像から、前記交差点に接続する道路を横断する可能性のある人又は動物を検出する付記2から5のいずれか一の安全運転支援システム。
[付記8]
 前記判定手段は、前記カメラで撮影された画像に写った像の前記画像中の位置に基づいて、前記人又は前記動物の横断位置が横断歩道内であるか否かを判定する付記1から7いずれか一の安全運転支援システム。
[付記9]
 道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、前記人又は動物の検出結果を送信する送信手段と、を備えるサーバに接続される安全運転支援装置であり、
 前記サーバから受信した前記人又は動物の検出結果に基づいて、前記人又は前記動物の横断位置が横断歩道内であるか否かを判定する手段と、
 前記判定の結果を出力する手段と、
を備える安全運転支援装置。
[付記10]
 前記サーバから、交差点の信号機の灯火の状態を示す情報を受信し、
 前記交差点の信号機の灯火の状態を示す情報に基づいて、自車が前記人又は前記動物と交錯する可能性のある場合に、前記判定の結果を出力する付記9の安全運転支援装置。
[付記11]
 カメラから取得した画像に基づいて、道路を横断している又は横断する可能性のある人又は動物を検出し、
 前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定し、
 前記判定の結果を出力する、
 安全運転支援方法。
[付記12]
 道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、前記人又は動物の検出結果を送信する送信手段と、を備えるサーバから、前記人又は動物の検出結果を受信し、
 前記サーバから受信した前記人又は動物の検出結果に基づいて、前記人又は前記動物の横断位置が横断歩道内であるか否かを判定し、
 前記判定の結果を出力する、
 安全運転支援方法。
[付記13]
 カメラから画像を取得可能なコンピュータに、
 カメラから取得した画像に基づいて、道路を横断している又は横断する可能性のある人又は動物を検出する処理と、
 前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する処理と、
 上記検出の結果及び判定の結果を出力する処理と、
 を実行させるプログラムを記録したプログラム記録媒体。
 なお、上記付記9~付記13の形態は、付記1の形態と同様に、付記2~付記8の形態に展開することが可能である。
 なお、上記の特許文献の開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的な技術的思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし選択(部分的削除を含む)が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
 10 安全運転支援システム
 11 検出手段
 12 判定手段
 13 出力手段
 14、140 カメラ
 100、100a、100b、100c サーバ
 101 検出部
 102 判定部
 103、103a、103b 送信部
 104 信号制御情報取得部
 105 分析部
 200 基地局
 210 端末
 300 信号制御装置
 400 車載端末
 402 判定部
 403 出力部
 9000  コンピュータ
 9010 CPU
 9020 通信インタフェース
 9030 メモリ
 9040 補助記憶装置
 P1~P3、P5、P11、P13 歩行者 
 P4、P12 自転車
 P14 動物

Claims (13)

  1.  道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、
     前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する判定手段と、
     前記判定の結果を出力する出力手段と、
    を備える安全運転支援システム。
  2.  前記カメラは、交差点の信号機付近に設置されたカメラである
     請求項1の安全運転支援システム。
  3.  前記出力手段は、前記交差点の付近に位置する車両に対し、前記判定の結果を出力する請求項2の安全運転支援システム。
  4.  さらに、
     前記交差点の信号機の灯火の状態を示す情報を取得する手段を備え、
     前記出力手段は、前記判定の結果に加えて、前記交差点の信号機の灯火の状態を示す情報を提供する請求項2又は3の安全運転支援システム。
  5.  さらに、
     前記交差点の信号機の灯火の状態を示す情報を取得する手段を備え、
     前記出力手段は、前記交差点の信号機の灯火の状態を示す情報に基づいて、前記人又は動物と交錯する可能性のある車両に対し、前記判定の結果を送信する請求項2又は3の安全運転支援システム。
  6.  さらに、
     前記人又は動物の移動方向及び移動速度の少なくとも一方を分析する手段を備え、
     前記出力手段は、前記判定の結果に加えて、前記人又は前記動物の移動方向及び移動速度の少なくとも一方を提供する請求項1から5いずれか一の安全運転支援システム。
  7.  前記検出手段は、前記カメラで撮影された画像に写った像から、前記交差点に接続する道路を横断する可能性のある人又は動物を検出する請求項2から5いずれか一の安全運転支援システム。
  8.  前記判定手段は、前記カメラから取得した画像に写った像の前記画像中の位置に基づいて、前記人又は前記動物の横断位置が横断歩道内であるか否かを判定する
     請求項1から7いずれか一の安全運転支援システム。
  9.  道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、前記人又は動物の検出結果を送信する送信手段と、を備えるサーバに接続される安全運転支援装置であり、
     前記サーバから受信した前記人又は動物の検出結果に基づいて、前記人又は前記動物の横断位置が横断歩道内であるか否かを判定する手段と、
     前記判定の結果を出力する手段と、
    を備える安全運転支援装置。
  10.  前記サーバから、交差点の信号機の灯火の状態を示す情報を受信し、
     前記交差点の信号機の灯火の状態を示す情報に基づいて、自車が前記人又は前記動物と交錯する可能性のある場合に、前記判定の結果を出力する請求項9の安全運転支援装置。
  11.  カメラから取得した画像に基づいて、道路を横断している又は横断する可能性のある人又は動物を検出し、
     前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定し、
     前記判定の結果を出力する、
     安全運転支援方法。
  12.  道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、前記人又は動物の検出結果を送信する送信手段と、を備えるサーバから、前記前記人又は動物の検出結果を受信し、
     前記サーバから受信した前記人又は動物の検出結果に基づいて、前記人又は前記動物の横断位置が横断歩道内であるか否かを判定し、
     前記判定の結果を出力する、
     安全運転支援方法。
  13.  カメラから画像を取得可能なコンピュータに、
     カメラから取得した画像に基づいて、道路を横断している又は横断する可能性のある人又は動物を検出する処理と、
     前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する処理と、
     上記検出の結果及び判定の結果を出力する処理と、
     を実行させるプログラムを記録したプログラム記録媒体。
PCT/JP2021/034298 2021-09-17 2021-09-17 安全運転支援システム、安全運転支援装置、安全運転支援方法及びプログラム記録媒体 WO2023042371A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023548057A JPWO2023042371A5 (ja) 2021-09-17 安全運転支援システム、安全運転支援方法及びプログラム
PCT/JP2021/034298 WO2023042371A1 (ja) 2021-09-17 2021-09-17 安全運転支援システム、安全運転支援装置、安全運転支援方法及びプログラム記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/034298 WO2023042371A1 (ja) 2021-09-17 2021-09-17 安全運転支援システム、安全運転支援装置、安全運転支援方法及びプログラム記録媒体

Publications (1)

Publication Number Publication Date
WO2023042371A1 true WO2023042371A1 (ja) 2023-03-23

Family

ID=85602594

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/034298 WO2023042371A1 (ja) 2021-09-17 2021-09-17 安全運転支援システム、安全運転支援装置、安全運転支援方法及びプログラム記録媒体

Country Status (1)

Country Link
WO (1) WO2023042371A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309523A (ja) * 2004-04-16 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> 交通安全システム
JP2008176397A (ja) * 2007-01-16 2008-07-31 Toyota Motor Corp 車載通信装置
JP2018185667A (ja) * 2017-04-26 2018-11-22 京セラ株式会社 電子機器、路側機、動作方法および制御プログラムならびに交通システム
JP2019204241A (ja) * 2018-05-22 2019-11-28 トヨタ自動車株式会社 通知方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309523A (ja) * 2004-04-16 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> 交通安全システム
JP2008176397A (ja) * 2007-01-16 2008-07-31 Toyota Motor Corp 車載通信装置
JP2018185667A (ja) * 2017-04-26 2018-11-22 京セラ株式会社 電子機器、路側機、動作方法および制御プログラムならびに交通システム
JP2019204241A (ja) * 2018-05-22 2019-11-28 トヨタ自動車株式会社 通知方法

Also Published As

Publication number Publication date
JPWO2023042371A1 (ja) 2023-03-23

Similar Documents

Publication Publication Date Title
US10600321B2 (en) Directional traffic notifications of approaching priority vehicles
JP6537780B2 (ja) 走行制御装置、車載用表示装置、及び走行制御システム
US11279281B2 (en) Abnormality detection apparatus, abnormality detection method, and abnormality detection system
JP4255906B2 (ja) 運転支援装置
JP6084598B2 (ja) 標識情報表示システム及び標識情報表示方法
US8433503B2 (en) Driving assistance device
JP2017058868A (ja) 運転支援装置
US20140063196A1 (en) Comprehensive and intelligent system for managing traffic and emergency services
US10438491B2 (en) Communication device, communication program, and recording medium recording communication program
JP6826366B2 (ja) 歩行者端末装置、歩車間通信システムおよび歩行者情報送信方法
JP2007164328A (ja) 車両走行支援装置
US20220032907A1 (en) Vehicle management system, management method, and program
JP5088127B2 (ja) 車載警報装置及び車両用警報方法
KR20140062582A (ko) 차량 단말 장치 및 상기 차량 단말 장치의 제어 방법
JP2017111498A (ja) 運転支援装置
US20200211379A1 (en) Roundabout assist
KR20230015170A (ko) 우회전 차량 단속 장치 및 방법
WO2015151250A1 (ja) 衝突防止支援装置、衝突防止支援システムおよび衝突防止支援方法
CN112185170B (zh) 交通安全提示方法及道路监控设备
JP2008021011A (ja) 車両用走行支援装置
WO2023042371A1 (ja) 安全運転支援システム、安全運転支援装置、安全運転支援方法及びプログラム記録媒体
JP2023118835A (ja) 信号情報提供装置、信号情報提供方法及びプログラム
CN111554112B (zh) 一种车辆调度方法及系统
TW202205225A (zh) 交通狀況通知系統及方法
CN114067553A (zh) 交通状况通知系统及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21957552

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023548057

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18293812

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE