WO2018008314A1 - 歩行者検出装置、歩行者検出方法 - Google Patents

歩行者検出装置、歩行者検出方法 Download PDF

Info

Publication number
WO2018008314A1
WO2018008314A1 PCT/JP2017/020809 JP2017020809W WO2018008314A1 WO 2018008314 A1 WO2018008314 A1 WO 2018008314A1 JP 2017020809 W JP2017020809 W JP 2017020809W WO 2018008314 A1 WO2018008314 A1 WO 2018008314A1
Authority
WO
WIPO (PCT)
Prior art keywords
pedestrian
roadway
crossing
target
target pedestrian
Prior art date
Application number
PCT/JP2017/020809
Other languages
English (en)
French (fr)
Inventor
真也 來山
弘和 大薮
正明 廣瀬
近藤　敏之
鎌田　忠
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US16/315,411 priority Critical patent/US11011062B2/en
Priority to DE112017003414.0T priority patent/DE112017003414T5/de
Publication of WO2018008314A1 publication Critical patent/WO2018008314A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/54—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating speed outside of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to a technique for detecting a pedestrian existing in the vicinity of a vehicle, and more particularly to a technique for detecting a pedestrian trying to cross a roadway before actually starting to cross the road.
  • Patent Document 1 a technique for determining whether or not a pedestrian is going to cross a roadway by detecting a time-series change in the position of the pedestrian and a time-series change in moving speed.
  • Patent Document 1 a technique for determining whether or not a pedestrian is going to cross a roadway by detecting a time-series change in the position of the pedestrian and a time-series change in moving speed.
  • the proposed technique above detects the movement of the pedestrian crossing the roadway, so it has already started crossing at the time of detection, and detects the pedestrian trying to cross before starting to cross. It's not possible.
  • This disclosure is intended to provide a technique capable of accurately detecting a pedestrian who is going to cross a roadway at a stage before starting to cross.
  • the pedestrian detection device and the pedestrian detection method detect a target pedestrian existing within a predetermined distance from the roadway in a photographed image of the in-vehicle camera. Then, it is determined based on the direction of the line of sight of the target pedestrian whether or not the target pedestrian has watched the crossing destination and whether or not safety has been confirmed for the vehicle traveling on the roadway. As a result, if the target pedestrian has performed either the gaze at the crossing destination or the safety check and then has performed the other movement within the specified time, the crossing willing to cross the road Detect as a front pedestrian.
  • a pedestrian trying to cross a roadway has a high probability of 100% prior to crossing. Gaze and perform safety checks on vehicles traveling on the roadway to be crossed. Therefore, if a target pedestrian who has observed a crossing destination and confirming safety with respect to the vehicle within a predetermined time is detected as a pre-crossing pedestrian who intends to cross the roadway, the pedestrian trying to cross the roadway Can be detected with high accuracy at the stage before actually starting to cross.
  • FIG. 1 shows a rough configuration of a vehicle 1 on which a pedestrian detection device 100 according to this embodiment is mounted.
  • the vehicle 1 in addition to the pedestrian detection device 100, the vehicle 1 is equipped with an in-vehicle camera 2, a monitor 3, a speaker 4, a navigation device (hereinafter referred to as a navigation device) 10, and the like.
  • the in-vehicle camera 2 captures the front situation at a predetermined time interval and outputs the obtained captured image to the pedestrian detection device 100.
  • the navigation device 10 stores map data, detects the current position of the vehicle 1, and outputs map data around the current position to the pedestrian detection device 100.
  • the pedestrian detection apparatus 100 analyzes the captured image received from the in-vehicle camera 2 and detects a pedestrian reflected in the captured image. Further, it is determined whether or not the detected pedestrian is a pedestrian trying to cross the roadway before the pedestrian starts crossing. A method for determining whether or not a pedestrian is going to cross before the start of crossing will be described in detail later. In the following, a pedestrian who is trying to cross the roadway but has not yet started crossing will be referred to as a “pre-crossing pedestrian”.
  • a navigation device 10 is also connected to the pedestrian detection device 100 of the present embodiment. Therefore, when determining whether or not the pedestrian is a pre-crossing pedestrian, information on the current position of the vehicle 1 and surrounding map information can be acquired from the navigation device 10 and used. And the pedestrian detection apparatus 100 outputs the result of having detected the pedestrian before crossing from the pedestrian reflected in the picked-up image using the monitor 3 or the speaker 4 to a driver
  • FIG. 2 shows an internal configuration of the pedestrian detection device 100 of the present embodiment.
  • the pedestrian detection device 100 includes a captured image acquisition unit 101, a pedestrian detection unit 102, a roadway detection unit 103, a target pedestrian detection unit 104, a line-of-sight direction acquisition unit 105, and a gaze determination unit. 106, a safety confirmation determination unit 107, and a pre-crossing pedestrian detection unit 108.
  • these “parts” are the pedestrian detection device 100, focusing on the function that the pedestrian detection device 100 of this embodiment provides for detecting a pedestrian before crossing from among pedestrians in a captured image. It is an abstract concept that categorizes the inside of the space for convenience. Therefore, it does not indicate that the pedestrian detection device 100 is physically divided into these “parts”.
  • These “units” can be realized as a computer program executed by the CPU, can be realized as an electronic circuit including an LSI or a memory, or can be realized by combining them. .
  • the captured image acquisition unit 101 is connected to the in-vehicle camera 2, acquires a captured image obtained by capturing the front of the vehicle 1 by the in-vehicle camera 2 at a certain time period, and sends it to the pedestrian detection unit 102 and the roadway detection unit 103. Output.
  • the pedestrian detection unit 102 detects a pedestrian in the captured image by analyzing the captured image received from the captured image acquisition unit 101.
  • various well-known methods such as detecting a part having the characteristics of a pedestrian in the image can be used.
  • the roadway detection unit 103 detects the roadway shown in the captured image by analyzing the captured image received from the captured image acquisition unit 101.
  • the roadway can be detected by detecting the white line from the captured image.
  • the navigation device 10 detects the current position of the vehicle 1 and stores map information including position information of the roadway. Therefore, when detecting the roadway in the captured image, the roadway detection unit 103 may acquire the current position and map information of the vehicle 1 from the navigation device 10 and detect the roadway while using these information.
  • the target pedestrian detection unit 104 detects the target pedestrian based on the detection result of the pedestrian acquired from the pedestrian detection unit 102 and the detection result of the roadway acquired from the roadway detection unit 103.
  • the target pedestrian is a pedestrian that is a target for determining whether or not the pedestrian is a pre-crossing pedestrian among the pedestrians detected by the pedestrian detection unit 102. For example, when a pedestrian is at a position sufficiently away from the roadway, it is obvious that the pedestrian is not trying to cross the roadway. In other words, for a pedestrian within a certain distance from the roadway, it may be determined whether the pedestrian is a pre-crossing pedestrian.
  • the target pedestrian detection unit 104 selects a pedestrian (that is, the target pedestrian) to be determined as to whether or not it is a pedestrian before crossing from the pedestrians detected by the pedestrian detection unit 102. It detects based on the information on the position of the road detected by the road detection unit 103.
  • the line-of-sight direction acquisition unit 105 acquires the direction of the line of sight for the target pedestrian detected by the target pedestrian detection unit 104.
  • the direction of the line of sight of the target pedestrian acquires the direction of the line of sight by analyzing the captured image acquired by the captured image acquisition unit 101 and detecting the direction of the face of the target pedestrian.
  • a dedicated device that detects the direction of the line of sight and wirelessly transmits it may be worn by the pedestrian to acquire the direction of the line of sight transmitted wirelessly from the pedestrian.
  • install a surveillance camera and an analysis device on the side of the road so that the direction of the line of sight obtained by analyzing the image of the pedestrian is transmitted wirelessly, and the direction of the line of sight transmitted wirelessly is acquired. You may do it.
  • the gaze determination unit 106 determines whether or not the target pedestrian gazes at the crossing destination existing on the other side of the roadway based on the direction of the line of sight of the target pedestrian and the information on the position of the roadway. To do.
  • the safety confirmation determination unit 107 determines whether the target pedestrian has performed safety confirmation on the vehicle traveling on the roadway based on the direction of the line of sight of the target pedestrian and the information on the position of the roadway. . A method of determining whether the target pedestrian has watched the crossing destination or whether the safety check has been performed will be described in detail later.
  • the pre-crossing pedestrian detection unit 108 crosses the target pedestrian when the target pedestrian performs the operation of watching the crossing destination and the operation of confirming the safety of the vehicle within a predetermined time. Detect as a front pedestrian.
  • a pedestrian trying to cross the roadway performs an operation of watching the destination of the crossing and an operation of confirming safety with respect to the vehicle. It is known to do before crossing. Therefore, if a target pedestrian who has performed these two movements within a predetermined time is detected as a pedestrian before crossing, the pedestrian who is about to cross the roadway is detected at a stage before the pedestrian starts crossing. It can be detected well.
  • the pre-crossing pedestrian detection unit 108 outputs the result of detecting the pre-crossing pedestrian using the monitor 3 or the speaker 4.
  • Pre-crossing pedestrian detection process 3 and 4 show detailed flowcharts of processing in which the pedestrian detection apparatus 100 of the present embodiment detects a pedestrian before crossing.
  • a captured image captured by the in-vehicle camera 2 is acquired (S100).
  • a pedestrian in the captured image is detected (S101), and further, a roadway is detected from the captured image (S102).
  • S101 a pedestrian in the captured image
  • S102 a roadway is detected from the captured image
  • a pedestrian in a captured image can be detected by searching for a part having the characteristics of a pedestrian in the captured image.
  • the roadway in the photographed image can be detected by extracting a portion where a white line existing on both sides of the roadway or a step on the road shoulder is extracted.
  • the target pedestrian is extracted from the pedestrians (S103).
  • the target pedestrian is a pedestrian that is a target for determining whether or not the pedestrian is before crossing.
  • a method for extracting the target pedestrian will be described using a specific example. For example, if the captured image is the image illustrated in FIG. 5, a pedestrian in the captured image is detected. An image 6a in FIG. 6 shows a state where eight pedestrians A to H are detected from the captured image. Subsequently, the roadway in the captured image is detected. In the image 6b of FIG. 6, the roadway detected from the captured image is displayed by hatching.
  • the in-vehicle camera 2 since the in-vehicle camera 2 is fixed with respect to the vehicle 1, the positions of the pedestrians A to H and the roadway on the photographed image can be read as relative positions based on the vehicle 1 in the real space. it can. Therefore, among the pedestrians A to H shown in the image 6a of FIG. 6, pedestrians whose distance to the roadway is within a predetermined distance are extracted as target pedestrians. This is because pedestrians who are far enough from the roadway are not considered to cross the roadway, so it is considered sufficient to extract pedestrians near the roadway as target pedestrians. Because. As a result, as shown in the image 6c of FIG. 6, seven pedestrians A to G excluding the pedestrian H among the eight pedestrians A to H in the photographed image are the target pedestrians. Extracted.
  • a situation where a pedestrian cannot be considered to cross the roadway may occur due to a fence provided at the center of the roadway.
  • a situation where a pedestrian is unlikely to cross the roadway because there is a sidewalk on one side of the roadway but no sidewalk on the other side. Therefore, when such a situation is detected by analyzing the captured image, other pedestrians may be extracted as target pedestrians except for pedestrians in such a situation.
  • a road range in which the pedestrian is unlikely to cross the roadway is stored in the map information of the navigation device 10. And even if it is a pedestrian within the predetermined distance from a roadway, you may extract a pedestrian other than that as an object pedestrian except the pedestrian in such a road range.
  • the target pedestrian is extracted from the pedestrians in the captured image as described above (S103 in FIG. 3), one target pedestrian is selected (S104), and the line-of-sight direction of the target pedestrian is acquired. (S105).
  • the line-of-sight direction is acquired by analyzing the image of the head of the target pedestrian in the captured image and detecting the orientation of the face.
  • the direction of the line of sight may be acquired by detecting the direction of the line of sight of the pedestrian using a monitoring camera and an analysis device installed on the side of the road and receiving the detection result transmitted wirelessly.
  • it is good also as receiving a pedestrian's gaze direction by detecting the direction of a gaze by attaching a dedicated apparatus to a pedestrian and transmitting a detection result wirelessly.
  • the target pedestrian is a pedestrian whose distance to the roadway is within a predetermined distance, there is a roadway near the target pedestrian. Therefore, it is determined whether or not the target pedestrian is looking beyond the roadway.
  • the line of sight of the target pedestrian 7a (face orientation in the present embodiment) is orthogonal to the road in a state where the road crosses the front of the body of the target pedestrian 7a. If it is, it can be determined that the line-of-sight direction of the target pedestrian 7a faces the direction of the crossing destination.
  • the line-of-sight direction of the target pedestrian 7b is relative to the direction orthogonal to the roadway.
  • the line-of-sight direction of the target pedestrian 7b faces the direction of the crossing destination.
  • the line-of-sight direction of the target pedestrian 7c is perpendicular to the roadway.
  • it can be determined that the line-of-sight direction of the target pedestrian 7c does not face the direction of the crossing destination.
  • the gaze flag is a flag indicating that the target pedestrian gazes at the crossing destination existing on the other side of the roadway.
  • the gaze flag is set for each target pedestrian (in the example shown in FIG. 6, for each of the pedestrians A to G).
  • a predetermined time or longer for example, 100 msec or longer. Therefore, if the gaze direction of the target pedestrian stays in the direction of the crossing destination that exists on the other side of the roadway for more than a predetermined gaze time, it is considered that the crossing destination is watched. good. Therefore, in such a case, the gaze flag for the selected target pedestrian is set to ON.
  • the gaze flag for the selected target pedestrian is set to OFF (S109). If the line-of-sight direction does not point in the direction of the crossing destination in the first place (S106: no), the selected target pedestrian without determining whether or not the line-of-sight direction remains for more than the gaze time. Is set to OFF (S109).
  • the pedestrian detection device 100 of the present embodiment determines whether or not the target pedestrian has confirmed the safety of the vehicle traveling on the roadway (S110 in FIG. 4). That is, as described above, since the roadway exists near the target pedestrian, it is determined whether or not the target pedestrian has confirmed the safety of the vehicle traveling on the roadway. Whether or not the target pedestrian has confirmed safety is determined as follows based on the line-of-sight direction of the target pedestrian.
  • the line-of-sight direction of the target pedestrian moves in one direction more than a predetermined angle on the side of the roadway with respect to the target pedestrian within a predetermined moving speed range. If the target pedestrian makes a correct movement, it is determined that the target pedestrian has confirmed safety. This is because such a characteristic line-of-sight movement appears when a vehicle traveling on a roadway is chased with the eyes, so if such a line-of-sight movement is performed, safety for a vehicle traveling on the roadway This is because it is considered that confirmation was made.
  • the other direction also exceeds the confirmation time in the other direction.
  • a characteristic movement of staying over it is determined that the target pedestrian has confirmed safety.
  • even when such movement of the line of sight is repeated it is determined that the target pedestrian has confirmed safety. This is because such a characteristic line-of-sight movement appears when a pedestrian confirms left and right safety, so if he / she has such a line-of-sight movement, he will drive on the road This is because it is considered that the vehicle safety was confirmed.
  • the predetermined confirmation time used for determining whether or not the pedestrian has confirmed left and right safety can be the same time as the above-described gaze time (for example, a time of 100 msec or more).
  • the target pedestrian's line-of-sight direction moves in a direction along the roadway and moves beyond the state orthogonal to the roadway.
  • the target pedestrian is judged to have confirmed safety. This is because such a characteristic line-of-sight movement appears when a pedestrian confirms the safety of the rear, so if such a line-of-sight movement is performed, the safety for the vehicle traveling on the roadway It is because it is thought that it confirmed.
  • the line-of-sight direction before such line-of-sight movement and the line-of-sight direction after moving beyond the state orthogonal to the roadway are at an angle separated by a predetermined turning angle (typically 120 °) or more. It is desirable to confirm that there is.
  • the safety confirmation flag for the selected target pedestrian (that is, the target pedestrian selected in S104 in FIG. 3) is set to ON (S111).
  • the safety confirmation flag is a flag indicating that the target pedestrian has confirmed the safety of the vehicle traveling on the roadway.
  • the safety confirmation flag is also set for each target pedestrian, similarly to the gaze flag described above.
  • the safety confirmation flag for the selected target pedestrian is set to OFF (S112).
  • the target pedestrian corresponds to the pedestrian before crossing based on the history of the gaze flag and safety confirmation flag set so far It is determined whether or not (S113).
  • S113 A method for determining whether or not the target pedestrian corresponds to the pre-crossing pedestrian will be described later.
  • the pedestrian before crossing is a pedestrian who has an intention to cross the roadway but has not yet started crossing.
  • S114 when it judges that it corresponds to a pedestrian before crossing (S113: yes), it recognizes that the object pedestrian under selection is a pedestrian before crossing (S114).
  • the selected target pedestrian is determined not to be the pre-crossing pedestrian (S115).
  • the pedestrian detection apparatus 100 determines whether or not the target pedestrian corresponds to a pre-crossing pedestrian in the process of S113.
  • 11A to 11C show a basic concept for determining whether or not a target pedestrian corresponds to a pedestrian before crossing.
  • a pedestrian who crosses a roadway has a case where he / she pays attention to a destination for crossing immediately before the start of the crossing and a case where he / she checks safety on a vehicle traveling on the roadway.
  • the pedestrian does not confirm the safety to the vehicle.
  • the pedestrian detection device 100 determines whether or not the target pedestrian corresponds to a pre-crossing pedestrian based on the above-described concept.
  • FIG. 12A to 12C are explanatory diagrams showing a method for determining whether or not the target pedestrian corresponds to a pedestrian before crossing. As mentioned in S113 of FIG. 4, whether or not the target pedestrian corresponds to a pre-crossing pedestrian is determined based on the history of the gaze flag and the safety confirmation flag set so far.
  • FIG. 12A conceptually shows how the setting of the gaze flag and the safety confirmation flag switches over time for each of the target pedestrians A to G illustrated in FIG.
  • the black straight line extending from the left side to the right side indicates that neither the gaze flag nor the safety confirmation flag is set (that is, neither flag is set to OFF).
  • the attached part indicates that the gaze flag is set to ON.
  • a portion with a fine diagonal line indicates that the safety confirmation flag is set to ON.
  • the gaze flag is a flag that indicates that the crossing destination is watched
  • the safety confirmation flag is a flag that indicates that the safety confirmation of the vehicle traveling on the roadway has been performed. Since the gaze at the crossing destination and the safety confirmation to the vehicle cannot be performed at the same time, the gaze flag and the safety confirmation flag are not set to ON at the same time.
  • the safety confirmation flag is set to ON after a while after the gaze flag is set to ON. Therefore, as shown in FIG. 12B, at the time point a when the safety confirmation flag is set to ON, it is determined whether or not the gaze flag is set to ON while going back a predetermined retroactive time (for example, 3 seconds). To do. As shown in the figure, for the target pedestrian A, the gaze flag is not set to ON within the retroactive time that goes back from the time point a. For this reason, since one of the safety confirmation flag and the gaze flag is set to ON and the other flag is not turned ON within the retroactive time, it is determined not to correspond to the pedestrian before crossing.
  • the safety confirmation flag is set to ON immediately after the gaze flag is set to ON. For this reason, as shown in FIG. 12C, the gaze flag is set to ON within the retroactive time retroactive from the time point b when the safety confirmation flag is set to ON. Therefore, it is determined that the target pedestrian C corresponds to the pedestrian before crossing at the time point b. Further, for the target pedestrian C, the gaze flag is set to ON within the period that goes back the retroactive time as long as the safety confirmation flag is set to ON even after the time point b. For this reason, it is determined that the target pedestrian C corresponds to the pre-crossing pedestrian even after the time point b.
  • the gaze flag is turned on within the period of retroactive time from the time when the second gaze flag is turned on. Since it is set, it is determined that the target pedestrian C corresponds to the pedestrian before crossing. And after the second gaze flag is turned off, until the time point c, the gaze flag is set to ON and the safety confirmation flag is set to ON within the period of retroactive time. And exist. For this reason, the target pedestrian C continues to be determined to be a pedestrian before crossing until the time point c.
  • S113 of FIG. 4 it is determined whether or not the target pedestrian being selected (that is, the pedestrian selected in S104 of FIG. 3) corresponds to the pedestrian before crossing by the above method.
  • the target pedestrian being selected that is, the pedestrian selected in S104 of FIG. 3 corresponds to the pedestrian before crossing by the above method.
  • the selected target pedestrian is recognized as the pre-crossing pedestrian and the fact is stored (S114).
  • the selected target pedestrian is recognized as not being a pre-crossing pedestrian and is stored as such (S115).
  • FIG. 13 illustrates a state in which the extraction result of the pedestrian before crossing is output on the screen of the monitor 3.
  • a photographed image obtained by photographing the front of the vehicle 1 with the in-vehicle camera 2 is displayed.
  • eight pedestrians A to H are shown in the photographed image.
  • a marker image m indicated by a broken-line rectangle is displayed. Overlaid. Therefore, the driver of the vehicle 1 can immediately recognize that the pedestrian G who must pay particular attention among the eight pedestrians A to H is the pedestrian G.
  • the pre-crossing pedestrian exists as a result of extracting the pre-crossing pedestrian (S118: yes).
  • the speaker 4 outputs a sound to the effect (for example, “a pedestrian is about to cross”).
  • the pedestrian detection apparatus 100 of this embodiment can detect the pedestrian who is going to cross (that is, the pedestrian before crossing) before the pedestrian actually starts to cross the roadway.
  • the movement of the pedestrian watching the destination of the crossing and the movement of confirming the safety of the vehicle traveling on the roadway Is detected based on whether or not it has been performed within a predetermined time, so that it is possible to detect a pedestrian before crossing with high accuracy.
  • the pedestrian who is going to cross the roadway can be detected with high accuracy and at the stage before actually starting to cross the road.
  • the monitoring burden on pedestrians can be greatly reduced. For example, in the example shown in FIG.
  • the pedestrian detection apparatus 100 of the present embodiment outputs a sound to that effect from the speaker 4 (see FIG. 13). For this reason, the driver can recognize immediately that the pedestrian before crossing has been extracted even if he / she is driving while visually checking the front as usual. If the screen of the monitor 3 is seen at that stage, it can be immediately recognized by the marker image m which pedestrian is the pre-crossing pedestrian.
  • the direction of the target pedestrian's line of sight is the characteristic movement shown in FIG.
  • the target pedestrian estimated that the vehicle traveling on the road was chased with his eyes, and determined that the vehicle had been confirmed for safety.
  • the position of the vehicle traveling on the roadway may be detected to determine whether or not the direction of the target pedestrian's line of sight faces the direction of the vehicle. Then, when the direction of the target pedestrian's line of sight is also moving as the position of the vehicle is moved, the target pedestrian may determine that the safety check for the vehicle has been performed.
  • FIG. 14 shows an internal configuration of the pedestrian detection apparatus 150 of the first modification example.
  • the pedestrian detection device 150 of the first modification shown in FIG. 14 has a vehicle detection unit 109 added to the pedestrian detection device 100 of the present embodiment described above with reference to FIG. About a point, it is the same as that of the pedestrian detection apparatus 100 of this embodiment.
  • the vehicle detection unit 109 included in the pedestrian detection device 150 of the first modification analyzes the captured image of the in-vehicle camera 2 received from the captured image acquisition unit 101, detects the position of the vehicle in the captured image, and results thereof. Is output to the safety confirmation determination unit 107.
  • the vehicle detection unit 109 is described as detecting the position of the vehicle by analyzing the captured image, but various known methods are used as a method for the vehicle detection unit 109 to detect the position of the vehicle. be able to.
  • the position of the vehicle may be detected based on an output from a radar such as a millimeter wave or a sonar.
  • the safety confirmation determination unit 107 acquires the gaze direction of the target pedestrian from the gaze direction acquisition unit 105 and acquires the position of the vehicle from the vehicle detection unit 109. Then, when the line-of-sight direction of the target pedestrian moves following the movement of the vehicle, it is determined that the target pedestrian has confirmed safety with respect to the vehicle.
  • the pedestrian detection device 150 can detect the pedestrian before crossing with higher accuracy.
  • the safety confirmation flag and the gaze flag are ON within a period that extends a predetermined retroactive time from the current time point.
  • the target pedestrian was detected as a pedestrian before crossing.
  • the ON state continues to be valid for each of the safety confirmation flag and the gaze flag.
  • An effective duration may be set. And it is good also as detecting the object pedestrian whose ON state is continuing about any of a safety confirmation flag and a gaze flag as a pedestrian before crossing.
  • FIG. 15A to FIG. 15C are explanatory views showing a state in which a pre-crossing pedestrian is detected from the target pedestrians in the pre-crossing pedestrian detection process of the second modification described above.
  • the effective duration of a predetermined time is set at a time point d when the gaze flag of the target pedestrian is turned from ON to OFF.
  • the target pedestrian is detected as a pre-crossing pedestrian while the safety confirmation flag is ON within the period from the time point d until the effective duration time elapses.
  • the safety confirmation flag remains ON even after the effective duration time has elapsed from the time point d.
  • the effective continuation time during which the ON state of the gaze flag continues effectively ends, the pedestrian is not detected as a pre-crossing pedestrian after the effective continuation time has elapsed from the time point d.
  • an effective duration of a predetermined time is set at the time point e when the gaze flag of the target pedestrian is turned from ON to OFF, and within the period from the time point e until the effective duration time elapses.
  • the safety confirmation flag While the safety confirmation flag is ON, the target pedestrian is detected as a pedestrian before crossing.
  • the safety confirmation flag changes from ON to OFF the effective duration of the safety confirmation flag is set from this time f.
  • the effective duration of the safety confirmation flag is not shown. For this reason, even after the safety confirmation flag is turned off, the gaze flag and the safety confirmation flag remain on until the effective duration of the gaze flag elapses. The target pedestrian is detected as a pedestrian before crossing.
  • the case where the gaze flag is turned on first and then the safety confirmation flag is turned on has been described as an example.
  • the safety confirmation flag is turned on first, and then the gaze flag is turned on.
  • the same description applies to the case of turning on.
  • the effective duration may be made different between the gaze flag and the safety confirmation flag.
  • the effective duration of the safety confirmation flag may be set shorter than the effective duration of the gaze flag illustrated in FIG. 15A or 15B.
  • the gaze flag is a flag that indicates that the target pedestrian has watched the crossing destination
  • the safety confirmation flag is a flag that indicates that the target pedestrian has confirmed the safety of the vehicle. is there. And once the crossing destination is confirmed, it is unlikely that the situation will change over time, so pedestrians who want to cross the roadway will have to wait for a while after confirming the crossing destination. Even after elapse, it is easy to start crossing without confirming again.
  • the safety confirmation flag is set to be shorter than the effective duration of the gaze flag, it is possible to detect the pedestrian before crossing with higher accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Traffic Control Systems (AREA)

Abstract

車道から所定距離の範囲内に存在する対象歩行者を検出して、対象歩行者が横断の目的地を注視したか否か、および車道を走行する車両に対する安全確認を行ったか否かを、対象歩行者の視線方向に基づいて判断する。その結果、対象歩行者が、横断の目的地の注視、または安全確認の何れか一方の動作を行ってから、所定時間内に他方の動作を行っていた場合に、車道の横断意思を有する横断前歩行者として検出する。こうすれば、車道を横断しようとしている歩行者を、実際に横断し始める前の段階で、精度良く検出できる。

Description

歩行者検出装置、歩行者検出方法 関連出願の相互参照
　本出願は、２０１６年７月７日に出願された特許出願番号２０１６－１３５４０４号に基づくものであって、その優先権の利益を主張するものであり、その特許出願のすべての内容が、参照により本明細書に組み入れられる。
　本発明は、車両の周辺に存在する歩行者を検出する技術に関し、特に、車道を横断しようとしている歩行者を、実際に横断し始める前の段階で検出する技術に関する。
　画像認識技術が進歩したことによって、今日では、車載カメラで得られた撮影画像から、車両の周囲に存在する歩行者を十分な精度で検出することが可能となっている。そして、次の開発目標としては、検出した歩行者が歩道を歩いているだけなのか、歩道を出て車道を横断しようとしているのかを、十分な精度で判別可能とすることが求められるようになってきた。
　このような要請に対しては、歩行者の位置の時系列変化および移動速度の時系列変化を検出することによって、歩行者が車道を横断しようとしているか否かを判別しようとする技術が提案されている（特許文献１）。この提案の技術では、検出した時系列変化が、歩行者が車道を横断しようとする時の時系列変化のパターンに該当するか否かに基づいて、歩行者が車道を横断しようとしているか否かを判別している。
特開２０１０－１０２４３７号公報
　上記の提案されている技術は、歩行者が車道を横断する動きを検出しているので、検出した時点では既に横断し始めており、横断し始める前の段階で、横断しようとしている歩行者を検出できるわけではない。
　本開示は、車道を横断しようとしている歩行者を、横断し始める前の段階で、精度良く検出することが可能な技術の提供を目的とする。
　本開示の第１の態様では、歩行者検出装置および歩行者検出方法は、車載カメラの撮影画像の中で車道から所定距離の範囲内に存在する対象歩行者を検出する。そして、対象歩行者が横断の目的地を注視したか否か、および車道を走行する車両に対する安全確認を行ったか否かを、対象歩行者の視線方向に基づいて判断する。その結果、対象歩行者が、横断の目的地の注視、または安全確認の何れか一方の動作を行ってから、所定時間内に他方の動作を行っていた場合に、車道の横断意思を有する横断前歩行者として検出する。
　本願の発明者らが新たに見出した知見によれば、車道を横断しようとする歩行者は、横断するに先立って、１００％といって良いほどの高い確率で、横断しようとする目的地の注視と、横断しようとする車道を走行する車両に対する安全確認とを行う。従って、横断の目的地の注視と、車両に対する安全確認とを所定時間内に行った対象歩行者を、車道の横断意思を有する横断前歩行者として検出すれば、車道を横断しようとしている歩行者を、実際に横断し始める前の段階で、精度良く検出できる。
本実施形態の歩行者検出装置１００を搭載した車両１を示す説明図である。 本実施形態の歩行者検出装置１００の内部構成を示すブロック図である。 本実施形態の歩行者検出装置１００が車道を横断しようとしている歩行者を検出するために実行する横断前歩行者検出処理の前半部分のフローチャートである。 横断前歩行者検出処理の後半部分のフローチャートである。 車載カメラ２で得られた撮影画像を例示した説明図である。 撮影画像の中から対象歩行者を抽出する方法を示した説明図である。 対象歩行者が横断の目的地を注視したか否かを判断する方法についての説明図である。 対象歩行者が横断の目的地を注視したか否かを判断する方法についての説明図である。 対象歩行者が横断の目的地を注視したか否かを判断する方法についての説明図である。 対象歩行者が行う安全確認動作の一態様についての説明図である。 対象歩行者が行う安全確認動作の他の態様についての説明図である。 対象歩行者が行う安全確認動作の更なる他の態様についての説明図である。 対象歩行者の中から横断前歩行者を抽出するための基本的な考え方についての説明図である。 対象歩行者の中から横断前歩行者を抽出するための基本的な考え方についての説明図である。 対象歩行者の中から横断前歩行者を抽出するための基本的な考え方についての説明図である。 対象歩行者の中から横断前歩行者を抽出する方法についての説明図である。 対象歩行者の中から横断前歩行者を抽出する方法についての説明図である。 対象歩行者の中から横断前歩行者を抽出する方法についての説明図である。 横断前歩行者の抽出結果を出力する様子を例示した説明図である。 第１変形例の歩行者検出装置１５０の内部構成を示すブロック図である。 第２変形例の横断前歩行者検出処理が対象歩行者の中から横断前歩行者を抽出する方法についての説明図である。 第２変形例の横断前歩行者検出処理が対象歩行者の中から横断前歩行者を抽出する方法についての説明図である。 第２変形例の横断前歩行者検出処理が対象歩行者の中から横断前歩行者を抽出する方法についての説明図である。
　以下では、上述した本発明の内容を明確にするために実施形態について説明する。
Ａ．装置構成　：
　図１には、本実施形態の歩行者検出装置１００を搭載した車両１の大まかな構成が示されている。図示されるように、車両１には、歩行者検出装置１００に加えて、車載カメラ２や、モニター３、スピーカー４、ナビゲーション装置（以下、ナビ装置）１０などが搭載されている。
　車載カメラ２は、所定の時間間隔で前方の状況を撮影して、得られた撮影画像を歩行者検出装置１００に出力する。
　ナビ装置１０は、地図データを記憶しており、車両１の現在位置を検出して、現在位置の周辺の地図データを歩行者検出装置１００に出力する。
　歩行者検出装置１００は、車載カメラ２から受け取った撮影画像を解析して、撮影画像に写った歩行者を検出する。更に、検出した歩行者が、車道を横断しようとしている歩行者であるか否かを、歩行者が横断を開始する前の段階で判断する。歩行者が横断を開始する前の段階で、横断しようとしているか否かを判断する方法については、後ほど詳しく説明する。尚、以下では、車道を横断しようとしているが未だ横断を開始していない歩行者を「横断前歩行者」と称することにする。
　また、本実施例の歩行者検出装置１００には、ナビ装置１０も接続されている。そこで、歩行者が横断前歩行者であるか否かを判断するに際しては、車両１の現在位置の情報や、周辺の地図情報をナビ装置１０から取得して利用することもできる。
　そして、歩行者検出装置１００は、撮影画像に写った歩行者の中から横断前歩行者を検出した結果を、モニター３やスピーカー４を用いて運転者に出力する。
　図２には、本実施形態の歩行者検出装置１００の内部構成が示されている。図示されるように歩行者検出装置１００は、撮影画像取得部１０１と、歩行者検出部１０２と、車道検出部１０３と、対象歩行者検出部１０４と、視線方向取得部１０５と、注視判断部１０６と、安全確認判断部１０７と、横断前歩行者検出部１０８とを備えている。
　尚、これらの「部」は、本実施例の歩行者検出装置１００が、撮影画像中の歩行者の中から横断前歩行者を検出するために備える機能に着目して、歩行者検出装置１００の内部を便宜的に分類した抽象的な概念である。従って、歩行者検出装置１００がこれらの「部」に物理的に区分されることを表すものではない。これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。
　撮影画像取得部１０１は、車載カメラ２に接続されており、車載カメラ２が車両１の前方を撮影した撮影画像を一定の時間周期で取得して、歩行者検出部１０２や車道検出部１０３に出力する。
　歩行者検出部１０２は、撮影画像取得部１０１から受け取った撮影画像を解析することによって、撮影画像中に写った歩行者を検出する。撮影画像中に写った歩行者を検出する方法については、画像中で歩行者の特徴を有する部分を検出するなど、周知の種々の方法を用いることができる。
　車道検出部１０３は、撮影画像取得部１０１から受け取った撮影画像を解析することによって、撮影画像中に写った車道を検出する。車道の両側には白線が引かれているので、撮影画像の中から白線を検出することによって車道を検出できる。また、ナビ装置１０は、車両１の現在位置を検出すると共に、車道の位置情報を含んだ地図情報を記憶している。そこで、車道検出部１０３は、撮影画像中の車道を検出するに際して、ナビ装置１０から車両１の現在位置や地図情報を取得して、これらの情報も利用しながら車道を検出しても良い。
　対象歩行者検出部１０４は、歩行者検出部１０２から取得した歩行者の検出結果と、車道検出部１０３から取得した車道の検出結果とに基づいて、対象歩行者を検出する。ここで、対象歩行者とは、歩行者検出部１０２で検出された歩行者の中で、横断前歩行者であるか否かを判断する対象となる歩行者である。例えば、歩行者が車道から十分に離れた位置にいる場合、その歩行者が車道を横断しようとしていないことは、判断するまでもなく明らかである。逆に言えば、車道から一定距離以内にいる歩行者について、その歩行者が横断前歩行者であるか否かを判断すればよい。そこで、対象歩行者検出部１０４は、歩行者検出部１０２で検出された歩行者の中から、横断前歩行者であるか否かの判断対象となる歩行者（すなわち、対象歩行者）を、車道検出部１０３で検出された車道の位置の情報に基づいて検出する。
　視線方向取得部１０５は、対象歩行者検出部１０４で検出された対象歩行者について、視線の方向を取得する。本実施形態では、対象歩行者の視線の方向は、撮影画像取得部１０１が取得した撮影画像を解析して、対象歩行者の顔の向きを検出することによって、視線の方向を取得するものとする。もちろん、視線の向きを検出して無線で送信する専用の機器を歩行者に装着して貰い、歩行者から無線で送信されてきた視線の向きを取得しても良い。あるいは、道路脇に監視カメラおよび解析装置を設置して、歩行者の画像を解析して得られた視線の向きを無線で送信するようにしておき、無線で送信されてきた視線の向きを取得しても良い。
　注視判断部１０６は、対象歩行者についての視線の向きと、車道の位置の情報とに基づいて、対象歩行者が、車道の向こう側に存在する横断の目的地を注視したか否かを判断する。
　また、安全確認判断部１０７は、対象歩行者についての視線の向きと、車道の位置の情報とに基づいて、対象歩行者が、車道を走行する車両に対する安全確認を行ったか否かを判断する。対象歩行者が横断の目的地を注視したか否か、あるいは安全確認を行ったか否かを判断する方法については後ほど詳しく説明する。
　そして、横断前歩行者検出部１０８は、横断の目的地を注視する動作と、車両に対する安全確認の動作とを、対象歩行者が所定の時間内に行った場合に、その対象歩行者を横断前歩行者として検出する。詳細には後述するが、本願発明者らが見出した新たな知見によれば、車道を横断しようとする歩行者は、横断の目的地を注視する動作と、車両に対する安全確認の動作とを、横断前に実行することが分かっている。従って、これら２つの動作を所定時間内に行った対象歩行者を横断前歩行者として検出すれば、車道を横断しようとしている歩行者を、その歩行者が横断を開始する前の段階で、精度良く検出できる。横断前歩行者検出部１０８は、こうして横断前歩行者を検出した結果を、モニター３あるいはスピーカー４を用いて出力する。
Ｂ．横断前歩行者検出処理　：
　図３および図４には、本実施形態の歩行者検出装置１００が横断前歩行者を検出する処理の詳細なフローチャートが示されている。
　図示されるように、横断前歩行者検出処理では先ず始めに、車載カメラ２が撮影した撮影画像を取得する（Ｓ１００）。そして、取得した撮影画像を解析することによって、撮影画像中の歩行者を検出し（Ｓ１０１）、更に、撮影画像の中から車道を検出する（Ｓ１０２）。前述したように、撮影画像中の歩行者は、撮影画像中で歩行者の特徴を有する部分を探索することによって検出できる。また、撮影画像中の車道は、車道の両側に存在する白線や、路肩の段差などが写った部分を抽出することによって、検出できる。
　そして、歩行者の中から対象歩行者を抽出する（Ｓ１０３）。前述したように対象歩行者とは、横断前歩行者であるか否かを判断する対象となる歩行者である。対象歩行者を抽出する方法について、具体例を用いて説明する。
　例えば、撮影画像が、図５に例示した画像であったとすると、撮影画像中の歩行者を検出する。図６の画像６ａには、撮影画像中から歩行者Ａ～Ｈの８人の歩行者が検出された様子が示されている。続いて、撮影画像中の車道を検出する。図６の画像６ｂでは、撮影画像中から検出された車道を、斜線を付すことによって表示している。
　また、車載カメラ２は車両１に対して固定されているから、撮影画像上での歩行者Ａ～Ｈや車道の位置は、実空間内での車両１を基準とする相対位置に読み替えることができる。そこで、図６の画像６ａに示した歩行者Ａ～Ｈの中で、車道までの距離が所定距離以内の歩行者を、対象歩行者として抽出する。これは、車道から十分に離れた位置にいる歩行者は、車道を横断しようとしているとは考えられないので、車道の近くにいる歩行者を対象歩行者として抽出しておけば十分と考えられるためである。
　その結果、図６の画像６ｃに示したように、撮影画像中の８人の歩行者Ａ～Ｈの中から、歩行者Ｈを除いた７人の歩行者Ａ～Ｇが、対象歩行者として抽出される。
　尚、例えば、車道の中央に柵が設けられるなどして、歩行者が車道を横断することは考えられない状況も起こり得る。あるいは、車道の片側には歩道があるが、反対側には歩道が無いなどの理由で、歩行者が車道を横断することは考えられない状況も起こり得る。そこで、撮影画像を解析して、このような状況が検出された場合には、このような状況の歩行者を除いて、それ以外の歩行者を対象歩行者として抽出しても良い。
　あるいは、歩行者が車道を横断することは考えられない道路範囲を、ナビ装置１０の地図情報に記憶しておく。そして、車道から所定距離以内の歩行者であっても、そのような道路範囲にいる歩行者を除いて、それ以外の歩行者を対象歩行者として抽出しても良い。
　以上のようにして、撮影画像中の歩行者の中から対象歩行者を抽出したら（図３のＳ１０３）、対象歩行者を１人選択して（Ｓ１０４）、その対象歩行者の視線方向を取得する（Ｓ１０５）。本実施形態では、撮影画像中で対象歩行者の頭部の画像を解析して、顔の向きを検出することによって、視線方向を取得する。
　もちろん、道路脇に設置した監視カメラおよび解析装置を用いて、歩行者の視線の向きを検出して、無線で送信されてきた検出結果を受信することによって視線方向を取得しても良い。あるいは、歩行者に専用の機器を装着して貰うことによって、視線の向きを検出し、検出結果を無線で送信することによって、歩行者の視線方向を受信することとしても良い。
　続いて、対象歩行者の視線方向が、車道の向こう側に存在する横断の目的地の方向を向いているか否かを判断する（Ｓ１０６）。前述したように、対象歩行者は車道までの距離が所定距離以内の範囲にいる歩行者であるから、対象歩行者の近くには車道が存在している。そこで、その車道の向こう側を対象歩行者が見ているか否かを判断する。
　図７Ａ～図７Ｃには、対象歩行者の視線方向が、横断の目的地の方向を向いているか否かを判断する方法が示されている。例えば、図７Ａに示すように、対象歩行者７ａの体の真正面を車道が横切るような状態で、対象歩行者７ａの視線方向（本実施形態では顔の向き）が車道に対して直交している場合には、対象歩行者７ａの視線方向が横断の目的地の方向を向いていると判断できる。
　また、図７Ａに例示したように、対象歩行者７ｂの体の向きが車道に対して大きく斜めに傾いている場合でも、対象歩行者７ｂの視線方向が、車道に対して直交する方向に対して－４５°～＋４５°の範囲内にある場合には、対象歩行者７ｂの視線方向が横断の目的地の方向を向いていると判断できる。
　これに対して、図７Ａに例示したように、対象歩行者７ｃの体の向きが車道に対して斜めに傾いていない場合でも、対象歩行者７ｃの視線方向が車道に対して直交する方向に対して、－４５°～＋４５°の範囲内にない場合には、対象歩行者７ｃの視線方向が横断の目的地の方向を向いていないと判断できる。
　また、図７Ｂに例示したように、対象歩行者７ｄの視線方向が、水平方向から下向きに所定角度（例えば２０°）よりも大きく傾いている場合には、対象歩行者７ｄの視線方向が横断の目的地の方向を向いていないと判断できる。
　あるいは、図７Ｃに例示したように、対象歩行者７ｅの視線方向が、水平方向から上向きに所定角度（例えば１０°）よりも大きく傾いている場合にも、対象歩行者７ｅの視線方向が横断の目的地の方向を向いていないと判断できる。
　図３のＳ１０６では、以上のようにして、対象歩行者の視線方向が、車道の向こう側に存在する横断の目的地の方向を向いているか否かを判断する。
　その結果、視線方向が横断の目的地の方向を向いていると判断した場合には（Ｓ１０６：ｙｅｓ）、今度は、その方向で所定の注視時間以上（例えば、１００ｍｓｅｃ以上）に亘って、視線方向が留まっているか否かを判断する（Ｓ１０７）。そして、注視時間以上に亘って視線方向が留まっていると判断した場合には（Ｓ１０７：ｙｅｓ）、Ｓ１０４で選択した対象歩行者についての注視フラグをＯＮに設定する（Ｓ１０８）。ここで、注視フラグとは、対象歩行者が車道の向こう側に存在する横断の目的地を注視したことを示すフラグである。また、注視フラグは、対象歩行者毎に（図６に示した例では、歩行者Ａ～Ｇのそれぞれに対して）設定される。一般に、人間が何かを注視する時には、所定時間以上（例えば、１００ｍｓｅｃ以上）の間、視線が留まることが知られている。従って、対象歩行者の視線方向が、車道の向こう側に存在する横断の目的地の方向に、所定の注視時間以上に亘って視線が留まっていれば、横断の目的地を注視したと考えて良い。そこで、このような場合には、選択中の対象歩行者についての注視フラグをＯＮに設定する。
　これに対して、視線方向が横断の目的地の方向を向いているが（Ｓ１０６：ｙｅｓ）、その方向を向いてから、未だ注視時間が経過していないと判断した場合には（Ｓ１０７：ｎｏ）、選択中の対象歩行者についての注視フラグをＯＦＦに設定する（Ｓ１０９）。
　また、そもそも視線方向が横断の目的地の方向を向いていない場合は（Ｓ１０６：ｎｏ）、視線方向が注視時間以上に亘って留まっているか否かを判断することなく、選択中の対象歩行者についての注視フラグをＯＦＦに設定する（Ｓ１０９）。
　続いて、本実施形態の歩行者検出装置１００は、対象歩行者が、車道を走行する車両に対する安全確認を行ったか否かを判断する（図４のＳ１１０）。すなわち、前述したように対象歩行者の近くには車道が存在するから、対象歩行者が、その車道を走行する車両に対する安全確認を行ったか否かを判断する。対象歩行者が安全確認を行ったか否かは、対象歩行者の視線方向に基づいて、次のようにして判断する。
　例えば、図８に示したように、対象歩行者の視線方向が、対象歩行者に対して車道の側を、所定の移動速度の範囲内で、所定角度以上、一方向に移動するという特徴的な動きをした場合に、その対象歩行者は安全確認を行ったものと判断する。
　これは、そのような特徴的な視線の動きは、車道を走行する車両を眼で追いかける場合に現れるものであるため、そのような視線の動きをしていれば、車道を走行する車両に対する安全確認を行ったと考えられるためである。
　また、図９に例示したように、対象歩行者の視線方向が、車道に向かって左右何れか一方の方向で所定の確認時間以上に亘って留まった後、他方の方向にも確認時間以上に亘って留まるという特徴的な動きをした場合に、その対象歩行者は安全確認を行ったと判断する。あるいは、このような視線の移動を繰り返す場合にも、その対象歩行者は安全確認を行ったと判断する。
　これは、そのような特徴的な視線の動きは、歩行者が左右の安全を確認する際に行う場合に現れるものであるため、そのような視線の動きをしていれば、車道を走行する車両に対する安全確認を行ったと考えられるためである。
　尚、歩行者が左右の安全を確認したか否かを判断するために用いる所定の確認時間は、前述した注視時間と同じ時間（例えば、１００ｍｓｅｃ以上の時間）とすることができる。また、左右の一方の方向と他方の方向とは、所定の確認角度（代表的には９０°）以上離れた角度であることを確認しておくことが望ましい。
　更には、図１０に例示したように、対象歩行者の視線方向が、車道に沿った方向を向いている状態から、車道に直交する状態を超えて移動するという特徴的な動きをした場合に、その対象歩行者は安全確認を行ったものと判断する。
　これは、そのような特徴的な視線の動きは、歩行者が後方の安全を確認する場合に現れるものであるため、そのような視線の動きをしていれば、車道を走行する車両に対する安全確認を行ったものと考えられるためである。尚、このような視線の動きをする前の視線方向と、車道に直交する状態を超えて移動した後の視線方向とは、所定の振り返り角度（代表的には１２０°）以上離れた角度であることを確認しておくことが望ましい。
　図４のＳ１１０では、対象歩行者が車道を走行する車両に対する安全確認を行ったか否かを、以上のような方法で、対象歩行者の視線方向に基づいて判断する。
　その結果、対象歩行者が安全確認を行ったと判断した場合は、選択中の対象歩行者（すなわち、図３のＳ１０４で選択した対象歩行者）についての安全確認フラグをＯＮに設定する（Ｓ１１１）。ここで、安全確認フラグとは、対象歩行者が、車道を走行する車両に対する安全確認を行ったことを示すフラグである。安全確認フラグも、前述した注視フラグと同様に、対象歩行者毎に設定される。
　これに対して、対象歩行者が安全確認を行っていないと判断した場合は、選択中の対象歩行者についての安全確認フラグをＯＦＦに設定する（Ｓ１１２）。
　こうして、選択中の対象歩行者についての注視フラグおよび安全確認フラグを設定したら、それまでに設定した注視フラグおよび安全確認フラグの履歴に基づいて、その対象歩行者が横断前歩行者に該当するか否かを判断する（Ｓ１１３）。対象歩行者が横断前歩行者に該当するか否かを判断する方法については後述する。尚、横断前歩行者とは、前述したように、車道を横断する意思を有しているが、実際には未だ横断を開始していない歩行者のことである。
　その結果、横断前歩行者に該当すると判断した場合は（Ｓ１１３：ｙｅｓ）、選択中の対象歩行者は横断前歩行者であると認定する（Ｓ１１４）。これに対して、横断前歩行者に該当しないと判断した場合は（Ｓ１１３：ｎｏ）、選択中の対象歩行者は横断前歩行者ではないと認定する（Ｓ１１５）。
　以上のようにして、選択中の対象歩行者について、横断前歩行者に該当するか否かを認定したら（Ｓ１１４、Ｓ１１５）、全ての対象歩行者を選択したか否かを判断する（Ｓ１１６）。すなわち、図３のＳ１０４では、Ｓ１０３で抽出された対象歩行者の中から１人の歩行者が選択されており、続くＳ１０５～図４のＳ１１５では、その歩行者に対して上述した一連の処理が行われる。そこで、選択した１人の対象歩行者についての処理が終了したら、Ｓ１１６では、未だ処理が終了していない対象歩行者（すなわち、選択していない対象歩行者）が存在しているか否かを判断する。
　その結果、未だ選択していない対象歩行者が存在している場合は（Ｓ１１６：ｎｏ）、図３のＳ１０４に戻って、新たな対象歩行者を選択した後、選択したその対象歩行者に対して、上述した続く一連の処理（Ｓ１０５～図４のＳ１１５）を行う。
　このような操作を繰り返しているうちに、やがては全ての対象歩行者を選択したと判断される（Ｓ１１６：ｙｅｓ）。そこでこの場合は、横断前歩行者と認定された歩行者を抽出する（Ｓ１１７）。
　ここで、本実施形態の歩行者検出装置１００が、Ｓ１１３の処理で、対象歩行者が横断前歩行者に該当するか否かを判断する方法について説明する。
　図１１Ａ～図１１Ｃには、対象歩行者が横断前歩行者に該当するか否かを判断するための基本的な考え方が示されている。先ず、車道を横断する歩行者は、横断開始の直前に、横断の目的地を注視する場合と、車道を走行する車両に対して安全確認を行う場合とがある。ここで、本願発明者らが新たに見出した知見によれば、横断開始の直前に歩行者が横断の目的地を注視していた場合でも、その歩行者は車両への安全確認を行わずに横断したわけではなく、目的地を注視する前には安全確認を行っている（図１１Ａ参照のこと）。
　同様なことは、横断開始の直前に歩行者が安全確認を行っていた場合にも当て嵌まる。すなわち、横断開始の直前に歩行者が安全確認を行っていた場合、その歩行者は横断の目的地を注視することなく横断したわけではなく、車両への安全確認を行う前には、横断の目的地を注視している（図１１Ｂ参照のこと）。
　そこで、１０箇所以上の様々な地点で、実際に車道を横断した１００人以上の歩行者について、横断開始前の動きを観察した。その結果、車道を横断した歩行者は、１００％の確率で、横断の直前に、横断の目的地を注視する動きと、車両への安全確認とを行っていることが確かめられた。
　このことから、横断の目的地を注視する動きと、車両への安全確認を行う動きの２つの動きを、所定の遡及時間（例えば、３秒）以内に行った場合には、車道を横断しようとしているものと考えて良い（図１１Ｃ参照のこと）。また、車道を横断しようとしても横断を思い止まることも起こり得るから、これら２つの動きを所定時間以内に行った場合でも、その後、一定時間（例えば、５秒）が経過した後は、車道の横断を思い止まったものと判断しても良い。
　本実施形態の歩行者検出装置１００は、以上のような考え方に基づいて、対象歩行者が横断前歩行者に該当するか否かを判断する。
　図１２Ａ～図１２Ｃは、対象歩行者が横断前歩行者に該当するか否かを判断する方法を示した説明図である。図４のＳ１１３で言及したように、対象歩行者が横断前歩行者に該当するか否かは、それまでに設定した注視フラグおよび安全確認フラグの履歴に基づいて判断される。
　図１２Ａには、図６に例示した対象歩行者Ａ～Ｇのそれぞれについて、注視フラグおよび安全確認フラグの設定が、時間の経過と共に切り換わる様子が概念的に示されている。図中で左側から右側に向かって延びる黒い直線は、注視フラグおよび安全確認フラグの何れも設定されていない（すなわち、何れのフラグもＯＦＦに設定されている）ことを表しており、粗い斜線を付した部分は注視フラグがＯＮに設定されていることを表している。また、細かい斜線を付した部分は、安全確認フラグがＯＮに設定されていることを表している。
　例えば、対象歩行者Ａについては、暫くの期間に亘って注視フラグがＯＮに設定された後、何れのフラグもＯＦＦに設定された状態が続き、その後、安全確認フラグがＯＮに設定されて、その状態が現在時点まで継続されている。
　また、対象歩行者Ｂについては、注視フラグおよび安全確認フラグの何れもＯＮに設定されていない。更に、対象歩行者Ｃについては、注視フラグがＯＮになった後、直ぐに続けて安全確認フラグがＯＮになり、再び注視フラグがＯＮに設定された後、注視フラグおよび安全確認フラグの何れもＯＮに設定されていない状態となって、その状態が現在時点まで継続されている。
　尚、前述したように、注視フラグは横断の目的地を注視したことを表すフラグであり、安全確認フラグは車道を走行する車両への安全確認を行ったことを表すフラグである。横断の目的地の注視と、車両への安全確認とは同時に行うことができないから、注視フラグと安全確認フラグとが同時にＯＮに設定されることはない。
　このように、対象歩行者のそれぞれについての注視フラグおよび安全確認フラグの履歴が分かれば（図１２Ａ参照のこと）、対象歩行者が車道を横断しようとしているか否か、すなわち横断前歩行者に該当するか否かを判断できる。
　例えば、対象歩行者Ａについては、注視フラグがＯＮに設定された後、暫くの時間が経過した後に安全確認フラグがＯＮに設定されている。そこで、図１２Ｂに示したように、安全確認フラグがＯＮに設定された時点ａで、所定の遡及時間（例えば３秒間）を遡る間に、注視フラグがＯＮに設定されているか否かを判断する。図示されるように、対象歩行者Ａについては、時点ａから遡ること遡及時間以内では注視フラグがＯＮに設定されていない。このため、安全確認フラグあるいは注視フラグの一方がＯＮに設定されてから遡及時間以内に、他方のフラグがＯＮにされていないので、横断前歩行者には該当しないと判断される。
　また、対象歩行者Ｃについては、注視フラグがＯＮに設定された後、直ぐに安全確認フラグがＯＮに設定されている。このため、図１２Ｃに示したように、安全確認フラグがＯＮに設定された時点ｂから遡ること遡及時間以内に、注視フラグがＯＮに設定されている。従って、対象歩行者Ｃは、時点ｂで横断前歩行者に該当すると判断される。
　更に、対象歩行者Ｃについては、時点ｂ以降の時点でも、安全確認フラグがＯＮに設定されている間は、遡及時間を遡る期間内に注視フラグがＯＮに設定されている。このため、時点ｂ以降も、対象歩行者Ｃは横断前歩行者に該当すると判断され続ける。更に加えて、安全確認フラグがＯＦＦになって２回目に注視フラグがＯＮになった後は、２回目の注視フラグがＯＮになっている時点から遡及時間を遡る期間内に注視フラグがＯＮに設定されているので、対象歩行者Ｃは、横断前歩行者に該当すると判断され続ける。そして、２回目の注視フラグがＯＦＦになった後も、時点ｃまでの間は、遡及時間を遡る期間内に注視フラグがＯＮに設定された状態と、安全確認フラグがＯＮに設定された状態とが存在する。このため、対象歩行者Ｃは、時点ｃまでの間、横断前歩行者に該当すると判断され続けることになる。
　図４のＳ１１３では、選択中の対象歩行者（すなわち、図３のＳ１０４で選択した歩行者）について、以上のような方法で、横断前歩行者に該当するか否かを判断する。その結果、横断前歩行者に該当すると判断した場合には（Ｓ１１３：ｙｅｓ）、その選択中の対象歩行者を横断前歩行者として認定して、その旨を記憶する（Ｓ１１４）。これに対して、横断前歩行者に該当しないと判断した場合には（Ｓ１１３：ｎｏ）、その選択中の対象歩行者は横断前歩行者ではないと認定して、その旨を記憶する（Ｓ１１５）。
　その後、前述したように、全ての対象歩行者を選択したか否かを判断して（Ｓ１１６）、全ての対象歩行者を選択したと判断したら（Ｓ１１６：ｙｅｓ）、横断前歩行者と認定された歩行者を抽出する（Ｓ１１７）。
　そして、抽出された横断前歩行者が存在するか否かを判断して（Ｓ１１８）、横断前歩行者が存在していた場合は（Ｓ１１８：ｙｅｓ）、横断前歩行者が存在する旨を、車室内に設けられたモニター３およびスピーカー４を用いて出力する（Ｓ１１９）。
　図１３には、モニター３の画面上に横断前歩行者の抽出結果を出力した様子が例示されている。図示されているように、モニター３の画面上には、車載カメラ２で車両１の前方を撮影した撮影画像が表示されている。前述したように、撮影画像には８人の歩行者Ａ～Ｈが写っているが、その中で横断前歩行者として抽出された歩行者Ｇには、破線の矩形で示したマーカー画像ｍが重ねて表示されている。このため、車両１の運転者は、８人の歩行者Ａ～Ｈの中で、特に注意を払わなければならない歩行者が歩行者Ｇであることを、直ちに認識できる。
　加えて、本実施形態の歩行者検出装置１００では、横断前歩行者を抽出した結果、抽出された横断前歩行者が存在していた場合には（Ｓ１１８：ｙｅｓ）、横断前歩行者が存在する旨の音声（例えば、「歩行者が横断しようとしています」など）をスピーカー４から出力するようになっている。
　こうして、横断前歩行者が存在する旨を出力したら（Ｓ１１９）、図３および図４に示した横断前歩行者検出処理を終了するか否かを判断する（Ｓ１２０）。その結果、処理を終了しない場合は（Ｓ１２０：ｎｏ）、処理の先頭に戻って、車載カメラ２から撮影画像を取得した後（図３のＳ１００）、続く上述した一連の処理を開始する。
　一方、図４のＳ１１７で、横断前歩行者と認定された歩行者を抽出した結果、横断前歩行者と認定された歩行者が存在していなかった場合は（Ｓ１１８：ｎｏ）、横断前歩行者が存在する旨を出力することなく、横断前歩行者検出処理を終了するか否かを判断する（Ｓ１２０）。その結果、処理を終了しない場合は（Ｓ１２０：ｎｏ）、処理の先頭に戻って、車載カメラ２から撮影画像を取得した後（図３のＳ１００）、続く上述した一連の処理を開始する。
　また、Ｓ１２０で処理を終了すると判断した場合は（Ｓ１２０：ｙｅｓ）、横断前歩行者検出処理を終了する。
　このように、本実施形態の歩行者検出装置１００は、歩行者が実際に車道を横断し始める前の段階で、横断しようとしている歩行者（すなわち横断前歩行者）を検出できる。また、横断前歩行者を検出するに際しては、図１１Ａ～図１１Ｃを用いて前述したように、歩行者が横断の目的地を注視する動きと、車道を走行する車両に対する安全確認を行う動きとを、所定の時間内に行ったか否かに基づいて検出しているので、高い精度で横断前歩行者を検出できる。
　その結果、車両１の前方に多くの歩行者が存在するような場合でも、車道を横断しようとしている歩行者を、精度良く、しかも実際に横断し始める前の段階で検出できるので、運転者の歩行者に対する監視負担を大幅に軽減できる。
　例えば、図１３に示した例では、車両１の前方には８人の歩行者Ａ～Ｈが存在するが、この段階では、何れの歩行者についても、実際には未だ横断を開始していないので、何れの歩行者が車道を横断しようとしているかを判断することは困難である。しかし、本実施形態の歩行者検出装置１００では、歩行者Ｇが実際に車道を横断し始める前の段階で、運転者に対して歩行者Ｇが車道を横断しようとしていることを知らせることができるので、運転者の監視負担を大幅に軽減できる。
　加えて、本実施形態の歩行者検出装置１００では、横断前歩行者が存在する場合には、その旨の音声をスピーカー４から出力する（図１３参照のこと）。このため、運転者は通常の通りに前方を視認しながら運転していれば、モニター３を監視していなくても、横断前歩行者が抽出されたことを直ちに認識できる。そして、その段階でモニター３の画面を見れば、何れの歩行者が横断前歩行者であるかを、マーカー画像ｍによって直ちに認識できる。
Ｃ．変形例　：
　上述した本実施形態には幾つかの変形例を考えることができる。以下では、これら変形例について、本実施形態との相違点を中心として簡単に説明する。
Ｃ－１．第１変形例　：
　上述した本実施形態の歩行者検出装置１００では、対象歩行者の視線方向が、図８に示した特徴的な動き（すなわち、対象歩行者に対して車道の側を、所定の移動速度の範囲内で、所定角度以上、一方向に移動する動き）をした場合に、その対象歩行者は、車道を走行する車両を眼で追いかけたと推定して、車両に対する安全確認を行ったと判断した。
　しかし、車道を走行する車両の位置を検出して、対象歩行者の視線方向が、車両の方向を向いているか否かを判断しても良い。そして、車両の位置が移動するに伴って、対象歩行者の視線方向も移動している場合に、その対象歩行者は、車両に対する安全確認を行ったと判断してもよい。
　図１４には、このような第１変形例の歩行者検出装置１５０の内部構成が示されている。図１４に示した第１変形例の歩行者検出装置１５０は、図２を用いて前述した本実施形態の歩行者検出装置１００に対して、車両検出部１０９が追加されているが、その他の点については本実施形態の歩行者検出装置１００と同様である。
　第１変形例の歩行者検出装置１５０が備える車両検出部１０９は、撮影画像取得部１０１から受け取った車載カメラ２の撮影画像を解析して、撮影画像中の車両の位置を検出し、その結果を安全確認判断部１０７に出力する。尚、ここでは、車両検出部１０９は撮影画像を解析することによって車両の位置を検出するものとして説明するが、車両検出部１０９が車両の位置を検出する方法は、周知の種々の方法を用いることができる。例えば、ミリ波などのレーダーや、ソナーなどの出力に基づいて車両の位置を検出してもよい。
　安全確認判断部１０７は、視線方向取得部１０５から対象歩行者の視線方向を取得し、車両検出部１０９から車両の位置を取得する。そして、対象歩行者の視線方向が、車両の動きを追いかけて移動している場合に、その対象歩行者は車両に対する安全確認を行ったと判断する。
　こうすれば、対象歩行者の視線が実際に車両を追いかけている場合に、安全確認を行ったと判断することになるので、対象歩行者が車両に対する安全確認を行ったか否かを、より一層、正確に判断できる。その結果、変形例の歩行者検出装置１５０は、横断前歩行者を更に精度良く検出できる。
Ｃ－２．第２変形例　：
　図１２Ａ～図１２Ｃを用いて前述したように、本実施形態の横断前歩行者検出処理では、現在時点から所定の遡及時間を遡る期間内で、安全確認フラグおよび注視フラグがＯＮになっている対象歩行者を、横断前歩行者として検出した。
　しかし、現在時点から遡及時間を遡って、安全確認フラグおよび注視フラグがＯＮになっている対象歩行者を探索するのではなく、安全確認フラグおよび注視フラグのそれぞれについて、ＯＮ状態が有効に継続する有効継続時間を設定しておいてもよい。そして、安全確認フラグおよび注視フラグの何れについてもＯＮ状態が継続している対象歩行者を、横断前歩行者として検出することとしても良い。
　図１５Ａ～図１５Ｃには、上述した第２変形例の横断前歩行者検出処理で、対象歩行者の中から横断前歩行者を検出する様子を示す説明図である。例えば、図１５Ａに示した例では、対象歩行者の注視フラグがＯＮからＯＦＦになった時点ｄで、所定時間の有効継続時間が設定される。そして、時点ｄから有効継続時間が経過するまでの期間内で、安全確認フラグがＯＮになっている間は、その対象歩行者を横断前歩行者として検出する。
　尚、図１５Ａに示した例では、時点ｄから有効継続時間が経過した後も安全確認フラグがＯＮのままとなっている。しかし、注視フラグのＯＮ状態が有効に継続する有効継続時間が終了しているので、時点ｄから有効継続時間が経過した後は、横断前歩行者として検出されなくなる。
　また、図１５Ｂに示した例では、対象歩行者の注視フラグがＯＮからＯＦＦになった時点ｅで所定時間の有効継続時間が設定され、時点ｅから有効継続時間が経過するまでの期間内で、安全確認フラグがＯＮになっている間は、その対象歩行者は横断前歩行者として検出される。そして、安全確認フラグがＯＮからＯＦＦになると、その時点ｆから、今度は安全確認フラグの有効継続時間が設定される。尚、図１５Ｂでは、安全確認フラグの有効継続時間については図示が省略されている。
　このため、安全確認フラグがＯＦＦになった後も、注視フラグの有効継続時間が経過するまでの間は、注視フラグおよび安全確認フラグがＯＮになった状態が継続しているので、この期間でも対象歩行者は横断前歩行者として検出されることになる。
　尚、以上の説明では、初めに注視フラグがＯＮになり、その後に安全確認フラグがＯＮになる場合を例に用いて説明したが、初めに安全確認フラグがＯＮになり、その後に注視フラグがＯＮになる場合についても、全く同様な説明が当て嵌まる。
　また、以上の説明では、注視フラグと安全確認フラグとで、有効継続時間の長さに違いは無いものとして説明した。しかし、注視フラグと安全確認フラグとで、有効継続時間の長さを異ならせてもよい。
　例えば、図１５Ｃに例示したように、安全確認フラグの有効継続時間については、図１５Ａあるいは図１５Ｂに例示した注視フラグの有効継続時間よりも、短い時間に設定しても良い。
　前述したように、注視フラグとは、対象歩行者が横断の目的地を注視したことを示すフラグであり、安全確認フラグとは、対象歩行者が車両に対する安全確認を行ったことを示すフラグである。そして、横断の目的地は一度確認しておけば時間が経過しても状況が変化することは考えにくいので、車道を横断しようとする歩行者は、横断の目的地を確認してから時間が経過しても、再度確認すること無く、そのまま横断を開始しがちである。
　これに対して、車両に対する安全確認は時間が経過すると状況が変化して安全では無くなっている可能性があるので、車道を横断しようとする歩行者は、安全確認してから時間が経過した場合には、再度、安全確認してから横断を開始する傾向がある。
　このことから、安全確認フラグの有効継続時間を、注視フラグの有効継続時間よりも短い時間に設定しておけば、横断前歩行者をより一層精度良く検出できる。
　以上、本実施形態および各種の変形例について説明したが、本発明は上記の実施形態および各種の変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

Claims (13)

  1. 　車載カメラ（２）から得られた撮影画像を解析することによって、該撮影画像に写った歩行者を検出する歩行者検出装置（１００、１５０）であって、
    　前記撮影画像の中から車道を検出する車道検出部（１０３）と、
    　前記撮影画像の中で、前記車道から両側方向へ所定距離の範囲内に存在する歩行者を、対象歩行者として検出する対象歩行者検出部（１０４）と、
    　前記対象歩行者の視線方向についての情報を取得する視線方向取得部（１０５）と、
    　前記対象歩行者が前記車道の向こう側に存在する横断の目的地を注視したか否かを、前記対象歩行者の視線方向に基づいて判断する注視判断部（１０６）と、
    　前記対象歩行者が前記車道を走行する車両に対する安全確認を行ったか否かを、前記対象歩行者の視線方向に基づいて判断する安全確認判断部（１０７）と、
    　前記横断の目的地の注視または前記安全確認の何れか一方の動作を行ってから、所定時間内に他方の動作を行った前記対象歩行者を、前記車道の横断意思を有する横断前歩行者として検出する横断前歩行者検出部（１０８）と
    　を備える歩行者検出装置。
  2. 　請求項１に記載の歩行者検出装置であって、
    　前記横断前歩行者検出部は、前記横断の目的地を注視してから第１の前記所定時間内に前記安全確認を行うか、若しくは、前記安全確認をしてから、前記第１の所定時間よりも短い第２の前記所定時間内に前記横断の目的地を注視した前記対象歩行者を、前記横断前歩行者として検出する
    　歩行者検出装置。
  3. 　請求項１または請求項２に記載の歩行者検出装置であって、
    　前記視線方向取得部は、前記撮影画像に写った前記対象歩行者の画像を解析することによって、前記対象歩行者の視線方向についての情報を取得する
    　歩行者検出装置。
  4. 　請求項１ないし請求項３の何れか一項に記載の歩行者検出装置であって、
    　前記注視判断部は、前記対象歩行者の視線方向が、前記横断の目的地の方向に、所定の注視時間に亘って留まっていた場合に、前記横断の目的地を注視したものと判断する
    　歩行者検出装置。
  5. 　請求項４に記載の歩行者検出装置であって、
    　前記注視判断部は、前記対象歩行者の視線方向が、前記車道に対して直角な方向から４５度以内の角度範囲内になかった場合には、前記横断の目的地を注視していないと判断する
    　歩行者検出装置。
  6. 　請求項４または請求項５に記載の歩行者検出装置であって、
    　前記注視判断部は、前記対象歩行者の視線方向が、水平方向に対して所定の上限角度以上、上向きであった場合には、前記横断の目的地を注視していないと判断する
    　歩行者検出装置。
  7. 　請求項４ないし請求項６の何れか一項に記載の歩行者検出装置であって、
    　前記注視判断部は、前記対象歩行者の視線方向が、水平方向に対して所定の下限角度以上、下向きであった場合には、前記横断の目的地を注視していないと判断する
    　歩行者検出装置。
  8. 　請求項１ないし請求項７の何れか一項に記載の歩行者検出装置であって、
    　前記安全確認判断部は、前記対象歩行者の視線方向が、前記対象歩行者に対して前記車道の側を、所定の移動速度範囲内で所定の角度以上、一方向に移動した場合に、前記車道を走行する車両に対する安全確認を行ったと判断する
    　歩行者検出装置。
  9. 　請求項８に記載の歩行者検出装置であって、
    　前記車道を走行する車両を検出する車両検出部（１０９）を備え、
    　前記安全確認判断部は、前記対象歩行者の視線方向が、前記車道を走行する車両の移動と共に移動する場合に、前記車両に対する安全確認を行ったものと判断する
    　歩行者検出装置。
  10. 　請求項１ないし請求項９の何れか一項に記載の歩行者検出装置であって、
    　前記安全確認判断部は、前記対象歩行者の視線方向が、前記車道に向かって左右何れか一方の方向に移動した後、他方の方向に移動した場合に、前記車道を走行する車両に対する安全確認を行ったと判断する
    　歩行者検出装置。
  11. 　請求項１０に記載の歩行者検出装置であって、
    　前記安全確認判断部は、前記対象歩行者の視線方向が前記左右何れか一方に向いた時の前記視線方向と、前記他方に向いた時の前記視線方向とが、９０°以上離れている場合に、前記車道を走行する車両に対する安全確認を行ったと判断する
    　歩行者検出装置。
  12. 　請求項１ないし請求項１１の何れか一項に記載の歩行者検出装置であって、
    　前記安全確認判断部は、前記対象歩行者の視線方向が、前記車道に沿った方向から、前記車道に向かって直交する方向を経由して、前記車道に対して直交しなくなる方向まで移動した場合に、前記車道を走行する車両に対する安全確認を行ったと判断する
    　歩行者検出装置。
  13. 　車載カメラ（２）から得られた撮影画像を解析することによって、該撮影画像に写った歩行者を検出する歩行者検出方法であって、
    　前記撮影画像の中から車道を検出する工程（Ｓ１０２）と、
    　前記撮影画像の中で、前記車道から両側方向へ所定距離の範囲内に存在する歩行者を、対象歩行者として検出する工程（Ｓ１０３）と、
    　前記対象歩行者の視線方向についての情報を取得する工程（Ｓ１０５）と、
    　前記対象歩行者が前記車道の向こう側に存在する横断の目的地を注視したか否かを、前記対象歩行者の視線方向に基づいて判断する工程（Ｓ１０６、Ｓ１０７）と、
    　前記対象歩行者が前記車道を走行する車両に対する安全確認を行ったか否かを、前記対象歩行者の視線方向に基づいて判断する工程（Ｓ１１０）と、
    　前記横断の目的地の注視または前記安全確認の何れか一方の動作を行ってから、所定時間内に他方の動作を行った前記対象歩行者を、前記車道の横断意思を有する横断前歩行者として検出する工程（Ｓ１１３）と
    　を備える歩行者検出方法。
PCT/JP2017/020809 2016-07-07 2017-06-05 歩行者検出装置、歩行者検出方法 WO2018008314A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/315,411 US11011062B2 (en) 2016-07-07 2017-06-05 Pedestrian detection apparatus and pedestrian detection method
DE112017003414.0T DE112017003414T5 (de) 2016-07-07 2017-06-05 Fußgängererfassungsvorrichtung und Fußgängererfassungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016135404A JP6617651B2 (ja) 2016-07-07 2016-07-07 歩行者検出装置、歩行者検出方法
JP2016-135404 2016-07-07

Publications (1)

Publication Number Publication Date
WO2018008314A1 true WO2018008314A1 (ja) 2018-01-11

Family

ID=60912099

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020809 WO2018008314A1 (ja) 2016-07-07 2017-06-05 歩行者検出装置、歩行者検出方法

Country Status (4)

Country Link
US (1) US11011062B2 (ja)
JP (1) JP6617651B2 (ja)
DE (1) DE112017003414T5 (ja)
WO (1) WO2018008314A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156678A1 (en) * 2018-02-09 2019-08-15 Ford Global Technologies, Llc Pedestrian management systems and methods
WO2019240070A1 (ja) * 2018-06-11 2019-12-19 本田技研工業株式会社 動作確認システム
FR3088279A1 (fr) * 2018-11-12 2020-05-15 Alstom Transport Technologies Procede d'envoi d'une information a un individu situe dans l'environnement d'un vehicule
US10817730B2 (en) 2017-06-01 2020-10-27 Honda Motor Co., Ltd. Prediction apparatus, vehicle, prediction method, and non-transitory computer-readable storage medium
CN112249021A (zh) * 2020-10-14 2021-01-22 广州汽车集团股份有限公司 一种道路行人碰撞风险预测方法及其系统
CN113793497A (zh) * 2021-08-04 2021-12-14 东南大学 一种考虑多因素的行人过街行为预测方法
US11373534B2 (en) 2018-12-05 2022-06-28 Volkswagen Aktiengesellschaft Method for providing map data in a transportation vehicle, transportation vehicle and central data processing device
CN115984318A (zh) * 2023-03-20 2023-04-18 宝略科技(浙江)有限公司 一种基于特征最大关联概率的跨摄像头行人跟踪方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018204917A1 (en) 2017-05-05 2018-11-08 Ball Aerospace & Technologies Corp. Spectral sensing and allocation using deep machine learning
WO2019041360A1 (zh) * 2017-09-04 2019-03-07 华为技术有限公司 行人属性识别与定位方法以及卷积神经网络系统
WO2019089591A1 (en) * 2017-10-30 2019-05-09 Mobileye Vision Technologies Ltd. Vehicle navigation based on human activity
JP7100998B2 (ja) * 2018-03-08 2022-07-14 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP6989418B2 (ja) * 2018-03-12 2022-01-05 矢崎総業株式会社 車載システム
US11182672B1 (en) * 2018-10-09 2021-11-23 Ball Aerospace & Technologies Corp. Optimized focal-plane electronics using vector-enhanced deep learning
US20200202133A1 (en) * 2018-12-21 2020-06-25 Continental Automotive Systems Inc. Pedestrian tracking system and method
US11851217B1 (en) 2019-01-23 2023-12-26 Ball Aerospace & Technologies Corp. Star tracker using vector-based deep learning for enhanced performance
US11412124B1 (en) 2019-03-01 2022-08-09 Ball Aerospace & Technologies Corp. Microsequencer for reconfigurable focal plane control
US11488024B1 (en) 2019-05-29 2022-11-01 Ball Aerospace & Technologies Corp. Methods and systems for implementing deep reinforcement module networks for autonomous systems control
US11303348B1 (en) 2019-05-29 2022-04-12 Ball Aerospace & Technologies Corp. Systems and methods for enhancing communication network performance using vector based deep learning
US11828598B1 (en) 2019-08-28 2023-11-28 Ball Aerospace & Technologies Corp. Systems and methods for the efficient detection and tracking of objects from a moving platform
WO2021059747A1 (ja) * 2019-09-26 2021-04-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、プログラム及び情報処理装置
CN112329684B (zh) * 2020-11-16 2024-04-30 常州大学 一种基于注视检测和交通场景识别的行人穿越马路意图识别方法
US11597314B2 (en) * 2021-02-08 2023-03-07 Ford Global Technologies, Llc Vehicle lamp system comprising a computer adjusting the color or direction of a lamp based on a road user's gaze direction

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074595A (ja) * 2000-08-29 2002-03-15 Hitachi Ltd 車両の安全運転支援システム
JP2005165422A (ja) * 2003-11-28 2005-06-23 Denso Corp 衝突可能性判定装置
JP2011123636A (ja) * 2009-12-10 2011-06-23 Hitachi Ltd 人横断支援車両システム及び人横断支援方法
JP2014059841A (ja) * 2012-09-19 2014-04-03 Daimler Ag 運転支援装置
JP2015185075A (ja) * 2014-03-26 2015-10-22 株式会社デンソー 街灯システム
WO2016098238A1 (ja) * 2014-12-19 2016-06-23 株式会社日立製作所 走行制御装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4536674B2 (ja) 2006-03-27 2010-09-01 本田技研工業株式会社 歩行者認識装置
JP4935795B2 (ja) 2008-10-22 2012-05-23 株式会社豊田中央研究所 歩行者飛び出し予測装置及びプログラム
JP5737397B2 (ja) 2011-06-13 2015-06-17 トヨタ自動車株式会社 歩行者動作予測装置
US9604639B2 (en) * 2015-08-28 2017-03-28 Delphi Technologies, Inc. Pedestrian-intent-detection for automated vehicles
JP6279006B2 (ja) 2016-04-28 2018-02-14 株式会社三共 スロットマシン

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074595A (ja) * 2000-08-29 2002-03-15 Hitachi Ltd 車両の安全運転支援システム
JP2005165422A (ja) * 2003-11-28 2005-06-23 Denso Corp 衝突可能性判定装置
JP2011123636A (ja) * 2009-12-10 2011-06-23 Hitachi Ltd 人横断支援車両システム及び人横断支援方法
JP2014059841A (ja) * 2012-09-19 2014-04-03 Daimler Ag 運転支援装置
JP2015185075A (ja) * 2014-03-26 2015-10-22 株式会社デンソー 街灯システム
WO2016098238A1 (ja) * 2014-12-19 2016-06-23 株式会社日立製作所 走行制御装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817730B2 (en) 2017-06-01 2020-10-27 Honda Motor Co., Ltd. Prediction apparatus, vehicle, prediction method, and non-transitory computer-readable storage medium
WO2019156678A1 (en) * 2018-02-09 2019-08-15 Ford Global Technologies, Llc Pedestrian management systems and methods
WO2019240070A1 (ja) * 2018-06-11 2019-12-19 本田技研工業株式会社 動作確認システム
JPWO2019240070A1 (ja) * 2018-06-11 2021-07-29 本田技研工業株式会社 動作確認システム
WO2020099270A1 (fr) * 2018-11-12 2020-05-22 Alstom Transport Technologies Procédé d'envoi d'une information à un individu situé dans l'environnement d'un véhicule
FR3088279A1 (fr) * 2018-11-12 2020-05-15 Alstom Transport Technologies Procede d'envoi d'une information a un individu situe dans l'environnement d'un vehicule
US11745647B2 (en) 2018-11-12 2023-09-05 Alstom Transport Technologies Method for sending information to an individual located in the environment of a vehicle
US11373534B2 (en) 2018-12-05 2022-06-28 Volkswagen Aktiengesellschaft Method for providing map data in a transportation vehicle, transportation vehicle and central data processing device
CN112249021A (zh) * 2020-10-14 2021-01-22 广州汽车集团股份有限公司 一种道路行人碰撞风险预测方法及其系统
CN112249021B (zh) * 2020-10-14 2022-06-24 广州汽车集团股份有限公司 一种道路行人碰撞风险预测方法及其系统
CN113793497A (zh) * 2021-08-04 2021-12-14 东南大学 一种考虑多因素的行人过街行为预测方法
CN115984318A (zh) * 2023-03-20 2023-04-18 宝略科技(浙江)有限公司 一种基于特征最大关联概率的跨摄像头行人跟踪方法
CN115984318B (zh) * 2023-03-20 2023-06-13 宝略科技(浙江)有限公司 一种基于特征最大关联概率的跨摄像头行人跟踪方法

Also Published As

Publication number Publication date
JP2018005793A (ja) 2018-01-11
US20190213887A1 (en) 2019-07-11
US11011062B2 (en) 2021-05-18
DE112017003414T5 (de) 2019-03-21
JP6617651B2 (ja) 2019-12-11

Similar Documents

Publication Publication Date Title
WO2018008314A1 (ja) 歩行者検出装置、歩行者検出方法
CN110419211B (zh) 信息处理装置、信息处理方法和计算机可读的存储介质
JP5863233B2 (ja) 運転者注視方向連動の前方衝突危険警報システム、その方法及びそれを利用した車両
JP5345350B2 (ja) 車両の運転支援装置
JP3304687B2 (ja) 車両用走行車線認識装置及び障害物検出装置・道路逸脱報知装置
US11074818B2 (en) Drive assist device and drive assist method
US20150338516A1 (en) Object recognition apparatus and vehicle
JP4885793B2 (ja) 障害物監視装置
JP6651031B2 (ja) 車両ドア衝突防止装置および車両ドア衝突防止方法
WO2014109016A1 (ja) 車両周辺表示装置
US10618467B2 (en) Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle
JP5863607B2 (ja) 歩行者警告装置
KR101103526B1 (ko) 스테레오 카메라를 이용한 충돌회피 방법
JP2008250503A (ja) 運転支援装置
KR20200131832A (ko) 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
CN108263376B (zh) 自动泊车系统和自动泊车方法
JP2007164671A (ja) 障害物接近判断装置および障害物衝突警告システム
JP2017220178A (ja) 物体検出装置、及び物体検出方法
JP4936060B2 (ja) 車両用走行支援装置
US20220319192A1 (en) Driving assistance device, driving assistance method, and non-transitory computer-readable medium
KR20120086577A (ko) 카메라를 이용한 측면차량 검출 장치 및 방법
JP2010097335A (ja) 運転意思推定装置
JP2005202787A (ja) 車両用表示装置
JP2011103058A (ja) 誤認識防止装置
JP5416193B2 (ja) 障害物監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17823921

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17823921

Country of ref document: EP

Kind code of ref document: A1