WO2021094800A1 - 信号機認識方法及び信号機認識装置 - Google Patents

信号機認識方法及び信号機認識装置 Download PDF

Info

Publication number
WO2021094800A1
WO2021094800A1 PCT/IB2019/001270 IB2019001270W WO2021094800A1 WO 2021094800 A1 WO2021094800 A1 WO 2021094800A1 IB 2019001270 W IB2019001270 W IB 2019001270W WO 2021094800 A1 WO2021094800 A1 WO 2021094800A1
Authority
WO
WIPO (PCT)
Prior art keywords
threshold value
traffic light
result
determination result
display
Prior art date
Application number
PCT/IB2019/001270
Other languages
English (en)
French (fr)
Inventor
西村俊彦
松尾治夫
Original Assignee
日産自動車株式会社
ルノー エス． ア． エス．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社, ルノー エス． ア． エス． filed Critical 日産自動車株式会社
Priority to EP19952385.3A priority Critical patent/EP4060639B1/en
Priority to US17/775,528 priority patent/US11663834B2/en
Priority to BR112022008079A priority patent/BR112022008079A2/pt
Priority to JP2021555893A priority patent/JP7255706B2/ja
Priority to CN201980102181.XA priority patent/CN114746915B/zh
Priority to PCT/IB2019/001270 priority patent/WO2021094800A1/ja
Priority to MX2022005516A priority patent/MX2022005516A/es
Publication of WO2021094800A1 publication Critical patent/WO2021094800A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver

Definitions

  • the present invention relates to a traffic light recognition method and a traffic light recognition device.
  • Patent Document 1 in order to avoid a situation in which a traffic light controlled to be lit is erroneously determined to be controlled to be turned off or blinking, the traffic light is turned off in a predetermined number of consecutive captured images.
  • a technique has been proposed in which it is determined that the traffic light is off or blinking based on whether or not the number of captured images determined to be off exceeds the threshold value.
  • the present invention has been made in view of the above problems, and an object of the present invention is from the actual transition of the display state of a traffic signal to the start of the process corresponding to the display state after the transition. It is an object of the present invention to provide a traffic light recognition method and a traffic light recognition device capable of determining a display state of a traffic light by referring to a plurality of images arranged in a time series while suppressing a delay time and recognizing the traffic light.
  • the traffic light recognition method and the traffic light recognition device are obtained by determining the display state of the traffic light based on a plurality of images of the traveling direction of the vehicle.
  • a result string consisting of multiple judgment results in chronological order is acquired, and the latest specific judgment result among the judgment results constituting the result row is a permission display that allows the passage of the stop line corresponding to the traffic light.
  • the determination result is that the first threshold value is set to the number threshold value, and the specific determination result is other than the determination result that the display state is the permission display, it is smaller than the first threshold value.
  • the second threshold value is set to the number threshold value, and when the number of determination results having the same as the specific determination result is larger than the number threshold value, the specific determination result is output.
  • a plurality of images arranged in chronological order can be displayed while suppressing the delay time from the actual transition of the display state of the traffic light to the start of the process corresponding to the display state after the transition. It is possible to determine the display state of the traffic light by referring to it and recognize the traffic light.
  • FIG. 1 is a block diagram showing a configuration of a traffic light recognition device according to an embodiment of the present invention.
  • FIG. 2 is a flowchart showing a processing procedure of the traffic light recognition device according to the embodiment of the present invention.
  • FIG. 3 is a flowchart showing a modified example of the processing procedure of the traffic signal recognition device according to the embodiment of the present invention.
  • FIG. 4 is a diagram showing an example of a result sequence composed of a plurality of determination results in chronological order.
  • FIG. 5A is a diagram showing a first example of a change in the output value corresponding to the result sequence.
  • FIG. 5B is a diagram showing a second example of the change in the output value corresponding to the result sequence.
  • FIG. 1 is a block diagram showing a configuration of a traffic light recognition device according to the present embodiment.
  • the traffic light recognition device according to the present embodiment includes an imaging unit 71 and a controller 100, and the controller 100 includes an imaging unit 71, an in-vehicle sensor 73, and map information by a wired or wireless communication path. It is connected to the acquisition unit 75 and the vehicle control device 400.
  • the image pickup unit 71, the vehicle-mounted sensor 73, and the vehicle control device 400 are mounted on a vehicle (not shown), but the map information acquisition unit 75 and the controller 100 may be mounted on the vehicle or the vehicle. It may be installed outside the.
  • the imaging unit 71 captures an image of the vehicle in the traveling direction.
  • the image pickup unit 71 is a digital camera provided with a solid-state image sensor such as a CCD or CMOS, and images the surroundings of the vehicle to acquire a digital image of the peripheral region.
  • the imaging unit 71 images a predetermined range around the vehicle by setting the focal length, the angle of view of the lens, the vertical and horizontal angles of the camera, and the like.
  • the captured image captured by the imaging unit 71 is output to the controller 100 and stored in a storage unit (not shown) for a predetermined period of time.
  • the imaging unit 71 acquires captured images at predetermined time intervals, and the captured images acquired at predetermined time intervals are stored in the storage unit as past images.
  • the past image may be deleted after a predetermined period has elapsed from the time when the past image was captured.
  • the in-vehicle sensor 73 includes an object detection sensor mounted on the vehicle, such as a laser radar, a millimeter wave radar, and a camera, which detects an object existing around the vehicle.
  • the in-vehicle sensor 73 may include a plurality of different types of object detection sensors.
  • the in-vehicle sensor 73 detects the environment around the vehicle. For example, the in-vehicle sensor 73 detects a moving object including another vehicle, a motorcycle, a bicycle, a pedestrian, and a stationary object including a stopped vehicle, and the position, posture, size, speed, and acceleration of the moving object and the stationary object with respect to the vehicle. , Deceleration, yaw rate, etc. may be detected.
  • the in-vehicle sensor 73 may output, for example, the behavior of a two-dimensional object in a zenith view (also referred to as a plan view) viewed from the air above the vehicle as a detection result.
  • the in-vehicle sensor 73 may detect a sign (a road sign or a sign displayed on the road surface), a guide rail, or the like existing around the vehicle.
  • the vehicle-mounted sensor 73 may detect the slipperiness of the road surface in the lane in which the vehicle is traveling by detecting the rotation speed and the difference in rotation speed of the wheels provided in the vehicle.
  • the in-vehicle sensor 73 detects the state of the vehicle in addition to the environment around the vehicle.
  • the in-vehicle sensor 73 may detect the moving speed of the vehicle (moving speed in the front-rear direction, left-right direction, turning speed), the steering angle of the wheels provided in the vehicle, and the changing speed of the steering angle. ..
  • the in-vehicle sensor 73 uses a position detection sensor that measures the absolute position of the vehicle, such as a position detection sensor that measures the absolute position of the vehicle such as GPS (Global Positioning System) and odometry, and uses an absolute position of the vehicle, that is, , May include sensors that measure the position, attitude and speed of the vehicle relative to a given reference point.
  • a position detection sensor that measures the absolute position of the vehicle
  • GPS Global Positioning System
  • odometry uses an absolute position of the vehicle, that is, May include sensors that measure the position, attitude and speed of the vehicle relative to a given reference point.
  • the map information acquisition unit 75 acquires map information indicating the structure of the road on which the vehicle travels.
  • the map information acquired by the map information acquisition unit 75 includes road structure information such as absolute lane positions, lane connection relationships, and relative positional relationships. Further, the map information acquired by the map information acquisition unit 75 may include facility information such as a parking lot and a gas station. In addition, the map information may include the position information of the traffic light, the type of the traffic light, the position of the stop line corresponding to the traffic light, and the like.
  • the map information acquisition unit 75 may own a map database that stores the map information, or may acquire the map information from an external map data server by cloud computing. Further, the map information acquisition unit 75 may acquire map information by using vehicle-to-vehicle communication and road-to-vehicle communication.
  • the vehicle control device 400 controls a vehicle (not shown) based on the recognition result of the traffic light obtained by the controller 100.
  • the vehicle control device 400 may drive the vehicle by automatic driving according to a predetermined traveling route, or may support the driving operation of the occupants of the vehicle.
  • the vehicle control device 400 may be a notification device that notifies the occupants of the vehicle of the recognition result of the traffic light.
  • the controller 100 (an example of a control unit or a processing unit) is a general-purpose microcomputer including a CPU (central processing unit), a memory, and an input / output unit.
  • a computer program (traffic light recognition program) for functioning as a part of the traffic light recognition device is installed in the controller 100. By executing the computer program, the controller 100 functions as a plurality of information processing circuits (150, 155, 160, 180, 190) included in the traffic signal recognition device.
  • a plurality of information processing circuits (150, 155, 160, 180, 190) included in the traffic signal recognition device are realized by software.
  • information processing circuits (150, 155, 160, 180, 190) may be configured by individual hardware.
  • the information processing circuit (150, 155, 160, 180, 190) may also be used as an electronic control unit (ECU) used for other control related to the vehicle.
  • ECU electronice control unit
  • the controller 100 includes a determination unit 150, a determination result storage unit 155, a threshold value setting unit 180, an output determination unit 190, and an output unit 160 as a plurality of information processing circuits (150, 155, 160, 180, 190).
  • the determination unit 150 sets the detection area corresponding to the traffic light on the image captured by the image pickup unit 71.
  • the "detection area” means an area in the image where a traffic light is presumed to be present.
  • the position of the traffic light reflected in the imaging range in the image can be estimated based on the imaging direction of the imaging unit 71, the position and orientation of the vehicle at the time of imaging, and the position of the traffic light.
  • the determination unit 150 sets, for example, a partial region of the captured image, which includes the estimated position of the traffic light in the image, as the detection region.
  • the determination unit 150 executes image processing on the detection area, detects the traffic light in the detection area, and determines the display state of the traffic light.
  • the determination unit 150 detects a traffic light by, for example, template matching.
  • template matching a standard traffic light image is used as a template, and the detection area is scanned while shifting the image by one pixel, for example, the correlation of the brightness distribution is calculated. Then, when the correlation becomes the highest value, it is detected that the traffic light is at the position on the image where the template is located.
  • the "color signal” indicated by the traffic light includes “green light”, “yellow light”, and “red light”.
  • the meaning of "color signal” is determined by the traffic regulations that the vehicle should follow. For example, “green light” means “may proceed” and “red light” means “stop at the stop position”.
  • the “yellow traffic light” represents the meaning of “stop at the stop position unless it is not possible to stop safely because it is close to the stop position”.
  • the traffic light may indicate not only a “color signal” but also an “arrow signal” indicating the direction permitted to the vehicle at the intersection where the traffic light is installed. Examples include a “right turn signal”, a “straight ahead signal”, and a “left turn signal”.
  • the “arrow signal” is not limited to the “right turn signal”, “straight ahead signal”, and “left turn signal”, and various variations can be considered depending on the structure of the intersection where the traffic light is installed.
  • the meaning of the "arrow signal” is determined by the traffic regulations that the vehicle should obey.
  • the determination unit 150 executes image processing on the detection area and determines the lighting state of the "color signal” and the "arrow signal” of the traffic light as the display state of the traffic light.
  • the image processing of the traffic light detection by the determination unit 150 may use machine learning such as a support vector machine or a neural network.
  • the recognition rate can be improved by preparing a learning database in which templates of traffic lights of different sizes are stored in advance and using a learning database to be referred to according to the distance to the traffic light.
  • the determination result storage unit 155 stores the display state of the traffic light determined by the determination unit 150. Specifically, the determination unit 150 sequentially determines the plurality of images acquired by the imaging unit 71 in chronological order, and the obtained determination results are sequentially determined by the determination result storage unit 155 from the determination unit 150. get. Then, the determination result storage unit 155 stores a plurality of determination results in chronological order as a result sequence.
  • FIG. 4 is a diagram showing an example of a result sequence composed of a plurality of determination results in chronological order.
  • the judgment results obtained by the judgment unit 150 are "green light”, “yellow light”, “red light”, and “unknown” (judgment result that the displayed state is unknown). It is assumed that there are four types.
  • the determination results “green light”, “yellow light”, “red light”, and “unknown” are indicated by symbols “G”, “Y”, “R”, and “ ⁇ ”, respectively.
  • the reason why the determination result by the determination unit 150 is "unknown” is, for example, the flicker phenomenon (when the traffic light lamp is a lamp that blinks periodically like an LED lamp, the imaging timing by the imaging unit 71).
  • the number N of judgment results stored by the judgment result storage unit 155 is preset. That is, the number N of the determination results constituting the result sequence is preset as a predetermined number larger than the number threshold NC.
  • Subscripts from 0 to N-1 are added to each of the N determination results stored by the determination result storage unit 155.
  • the determination result of the subscript 0 is the latest determination result obtained by the determination unit 150, and means that as the number of subscripts assigned to the determination result increases, the determination result becomes older in order.
  • the judgment result storage unit 155 increases the subscript given to the judgment result by 1, and the new judgment result input to the judgment result storage unit 155 is used. Add subscript 0. The determination result in which the subscript is N is deleted.
  • the determination result storage unit 155 stores the determination results with subscripts from 0 to N-1 as a result sequence.
  • the determination result storage unit 155 may have a determination result complementing function. Specifically, when "unknown” is included in the determination results constituting the result sequence stored in the determination result storage unit 155, the determination result immediately before the “unknown” and the “unknown” are included. Based on the determination result immediately after, the "unknown" determination result may be replaced.
  • the determination result of the subscript 2 is "unknown".
  • the determination result storage unit 155 refers to the determination result of the subscript 3 immediately before the determination result of the subscript 2 and the determination result of the subscript 1 immediately after the determination result of the subscript 2.
  • the determination result of the subscript 1 and the determination result of the subscript 3 are both "yellow traffic lights”. Therefore, the determination result of the subscript 2 may not be “unknown” but may be a "yellow signal" which is the determination result of the subscript 3 immediately before the determination result of the subscript 2.
  • the determination result storage unit 155 extracts the determination result that the display state is unknown from the determination results constituting the result sequence as the first determination result, and among the determination results constituting the result sequence.
  • the judgment result immediately before the first judgment result and the judgment result immediately after the first judgment result from the judgment results excluding the judgment result that the displayed state is unknown are the second judgment results, respectively.
  • the first determination result in the result column may be replaced with the second determination result.
  • the above-mentioned determination result complementing function by the determination result storage unit 155 is effective for improving the recognition accuracy of the traffic light. ..
  • the number of determination results stored in the determination result storage unit 155 is N, but the present invention is not limited to this.
  • the determination result storage unit 155 may determine whether or not to store the determination result based on the imaging time of the image that is the source of the determination result, instead of the number of determination results. More specifically, the determination result storage unit 155 erases the determination result corresponding to the captured image in which a predetermined time or more has passed since the image was taken, and the determination result stored in the determination result storage unit 155 is currently. It may be only those corresponding to the images captured up to a predetermined time in the past.
  • the number of determination results stored in the determination result storage unit 155 may be limited based on the number N or the predetermined time. The result is the same.
  • the result may change depending on whether the image is limited based on the number N or the predetermined time.
  • the number of determination results to be stored is limited based on the number N or a predetermined time, it can be adopted as the configuration of the determination result storage unit 155.
  • the threshold value setting unit 180 sets the number threshold value NC, which is a value used in the output determination unit 190 described later, based on the display state of the traffic light (threshold value setting process).
  • the number threshold NC is set to a predetermined initial value when the controller 100 is started for the first time, and is subsequently updated by the threshold setting unit 180.
  • the threshold value setting unit 180 refers to the latest determination result among the determination results constituting the result sequence stored in the determination result storage unit 155, and the latest determination result is the stop line corresponding to the traffic light.
  • the permission display (“green light”) that permits the passage of the first threshold value
  • the number threshold value NC is set.
  • a second threshold value smaller than the first threshold value is set as the number threshold value NC.
  • the threshold setting unit 180 displays the latest determination result as a prohibition display (“red light”) prohibiting the passage of the stop line, or after the permission display and before the prohibition display.
  • the value of the number threshold NC may be set based on whether the display is an intermediate display (“yellow signal”).
  • the threshold value setting unit 180 may set a third threshold value smaller than the first threshold value to the number threshold value NC when the latest determination result is a prohibited display. Further, the threshold value setting unit 180 sets the number threshold value NC to a second threshold value smaller than the third threshold value set in the case of the prohibited display when the latest determination result is the intermediate display. Good.
  • the first threshold value, the second threshold value, and the third threshold value are determined based on the performance of the imaging unit 71, the length of the result sequence held by the determination result storage unit 155, the imaging cycle of the imaging unit 71, and the like. It may be one.
  • the threshold value setting unit 180 determines that the traffic light is not lit by the determination unit 150 (when the latest determination result by the determination unit 150 is a determination result that the displayed state is unknown). May maintain the value of the number threshold NC that has already been set without setting the number threshold NC.
  • the threshold value setting unit 180 resets the number threshold value NC to the initial value after the vehicle passes the stop line corresponding to the target traffic light.
  • the output determination unit 190 determines the output value based on the number threshold value NC set by the threshold value setting unit 180 and the result sequence stored in the determination result storage unit 155. Specifically, the output determination unit 190 subscripts when the number of determination results that are the same as the latest determination result (determination result of subscript 0) among the determination results constituting the result sequence is larger than the number threshold NC. The determination result of 0 is used as the output value.
  • the output determination unit 190 sets the previous output value when the number of determination results that are the same as the latest determination result (determination result of subscript 0) among the determination results constituting the result sequence is equal to or less than the number threshold value NC.
  • the output value may be maintained as it is.
  • FIG. 5A is a diagram showing a first example of a change in the output value corresponding to the result sequence.
  • the number N of the determination results constituting the result sequence is 8 and the number threshold NC is 4. Further, it is assumed that the images acquired by the imaging unit 71 are from frame F001 to frame F010 in chronological order, and the determination result by the determination unit 150 is obtained for each frame. Further, in the example shown in FIG. 5A, it is assumed that the determination result complement function by the determination result storage unit 155 is disabled.
  • the display of "G" on the left side of the result column means that the determination result of the determination unit 150 for frame F001 is "green light”. Further, the display of "G” on the right side of the result column means that the output value determined by the output determination unit 190 is "green light” when the determination result of the frame F001 is input to the result column. ..
  • the other frames F002 to F010 are also displayed in the same manner.
  • the output determination unit 190 maintains the output value as the "green light" which is the immediately preceding output value.
  • the output value determined by the output determination unit 190 changes from "green signal” to "yellow signal” at the time of frame F010.
  • the number of determination results that are the same as the determination result “Y” in the result column is 5, which is larger than the number threshold value NC. Therefore, the output determination unit 190 sets the output value as the “yellow signal” at the time of frame F010.
  • FIG. 5B is a diagram showing a second example of the change in the output value corresponding to the result sequence.
  • the number threshold value NC is 2.
  • the output value determined by the output determination unit 190 changes from the “green signal” to the “yellow signal” at the time of frame F008.
  • the time delay from the actual change of the display state of the traffic light to the change of the output value is 3 frames.
  • the determination result complement function by the determination result storage unit 155 is enabled, when the determination result for the frame F007 is stored in the determination result storage unit 155, the determination result of the subscript 1 is displayed. Complementation is performed, and the determination result of the subscript 1 changes from "unknown" to "yellow light". As a result, the output value determined by the output determination unit 190 changes from the "green signal" to the "yellow signal" at the time of frame F007. In this case, the time delay from the actual change of the display state of the traffic light to the change of the output value is two frames.
  • the threshold setting unit 180 sets the number threshold NC smaller in order to shorten the free running distance when the vehicle is closer to the stop line than when the vehicle is far from the stop line. Further, when the display state of the traffic light is a yellow signal or a red signal as compared with the case where the display state of the traffic light is a green signal, the threshold setting unit 180 is set to the number threshold NC in order to shorten the free running distance. It is desirable to set small.
  • the output unit 160 outputs the output value determined by the output determination unit 190 as the display state of the traffic light.
  • the display state of the traffic light is output from the output unit 160 to the vehicle control device 400 and used for controlling the vehicle.
  • the display state of the traffic light may be output from the output unit 160 to a notification device (not shown) and notified to the occupant via the notification device.
  • FIG. 2 is a flowchart showing a processing procedure of the traffic light recognition device according to the present embodiment.
  • FIG. 3 is a flowchart showing a modified example of the processing procedure of the traffic signal recognition device according to the present embodiment.
  • the traffic light recognition process shown in FIGS. 2 and 3 may be executed every time the image pickup unit 71 acquires an image, or after the image pickup unit 71 acquires the image, the image is transferred to the detection region. It may be executed every cycle in which the process is executed.
  • step S107 the determination unit 150 determines the display state of the traffic light based on the image captured by the image pickup unit 71.
  • step S109 the determination result storage unit 155 stores the display state of the traffic light determined by the determination unit 150.
  • step S141 the threshold setting unit 180 determines whether or not the traffic light is lit. Specifically, it is determined whether or not the traffic light is lit by referring to the latest determination result in the result sequence stored in the determination result storage unit 155.
  • step S141 When the traffic light is not lit (NO in step S141), the threshold setting unit 180 maintains the number threshold NC in step S145. If the traffic light is lit (YES in step S141), the process proceeds to step S142.
  • step S142 the threshold value setting unit 180 determines whether or not the green light is lit. Specifically, it is determined whether or not the latest determination result is a permission display (“green light”) that permits the passage of the stop line corresponding to the traffic light.
  • step S146 the threshold value setting unit 180 sets the first threshold value to the number threshold value NC.
  • step S147 the threshold value setting unit 180 sets a second threshold value smaller than the first threshold value to the number threshold value NC.
  • step S142 If the green light is not lit (NO in step S142), as shown in the flowchart of FIG. 3, the process proceeds to step S143 to determine whether or not the yellow light is lit. Good.
  • the threshold value setting unit 180 sets the second threshold value to the number threshold value NC.
  • the threshold value setting unit 180 may set a third threshold value smaller than the first threshold value to the number threshold NC.
  • the third threshold may be smaller than the first threshold and larger than the second threshold.
  • step S171 After the setting of the number threshold value NC is completed in step S145, step S146, step S147, and step S148, in step S171, the output determination unit 190 sets the output value based on the result sequence stored in the determination result storage unit 155. To determine.
  • step S173 the output unit 160 outputs the display state of the traffic light determined by the output determination unit 190.
  • the output state of the traffic light is used, for example, in the vehicle control device 400.
  • the number threshold NC is sequentially updated by repeatedly executing the processes shown by the flowcharts of FIGS. 2 and 3.
  • the traffic light recognition method and the traffic light recognition device are time series obtained by determining the display state of the traffic light based on a plurality of images of the traveling direction of the vehicle. It is said that the latest specific judgment result among the judgment results constituting the result row is the permission display that allows the passage of the stop line corresponding to the traffic light.
  • a second threshold value smaller than the first threshold value is set when the first threshold value is set to the number threshold value and the specific judgment result is other than the judgment result that the display state is the permission display. Is set to the number threshold value, and when the number of judgment results that are the same as the specific judgment result is larger than the number threshold value, the specific judgment result is output.
  • the plurality of images arranged in chronological order can be referred to. It is possible to determine the display state of the traffic light and recognize the traffic light. In particular, it is possible to suppress the delay time of recognition of the traffic light when the traffic light is in the display state other than the permission display as compared with the case where the traffic light is the permission display. As a result, it is possible to accelerate the start of processing corresponding to the display state other than the permission display (for example, processing for warning the occupant, processing for braking the vehicle, etc.).
  • the traffic light recognition method and the traffic light recognition device are at least one of a permission display, a prohibition display prohibiting the passage of the stop line, and an intermediate display displayed after the permission display and before the prohibition display.
  • the second threshold value may be set to the number threshold value when the specific determination result is the prohibition display or the intermediate display with respect to the traffic light that displays.
  • the traffic light recognition method and the traffic light recognition device may set a third threshold value smaller than the first threshold value as the number threshold value when the specific determination result is a prohibited display. As a result, it is possible to suppress the delay time of the recognition of the traffic light when the traffic light is the prohibition display as compared with the case where the traffic light is the permission display.
  • the second threshold value set may be smaller than the third threshold value.
  • the result sequence may be composed of a predetermined number of determination results larger than the number threshold value.
  • the traffic light recognition method and the traffic light recognition device extract the judgment result that the present state is unknown from the judgment results constituting the result row as the first judgment result, and form the result row.
  • the judgment result immediately before the first judgment result and the judgment result immediately after the first judgment result are selected from the judgment results excluding the judgment result that the displayed state is unknown.
  • the second judgment result and the third judgment result are extracted, and when the second judgment result and the third judgment result are the same, the first judgment result in the result column is replaced with the second judgment result. You may.
  • Processing circuits include programmed processors, electrical circuits, etc., as well as devices such as application specific integrated circuits (ASICs) and circuit components arranged to perform the described functions. Etc. are also included.
  • ASICs application specific integrated circuits
  • Imaging unit 73 Imaging unit 73
  • In-vehicle sensor 75 Map information acquisition unit 100
  • Controller 150 Judgment unit 155
  • Output unit 180 Threshold setting unit 190
  • Output determination unit 400 Vehicle control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

信号機認識方法及び信号機認識装置は、車両の進行方向を撮像した複数枚の画像に基づいて信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、結果列を構成する判定結果のうち最新の特定判定結果が、現示状態は信号機に対応する停止線の通過を許可する許可表示であるとする判定結果である場合に、第1閾値を個数閾値に設定し、特定判定結果が、現示状態は許可表示であるとする判定結果以外である場合に、第1閾値よりも小さい第2闆値を個数閾値に設定し、特定判定結果と同一の判定結果の個数が個数閾値よりも多い場合に、特定判定結果を出力する。

Description

信号機認識方法及び信号機認識装置
　本発明は、信号機認識方法及び信号機認識装置に関する。
　特許文献１によれば、点灯状態に制御されている信号機を、消灯状態または点滅状態に制御されていると誤判定する事態を回避するために、所定数だけ連続する撮像画像において、信号機が消灯していると判定された撮像画像の数が閾値を超えているか否かに基づいて、信号機が消灯または点滅していると判定する技術が提案されている。
特許６２２８４９２号公報
　しかしながら、特許文献１に記載の技術によれば、画像認識の精度を上げるため、時系列で並んだ複数の画像を参照して信号機の現示状態を判定した場合、信号機の灯火現示が「青信号」（「進んでも良い」の意味を表す色信号）から「青信号」以外の色信号に遷移した際、灯火現示が実際に遷移してから、遷移後の灯火現示に対応する処理を開始するまでに遅れ時間が生じるという問題がある。
　本発明は、上記問題に鑑みてなされたものであり、その目的とするところは、信号機の現示状態が実際に遷移してから、遷移後の現示状態に対応する処理を開始するまでの遅れ時間を抑制しつつ、時系列で並んだ複数の画像を参照して信号機の現示状態を判定し、信号機の認識を行うことができる信号機認識方法及び信号機認識装置を提供することにある。
　上述した問題を解決するために、本発明の一態様に係る信号機認識方法及び信号機認識装置は、車両の進行方向を撮像した複数枚の画像に基づいて信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、結果列を構成する判定結果のうち最新の特定判定結果が、現示状態は信号機に対応する停止線の通過を許可する許可表示であるとする判定結果である場合に、第１閾値を個数閾値に設定し、特定判定結果が、現示状態は許可表示であるとする判定結果以外である場合に、第１閾値よりも小さい第２閾値を個数閾値に設定し、特定判定結果と同一の判定結果の個数が個数閾値よりも多い場合に、特定判定結果を出力する。
　本発明によれば、信号機の現示状態が実際に遷移してから、遷移後の現示状態に対応する処理を開始するまでの遅れ時間を抑制しつつ、時系列で並んだ複数の画像を参照して信号機の現示状態を判定し、信号機の認識を行うことができる。
図１は、本発明の一実施形態に係る信号機認識装置の構成を示すブロック図である。 図２は、本発明の一実施形態に係る信号機認識装置の処理手順を示すフローチャートである。 図３は、本発明の一実施形態に係る信号機認識装置の処理手順の変形例を示すフローチャートである。 図４は、時系列順の複数の判定結果からなる結果列の例を示す図である。 図５Ａは、結果列に対応する出力値の変化の第１の例を示す図である。 図５Ｂは、結果列に対応する出力値の変化の第２の例を示す図である。
　次に、図面を参照して、本発明の実施の形態を詳細に説明する。説明において、同一のものには同一符号を付して重複説明を省略する。
　［信号機認識装置の構成］
　図１は、本実施形態に係る信号機認識装置の構成を示すブロック図である。図１に示すように、本実施形態に係る信号機認識装置は、撮像部７１と、コントローラ１００とを備え、コントローラ１００は、有線あるいは無線の通信路によって、撮像部７１、車載センサ７３、地図情報取得部７５、車両制御装置４００と接続されている。
　ここで、撮像部７１、車載センサ７３、車両制御装置４００は、図示しない車両に搭載されるが、地図情報取得部７５、コントローラ１００は、車両に搭載されるものであってもよいし、車両の外部に設置されるものであってもよい。
　撮像部７１は、車両の進行方向の画像を撮像する。例えば、撮像部７１はＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、車両の周囲を撮像して周辺領域のデジタル画像を取得する。撮像部７１は、焦点距離、レンズの画角、カメラの垂直方向及び水平方向の角度などが設定されることにより、車両の周囲の所定の範囲を撮像する。
　なお、撮像部７１によって撮像された撮像画像はコントローラ１００に出力され、所定の期間の間、図示しない記憶部に記憶される。例えば、撮像部７１は所定の時間間隔で撮像画像を取得しており、所定の時間間隔で取得した撮像画像が、過去画像として記憶部に記憶される。過去画像は、当該過去画像の撮像時点から所定の期間を経過した後に削除されるものであってもよい。
　車載センサ７３は、車両に搭載された、レーザレーダやミリ波レーダ、カメラなど、車両の周囲に存在する物体を検出する物体検出センサなどからなる。車載センサ７３は、複数の異なる種類の物体検出センサを備えるものであってもよい。
　車載センサ７３は、車両の周囲の環境を検出する。例えば、車載センサ７３は、他車両、バイク、自転車、歩行者を含む移動物体、及び停止車両を含む静止物体を検出し、移動物体及び静止物体の車両に対する位置、姿勢、大きさ、速度、加速度、減速度、ヨーレートなどを検出するものであってもよい。車載センサ７３は、検出結果として、例えば車両の上方の空中から眺めた天頂図（平面図ともいう）における、２次元の物体の挙動を出力するものであってもよい。また、車載センサ７３は、車両の周囲に存在する標識（道路標識や路面表示された標識）やガイドレール等を検出するものであってもよい。その他にも、車載センサ７３は、車両が備える車輪の回転速度や回転速度差を検出して、車両が走行している車線の路面の滑りやすさを検出するものであってもよい。
　また、車載センサ７３は、車両の周囲の環境の他にも、車両の状態を検出する。例えば、車載センサ７３は、車両の移動速度（前後方向、左右方向の移動速度、旋回速度）や、車両が備える車輪の転舵角、転舵角の変化速度を検出するものであってもよい。
　その他、車載センサ７３は、ＧＰＳ（グローバル・ポジショニング・システム）やオドメトリなど車両の絶対位置を計測する位置検出センサなど、車両の絶対位置を計測する位置検出センサを用いて、車両の絶対位置、すなわち、所定の基準点に対する車両の位置、姿勢及び速度を計測するセンサを含んでいてもよい。
　地図情報取得部７５は、車両が走行する道路の構造を示す地図情報を取得する。地図情報取得部７５が取得する地図情報には、車線の絶対位置、車線の接続関係、相対位置関係などの道路構造の情報が含まれる。また、地図情報取得部７５が取得する地図情報には、駐車場、ガソリンスタンドなどの施設情報も含まれうる。その他、地図情報には、信号機の位置情報や、信号機の種別、信号機に対応する停止線の位置などが含まれうる。地図情報取得部７５は、地図情報を格納した地図データベースを所有してもよいし、クラウドコンピューティングにより地図情報を外部の地図データサーバから取得してもよい。また、地図情報取得部７５は、車車間通信、路車間通信を用いて地図情報を取得してもよい。
　車両制御装置４００は、コントローラ１００によって得られた信号機の認識結果に基づいて、図示しない車両を制御する。例えば、車両制御装置４００は、所定の走行経路に従って自動運転によって車両を走行させるものであってもよいし、車両の乗員の運転操作を支援するものであってもよい。その他、車両制御装置４００は、信号機の認識結果を車両の乗員に通知する通報装置であってもよい。
　コントローラ１００（制御部または処理部の一例）は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。コントローラ１００には、信号機認識装置の一部として機能させるためのコンピュータプログラム（信号機認識プログラム）がインストールされている。コンピュータプログラムを実行することにより、コントローラ１００は、信号機認識装置が備える複数の情報処理回路（１５０、１５５、１６０、１８０、１９０）として機能する。
　なお、ここでは、ソフトウェアによって信号機認識装置が備える複数の情報処理回路（１５０、１５５、１６０、１８０、１９０）を実現する例を示す。ただし、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路（１５０、１５５、１６０、１８０、１９０）を構成することも可能である。また、複数の情報処理回路（１５０、１５５、１６０、１８０、１９０）を個別のハードウェアにより構成してもよい。更に、情報処理回路（１５０、１５５、１６０、１８０、１９０）は、車両にかかわる他の制御に用いる電子制御ユニット（ＥＣＵ）と兼用してもよい。
　コントローラ１００は、複数の情報処理回路（１５０、１５５、１６０、１８０、１９０）として、判定部１５０、判定結果記憶部１５５、閾値設定部１８０、出力決定部１９０、出力部１６０を備える。
　判定部１５０は、信号機に対応する検出領域を、撮像部７１で撮像した画像上に設定する。ここで、「検出領域」とは、画像内で信号機があると推定される領域を意味する。撮像範囲内に写り込む信号機の画像内での位置は、撮像部７１の撮像方向、撮像時の車両の位置、姿勢、信号機の位置に基づいて推定することができる。判定部１５０は、例えば、撮像した画像の一部領域であって、画像内での推定した信号機の位置を含む領域を、検出領域として設定する。
　そして、判定部１５０は、検出領域に対して画像処理を実行して、検出領域内の信号機を検出し、信号機の現示状態を判定する。判定部１５０は、例えば、テンプレートマッチングにより信号機を検出する。テンプレートマッチングは、標準の信号機の画像をテンプレートとして、それを１画素ずつずらしながら検出領域を走査し、例えば輝度の分布の相関を計算する。そして、相関が最も高い値となった場合にテンプレートがある画像上の位置に信号機があると検出する。
　信号機が示す「色信号」には、「青信号」、「黄信号」、「赤信号」が含まれる。「色信号」が表す意味は、車両が従うべき交通法規等によって定まり、例えば、「青信号」は「進んでも良い」の意味を表し、「赤信号」は、「停止位置で止まれ」の意味を表し、「黄信号」は、「停止位置に近接しているため安全に停止することができない場合を除き、停止位置で止まれ」の意味を表す。
　このような「青信号」、「黄信号」、「赤信号」の識別は、３つの「色信号」のうち、最も輝度レベルの高い「色信号」が点灯しているとして行うものであってもよい。
　その他、信号機は「色信号」のみならず、信号機が設置された交差点において車両に許可される方向を示す「矢印信号」を示すものであってもよい。「右折信号」「直進信号」「左折信号」などが挙げられる。
　「矢印信号」は、「右折信号」「直進信号」「左折信号」にとどまらず、信号機が設置された交差点の構造に応じて様々なバリエーションが考えられる。「矢印信号」が表す意味は、車両が従うべき交通法規等によって定まる。
　判定部１５０は、検出領域に対して画像処理を実行して、信号機の現示状態として、信号機の「色信号」や「矢印信号」の点灯状態を判定する。
　なお、判定部１５０での信号機検出の画像処理は、サポートベクターマシンやニューラルネットワークなどの機械学習を利用してもよい。信号機を検出する場合、予め大きさの異なる信号機のテンプレートが格納された学習データベースを備えておき、信号機までの距離に応じて参照する学習データベースを使い分けることで認識率の向上が図れる。
　判定結果記憶部１５５は、判定部１５０によって判定された信号機の現示状態を記憶する。具体的には、撮像部７１によって取得された時系列順の複数の画像に対して、判定部１５０が順次判定を行い、得られた判定結果を順次、判定結果記憶部１５５は判定部１５０から取得する。そして、判定結果記憶部１５５は、時系列順の複数の判定結果を結果列として記憶する。
　図４を用いて、判定結果記憶部１５５によって記憶される結果列の構造について説明する。図４は、時系列順の複数の判定結果からなる結果列の例を示す図である。以下では説明の簡略化のため、判定部１５０で得られる判定結果は、「青信号」、「黄信号」、「赤信号」、「不明」（現示状態が不明であるとする判定結果）の４種類であるとする。図４において、判定結果である「青信号」、「黄信号」、「赤信号」、「不明」は、それぞれ記号「Ｇ」、「Ｙ」、「Ｒ」、「−」で示されている。
　なお、判定部１５０による判定結果が「不明」となる理由としては、例えば、フリッカー現象（信号機ランプがＬＥＤランプのように周期的に点滅しているランプである場合に、撮像部７１による撮像タイミングに依存して撮像画像中の輝度が変化する現象）やローリングシャッター現象（撮像部７１での撮像方式に起因して、撮像画像中の位置ごとに撮像タイミングがずれる現象）などにより、信号機がちらつく場合が挙げられる。
　判定結果記憶部１５５によって記憶される判定結果の個数Ｎは、あらかじめ設定されている。すなわち、結果列を構成する判定結果の個数Ｎは、個数閾値ＮＣより多い所定個数として、あらかじめ設定されている。
　判定結果記憶部１５５によって記憶されるＮ個の判定結果には、それぞれ０からＮ−１までの添字が付与される。ここで添字０の判定結果は、判定部１５０によって得られた最新の判定結果であり、判定結果に付与された添字が増えるにしたがって、順に古い判定結果であることを意味する。
　判定結果記憶部１５５に新しい判定結果が１個入力されると、判定結果記憶部１５５は、判定結果に付与された添字を１だけ増加させ、判定結果記憶部１５５に入力された新しい判定結果に添字０を付与する。添字がＮとなった判定結果は、消去される。
　このようにして、判定結果記憶部１５５には、０からＮ−１までの添字が付与された判定結果が、結果列として記憶される。
　その他、判定結果記憶部１５５は、判定結果の補完機能を備えていてもよい。具体的には、判定結果記憶部１５５において記憶されている結果列を構成する判定結果の中に、「不明」が含まれている場合、当該「不明」の直前の判定結果と当該「不明」の直後の判定結果に基づいて、当該「不明」の判定結果を置き換えるものであってもよい。
　例えば、図４に示す結果列において、添字２の判定結果は「不明」となっている。この場合、判定結果記憶部１５５は、添字２の判定結果の直前にある添字３の判定結果と、添字２の判定結果の直後にある添字１の判定結果を参照する。添字１の判定結果と添字３の判定結果は両者ともに「黄信号」である。そのため、添字２の判定結果は「不明」ではなく、添字２の判定結果の直前にある添字３の判定結果である「黄信号」としてもよい。
　このように、判定結果記憶部１５５は、結果列を構成する判定結果のうち、現示状態が不明であるとする判定結果を第１判定結果として抽出し、結果列を構成する判定結果のうち、現示状態が不明であるとする判定結果を除いた判定結果の中から、第１判定結果の直前の判定結果、及び、第１判定結果の直後の判定結果を、それぞれ、第２判定結果、及び、第３判定結果として抽出し、第２判定結果と第３判定結果が同一である場合に、結果列内の第１判定結果を第２判定結果で置き換えるものであってもよい。
　信号機のちらつきにより、判定部１５０によって信号機の現示状態を判定できない場合が生じる状況において、上述した判定結果記憶部１５５による判定結果の補完機能は、信号機の認識精度を向上させるのに有効である。
　上述の説明では、判定結果記憶部１５５に記憶される判定結果はＮ個であるとして説明したが、これに限定されない。
　例えば、判定結果記憶部１５５は、判定結果の個数の代わりに、判定結果の元となった画像の撮像時刻に基づいて、判定結果を記憶するか否かを決定してもよい。より具体的には、判定結果記憶部１５５は、撮像してから所定時間以上経過した撮像画像に対応する判定結果を消去するようにして、判定結果記憶部１５５に記憶される判定結果は、現在から所定時間過去までに撮像された画像に対応するもののみであるとしてもよい。
　撮像部７１によって画像を所定周期で撮像する際には、判定結果記憶部１５５に記憶される判定結果の個数を、個数Ｎに基づいて制限する場合と、所定時間に基づいて制限する場合とで結果は同じである。
　一方、撮像部７１によって画像を所定周期ではない不特定のタイミングで撮像する際には、個数Ｎに基づいて制限する場合と、所定時間に基づいて制限する場合とで結果が変わりうる。しかしながら、記憶される判定結果の個数を、個数Ｎに基づいて制限する場合と、所定時間に基づいて制限する場合のいずれの場合であっても、判定結果記憶部１５５の構成として採用できる。
　閾値設定部１８０は、後述する出力決定部１９０において使用される値である、個数閾値ＮＣを、信号機の現示状態に基づいて設定する（閾値設定処理）。なお、個数閾値ＮＣは、コントローラ１００の初回起動時に所定の初期値に設定され、その後、閾値設定部１８０によって更新される。
　具体的には、閾値設定部１８０は、判定結果記憶部１５５に記憶されている結果列を構成する判定結果のうち最新の判定結果を参照し、最新の判定結果が、信号機に対応する停止線の通過を許可する許可表示（「青信号」）である場合には、第１閾値を個数閾値ＮＣに設定する。判定結果が許可表示以外である場合には、第１閾値よりも小さい第２閾値を個数閾値ＮＣに設定する。
　その他、閾値設定部１８０は、最新の判定結果が、停止線の通過を禁止する禁止表示（「赤信号」）であるか、又は、許可表示の後であって禁止表示の前に表示される中間表示（「黄信号」）であるかに基づいて個数閾値ＮＣの値を設定するものであってもよい。
　例えば、閾値設定部１８０は、最新の判定結果が禁止表示である場合に、第１閾値よりも小さい第３閾値を個数閾値ＮＣに設定するものであってもよい。また、閾値設定部１８０は、最新の判定結果が中間表示である場合に、禁止表示である場合に設定される第３閾値よりも小さい第２閾値を個数閾値ＮＣに設定するものであってもよい。
　なお、第１閾値、第２閾値、第３閾値は、撮像部７１の性能や、判定結果記憶部１５５で保持する結果列の長さ、撮像部７１での撮像の周期等に基づいて決定されるものであってもよい。
　さらに、閾値設定部１８０は、判定部１５０により、信号機が点灯していないと判定された場合（判定部１５０による最新の判定結果が、現示状態が不明であるとする判定結果の場合）には、個数閾値ＮＣを設定せず、既に設定されている個数閾値ＮＣの値を維持するものであってもよい。
　なお、閾値設定部１８０は、対象としている信号機に対応する停止線を車両が通過した後に、個数閾値ＮＣを初期値にリセットする。
　出力決定部１９０は、閾値設定部１８０によって設定された個数閾値ＮＣと、判定結果記憶部１５５に記憶された結果列に基づいて、出力値を決定する。具体的には、出力決定部１９０は、結果列を構成する判定結果のうち最新の判定結果（添字０の判定結果）と同一の判定結果の個数が、個数閾値ＮＣよりも多い場合に、添字０の判定結果を出力値とする。
　なお、出力決定部１９０は、結果列を構成する判定結果のうち最新の判定結果（添字０の判定結果）と同一の判定結果の個数が、個数閾値ＮＣ以下である場合に、前回の出力値のままで出力値を維持するものであってもよい。
　出力決定部１９０による出力値の決定の様子を、図５Ａを用いて説明する。図５Ａは、結果列に対応する出力値の変化の第１の例を示す図である。
　図５Ａにおいて、結果列を構成する判定結果の個数Ｎは８であり、個数閾値ＮＣは４であるとする。また、撮像部７１で取得した画像は、時系列順にフレームＦ００１からフレームＦ０１０であり、各フレームに対して、判定部１５０による、判定結果が得られているとする。また、図５Ａに示す例では、判定結果記憶部１５５による判定結果の補完機能は無効になっているとする。
　図５Ａにおいて、例えばフレームＦ００１の行を参照すると、結果列の左側にある「Ｇ」との表示は、フレームＦ００１に対する判定部１５０の判定結果が「青信号」であることを意味する。また、結果列の右側にある「Ｇ」との表示は、フレームＦ００１の判定結果が結果列に入力された時点において、出力決定部１９０が決定した出力値が「青信号」であることを意味する。他のフレームＦ００２~フレームＦ０１０についても同様に表示されている。
　仮に、信号機の現示状態がフレームＦ００４の撮像時点で青信号であったものが、フレームＦ００５の撮像時点で黄信号に変わったとする。この場合、図５ＡのフレームＦ００５の行で示されているように、結果列において判定結果「Ｙ」と同じ判定結果の個数は１であり、個数閾値ＮＣ以下の値となっている。したがって、出力決定部１９０は、出力値を直前の出力値である「青信号」のまま維持する。
　図５Ａにおいて、出力決定部１９０によって決定される出力値が「青信号」から「黄信号」に変化するのは、フレームＦ０１０の時点である。図５ＡのフレームＦ０１０の行を参照すると、結果列において判定結果「Ｙ」と同じ判定結果の個数は５であり、個数閾値ＮＣより大きな値となっている。したがって、出力決定部１９０は、フレームＦ０１０の時点で出力値を「黄信号」とする。
　図５Ａに示す例では、信号機の現示状態が実際に変化してから、出力決定部１９０による出力値が変化するまでに５フレーム分の時間遅れが発生している。時間遅れの間に車両が走行する距離が、車両の空走距離となる。
　設定される個数閾値ＮＣが小さいほど、信号機の現示状態が実際に変化してから出力値が変化するまでの時間遅れが小さくなることについて、図５Ｂを用いて説明する。図５Ｂは、結果列に対応する出力値の変化の第２の例を示す図である。
　図５Ｂに示す例では、図５Ａに示す例とは異なり、個数閾値ＮＣは２であるとする。図５Ｂにおいて、出力決定部１９０によって決定される出力値が「青信号」から「黄信号」に変化するのは、フレームＦ００８の時点である。この場合、信号機の現示状態が実際に変化してから出力値が変化するまでの時間遅れは３フレーム分となる。
　さらに、図５Ｂにおいて、判定結果記憶部１５５による判定結果の補完機能は有効になっているとすると、フレームＦ００７に対する判定結果が判定結果記憶部１５５に記憶された時点で、添字１の判定結果の補完が行われ、添字１の判定結果は「不明」から「黄信号」となる。その結果、出力決定部１９０によって決定される出力値が「青信号」から「黄信号」に変化するのは、フレームＦ００７の時点となる。この場合、信号機の現示状態が実際に変化してから出力値が変化するまでの時間遅れは２フレーム分となる。
　このように、信号機の現示状態が実際に変化してから出力値が変化するまでの時間遅れを小さくして空走距離を短くするためには、個数閾値ＮＣを小さくすることが望ましい。一方で、信号機の認識の精度を向上させるためには、個数閾値ＮＣを大きくすることが望ましい。つまり、信号機の認識の精度を向上させることと、時間遅れを小さくして空走距離を短くすることの間には、トレードオフの関係がある。
　したがって、車両が停止線から遠い場合と比較して、車両が停止線に近い場合には、空走距離を短くするため、閾値設定部１８０は個数閾値ＮＣを小さく設定することが望ましい。また、信号機の現示状態が青信号である場合と比較して、信号機の現示状態が黄信号や赤信号である場合には、空走距離を短くするため、閾値設定部１８０は個数閾値ＮＣを小さく設定することが望ましい。
　出力部１６０は、出力決定部１９０によって決定された出力値を、信号機の現示状態として出力する。例えば、信号機の現示状態は、出力部１６０から車両制御装置４００に出力され、車両の制御に使用される。その他、信号機の現示状態は、出力部１６０から図示しない通報装置に出力され、通報装置を介して乗員に通知されてもよい。
　［信号機認識装置の処理手順］
　次に、本実施形態に係る信号機認識装置による信号機認識の処理手順を、図２及び図３のフローチャートを参照して説明する。図２は、本実施形態に係る信号機認識装置の処理手順を示すフローチャートである。図３は、本実施形態に係る信号機認識装置の処理手順の変形例を示すフローチャートである。
　図２及び図３に示す信号機認識の処理は、撮像部７１で画像を取得するたびに実行されるものであってもよいし、撮像部７１で画像を取得した後、検出領域に対して画像処理を実行する周期ごとに実行されるものであってもよい。
　図２では、ステップＳ１０７において、判定部１５０は、撮像部７１で撮像した画像に基づいて、信号機の現示状態を判定する。
　ステップＳ１０９において、判定結果記憶部１５５は、判定部１５０によって判定された信号機の現示状態を記憶する。
　ステップＳ１４１において、閾値設定部１８０は、信号機が点灯しているか否かを判定する。具体的には、判定結果記憶部１５５に記憶された結果列のうち、最新の判定結果を参照して、信号機が点灯しているか否かを判定する。
　信号機が点灯していない場合（ステップＳ１４１でＮＯの場合）、ステップＳ１４５において、閾値設定部１８０は個数閾値ＮＣを維持する。信号機が点灯している場合（ステップＳ１４１でＹＥＳの場合）、ステップＳ１４２に進む。
　ステップＳ１４２において、閾値設定部１８０は、青信号が点灯しているか否かを判定する。具体的には、最新の判定結果が、信号機に対応する停止線の通過を許可する許可表示（「青信号」）であるか否かを判定する。
　青信号が点灯している場合（ステップＳ１４２でＹＥＳの場合）、ステップＳ１４６において、閾値設定部１８０は第１閾値を個数閾値ＮＣに設定する。青信号が点灯していない場合（ステップＳ１４２でＮＯの場合）、ステップＳ１４７において、閾値設定部１８０は第１閾値よりも小さい第２閾値を個数閾値ＮＣに設定する。
　なお、青信号が点灯していない場合（ステップＳ１４２でＮＯの場合）、図３のフローチャートに示すように、ステップＳ１４３に進んで、黄信号が点灯しているか否かを判定するものであってもよい。
　黄信号が点灯している場合（ステップＳ１４３でＹＥＳの場合）、ステップＳ１４７において、閾値設定部１８０は第２閾値を個数閾値ＮＣに設定する。黄信号が点灯していない場合（ステップＳ１４３でＮＯの場合）、ステップＳ１４８において、閾値設定部１８０は第１閾値よりも小さい第３閾値を個数閾値ＮＣに設定するものであってもよい。第３閾値は、第１閾値よりも小さく、第２閾値よりも大きいものであってもよい。
　ステップＳ１４５、ステップＳ１４６、ステップＳ１４７、ステップＳ１４８にて個数閾値ＮＣの設定が終了した後、ステップＳ１７１において、出力決定部１９０は、判定結果記憶部１５５に記憶された結果列に基づいて、出力値を決定する。
　ステップＳ１７３において、出力部１６０は、出力決定部１９０によって決定された信号機の現示状態を出力する。出力された信号機の現示状態は、例えば、車両制御装置４００において使用される。
　図２及び図３のフローチャートによって示される処理が繰り返し実行されることにより、個数閾値ＮＣが順次更新される。
　［実施形態の効果］
　以上詳細に説明したように、本実施形態に係る信号機認識方法及び信号機認識装置は、車両の進行方向を撮像した複数枚の画像に基づいて信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、結果列を構成する判定結果のうち最新の特定判定結果が、現示状態は信号機に対応する停止線の通過を許可する許可表示であるとする判定結果である場合に、第１閾値を個数閾値に設定し、特定判定結果が、現示状態は許可表示であるとする判定結果以外である場合に、第１閾値よりも小さい第２閾値を個数閾値に設定し、特定判定結果と同一の判定結果の個数が個数閾値よりも多い場合に、特定判定結果を出力する。
　これにより、信号機の現示状態が実際に遷移してから、遷移後の現示状態に対応する処理を開始するまでの遅れ時間を抑制しつつ、時系列で並んだ複数の画像を参照して信号機の現示状態を判定し、信号機の認識を行うことができる。特に、信号機が許可表示である場合と比較して、信号機が許可表示以外の現示状態である場合に、信号機の認識の遅れ時間を抑制できる。その結果、許可表示以外の現示状態に対応する処理（例えば、乗員への警告を行う処理や、車両の制動を行う処理など）の開始を速めることができる。
　また、本実施形態に係る信号機認識方法及び信号機認識装置は、許可表示、停止線の通過を禁止する禁止表示、許可表示の後であって禁止表示の前に表示される中間表示、の少なくともいずれかを表示する信号機に対して、特定判定結果が、禁止表示または中間表示である場合に、第２閾値を個数閾値に設定するものであってもよい。これにより、信号機が許可表示である場合と比較して、信号機が中間表示または禁止表示である場合に信号機の認識の遅れ時間を抑制できる。
　さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、特定判定結果が禁止表示である場合に、第１閾値よりも小さい第３閾値を個数閾値に設定するものであってもよい。これにより、信号機が許可表示である場合と比較して、信号機が禁止表示である場合に信号機の認識の遅れ時間を抑制できる。
　また、本実施形態に係る信号機認識方法及び信号機認識装置において、設定される第２閾値は第３閾値よりも小さいものであってもよい。これにより、信号機が禁止表示である場合と比較して、信号機が中間表示である場合に信号機の認識の遅れ時間を抑制できる。
　さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、結果列は、個数閾値よりも多い所定個数の判定結果から構成されるものであってもよい。これにより、出力値を決定するために必要な個数の判定結果を記憶することができ、確実に、信号機の認識の精度を向上させることができる。
　また、本実施形態に係る信号機認識方法及び信号機認識装置は、結果列を構成する判定結果のうち、現示状態が不明であるとする判定結果を第１判定結果として抽出し、結果列を構成する判定結果のうち、現示状態が不明であるとする判定結果を除いた判定結果の中から、第１判定結果の直前の判定結果、及び、第１判定結果の直後の判定結果を、それぞれ、第２判定結果、及び、第３判定結果として抽出し、第２判定結果と第３判定結果が同一である場合に、結果列内の第１判定結果を第２判定結果で置き換えるものであってもよい。
　これにより、信号機のちらつきにより、信号機の現示状態を判定できない場合が生じる状況においても、信号機の現示状態が実際に変化してから出力値が変化するまでの時間遅れを抑制できる。
　上述の実施形態で示した各機能は、１又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサや、電気回路などが含まれ、さらには、特定用途向けの集積回路（ＡＳＩＣ）のような装置や、記載された機能を実行するよう配置された回路構成要素なども含まれる。
　以上、実施形態に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。この開示の一部をなす論述および図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例および運用技術が明らかとなろう。
　本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
　７１　　　撮像部
　７３　　　車載センサ
　７５　　　地図情報取得部
　１００　　コントローラ
　１５０　　判定部
　１５５　　判定結果記憶部
　１６０　　出力部
　１８０　　閾値設定部
　１９０　　出力決定部
　４００　　車両制御装置

Claims (7)

  1. 　車両に搭載された撮像部を用いて前記車両の進行方向にある信号機を複数回撮像して、複数の画像を取得し、
    　前記画像ごとに前記信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、
    　前記結果列を構成する判定結果のうち最新の判定結果である特定判定結果に基づいて個数閾値を設定する際、
    　前記特定判定結果が、前記現示状態は前記信号機に対応する停止線の通過を許可する許可表示であるとする判定結果である場合に、第１閾値を前記個数閾値に設定し、
    　前記特定判定結果が、前記現示状態は前記許可表示であるとする判定結果以外である場合に、前記第１閾値よりも小さい第２閾値を前記個数閾値に設定し、
    　前記特定判定結果と同一の判定結果の個数が、前記個数閾値よりも多い場合に、前記特定判定結果を出力すること
    を特徴とする信号機認識方法。
  2. 　請求項１に記載の信号機認識方法であって、
    　前記許可表示、前記停止線の通過を禁止する禁止表示、前記許可表示の後であって前記禁止表示の前に表示される中間表示、の少なくともいずれかを表示する前記信号機に対して、
    　前記特定判定結果が、前記禁止表示または前記中間表示である場合に、前記第２閾値を前記個数閾値に設定すること
    を特徴とする信号機認識方法。
  3. 　請求項２に記載の信号機認識方法であって、
    　前記特定判定結果が前記禁止表示である場合に、前記第１閾値よりも小さい第３閾値を前記個数閾値に設定すること
    を特徴とする信号機認識方法。
  4. 　請求項３に記載の信号機認識方法であって、
    　前記第２閾値は前記第３閾値よりも小さいこと
    を特徴とする信号機認識方法。
  5. 　請求項１~４のいずれか一項に記載の信号機認識方法であって、
    　前記結果列は、前記個数閾値よりも多い所定個数の判定結果から構成されること
    を特徴とする信号機認識方法。
  6. 　請求項１~５のいずれか一項に記載の信号機認識方法であって、
    　前記結果列を構成する判定結果のうち、前記現示状態が不明であるとする判定結果を第１判定結果として抽出し、
    　前記結果列を構成する判定結果のうち、前記現示状態が不明であるとする判定結果を除いた判定結果の中から、前記第１判定結果の直前の判定結果、及び、前記第１判定結果の直後の判定結果を、それぞれ、第２判定結果、及び、第３判定結果として抽出し、
    　前記第２判定結果と前記第３判定結果が同一である場合に、前記結果列内の前記第１判定結果を前記第２判定結果で置き換えること
    を特徴とする信号機認識方法。
  7. 　車両に搭載された撮像部と、コントローラとを備える信号機認識装置であって、
    　前記コントローラは、
    　前記撮像部を用いて前記車両の進行方向にある信号機を複数回撮像して、複数の画像を取得し、
    　前記画像ごとに前記信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、
    　前記結果列を構成する判定結果のうち最新の判定結果である特定判定結果に基づいて個数閾値を設定する際、
    　前記特定判定結果が、前記現示状態は前記信号機に対応する停止線の通過を許可する許可表示であるとする判定結果である場合に、第１閾値を前記個数閾値に設定し、
    　前記特定判定結果が、前記現示状態は前記許可表示であるとする判定結果以外である場合に、前記第１閾値よりも小さい第２閾値を前記個数閾値に設定し、
    　前記特定判定結果と同一の判定結果の個数が、前記個数閾値よりも多い場合に、前記特定判定結果を出力すること
    を特徴とする信号機認識装置。
PCT/IB2019/001270 2019-11-12 2019-11-12 信号機認識方法及び信号機認識装置 WO2021094800A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP19952385.3A EP4060639B1 (en) 2019-11-12 2019-11-12 Traffic signal recognition method and traffic signal recognition device
US17/775,528 US11663834B2 (en) 2019-11-12 2019-11-12 Traffic signal recognition method and traffic signal recognition device
BR112022008079A BR112022008079A2 (pt) 2019-11-12 2019-11-12 Método de reconhecimento de sinal de tráfego e dispositivo de reconhecimento de sinal de tráfego
JP2021555893A JP7255706B2 (ja) 2019-11-12 2019-11-12 信号機認識方法及び信号機認識装置
CN201980102181.XA CN114746915B (zh) 2019-11-12 2019-11-12 信号机识别方法及信号机识别装置
PCT/IB2019/001270 WO2021094800A1 (ja) 2019-11-12 2019-11-12 信号機認識方法及び信号機認識装置
MX2022005516A MX2022005516A (es) 2019-11-12 2019-11-12 Metodo de reconocimiento de semaforo y dispositivo de reconocimiento de semaforo.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2019/001270 WO2021094800A1 (ja) 2019-11-12 2019-11-12 信号機認識方法及び信号機認識装置

Publications (1)

Publication Number Publication Date
WO2021094800A1 true WO2021094800A1 (ja) 2021-05-20

Family

ID=75911355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2019/001270 WO2021094800A1 (ja) 2019-11-12 2019-11-12 信号機認識方法及び信号機認識装置

Country Status (7)

Country Link
US (1) US11663834B2 (ja)
EP (1) EP4060639B1 (ja)
JP (1) JP7255706B2 (ja)
CN (1) CN114746915B (ja)
BR (1) BR112022008079A2 (ja)
MX (1) MX2022005516A (ja)
WO (1) WO2021094800A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024161521A1 (ja) * 2023-01-31 2024-08-08 日産自動車株式会社 信号機認識方法及び信号機認識装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7384131B2 (ja) * 2020-08-31 2023-11-21 トヨタ自動車株式会社 車両の運転支援装置、車両の運転支援方法、およびプログラム
JP2022126350A (ja) * 2021-02-18 2022-08-30 本田技研工業株式会社 認識装置、移動体、認識方法、およびプログラム
WO2024161469A1 (ja) * 2023-01-30 2024-08-08 日産自動車株式会社 信号機認識方法及び信号機認識装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6228492B1 (en) 1997-09-23 2001-05-08 Zipperling Kessler & Co. (Gmbh & Co.) Preparation of fibers containing intrinsically conductive polymers
JP2015170240A (ja) * 2014-03-10 2015-09-28 富士重工業株式会社 車外環境認識装置
US20170024622A1 (en) * 2015-07-24 2017-01-26 Honda Motor Co., Ltd. Surrounding environment recognition device
JP2019109602A (ja) * 2017-12-15 2019-07-04 クラリオン株式会社 信号機認識装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6547292B2 (ja) * 2014-02-05 2019-07-24 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム
US9747508B2 (en) * 2015-07-24 2017-08-29 Honda Motor Co., Ltd. Surrounding environment recognition device
US10275669B2 (en) * 2015-09-09 2019-04-30 Lightmetrics Technologies Pvt. Ltd. System and method for detecting objects in an automotive environment
WO2017171659A1 (en) * 2016-03-31 2017-10-05 Agency For Science, Technology And Research Signal light detection
KR20190078664A (ko) * 2017-12-11 2019-07-05 삼성전자주식회사 컨텐츠를 표시하기 위한 장치 및 방법
JP7151633B2 (ja) * 2019-06-12 2022-10-12 トヨタ自動車株式会社 情報表示装置
JP7088135B2 (ja) * 2019-07-23 2022-06-21 トヨタ自動車株式会社 信号表示推定システム
JP7167880B2 (ja) * 2019-08-27 2022-11-09 トヨタ自動車株式会社 停止線位置推定装置及び車両制御システム
JP7156252B2 (ja) * 2019-11-13 2022-10-19 トヨタ自動車株式会社 運転支援装置
JP7243600B2 (ja) * 2019-11-29 2023-03-22 トヨタ自動車株式会社 車両用運転支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6228492B1 (en) 1997-09-23 2001-05-08 Zipperling Kessler & Co. (Gmbh & Co.) Preparation of fibers containing intrinsically conductive polymers
JP2015170240A (ja) * 2014-03-10 2015-09-28 富士重工業株式会社 車外環境認識装置
US20170024622A1 (en) * 2015-07-24 2017-01-26 Honda Motor Co., Ltd. Surrounding environment recognition device
JP2019109602A (ja) * 2017-12-15 2019-07-04 クラリオン株式会社 信号機認識装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024161521A1 (ja) * 2023-01-31 2024-08-08 日産自動車株式会社 信号機認識方法及び信号機認識装置

Also Published As

Publication number Publication date
EP4060639B1 (en) 2024-01-03
JP7255706B2 (ja) 2023-04-11
CN114746915B (zh) 2023-03-28
EP4060639A1 (en) 2022-09-21
BR112022008079A2 (pt) 2022-07-12
CN114746915A (zh) 2022-07-12
JPWO2021094800A1 (ja) 2021-05-20
US11663834B2 (en) 2023-05-30
US20220398853A1 (en) 2022-12-15
MX2022005516A (es) 2022-11-17
EP4060639A4 (en) 2022-11-30

Similar Documents

Publication Publication Date Title
WO2021094800A1 (ja) 信号機認識方法及び信号機認識装置
US10339805B2 (en) Traffic light recognition device and traffic light recognition method
US20170253177A1 (en) Vehicle lighting system
JP5883833B2 (ja) 車外環境認識装置
JP7251582B2 (ja) 表示制御装置および表示制御プログラム
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP2017054343A (ja) 挙動検出装置
US11679769B2 (en) Traffic signal recognition method and traffic signal recognition device
US11208036B2 (en) Automated driving enabled vehicle
US11769337B2 (en) Traffic signal recognition method and traffic signal recognition device
RU2779798C1 (ru) Способ распознавания светофора и устройство распознавания светофора
JP2022060118A (ja) 区画線認識装置
WO2024161521A1 (ja) 信号機認識方法及び信号機認識装置
JP7035339B2 (ja) ブレーキ判定方法及びブレーキ判定装置
WO2024161469A1 (ja) 信号機認識方法及び信号機認識装置
RU2779921C1 (ru) Способ распознавания светофора и устройство распознавания светофора
RU2779773C1 (ru) Способ распознавания светофора и устройство распознавания светофора
US20210094585A1 (en) Automated driving enabled vehicle
US11338828B2 (en) Automated driving enabled vehicle
WO2023286806A1 (ja) 静止物情報取得装置、プログラム、及び静止物情報取得方法
JP2023094930A (ja) 挙動予測方法及び挙動予測装置
JP2022138524A (ja) 走行支援方法及び走行支援装置
JP2022138525A (ja) 走行支援方法及び走行支援装置
JP2024047487A (ja) 車載装置、車載装置の動作方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19952385

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021555893

Country of ref document: JP

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112022008079

Country of ref document: BR

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019952385

Country of ref document: EP

Effective date: 20220613

ENP Entry into the national phase

Ref document number: 112022008079

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20220427