WO2015177864A1 - 信号機認識装置及び信号機認識方法 - Google Patents

信号機認識装置及び信号機認識方法 Download PDF

Info

Publication number
WO2015177864A1
WO2015177864A1 PCT/JP2014/063347 JP2014063347W WO2015177864A1 WO 2015177864 A1 WO2015177864 A1 WO 2015177864A1 JP 2014063347 W JP2014063347 W JP 2014063347W WO 2015177864 A1 WO2015177864 A1 WO 2015177864A1
Authority
WO
WIPO (PCT)
Prior art keywords
traffic
traffic signal
vehicle
priority
signal
Prior art date
Application number
PCT/JP2014/063347
Other languages
English (en)
French (fr)
Inventor
大貴 山ノ井
安藤　敏之
西内　秀和
松尾　治夫
佐藤　宏
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to RU2016146708A priority Critical patent/RU2639851C1/ru
Priority to PCT/JP2014/063347 priority patent/WO2015177864A1/ja
Priority to MX2016014885A priority patent/MX352401B/es
Priority to CN201480078856.9A priority patent/CN106463051B/zh
Priority to BR112016027098-3A priority patent/BR112016027098B1/pt
Priority to EP14892646.2A priority patent/EP3147884B1/en
Priority to US15/311,884 priority patent/US9779315B2/en
Priority to JP2016520843A priority patent/JP6337961B2/ja
Publication of WO2015177864A1 publication Critical patent/WO2015177864A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights

Definitions

  • the present invention relates to a traffic signal recognition device and a traffic signal recognition method.
  • Patent Document 1 a vehicle outside recognition device that recognizes a traffic light or a stop sign from an image obtained by capturing the traveling direction of a vehicle is known (Patent Document 1).
  • Patent Document 1 the arrangement order along the traveling direction of the vehicle is determined, and according to the traffic lights or stop signs present at the closest position to the vehicle Control the running state of the vehicle.
  • Patent Document 1 when selecting a traffic signal serving as a reference for traveling control from among a plurality of traffic signals, the distance from the vehicle to the traffic signal is considered, but the possibility that the traffic signal is blocked is also considered. Absent. The traffic light may be hidden by factors that cannot be obtained from the map information, such as preceding cars, roadside trees, and construction, and may not be visible from the vehicle.
  • the present invention has been made in view of the above problems, and provides a traffic signal recognition apparatus and a traffic signal recognition method capable of increasing the detection probability of a traffic signal when two or more traffic signals are predicted to appear in an image. It is an object.
  • the traffic signal recognition apparatus captures an image of the surroundings of the vehicle, acquires an image, detects the self position of the vehicle, and detects traffic signals around the vehicle from the image.
  • Two or more traffic signals predicted to appear in the image are specified from the map information including the position information of the traffic signals and the self-position. Priorities between two or more traffic lights are set based on the likelihood that the traffic lights will be blocked. When two or more traffic signals are specified, the traffic signal having the highest priority among the two or more traffic signals is detected from the image.
  • FIG. 1 is a block diagram illustrating information input to and output from the traffic signal recognition apparatus 100 according to the embodiment.
  • FIG. 2 is a block diagram showing the configuration and data flow of the traffic signal recognition apparatus 100 according to the first embodiment.
  • FIG. 3 is a block diagram showing the configuration and data flow of the detection area setting unit 14 of FIG.
  • FIG. 4 is a bird's eye view showing an example of the priority order set by the priority order setting unit 24 of FIG.
  • FIG. 5 is a flowchart showing an example of a traffic signal recognition method using the traffic signal recognition apparatus 100.
  • FIG. 6 is a flowchart showing a detailed procedure of step S13 of FIG. 5 according to the first embodiment.
  • FIG. 7 is a flowchart showing a detailed procedure of step S13 of FIG. 5 according to the second embodiment.
  • FIG. 8 is a block diagram showing the configuration of the priority order setting unit 24b according to the third embodiment.
  • FIG. 9 is a bird's eye view showing an example of the priority order set by the priority order setting unit 24b of FIG.
  • FIG. 10 is a block diagram illustrating a configuration of the priority order setting unit 24c according to the fourth embodiment.
  • FIG. 11 is a flowchart showing a detailed procedure of step S07 of FIG. 5 according to the fourth embodiment.
  • FIG. 12 is a bird's eye view showing an example of the priority order set by the priority order setting unit 24c of FIG.
  • the traffic signal recognition device 100 recognizes a traffic signal installed around the road on which the vehicle travels from an image captured by an imaging unit (camera) mounted on the vehicle.
  • the traffic signal recognition apparatus 100 receives map information D02, landmark information D01, and camera information D03.
  • the map information D02 includes traffic signal position information associated in advance between the real environment and the map.
  • the landmark information D01 is used to calculate the vehicle's own position in the real environment.
  • the landmark includes a feature (ground landmark) provided on the ground and a GPS satellite that transmits a GPS signal that can be received by the vehicle. In the embodiment, a ground landmark will be described as an example.
  • the landmark information D01 includes, for example, ground landmark position information.
  • the camera information D03 is used to extract a video around the vehicle (for example, forward) from the imaging unit.
  • the traffic signal recognition device 100 outputs a traffic signal recognition result as traffic signal information D04 based on the information D01 to D03.
  • the traffic signal recognition device 100 includes an imaging unit 11, a self-position detection unit 12, a traffic signal position estimation unit 13, a detection area setting unit 14, and a traffic signal detection unit 15.
  • the imaging unit 11 is mounted on a vehicle and images the surroundings of the vehicle to acquire an image.
  • the imaging unit 11 is a camera including a solid-state imaging device, for example, a CCD and a CMOS, and acquires an image that can be processed.
  • the imaging unit 11 sets the angle of view of the lens and the vertical and horizontal angles of the camera based on the camera information D03, and outputs the acquired image as image data D08.
  • the self-position detector 12 detects the self-position of the vehicle based on the landmark information D01.
  • the landmark information D01 is, for example, information on the relative position of the ground landmark (store, famous place, sightseeing spot) with respect to the vehicle detected by a vehicle-mounted camera or a sensing means such as a laser radar.
  • map information D02 position information of ground landmarks is registered in advance.
  • the self-position of the vehicle can be detected by comparing the landmark information D01 with the information on the relative position of the ground landmark.
  • the “position” includes coordinates and orientation.
  • the position of the ground landmark includes the coordinates and orientation of the ground landmark
  • the position of the vehicle includes the coordinates and orientation of the vehicle.
  • the self-position detection unit 12 outputs the coordinates (x, y, z) in the reference coordinate system and the posture (pitch, yaw, roll) that is the rotation direction of each coordinate axis as the self-position information D05.
  • the self-position detection unit 12 detects the initial position of the vehicle using the landmark information D01.
  • the initial position is a position of the vehicle that can be directly obtained from the landmark information D01, that is, a coordinate and a posture.
  • the self-position of the vehicle 51 is calculated by cumulatively adding the movement amount of the vehicle to the initial position.
  • the self-position detection unit 12 can estimate the amount of movement of the vehicle per unit time, that is, the amount of change in coordinates and posture, using odometry, a radar device, a gyro sensor, a yaw rate sensor, and a rudder angle sensor.
  • the traffic signal position estimation unit 13 estimates the relative position of the traffic signal with respect to the vehicle from the map information D02 and the self-position information D05.
  • map information D02 traffic signal position information (coordinate information) is registered in advance.
  • the relative coordinates of the traffic signal with respect to the vehicle can be obtained from the coordinates of the traffic signal and the coordinates and posture of the vehicle.
  • the traffic signal position estimation unit 13 outputs the estimated relative coordinates of the traffic signal as relative position information D06.
  • the traffic light estimated by the traffic light position estimating unit 13 is a traffic light that presents a signal to the vehicle.
  • the detection area setting unit 14 sets the detection area of the traffic light in the image from the relative position of the traffic light. Since the imaging unit 11 is fixed to the vehicle, if the angle of view and the direction of imaging by the imaging unit 11 are determined, the position on the image where the traffic light will be captured can be specified in the image. . The detection area setting unit 14 sets the detection area of the traffic light in the image based on the position on the image.
  • the traffic signal detection unit 15 detects the traffic signal having the highest priority among the two or more traffic signals from the image. Specifically, image processing for detecting a traffic signal is performed on the image data D08 included in the detection area corresponding to the traffic signal having the highest priority.
  • the image processing method is not particularly limited. For example, a signal lamp included in a traffic light can be detected using a synchronous detection process based on an AC cycle of a commercial power supply or a similarity determination process of hue and shape. In addition, known image processing for detecting a traffic light can be applied.
  • the traffic signal detector 15 outputs the traffic signal detection result as traffic signal information D04.
  • the self-position detecting unit 12, the traffic signal position estimating unit 13, the detection area setting unit 14, and the traffic signal detecting unit 15 can be realized using a microcontroller including a CPU, a memory, and an input / output unit.
  • the CPU configures a plurality of information processing units (12 to 15) included in the microcontroller by executing a computer program installed in advance.
  • Part of the memory included in the microcontroller constitutes a map database that stores map information D02.
  • the microcontroller may also be used as an ECU used for other control (for example, automatic driving control) related to the vehicle.
  • the detection area setting unit 14 includes a traffic signal specifying unit 23, a priority order setting unit 24, and an area determination unit 25.
  • the traffic signal specifying unit 23 specifies two or more traffic signals that are predicted to appear in the image from the relative coordinates (relative position information D06) of the traffic signal. Since the angle of view of the image and the vertical and horizontal directions are specified from the camera information D03, the traffic light specifying unit 23 can specify the traffic light that fits in the frame of the image. However, the traffic light specified by the traffic light specifying unit 23 includes a traffic light that falls within the frame of the image but is blocked by a factor that cannot be obtained from the map information and does not appear in the image, as will be described later.
  • the priority order setting unit 24 sets the priority order between two or more traffic lights identified by the traffic light identifying part 23 based on the possibility that the traffic lights included in the map information D02 are blocked. Depending on the position of the traffic signal with respect to the road and the position of the traffic signal with respect to the vehicle, there is a difference in the likelihood that the traffic signal will be reflected in the image, that is, the traffic signal may be blocked by obstacles around the vehicle. Details will be described later with reference to FIG. Therefore, when it is predicted that two or more traffic lights appear in the image, the priority order setting unit 24 sets the priority order between the two or more traffic lights.
  • the area determination unit 25 sets the detection area of the traffic light in the image. If the angle of view and the direction in which the imaging unit 11 captures an image are determined, the position on the image where the traffic signal will be captured can be identified based on the relative coordinates (relative position information D06) of the traffic signal.
  • the area determination unit 25 converts the relative coordinates of the traffic light into coordinates on an image obtained by capturing the traffic light. Specifically, the region determination unit 25 receives the relative position information D06, and based on the lens optical system of the imaging unit 11, converts the three-dimensional coordinates (x, y, z) of the traffic light into two-dimensional coordinates (xl , yl) to perform coordinate conversion processing.
  • the coordinate conversion method is not particularly limited, and a known method can be used.
  • the area determination unit 25 sets a predetermined area including the coordinates (xl, yl) on the converted image as a traffic light detection area in the image.
  • the detection area setting unit 14 identifies two or more traffic lights that fit within the frame of the image, and sets the priority order and each detection area for the two or more traffic lights that are identified.
  • the priority order setting unit 24 An example of the priority order set by the priority order setting unit 24 will be described with reference to FIG.
  • a case where the traffic signal specifying unit 23 specifies three traffic signals (Ts1, Ts2, Ts3) to be followed by the vehicle 51 traveling on the road RD at the intersection Crs is illustrated.
  • Ts1, Ts2, Ts3 the closest intersection where the vehicle 51 enters is illustrated.
  • the traffic light Ts1 is located on the opposite lane (PL) side and the traffic lights Ts2 and Ts3 are located on the own lane (WL) side. Furthermore, it is specified that the traffic light Ts2 is located on the near side of the intersection Crs, and the traffic light Ts3 is located on the back side of the intersection Crs.
  • the priority order setting unit 24 sets priorities for the three traffic lights (Ts1, Ts2, Ts3) according to the basic rules (R1) and (R2) shown below.
  • the priority order of the traffic signal located on the opposite lane (PL) side is set higher than the traffic signal located on the own lane (WL) side on which the vehicle 51 travels.
  • the basic rule (R1) is established for the following reasons.
  • the traffic light located on the own lane (WL) side is shielded by factors other than the map information such as the preceding vehicle, the roadside tree planted on the road shoulder, or construction, compared to the traffic light located on the oncoming lane (PL) side. Probability is high.
  • the traffic signal located on the oncoming lane (PL) side is blocked by the oncoming vehicle.
  • the traffic light located on the oncoming lane (PL) is blocked only at the moment when it passes the oncoming vehicle.
  • the time during which the traffic signal located on the own lane (WL) side is shielded by factors other than the map information is longer than the time when the traffic signal located on the opposite lane (PL) side is shielded.
  • the priority of the traffic signal located on the opposite lane (PL) side is set higher than the traffic signal located on the own lane (WL) side where the vehicle travels. As a result, it is possible to preferentially detect a traffic light that has a low possibility of being shielded and has a short shielding time.
  • the reason for setting the basic rule (R2) is that when looking at a plurality of traffic lights located on the same lane (own lane WL or oncoming lane PL) side, a traffic signal closer to the vehicle is less likely to be shielded than a far traffic signal, In addition, it is reflected in the image so that it can be recognized stably.
  • the three traffic lights (Ts1, Ts2, Ts3) in FIG. 4 are ordered in the order of the traffic light Ts1, the traffic light Ts2, and the traffic light Ts3.
  • the traffic light identifying unit 23 may identify the warning traffic signal as two or more traffic signals that are expected to appear in the image.
  • the warning signal is provided to quickly convey the state of the traffic signal even at a position where the normal traffic signal is shielded in road conditions, and the possibility of being blocked is low. Therefore, in this case, the priority order setting unit 24 sets the priority order of the warning signal higher than the other traffic lights. Thereby, it is possible to detect the traffic signal at an earlier stage.
  • the traffic lights are not limited to traffic lights arranged at intersections, but include all traffic lights that should be followed on the road on which the vehicle travels. For example, a traffic light at a pedestrian crossing on the road RD is also included.
  • FIG. 5 An example of a traffic signal recognition method using the traffic signal recognition apparatus 100 will be described with reference to FIG. 5 is repeatedly performed based on a predetermined cycle.
  • step S01 the imaging unit 11 captures an image of the surroundings of the vehicle 51 based on the camera information D03 and acquires an image.
  • the self-position detection unit 12 detects the self-position of the vehicle 51 using the landmark information D01, and outputs the detected self-position as self-position information D05.
  • step S05 the traffic signal position estimating unit 13 estimates the relative coordinates of the traffic signal with respect to the vehicle 51 from the map information D02 and the self-position information D05.
  • the traffic signal specifying unit 23 specifies two or more traffic signals predicted to appear in the image from the relative coordinates (relative position information D06) of the traffic signal. Then, the priority order setting unit 24 sets the priority order between the two or more traffic lights identified by the traffic signal identifying unit 23 based on the possibility that the traffic signal is shielded from the traffic signal position information included in the map information D02. To do. Specifically, the priority order setting unit 24 sets the priority order between two or more traffic lights according to the basic rules (R1) and (R2).
  • step S09 the region determination unit 25 converts the relative coordinates (x, y, z) of the traffic light into coordinates (xl, yl) on the image, and determines the center coordinates of the detection region based on the coordinates on the image. decide.
  • the detection area has a predetermined size and shape. Thereby, a detection area is determined for each of the two or more traffic lights (step S11).
  • step S13 when there are two or more traffic lights, the traffic light detection unit 15 performs image processing for detecting the traffic light on the image data D08 included in the detection area according to the set priority order. To do.
  • step S31 it is determined whether the current priority (i) is N, that is, whether the priority is the lowest value. If the current priority (i) is not N (NO in S31), a detection area that has not yet been attempted to be detected remains. Therefore, the current priority (i) is incremented (increased) by 1 (step S35), that is, the current priority is lowered by 1, and the process returns to step S25. On the other hand, if the current priority (i) is N (YES in S31), it means that detection has been attempted for all detection areas. Therefore, the current priority (i) is set to the highest priority again (step S33), and the process returns to step S25.
  • the traffic light may be hidden by factors that cannot be specified from the map information, such as preceding cars, roadside trees, and construction, and may not be visible from the vehicle.
  • the imaging unit 11 mounted on the vehicle acquires an image, depending on the position of the traffic signal with respect to the road, the traffic signal may be easily reflected on the image, that is, the traffic signal may be blocked by an obstacle around the vehicle.
  • priority (i) between the two or more traffic lights is set.
  • the traffic signal having the highest priority (i) is detected from the image.
  • the detection probability of a traffic signal when two or more traffic signals are predicted to appear in the image can be increased.
  • the priority order setting unit 24 sets the priority order of the traffic lights located on the opposite lane (PL) side higher than the traffic lights located on the own lane (WL) side where the vehicle travels. Set. As a result, it is possible to preferentially detect a traffic light that has a low possibility of being shielded and has a short shielding time.
  • the warning signal is provided to quickly convey the traffic signal status even in a position where the normal traffic signal is shielded, and the possibility of being blocked is low. Therefore, when the traffic signal identifying unit 23 identifies the warning signal as two or more traffic signals predicted to appear in the image, the priority order setting unit 24 sets the priority level of the warning signal higher than the other traffic signals. . Thereby, it is possible to detect the traffic signal at an earlier stage.
  • the traffic signal detection unit 15 can detect the traffic signal with the highest priority (YES in S25), it continuously detects the traffic signal. Thereby, it is possible to stably detect the traffic light.
  • the traffic signal with the next highest priority can be detected first rather than waiting for the traffic signal with the highest priority to be detected. Therefore, as shown in FIG. 6, when the traffic signal detection unit 15 cannot detect the traffic signal with the highest priority (NO in S25), it detects the traffic signal with the next highest priority. Thereby, a traffic signal can be detected at an early stage. Furthermore, in the flow of FIG. 6, the traffic signal having the next highest priority is continuously detected. Thereby, it is possible to stably detect the traffic light.
  • step S13 in FIG. 5 is different from that in FIG. 6, the configuration of the traffic light recognition apparatus 100 shown in FIG. 2 and the procedure of steps S01 to S11 in FIG. 5 are the same as those in the first embodiment. Therefore, the description is omitted.
  • step S13 in FIG. 5 the image data of the detection area corresponding to each of the N traffic lights is extracted, and the priority (i) set between the traffic lights is extracted. Correspond to the detected area.
  • step S31 it is determined whether or not the current priority (i) is N, as in FIG. If the current priority (i) is not N (NO in S31), the current priority (i) is incremented (increased) by 1 (step S35), and the process returns to step S25. On the other hand, if the current priority (i) is N (YES in S31), the current priority (i) is set to the highest priority again (step S33), and the process returns to step S25.
  • the traffic signal detection unit 15 detects two or more traffic signals in order from the higher priority, regardless of whether or not the traffic signal has been detected. By recognizing the signal using the detection results of all the specified traffic lights, signal misrecognition can be suppressed. Therefore, two or more traffic signals are detected in descending order of priority regardless of whether or not the traffic signals have been detected. This increases the signal recognition accuracy.
  • the possibility that the traffic signal is blocked varies depending on geographical information including the shape of the road on which the vehicle travels (straight road, curve, slope shape), and the presence of obstacles such as roadside trees and construction.
  • a traffic signal recognition device and a traffic signal recognition method for setting priorities in consideration of geographic information will be described.
  • the configuration of the priority setting unit 24b and step S07 in FIG. 5 are different from those in the first embodiment, but the other configurations of the traffic signal recognition apparatus 100 and the other procedures in FIG. 5 are the same as those in the first embodiment. Therefore, the description is omitted.
  • the configuration of the priority order setting unit 24b according to the third embodiment will be described with reference to FIG.
  • the priority order setting unit 24 b includes a basic order setting unit 31 and a first order changing unit 32.
  • the basic order setting unit 31 performs the same arithmetic processing as the priority order setting unit 24 of FIG. That is, the basic order setting unit 31 sets a priority order between two or more traffic lights specified by the traffic light specifying part 23 according to the basic rules shown in (R1) and (R2).
  • the priority order set by the basic order setting unit 31 is referred to as “basic priority order”.
  • the first rank changing unit 32 changes the basic priority based on the geographic information.
  • the changed priority order is output as the priority order set by the priority order setting unit 24b.
  • the first rank changing unit 32 determines the shape of the road RD from the current position (self-position) of the vehicle 51 to the intersection Crs where the traffic signal to be detected is installed.
  • the first rank changing unit 32 is a curve in which the shape of the road RD on which the vehicle 51 travels is curved toward the oncoming lane (PL) from the vehicle 51 toward the traveling direction DD. Judge whether there is.
  • the first rank changing unit 32 changes the basic priority according to the change rule (V1) shown below.
  • V1 The priority order of the traffic light located on the own lane (WL) side on which the vehicle 51 travels is set higher than the traffic light located on the oncoming lane (PL) side.
  • the traffic light located on the opposite side of the turning direction of the vehicle 51 is detected at a position farther from the intersection than the traffic light located on the turning direction side of the vehicle 51. can do.
  • the traffic signal on the own lane (WL) side can be detected earlier than the oncoming lane (PL) side. Therefore, the change rule (V1) is applied in order to reverse the superiority or inferiority relationship of the basic rule (R1).
  • the three traffic lights (Ts1, Ts2, Ts3) in FIG. 9 are in order of the traffic light Ts2, the traffic light Ts3, and the traffic light Ts1 in descending order of priority. That is, the priority order of the traffic lights Ts2 and Ts3 located on the own lane (WL) side is set higher than that of the traffic lights Ts1 located on the opposite lane (PL) side. Even if the change rule (V1) is applied, the basic rule (R2) is maintained. Therefore, the priority order of the traffic light Ts2 located on the near side of the intersection Crs is set higher than that of the traffic light Ts3 located on the far side of the intersection Crs.
  • the geographic information considered by the first rank changing unit 32 may be a road shape (gradient) other than a curve, or an obstacle such as a roadside tree or construction.
  • the traffic signal recognition device 100 learns road gradient information and obstacle information from the travel data and adds them as part of the map information D02.
  • the first rank changing unit 32 may predict in advance which traffic signals are unlikely to be blocked from the gradient information and the obstacle information, and change the basic priority.
  • FIG. 9 an example of a right curve in left-hand traffic is shown, but it goes without saying that the example can also be applied to a left curve in right-hand traffic.
  • the priority setting unit 24b is more than the traffic light Ts1 that is located on the opposite lane PL side.
  • the priority order of the traffic lights (Ts2, Ts3) located on the own lane WL side is set high. Thereby, an appropriate priority order can be set according to the shape of the road.
  • the configuration of the priority setting unit 24c and step S07 in FIG. 5 are different from those in the first embodiment, but other configurations of the traffic signal recognition apparatus 100 and other procedures in FIG. 5 are the same as those in the first embodiment. Therefore, the description is omitted.
  • the priority order setting unit 24 c includes a basic order setting unit 31 and a second order changing unit 33.
  • the basic order setting unit 31 performs the same arithmetic processing as the priority order setting unit 24 of FIG. That is, the basic order setting unit 31 sets the basic priority order between two or more traffic lights specified by the traffic light specifying part 23 according to the basic rules (R1) and (R2).
  • the second order changing unit 33 changes the basic priority based on the signal detection result by the signal detecting unit 15.
  • the changed priority order is output as the priority order set by the priority order setting unit 24c. It is difficult to predict a traffic signal that is blocked by factors other than map information such as traffic environment and road conditions from only the traffic signal position information. It is desirable to try to detect all the traffic lights specified by the traffic light specifying unit 23 and feed back the detection results to the priority order. Therefore, the traffic signal detection unit 15 tries to detect all the traffic signals in advance, and the second order changing unit 33 sets the priority order among the traffic signals that have been successfully detected.
  • step S07 in FIG. 5 the detailed procedure of step S07 in FIG. 5 will be described.
  • steps S21 and S23 the image data of the detection area corresponding to each of the N traffic lights is extracted, and the priority (i) set between the traffic lights is associated with the extracted detection areas.
  • step S31 determines whether or not the current priority (i) is N. If the current priority (i) is not N (NO in S31), the current priority (i) is incremented (increased) by 1 (step S35), and the process returns to step S25. On the other hand, if the current priority (i) is N (YES in S31), it means that detection of all traffic lights has been attempted, and the process proceeds to step S41.
  • step S41 a priority order is set among the traffic signals with the flag. As a result, it is possible to extract a traffic signal that can be detected from the traffic signals set with the basic priority by the basic priority setting unit 31 and set the priority.
  • FIG. 12 shows an example of a road situation where a part of the traffic light Ts1 is blocked by the roadside tree OBT and a part of the traffic light Ts1 cannot be visually recognized because the road RD is a curve in the right direction.
  • the basic order setting unit 31 sets a high basic priority in the order of the traffic light Ts1, the traffic light Ts2, and the traffic light Ts3 in accordance with the basic rules (R1) and (R2).
  • the second rank changing unit 33 obtains a detection result that the traffic light Ts2 and the traffic light Ts3 are flagged and the traffic light Ts1 is not flagged.
  • the second order changing unit 33 may apply the basic rules (R1) and (R2) as rules for setting the priority order, and may further consider the change rule (V1).
  • the traffic signal detection unit tries to detect all the traffic signals, and the priority order setting unit sets the priority order among the traffic signals that have been successfully detected. Thereby, since the traffic signal which failed in detection can be excluded from the priority setting target, the detectable traffic signal can be detected at an early stage.
  • the basic rule that the priority order of the warning signal is set higher than other signals is described.
  • This basic rule is a rule applied also in other embodiments. That is, the first rank changing unit 32 sets the priority of the warning signal higher than the other traffic lights regardless of whether the warning signal is on the opposite lane or the own lane. Further, the second order changing unit 33 sets the priority order of the warning signal higher than the other traffic signals as long as the flag is attached to the warning signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

　信号機認識装置（１００）は、車両の周囲を撮像して画像データ（Ｄ０８）を取得し（１１）、車両の自己位置を検出し（１２）、車両の周囲の信号機を画像から検出する。信号機の位置情報を含む地図情報（Ｄ０２）と自己位置情報（Ｄ０５）とから、画像に写ることが予測される２以上の信号機を特定する（２３）。信号機が遮蔽される可能性に基づいて、２以上の信号機の間の優先順位を設定する（２４）。そして、２以上の信号機が特定された場合には、２以上の信号機のうち優先順位が最も高い信号機を画像から検出する（１５）。

Description

信号機認識装置及び信号機認識方法
　本発明は、信号機認識装置及び信号機認識方法に関する。
　従来から、車両の進行方向を撮像した画像から信号機または一時停止標識を認識する車外認識装置が知られている（特許文献１）。画像中に複数の信号機または一時停止標識が存在する場合、特許文献１では、車両の進行方向に沿った配置順序を判定し、車両に最も近接する位置に存在する信号機または一時停止標識に応じて車両の走行状態を制御する。
特開２００７－２５７２９９号公報
　しかし、特許文献１では、走行制御の基準となる信号機を複数の信号機の中から選択する際に、車両から信号機までの距離を考慮しているが、信号機が遮蔽される可能性は考慮していない。信号機は、先行車、街路樹、工事など、地図情報から得られない要因によって隠されてしまい、車両から視認できない場合がある。
　本発明は、上記課題に鑑みてなされたものであり、２以上の信号機が画像に写ることが予測される場合における信号機の検出確率を高めることができる信号機認識装置及び信号機認識方法を提供することを目的としている。
　本発明の一態様に係わる信号機認識装置は、車両の周囲を撮像して画像を取得し、車両の自己位置を検出し、車両の周囲の信号機を画像から検出する。信号機の位置情報を含む地図情報と自己位置とから、画像に写ることが予測される２以上の信号機を特定する。信号機が遮蔽される可能性に基づいて、２以上の信号機の間の優先順位を設定する。そして、２以上の信号機が特定された場合には、２以上の信号機のうち優先順位が最も高い信号機を画像から検出する。
図１は、実施形態に係わる信号機認識装置１００へ入出力される情報を示すブロック図である。 図２は、第１実施形態に係わる信号機認識装置１００の構成及びデータフローを示すブロック図である。 図３は、図２の検出領域設定部１４の構成及びデータフローを示すブロック図である。 図４は、図３の優先順位設定部２４により設定される優先順位の一例を示す鳥瞰図である。 図５は、信号機認識装置１００を用いた信号機認識方法の一例を示すフローチャートである。 図６は、第１実施形態に係わる、図５のステップＳ１３の詳細な手順を示すフローチャートである。 図７は、第２実施形態に係わる、図５のステップＳ１３の詳細な手順を示すフローチャートである。 図８は、第３実施形態に係わる優先順位設定部２４ｂの構成を示すブロック図である。 図９は、図８の優先順位設定部２４ｂにより設定される優先順位の一例を示す鳥瞰図である。 図１０は、第４実施形態に係わる優先順位設定部２４ｃの構成を示すブロック図である。 図１１は、第４実施形態に係わる図５のステップＳ０７の詳細な手順を示すフローチャートである。 図１２は、図１０の優先順位設定部２４ｃにより設定される優先順位の一例を示す鳥瞰図である。
　以下、本発明の実施形態を図面に基づいて説明する。同一部材には同一符号を付して再度の説明を省略する。

（第１実施形態）
　図１を参照して、実施形態に係わる信号機認識装置１００のへ入出力される情報を説明する。信号機認識装置１００は、車両に搭載された撮像部（カメラ）により撮像された画像から、車両が走行する道路周辺に設置された信号機を認識する。
　信号機認識装置１００には、地図情報Ｄ０２と、ランドマーク情報Ｄ０１と、カメラ情報Ｄ０３とが入力される。地図情報Ｄ０２には、予め実環境と地図の間で対応付けされた信号機の位置情報を含まれる。ランドマーク情報Ｄ０１は、実環境上の車両の自己位置を算出するために用いられる。ランドマークには、地上に設けられた特徴物（地上ランドマーク）、及び車両が受信可能なＧＰＳ信号を発信するＧＰＳ衛星が含まれる。実施形態では、地上ランドマークを例に取り説明する。ランドマーク情報Ｄ０１には、例えば、地上ランドマークの位置情報が含まれる。カメラ情報Ｄ０３は、撮像部から車両の周囲（例えば前方）の映像を抽出するために用いられる。信号機認識装置１００は、これらの情報Ｄ０１～Ｄ０３に基づいて、信号機の認識結果を信号機情報Ｄ０４として出力する。
　図２を参照して、第１実施形態に係わる信号機認識装置１００の構成及びデータフローを説明する。信号機認識装置１００は、撮像部１１と、自己位置検出部１２と、信号機位置推定部１３と、検出領域設定部１４と、信号機検出部１５とを備える。
　撮像部１１は、車両に搭載され、車両の周囲を撮像して画像を取得する。撮像部１１は、固体撮像素子、例えばＣＣＤ及びＣＭＯＳを備えるカメラであって、画像処理が可能な画像を取得する。撮像部１１は、カメラ情報Ｄ０３に基づいて、レンズの画角、カメラの垂直方向及び水平方向の角度を設定し、取得した画像を画像データＤ０８として出力する。
　自己位置検出部１２は、ランドマーク情報Ｄ０１に基づいて車両の自己位置を検出する。ランドマーク情報Ｄ０１は、例えば、車載のカメラ或いはレーザレーダ等のセンシング手段により検出された地上ランドマーク（店舗、名所、観光スポット）の車両に対する相対位置の情報である。地図情報Ｄ０２の中には、地上ランドマークの位置情報が予め登録されている。ランドマーク情報Ｄ０１と地上ランドマークの相対位置の情報とを照合することにより、車両の自己位置を検出することができる。ここで、「位置」には、座標及び姿勢が含まれる。具体的には、地上ランドマークの位置には、地上ランドマークの座標及び姿勢が含まれ、車両の位置には、車両の座標及び姿勢が含まれる。自己位置検出部１２は、基準となる座標系における座標(x, y, z)及び、各座標軸の回転方向である姿勢(ピッチ、ヨー、ロール)を自己位置情報Ｄ０５として出力する。
　例えば、自己位置検出部１２は、ランドマーク情報Ｄ０１を用いて車両の初期位置を検出する。初期位置とは、ランドマーク情報Ｄ０１から直接求めることができる車両の位置、すなわち座標及び姿勢である。そして、初期位置に、車両の移動量を累積加算することで車両５１の自己位置を算出する。自己位置検出部１２は、オドメトリ、レーダ装置、ジャイロセンサ、ヨーレイトセンサ、舵角センサを用いて、単位時間当たりの車両の移動量、つまり、座標及び姿勢の変化量を推定することができる。
　信号機位置推定部１３は、地図情報Ｄ０２と自己位置情報Ｄ０５とから、車両に対する信号機の相対位置を推定する。地図情報Ｄ０２の中には、信号機の位置情報（座標情報）が予め登録されている。信号機の座標と車両の座標及び姿勢とから、車両に対する信号機の相対座標を求めることができる。信号機位置推定部１３は、推定した信号機の相対座標を相対位置情報Ｄ０６として出力する。なお、信号機位置推定部１３により推定される信号機は、車両に対して信号を提示する信号機である。
　検出領域設定部１４は、信号機の相対位置から、画像における信号機の検出領域を設定する。撮像部１１は車両に固定されているため、撮像部１１が撮像する画角及び方向が定まれば、画像の中で、信号機が撮像されるであろう画像上の位置を特定することができる。検出領域設定部１４は、この画像上の位置に基づいて、画像における信号機の検出領域を設定する。
　信号機検出部１５は、２以上の信号機がある場合に、２以上の信号機のうち優先順位が最も高い信号機を画像から検出する。具体的には、優先順位が最も高い信号機に対応する検出領域に含まれる画像データＤ０８に対して、信号機を検出するための画像処理を実施する。画像処理の方法は特に問わない。例えば、信号機が有する信号灯を、商用電源の交流周期に基づく同期検波処理、又は色相及び形状の類似判定処理を用いて、検出することができる。その他、信号機を検出するための既知の画像処理を適用することができる。画像データＤ０８全体ではなく、その一部分（検出領域）に対して画像処理を実施することにより、信号機検出のための情報処理負担を軽減して、早期に信号機を検出することができる。信号機検出部１５は、信号機の検出結果を信号機情報Ｄ０４として出力する。
　なお、自己位置検出部１２、信号機位置推定部１３、検出領域設定部１４、及び信号機検出部１５は、ＣＰＵ、メモリ、及び入出力部を備えるマイクロコントローラを用いて実現することができる。具体的に、ＣＰＵは、予めインストールされたコンピュータプログラムを実行することにより、マイクロコントローラが備える複数の情報処理部（１２～１５）を構成する。マイクロコントローラが備えるメモリの一部は、地図情報Ｄ０２を記憶する地図データベースを構成する。なお、マイクロコントローラは、車両にかかわる他の制御（例えば、自動運転制御）に用いるＥＣＵと兼用してもよい。
　図３を参照して、図２の検出領域設定部１４の構成及びデータフローを説明する。検出領域設定部１４は、信号機特定部２３と、優先順位設定部２４と、領域決定部２５とを備える。
　信号機特定部２３は、信号機の相対座標（相対位置情報Ｄ０６）から、画像に写ることが予測される２以上の信号機を特定する。カメラ情報Ｄ０３から画像の画角、及び上下及び左右方向が特定されるので、信号機特定部２３は、画像のフレーム枠に収まる信号機を特定することができる。ただし、信号機特定部２３により特定される信号機には、画像のフレーム枠に収まるが、後述するように、地図情報からは得られない要因により遮蔽され、画像に写らない信号機も含まれている。
　優先順位設定部２４は、地図情報Ｄ０２に含まれる信号機が遮蔽される可能性に基づいて、信号機特定部２３により特定された２以上の信号機の間の優先順位を設定する。道路に対する信号機の位置及び車両に対する信号機の位置によって、信号機の画像への映り易さ、つまり、車両周囲の障害物によって信号機が遮蔽されてしまう可能性に違いがある。詳細は、図４を参照して後述する。そこで、画像に２以上の信号機が写ることが予測される場合、優先順位設定部２４は、２以上の信号機の間の優先順位を設定する。
　領域決定部２５は、画像における信号機の検出領域を設定する。撮像部１１が撮像する画角及び方向が定まれば、信号機の相対座標（相対位置情報Ｄ０６）に基づいて、信号機が撮像されるであろう画像上の位置を特定することができる。領域決定部２５は、信号機の相対座標を、信号機を撮像した画像上の座標へ変換する。具体的に、領域決定部２５は、相対位置情報Ｄ０６が入力され、撮像部１１が有するレンズ光学系に基づき、信号機の三次元座標(x, y, z)を画像上の二次元座標（xl,yl）へ変換する座標変換処理を行う。座標変換方法は特に問わず、既知の方法を用いることができる。領域決定部２５は、変換された画像上の座標（xl,yl）を含む所定の領域を、画像における信号機の検出領域として設定する。
　このように、検出領域設定部１４は、画像のフレーム枠に収まる２以上の信号機を特定し、特定された２以上の信号機に対して優先順位及び各々の検出領域を設定する。
　図４を参照して、優先順位設定部２４により設定される優先順位の一例を説明する。ここでは、信号機特定部２３が、交差点Ｃｒｓにおいて、道路ＲＤを走行する車両５１が従うべき３つの信号機（Ｔｓ１、Ｔｓ２、Ｔｓ３）を特定した場合を例示する。交差点Ｃｒｓとして、車両５１が進入する最も手前の交差点を例示する。もちろん、交差点Ｃｒｓより離れた他の交差点、例えば、交差点Ｃｒｓの後に車両５１が２番目、３番目、・・・に進入する交差点における信号機を特定しても構わない。
　地図情報Ｄ０２に含まれる信号機の位置情報から、信号機Ｔｓ１が対向車線（ＰＬ）側に位置し、信号機Ｔｓ２、Ｔｓ３が自車線（ＷＬ）側に位置することが特定される。更に、信号機Ｔｓ２は、交差点Ｃｒｓよりも手前側に位置し、信号機Ｔｓ３は、交差点Ｃｒｓよりも奥側に位置することが特定される。
　優先順位設定部２４は、以下に示す（Ｒ１）及び（Ｒ２）の基本ルールに従って、３つの信号機（Ｔｓ１、Ｔｓ２、Ｔｓ３）に対して優先順位を設定する。
　（Ｒ１）車両５１が走行する自車線（ＷＬ）側に位置する信号機よりも、対向車線（ＰＬ）側に位置する信号機の優先順位を高く設定する。
　（Ｒ２）車両５１から遠い信号機よりも、車両５１から近い信号機の優先順位を高く設定する。
　基本ルール（Ｒ１）は次の理由から設けられる。自車線（ＷＬ）側に位置する信号機は、対向車線（ＰＬ）側に位置する信号機に比べて、先行車、路肩に植えられた街路樹、或いは工事等の地図情報以外の要因によって遮蔽される可能性が高い。また、対向車線（ＰＬ）側に位置する信号機は対向車により遮蔽される可能性はある。しかし、対向車線（ＰＬ）側に位置する信号機は対向車とすれ違う瞬間だけ遮蔽される。一方、自車線（ＷＬ）側に位置する信号機が地図情報以外の要因により遮蔽される時間は、対向車線（ＰＬ）側に位置する信号機が遮蔽される時間に対して長い。例えば、車両が大型車両の後方を追従して走行する場合、自車線（ＷＬ）側に位置する信号機は、大型車両により遮蔽され続ける。そこで、車両が走行する自車線（ＷＬ）側に位置する信号機よりも、対向車線（ＰＬ）側に位置する信号機の優先順位を高く設定する。これにより、遮蔽される可能性が低く、且つ遮蔽される時間が短い信号機を優先的に検出することができる。
　基本ルール（Ｒ２）を設定した理由は、同じ車線（自車線ＷＬ或いは対向車線ＰＬ）側に位置する複数の信号機を見る場合、車両から近い信号機は遠い信号機よりも遮蔽される可能性が低く、また画像に大きく映りこむため、安定して認識可能であるからである。
　基本ルール（Ｒ１）及び（Ｒ２）によれば、図４の３つの信号機（Ｔｓ１、Ｔｓ２、Ｔｓ３）は、優先順位の高いものから、信号機Ｔｓ１、信号機Ｔｓ２、信号機Ｔｓ３の順番となる。
　信号機特定部２３は、画像に写ることが予測される２以上の信号機として、予告信号機を特定する場合がある。一般的に、予告信号機は道路状況を通常の信号機が遮蔽されている位置でも、早く信号機の状態を伝えるために設けられており、遮蔽される可能性が低い。そこで、この場合、優先順位設定部２４は、他の信号機よりも予告信号機の優先順位を高く設定する。これにより、更に早期に信号機を検出することができる。
　実施形態では、交差点Ｃｒｓにおいて３つの信号機が特定された場合を示したが、２つ或いは４つ以上の場合にも、上記した（Ｒ１）及び（Ｒ２）の基本ルールに従って優先順位を付することが可能であることは言うまでもない。また、信号機は交差点に配置された信号機に限らず、車両が走行する道路上で従うべき全ての信号機が含まれる。例えば、道路ＲＤ上の横断歩道における信号機も含まれる。
　図５を参照して、信号機認識装置１００を用いた信号機認識方法の一例を説明する。図５に示すフローは、予め定めた周期の基で繰り返し実施される。
　先ず、ステップＳ０１において、撮像部１１は、カメラ情報Ｄ０３に基づいて車両５１の周囲を撮像して画像を取得する。ステップＳ０３に進み、自己位置検出部１２は、ランドマーク情報Ｄ０１を用いて車両５１の自己位置を検出し、検出された自己位置を自己位置情報Ｄ０５として出力する。
　ステップＳ０５に進み、信号機位置推定部１３は、地図情報Ｄ０２と自己位置情報Ｄ０５とから、車両５１に対する信号機の相対座標を推定する。
　ステップＳ０７に進み、信号機特定部２３は、信号機の相対座標（相対位置情報Ｄ０６）から、画像に写ることが予測される２以上の信号機を特定する。そして、優先順位設定部２４は、地図情報Ｄ０２に含まれる信号機の位置情報から信号機が遮蔽される可能性に基づいて、信号機特定部２３により特定された２以上の信号機の間の優先順位を設定する。具体的に、優先順位設定部２４は、基本ルール（Ｒ１）及び（Ｒ２）に従って、２以上の信号機の間の優先順位を設定する。
　ステップＳ０９に進み、領域決定部２５は、信号機の相対座標(x, y, z)を、画像上の座標（xl,yl）へ変換し、画像上の座標に基づいて検出領域の中心座標を決定する。検出領域は予め定めた大きさ及び形状を有する。これにより、２以上の信号機の各々について、検出領域が決定される（ステップＳ１１）。
　ステップＳ１３に進み、信号機検出部１５は、２以上の信号機がある場合には、設定された優先順位に従って、検出領域に含まれる画像データＤ０８に対して、信号機を検出するための画像処理を実施する。
　図６を参照して、図５のステップＳ１３の詳細な手順を説明する。ここでは、図５のステップＳ０７でＮ個の信号機が特定された場合を説明する。先ず、ステップＳ２１にて、Ｎ個の信号機の各々に対応する検出領域の画像データを抽出する。ステップＳ２３に進み、図５のステップＳ０７で信号機の間の設定された優先順位（ｉ）を、抽出された検出領域に対応付ける。なお「ｉ」は１～Ｎの自然数であり、初期設定はｉ＝１である。
　ステップＳ２５に進み、Ｎ個の信号機の中で最も優先順位が高い（ｉ＝１）の信号機に対応する検出領域から、信号機の検出を試みる。信号機を検出できた場合（Ｓ２５でＹＥＳ）、ステップＳ２７へ進み、信号機情報Ｄ０４を出力する。その後、優先順位を変更せずに（ステップＳ２９）、ステップＳ２５に戻る。これにより、信号機の検出に成功している場合（Ｓ２５でＹＥＳ）、同じ検出領域から信号機を継続して検出することができる。
　一方、信号機を検出できなかった場合（Ｓ２５でＮＯ）、ステップＳ３１へ進み、現在の優先順位（ｉ）がＮであるか、つまり優先順位が最も低い値であるか否かを判断する。現在の優先順位（ｉ）がＮでなければ（Ｓ３１でＮＯ）、未だ検出を試みていない検出領域が残されている。そこで、現在の優先順位（ｉ）を１だけインクリメント（増加）させ（ステップＳ３５）、つまり現在の優先順位を１つ下げて、ステップＳ２５へ戻る。一方、現在の優先順位（ｉ）がＮであれば（Ｓ３１でＹＥＳ）、全ての検出領域について検出を試みたことになる。そこで、再び、現在の優先順位（ｉ）を最も高い優先順位に設定し（ステップＳ３３）、ステップＳ２５へ戻る。
　以上説明したように、第１実施形態によれば、以下の作用効果が得られる。
　信号機は、先行車、街路樹、工事など、地図情報から特定できない要因によって隠されてしまい、車両から視認できない場合がある。また、車両に搭載された撮像部１１が画像を取得する場合、道路に対する信号機の位置によって、信号機の画像への映り易さ、つまり、車両周囲の障害物によって信号機が遮蔽されてしまう可能性に違いがある。そこで、画像に２以上の信号機が写ることが地図情報Ｄ０２及び自己位置情報Ｄ０５から予測される場合、２以上の信号機の間の優先順位（ｉ）を設定する。そして、優先順位（ｉ）が最も高い信号機を画像から検出する。これにより、２以上の信号機が画像に写ることが予測される場合における信号機の検出確率を高めることができる。また、早期に信号機を検出し、且つ演算処理負担を軽減することができる。
　基本ルール（Ｒ１）で述べたように、優先順位設定部２４は、車両が走行する自車線（ＷＬ）側に位置する信号機よりも、対向車線（ＰＬ）側に位置する信号機の優先順位を高く設定する。これにより、遮蔽される可能性が低く、且つ遮蔽される時間が短い信号機を優先的に検出することができる。
　一般的に、予告信号機は交通状況を通常の信号機が遮蔽されている位置でも、早く信号機の状態を伝えるために設けられており、遮蔽される可能性が低い。そこで、信号機特定部２３が、画像に写ることが予測される２以上の信号機として、予告信号機を特定した場合、優先順位設定部２４は、他の信号機よりも予告信号機の優先順位を高く設定する。これにより、更に早期に信号機を検出することができる。
　図６に示したように、信号機検出部１５は、優先順位が最も高い信号機を検出できた場合（Ｓ２５でＹＥＳ）、当該信号機を継続して検出する。これにより、信号機を安定して検出し続けることができる。
　優先順位が最も高い信号機が検出されることを待つよりも、次に優先順位が高い信号機を先に検出できる場合がある。そこで、図６に示したように、信号機検出部１５は、優先順位が最も高い信号機を検出できなかった場合（Ｓ２５ＮＯ）、次に優先順位が高い信号機を検出する。これにより、早期に信号機を検出することができる。更に、図６のフローでは、次に優先順位が高い信号機を継続して検出する。これにより、信号機を安定して検出し続けることができる。
（第２実施形態）
　図６のフローにおいて、優先順位が高い信号機を検出できている限りにおいて、その信号機の検出を継続し、優先順位が低い信号機を検出の対象としていない。第２実施形態では、信号機を検出できたか否かに関わらず、信号機特定部２３により特定された２以上の信号機を優先順位が高い方から順番に検出する信号機認識装置及び信号機認識方法について説明する。
　具体的には、図５のステップＳ１３の詳細な手順が図６と異なるが、図２に示した信号機認識装置１００の構成及び図５のステップＳ０１～Ｓ１１の手順は、第１実施形態と同じであり、説明を省略する。
　図７を参照して、図５のステップＳ１３の詳細な手順を説明する。先ず、図６と同様にして、ステップＳ２１及びＳ２３にて、Ｎ個の信号機の各々に対応する検出領域の画像データを抽出し、信号機の間で設定された優先順位（ｉ）を、抽出された検出領域に対応付ける。
　ステップＳ２５に進み、図６と同様にして、最も優先順位が高い（ｉ＝１）の信号機に対応する検出領域から、信号機の検出を試みる。信号機を検出できなかった場合（Ｓ２５でＮＯ）、ステップＳ３１へ進む。一方、信号機を検出できた場合（Ｓ２５でＹＥＳ）、ステップＳ２７へ進み、信号機情報Ｄ０４を出力する。その後、図６と異なり、ステップＳ３１に進む。
　ステップＳ３１において、図６と同様にして、現在の優先順位（ｉ）がＮであるか否かを判断する。現在の優先順位（ｉ）がＮでなければ（Ｓ３１でＮＯ）、現在の優先順位（ｉ）を１だけインクリメント（増加）させ（ステップＳ３５）、ステップＳ２５へ戻る。一方、現在の優先順位（ｉ）がＮであれば（Ｓ３１でＹＥＳ）、再び、現在の優先順位（ｉ）を最も高い優先順位に設定し（ステップＳ３３）、ステップＳ２５へ戻る。
　このように、信号機の検出に成功している場合（Ｓ２５でＹＥＳ）、同じ検出領域から信号機を継続して検出するのではなく、次の信号機の検出を試みる。すなわち、信号機検出部１５は、信号機を検出できたか否かに関わらず、２以上の信号機を優先順位が高い方から順番に検出する。特定された全ての信号機の検出結果を用いて信号を認識することにより、信号の誤認識を抑制することができる。そこで、信号機を検出できたか否かに関わらず、２以上の信号機を優先順位が高い方から順番に検出する。これにより、信号の認識精度が高まる。
（第３実施形態）
　信号機の遮蔽される可能性は、車両が走行する道路の形状（直線道路、カーブ、勾配形状）や街路樹及び工事などの障害物の存在を含む地理情報によって変化する。第３実施形態では、地理情報を考慮して優先順位を設定する信号機認識装置及び信号機認識方法について説明する。
　具体的には、優先順位設定部２４ｂの構成、図５のステップＳ０７が第１実施形態と異なるが、信号機認識装置１００の他の構成及び図５の他の手順は、第１実施形態と同じであり、説明を省略する。
　図８を参照して、第３実施形態に係わる優先順位設定部２４ｂの構成を説明する。優先順位設定部２４ｂは、基本順位設定部３１と、第１の順位変更部３２とを備える。基本順位設定部３１は、図３の優先順位設定部２４と同じ演算処理を実施する。すなわち、基本順位設定部３１は、（Ｒ１）及び（Ｒ２）に示す基本ルールに従って、信号機特定部２３により特定された２以上の信号機の間の優先順位を設定する。基本順位設定部３１が設定する優先順位を「基本優先順位」と呼ぶ。
　第１の順位変更部３２は、地理情報に基づいて、基本優先順位を変更する。変更後の優先順位は、優先順位設定部２４ｂにより設定された優先順位として出力される。具体的に、図９に示すように、第１の順位変更部３２は、車両５１の現在位置（自己位置）から検出対象となる信号機が設置された交差点Ｃｒｓまでの道路ＲＤの形状を判断する。例えば、第１の順位変更部３２は、地図情報Ｄ０２を参照して、車両５１が走行する道路ＲＤの形状が、車両５１から進行方向ＤＤに向かって、対向車線（ＰＬ）側へ曲がるカーブであるか否かを判断する。
　対向車線（ＰＬ）側へ曲がるカーブであると判断した場合、第１の順位変更部３２は、以下に示す変更ルール（Ｖ１）に従って、基本優先順位を変更する。
　（Ｖ１）対向車線（ＰＬ）側に位置する信号機よりも、車両５１が走行する自車線（ＷＬ）側に位置する信号機の優先順位を高く設定する。
　自車線（ＷＬ）側及び対向車線（ＰＬ）側のうち、車両５１の旋回方向の逆側に位置する信号機は、車両５１の旋回方向側に位置する信号機よりも、交差点から離れた位置で検出することができる。対向車線（ＰＬ）側へ曲がるカーブの場合、対向車線（ＰＬ）側よりも自車線（ＷＬ）側の信号機を早期に検出することができる。そこで、基本ルール（Ｒ１）の優劣関係を反転させるために、変更ルール（Ｖ１）を適用する。
　上記した変更ルール（Ｖ１）によれば、図９の３つの信号機（Ｔｓ１、Ｔｓ２、Ｔｓ３）は、優先順位の高いものから、信号機Ｔｓ２、信号機Ｔｓ３、信号機Ｔｓ１の順番となる。つまり、自車線（ＷＬ）側に位置する信号機Ｔｓ２、信号機Ｔｓ３の優先順位が、対向車線（ＰＬ）側に位置する信号機Ｔｓ１よりも高く設定される。なお、変更ルール（Ｖ１）が適用されても、基本ルール（Ｒ２）は維持される。よって、交差点Ｃｒｓの手前側に位置する信号機Ｔｓ２の優先順位は、交差点Ｃｒｓより奥側に位置する信号機Ｔｓ３よりも高く設定される。
　なお、第１の順位変更部３２が考慮する地理情報は、カーブ以外の道路の形状（勾配）、あるいは街路樹や工事などの障害物であってもよい。この場合、信号機認識装置１００は、走行データ等から、道路の勾配情報及び障害物情報を学習し、地図情報Ｄ０２の一部として追加する。第１の順位変更部３２は、勾配情報及び障害物情報から、どの信号機が遮蔽される可能性が低いかあらかじめ予測し、基本優先順位を変更すればよい。また、図９の例では、左側通行における右カーブの例を示したが、右側通行における左カーブにも適用できることは言うまでもない。
　このように、車両５１が走行する道路ＲＤの形状が、車両５１から見て対向車線ＰＬ側へ曲がるカーブである場合、優先順位設定部２４ｂは、対向車線ＰＬ側に位置する信号機Ｔｓ１よりも、自車線ＷＬ側に位置する信号機（Ｔｓ２、Ｔｓ３）の優先順位を高く設定する。これにより、道路の形状に応じて適正な優先順位を設定することができる。
（第４実施形態）
　第４実施形態では、優先順位を設定する前にあらかじめ信号機の検出を試み、検出された信号機の間の優先順位を設定する信号機認識装置及び信号機認識方法について説明する。
　具体的には、優先順位設定部２４ｃの構成、図５のステップＳ０７が第１実施形態と異なるが、信号機認識装置１００の他の構成及び図５の他の手順は、第１実施形態と同じであり、説明を省略する。
　図８を参照して、第４実施形態に係わる優先順位設定部２４ｃの構成を説明する。優先順位設定部２４ｃは、基本順位設定部３１と、第２の順位変更部３３とを備える。基本順位設定部３１は、図３の優先順位設定部２４と同じ演算処理を実施する。すなわち、基本順位設定部３１は、基本ルール（Ｒ１）及び（Ｒ２）に従って、信号機特定部２３により特定された２以上の信号機の間の基本優先順位を設定する。
　第２の順位変更部３３は、信号機検出部１５による信号機の検出結果に基づいて、基本優先順位を変更する。変更後の優先順位は、優先順位設定部２４ｃにより設定された優先順位として出力される。交通環境及び道路状況等の地図情報以外の要因によって遮蔽される信号機を、信号機の位置情報だけから予測することは難しい。信号機特定部２３により特定された全ての信号機の検出を試み、その検出結果を優先順位にフィードバックすることが望ましい。そこで、信号機検出部１５はあらかじめ全ての信号機の検出を試み、第２の順位変更部３３は、検出に成功した信号機の間の優先順位を設定する。
　図１１を参照して、図５のステップＳ０７の詳細な手順を説明する。先ず、ステップＳ２１及びＳ２３にて、Ｎ個の信号機の各々に対応する検出領域の画像データを抽出し、信号機の間で設定された優先順位（ｉ）を、抽出された検出領域に対応付ける。
　ステップＳ２５に進み、最も優先順位が高い（ｉ＝１）の信号機に対応する検出領域から、信号機の検出を試みる。信号機を検出できた場合（Ｓ２５でＹＥＳ）、ステップＳ３９へ進み、検出できたことを示すフラグを当該信号機に付す。これにより、検出可能であることを学習できる。一方、信号機を検出できなかった場合（Ｓ２５でＮＯ）、ステップＳ３７へ進み、検出できたことを示すフラグは付さない。これにより、検出不可能であることを学習できる。
　その後、ステップＳ３１に進み、現在の優先順位（ｉ）がＮであるか否かを判断する。現在の優先順位（ｉ）がＮでなければ（Ｓ３１でＮＯ）、現在の優先順位（ｉ）を１だけインクリメント（増加）させ（ステップＳ３５）、ステップＳ２５へ戻る。一方、現在の優先順位（ｉ）がＮであれば（Ｓ３１でＹＥＳ）、すべての信号機の検出を試みたことになるので、ステップＳ４１へ進む。ステップＳ４１において、フラグが付された信号機の間で、優先順位を設定する。これにより、基本順位設定部３１により基本優先順位が設定された信号機の中から検出可能な信号機を抽出して、優先順位を設定することができる。
　たとえば、図１２は、道路ＲＤが右方向へのカーブであるため、街路樹ＯＢＴによって信号機Ｔｓ１の一部が遮蔽され、車両５１から信号機Ｔｓ１の一部が視認できない道路状況の一例を示す。この状況で、基本順位設定部３１は、基本ルール（Ｒ１）及び（Ｒ２）に従って、信号機Ｔｓ１、信号機Ｔｓ２、信号機Ｔｓ３の順番で高い基本優先順位を設定する。これに対して、第２の順位変更部３３は、信号機Ｔｓ２、信号機Ｔｓ３にフラグが付され、信号機Ｔｓ１にフラグが付されないという検出結果を入手する。そして、この検出結果に基づいて、信号機Ｔｓ２及び信号機Ｔｓ３に対して優先順位を設定し、信号機Ｔｓ１には設定しない。第２の順位変更部３３は、優先順位を設定する際のルールとして、基本ルール（Ｒ１）及び（Ｒ２）を適用してもよいし、さらに変更ルール（Ｖ１）を加味してもかまわない。
　交通環境及び道路状況等の地図情報以外の要因によって遮蔽される信号機を、信号機の位置情報だけから予測することは難しい。全ての信号機の検出を試み、その検出結果を優先順位にフィードバックすることが望ましい。そこで、信号機検出部は全ての信号機の検出を試み、優先順位設定部は、検出に成功した信号機の間の優先順位を設定する。これにより、優先順位の設定対象から、検出に失敗した信号機を排除できるので、検出可能な信号機を早期に検出することができる。
　以上、実施例に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。
　例えば、第１実施形態で、他の信号機よりも予告信号機の優先順位を高く設定する、という基本ルールについて述べた。この基本ルールは、その他の実施形態においても適用されるルールである。つまり、第１の順位変更部３２は、予告信号機が対向車線側であるか自車線側であるかに係わらず、他の信号機よりも予告信号機の優先順位を高く設定する。また、第２の順位変更部３３は、予告信号機にフラグが付されている限りにおいて、他の信号機よりも予告信号機の優先順位を高く設定する。
　１１　撮像部
　１２　自己位置検出部
　１３　信号機位置推定部
　２３　信号機特定部
　２４　優先順位設定部
　１５　信号機検出部
　１００　信号機認識装置
　Ｄ０２　地図情報
　ＰＬ　対向車線
　ＲＤ　道路
　Ｔｓ１、Ｔｓ２、Ｔｓ３　信号機
　ＷＬ　自車線
 

Claims (9)

  1. 　車両に搭載され、前記車両の周囲を撮像して画像を取得する撮像部と、
    　前記車両の自己位置を検出する自己位置検出部と、
    前記車両の周囲の信号機を前記画像から検出する信号機検出部と、
    　前記車両の周囲の信号機の位置情報を含む地図情報と前記自己位置とから、前記画像に写ることが予測される２以上の前記信号機を特定する信号機特定部と、　
    　前記信号機が遮蔽される可能性に基づいて、前記信号機特定部により特定された前記２以上の信号機の間の優先順位を設定する優先順位設定部と、を備え、
    　前記信号機検出部は、前記信号機特定部で前記２以上の信号機が特定された場合には、前記２以上の信号機のうち前記優先順位が最も高い前記信号機を前記画像から検出する、
    　ことを特徴とする信号機認識装置。
  2. 　前記優先順位設定部は、前記車両が走行する自車線側に位置する信号機よりも、対向車線側に位置する信号機の前記優先順位を高く設定することを特徴とする請求項１に記載の信号機認識装置。
  3. 　前記車両が走行する道路の形状が、前記車両から見て対向車線側へ曲がるカーブである場合、前記優先順位設定部は、前記対向車線側に位置する信号機よりも、前記車両が走行する自車線側に位置する信号機の前記優先順位を高く設定することを特徴とする請求項１に記載の信号機認識装置。
  4. 　前記信号機特定部が、前記画像に写ることが予測される２以上の前記信号機として、予告信号機を特定した場合、前記優先順位設定部は、他の信号機よりも前記予告信号機の前記優先順位を高く設定することを特徴とする請求項１～３のいずれか一項に記載の信号機認識装置。
  5. 　前記信号機検出部は、前記優先順位が最も高い前記信号機を検出できた場合、当該信号機を継続して検出することを特徴とする請求項１～４のいずれか一項に記載の信号機認識装置。
  6. 　前記信号機検出部は、前記優先順位が最も高い前記信号機を検出できなかった場合、次に前記優先順位が高い信号機を検出することを特徴とする請求項１～５のいずれか一項に記載の信号機認識装置。
  7. 　前記信号機検出部は、前記信号機を検出できたか否かに関わらず、前記２以上の信号機を前記優先順位が高い方から順番に検出することを特徴とする請求項１～４のいずれか一項に記載の信号機認識装置。
  8. 　前記信号機検出部は、全ての前記信号機の検出を試み、前記優先順位設定部は、前記検出に成功した前記信号機の間で、前記優先順位を設定することを特徴とする請求項１～４のいずれか一項に記載の信号機認識装置。
  9. 　車両に搭載された撮像部を用いて、前記車両の周囲を撮像して画像を取得し、
    　前記車両の自己位置を検出し、
    前記車両の周囲の信号機を前記画像から検出し、
    　前記車両の周囲の信号機の位置情報を含む地図情報と前記自己位置とから、前記画像に写ることが予測される２以上の前記信号機を特定し、
    　前記信号機が遮蔽される可能性に基づいて、特定された前記２以上の信号機の間の優先順位を設定し、
    　前記２以上の信号機が特定された場合には、前記２以上の信号機のうち前記優先順位が最も高い前記信号機を前記画像から検出する
    　ことを特徴とする信号機認識方法。
PCT/JP2014/063347 2014-05-20 2014-05-20 信号機認識装置及び信号機認識方法 WO2015177864A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
RU2016146708A RU2639851C1 (ru) 2014-05-20 2014-05-20 Устройство распознавания светофора и способ распознавания светофора
PCT/JP2014/063347 WO2015177864A1 (ja) 2014-05-20 2014-05-20 信号機認識装置及び信号機認識方法
MX2016014885A MX352401B (es) 2014-05-20 2014-05-20 Aparato de reconocimiento de señales de tráfico y método de reconocimiento de señales de tráfico.
CN201480078856.9A CN106463051B (zh) 2014-05-20 2014-05-20 信号机识别装置以及信号机识别方法
BR112016027098-3A BR112016027098B1 (pt) 2014-05-20 2014-05-20 Aparelho para reconhecimento de sinal de tráfego e método para reconhecimento de sinal de tráfego
EP14892646.2A EP3147884B1 (en) 2014-05-20 2014-05-20 Traffic-light recognition device and traffic-light recognition method
US15/311,884 US9779315B2 (en) 2014-05-20 2014-05-20 Traffic signal recognition apparatus and traffic signal recognition method
JP2016520843A JP6337961B2 (ja) 2014-05-20 2014-05-20 信号機認識装置及び信号機認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/063347 WO2015177864A1 (ja) 2014-05-20 2014-05-20 信号機認識装置及び信号機認識方法

Publications (1)

Publication Number Publication Date
WO2015177864A1 true WO2015177864A1 (ja) 2015-11-26

Family

ID=54553562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/063347 WO2015177864A1 (ja) 2014-05-20 2014-05-20 信号機認識装置及び信号機認識方法

Country Status (8)

Country Link
US (1) US9779315B2 (ja)
EP (1) EP3147884B1 (ja)
JP (1) JP6337961B2 (ja)
CN (1) CN106463051B (ja)
BR (1) BR112016027098B1 (ja)
MX (1) MX352401B (ja)
RU (1) RU2639851C1 (ja)
WO (1) WO2015177864A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507440A (zh) * 2017-09-25 2017-12-22 爱易成技术(天津)有限公司 一种交通信号灯的道路投影方法及系统
JP2020042815A (ja) * 2018-09-07 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 交通信号機の認識方法、装置、機器、記憶媒体及び車両

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9990548B2 (en) * 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
JP6828429B2 (ja) * 2016-12-27 2021-02-10 株式会社デンソー 車両用衝突回避支援装置および車両の衝突回避支援方法
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
JP7067067B2 (ja) * 2018-01-11 2022-05-16 トヨタ自動車株式会社 信号機認識装置、及び自動運転システム
US11334753B2 (en) 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles
JP7268497B2 (ja) * 2019-06-24 2023-05-08 トヨタ自動車株式会社 信号認識システム
JP7088135B2 (ja) * 2019-07-23 2022-06-21 トヨタ自動車株式会社 信号表示推定システム
CN110473414B (zh) * 2019-08-20 2021-03-23 北京经纬恒润科技股份有限公司 一种车辆行驶路径确定方法、装置及系统
KR20210073281A (ko) * 2019-12-10 2021-06-18 삼성전자주식회사 운동 정보 추정 방법 및 장치
US11295147B1 (en) * 2020-11-27 2022-04-05 HCL Technologies Italy S.p.A. Method and system for detecting and managing obfuscation of a road sign

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007178223A (ja) * 2005-12-27 2007-07-12 Aisin Aw Co Ltd 地物認識装置
JP2007257299A (ja) * 2006-03-23 2007-10-04 Honda Motor Co Ltd 車外認識装置
JP2007320458A (ja) * 2006-06-01 2007-12-13 Toyota Motor Corp 車間距離制御装置
WO2008038370A1 (en) * 2006-09-28 2008-04-03 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
JP2008149786A (ja) * 2006-12-14 2008-07-03 Mazda Motor Corp 車両用運転支援装置及び車両用運転支援システム
JP2008293277A (ja) * 2007-05-24 2008-12-04 Aisin Aw Co Ltd 信号機検出装置、信号機検出方法及びプログラム
JP2013171489A (ja) * 2012-02-22 2013-09-02 Fuji Heavy Ind Ltd 車外環境認識装置および車外環境認識方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4724043B2 (ja) * 2006-05-17 2011-07-13 トヨタ自動車株式会社 対象物認識装置
KR100873474B1 (ko) * 2006-12-04 2008-12-15 한국전자통신연구원 영상상의 교통 시설물의 픽셀 사이즈 및 위치를 이용한차량 위치 추정 장치 및 그 방법
JP5057166B2 (ja) * 2008-10-30 2012-10-24 アイシン・エィ・ダブリュ株式会社 安全運転評価システム及び安全運転評価プログラム
JP5361541B2 (ja) * 2009-06-02 2013-12-04 三菱電機株式会社 標識認識装置
RU2469410C1 (ru) * 2011-04-04 2012-12-10 Общество с ограниченной ответственностью "СПбГАСУ-ТУДД" Система управления движением на многополосных перекрестках
RU116258U1 (ru) * 2011-11-15 2012-05-20 Игорь Юрьевич Мацур Система регулирования движения транспортных средств
JP6237214B2 (ja) * 2013-12-24 2017-11-29 株式会社デンソー 逆走検出装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007178223A (ja) * 2005-12-27 2007-07-12 Aisin Aw Co Ltd 地物認識装置
JP2007257299A (ja) * 2006-03-23 2007-10-04 Honda Motor Co Ltd 車外認識装置
JP2007320458A (ja) * 2006-06-01 2007-12-13 Toyota Motor Corp 車間距離制御装置
WO2008038370A1 (en) * 2006-09-28 2008-04-03 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
JP2008149786A (ja) * 2006-12-14 2008-07-03 Mazda Motor Corp 車両用運転支援装置及び車両用運転支援システム
JP2008293277A (ja) * 2007-05-24 2008-12-04 Aisin Aw Co Ltd 信号機検出装置、信号機検出方法及びプログラム
JP2013171489A (ja) * 2012-02-22 2013-09-02 Fuji Heavy Ind Ltd 車外環境認識装置および車外環境認識方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3147884A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507440A (zh) * 2017-09-25 2017-12-22 爱易成技术(天津)有限公司 一种交通信号灯的道路投影方法及系统
WO2019056559A1 (zh) * 2017-09-25 2019-03-28 爱易成技术(天津)有限公司 一种交通信号灯的道路投影方法及系统
CN107507440B (zh) * 2017-09-25 2019-06-07 爱易成技术(天津)有限公司 一种交通信号灯的道路投影方法及系统
US10902721B2 (en) 2017-09-25 2021-01-26 Ie-Cheng Technology (Tianjin) Co., Ltd. Road projecting method and system for traffic light
JP2020042815A (ja) * 2018-09-07 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 交通信号機の認識方法、装置、機器、記憶媒体及び車両
US11126876B2 (en) 2018-09-07 2021-09-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method for recognizing traffic light, device, and vehicle

Also Published As

Publication number Publication date
CN106463051A (zh) 2017-02-22
BR112016027098A2 (ja) 2017-08-15
BR112016027098B1 (pt) 2022-09-13
MX2016014885A (es) 2017-02-28
EP3147884A4 (en) 2017-12-06
RU2639851C1 (ru) 2017-12-22
EP3147884A1 (en) 2017-03-29
US20170103275A1 (en) 2017-04-13
JP6337961B2 (ja) 2018-06-06
MX352401B (es) 2017-11-23
US9779315B2 (en) 2017-10-03
JPWO2015177864A1 (ja) 2017-04-20
CN106463051B (zh) 2020-03-03
EP3147884B1 (en) 2019-12-11

Similar Documents

Publication Publication Date Title
JP6337961B2 (ja) 信号機認識装置及び信号機認識方法
US11669102B2 (en) Navigating a vehicle based on a detected barrier
US11993290B2 (en) Predicting and responding to cut in vehicles and altruistic responses
US11392135B2 (en) Systems and methods for navigating lane merges and lane splits
US20230005364A1 (en) Systems and methods for monitoring traffic lane congestion
US9389093B2 (en) Traffic signal recognition apparatus
US9569673B2 (en) Method and device for detecting a position of a vehicle on a lane
WO2019195415A1 (en) Systems and methods for determining navigational parameters
US20180260639A1 (en) Systems and methods for detecting traffic signs
JP2019099138A (ja) 車線維持補助方法及び装置
JP6299517B2 (ja) 信号機認識装置及び信号機認識方法
JP6365103B2 (ja) 信号機検出装置及び信号機検出方法
US20180107884A1 (en) Road marking recognition device
US11676403B2 (en) Combining visible light camera and thermal camera information
US20220371583A1 (en) Systems and Methods for Selectively Decelerating a Vehicle
JP2018048949A (ja) 物体識別装置
JP2020077293A (ja) 区画線検出装置及び区画線検出方法
JP2022146384A (ja) 物体検出装置
WO2023067385A2 (en) Radar-camera fusion for vehicle navigation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14892646

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016520843

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2016/014885

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 15311884

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112016027098

Country of ref document: BR

REEP Request for entry into the european phase

Ref document number: 2014892646

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014892646

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016146708

Country of ref document: RU

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 112016027098

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20161118