WO2016199225A1 - 信号機検出装置及び信号機検出方法 - Google Patents

信号機検出装置及び信号機検出方法 Download PDF

Info

Publication number
WO2016199225A1
WO2016199225A1 PCT/JP2015/066615 JP2015066615W WO2016199225A1 WO 2016199225 A1 WO2016199225 A1 WO 2016199225A1 JP 2015066615 W JP2015066615 W JP 2015066615W WO 2016199225 A1 WO2016199225 A1 WO 2016199225A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
detection area
image
traffic
traffic light
Prior art date
Application number
PCT/JP2015/066615
Other languages
English (en)
French (fr)
Inventor
大貴 山ノ井
松尾　治夫
沖　孝彦
鈴木　章
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to JP2017522792A priority Critical patent/JP6432680B2/ja
Priority to BR112017026297-5A priority patent/BR112017026297B1/pt
Priority to MX2017015718A priority patent/MX363873B/es
Priority to CN201580080785.0A priority patent/CN107735826B/zh
Priority to CA2988843A priority patent/CA2988843C/en
Priority to PCT/JP2015/066615 priority patent/WO2016199225A1/ja
Priority to KR1020177036830A priority patent/KR101974772B1/ko
Priority to EP15894910.7A priority patent/EP3309767B1/en
Priority to US15/580,550 priority patent/US10210407B2/en
Priority to RU2017146241A priority patent/RU2700646C2/ru
Publication of WO2016199225A1 publication Critical patent/WO2016199225A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a traffic signal detection device and a traffic signal detection method for detecting a traffic signal.
  • a system for determining an image processing area based on the shape of a road on which the vehicle travels and the position of a traffic signal predicted from the current position of the vehicle, and detecting a traffic signal from the image processing area with respect to image data obtained by photographing the front of the vehicle has been proposed (see Patent Document 1).
  • Such a system reduces the processing load in the image processing by limiting the target area of the image processing, and reduces false detections for those that are not traffic lights.
  • the technique described in Patent Document 1 does not take into account the error included in the detected current position of the vehicle when determining the image processing area. Since the error in the current position of the vehicle varies greatly depending on the traveling state of the vehicle and the surrounding environment, in the technique described in Patent Document 1, if there is an error in the current position of the vehicle, the traffic signal is out of the image processing area. There is a possibility that the traffic light cannot be detected.
  • an object of the present invention is to provide a traffic signal detection device and a traffic signal detection method capable of improving the detection accuracy of a traffic signal.
  • the traffic light detection device sets the third detection area by correcting the first detection area set based on the relative position of the traffic light based on the lamp candidate detected from the actual environment, and from the third setting area, Detect traffic lights.
  • FIG. 1 is a schematic block diagram illustrating a basic configuration of a traffic light detection apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating the configuration and data flow of the traffic light detection apparatus according to the embodiment of the present invention.
  • FIG. 3 is a diagram for explaining a second detection region used in the traffic light detection apparatus according to the embodiment of the present invention.
  • FIG. 4 is a diagram illustrating lamp candidates used in the traffic light detection apparatus according to the embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating the configuration and data flow of a traffic light detection area setting unit included in the traffic light detection apparatus according to the embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a first detection region used in the traffic light detection apparatus according to the embodiment of the present invention.
  • FIG. 7 is a flowchart for explaining an example of a signal detection method by the traffic light detection apparatus according to the embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an example of processing of the correction calculation unit provided in the traffic light detection apparatus according to the embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an example of processing in a case where all the traffic light lamps of the correction calculation unit included in the traffic light detection device according to the embodiment of the present invention are detected as lamp candidates.
  • FIG. 10 is a diagram illustrating an example of processing in a case where roll rotation has occurred in an image captured by the correction calculation unit included in the traffic light detection apparatus according to the embodiment of the present invention.
  • FIG. 11 is a diagram for explaining an example of processing when only two lamp candidates of the correction calculation unit provided in the traffic light detection apparatus according to the embodiment of the present invention are detected.
  • FIG. 12 is a diagram for explaining an example of processing when the number of lamp candidates detected is larger than the number of first detection areas of the correction calculation unit provided in the traffic light detection apparatus according to the embodiment of the present invention.
  • FIG. 13 is a diagram for explaining an example of processing when the number of lamp candidates detected is larger than the number of first detection areas of the correction calculation unit included in the traffic light detection apparatus according to the embodiment of the present invention.
  • FIG. 14 is a diagram for explaining an example of processing when the number of lamp candidates detected is larger than the number of first detection areas of the correction calculation unit provided in the traffic light detection apparatus according to the embodiment of the present invention.
  • FIG. 12 is a diagram for explaining an example of processing when the number of lamp candidates detected is larger than the number of first detection areas of the correction calculation unit provided in the traffic light detection apparatus according to the embodiment of the present invention.
  • FIG. 13
  • FIG. 15 is a diagram illustrating an example of processing when the number of lamp candidates detected is smaller than the number of first detection areas of the correction calculation unit included in the traffic light detection apparatus according to the embodiment of the present invention.
  • FIG. 16 is a diagram illustrating an example of processing when the scale for the entire image of the third detection area setting unit included in the traffic light detection apparatus according to the embodiment of the present invention is also changed.
  • the traffic signal detection apparatus 100 As shown in FIG. 1, the traffic signal detection apparatus 100 according to the present embodiment is installed around a road on which the vehicle 5 travels from an image captured by an imaging unit (camera) mounted on the vehicle (moving body) 5. Detected traffic lights.
  • the traffic signal detection apparatus 100 receives landmark information D01, map information D02, and camera information D03.
  • the traffic signal detection apparatus 100 outputs a traffic signal detection result as traffic signal information D04 based on the landmark information D01, the map information D02, and the camera information D03.
  • the landmark information D01 is used to detect the current position (self-position) on the map of the vehicle 5 traveling in the real environment.
  • the landmark includes a feature (ground landmark) provided on the ground and a GPS satellite that transmits a GPS signal that can be received by the vehicle 5.
  • the landmark information D01 includes, for example, position information of ground landmarks on the map.
  • the map information D02 includes position information such as a road shape on which the vehicle 5 travels and position information such as a ground landmark that can be associated in advance between the real environment and the map.
  • the camera information D03 is used to extract an image around the vehicle (for example, forward) from the imaging unit. For example, zoom, pan and tilt information for determining the imaging direction, information for determining image resolution, and the like are set.
  • the traffic signal detection apparatus 100 includes an imaging unit (camera) 11, a self-position detection unit 12, a traffic signal position estimation unit 13, a second detection area setting unit 14, a lamp detection unit 15, A traffic signal detection area setting unit 16 and a traffic signal detection unit 17 are provided.
  • the imaging unit 11 is mounted on the vehicle 5 and images the surroundings of the vehicle 5 to acquire an image.
  • the imaging unit 11 includes a solid-state imaging device such as a CCD or a CMOS, and acquires a digital image that can be processed.
  • the imaging unit 11 sets the angle of view, vertical and horizontal angles, resolution, and the like of the camera based on the camera information D03, and outputs an image captured for a necessary area around the vehicle 5 as image data D08. To do.
  • the self-position detector 12 detects the current position (self-position) of the vehicle 5 on the map based on the landmark information D01 and the map information D02.
  • the landmark information D01 is information on the relative position of the ground landmark (store, famous place, tourist spot, etc.) detected by a sensor such as an in-vehicle camera or a laser radar, for example, with respect to the vehicle 5.
  • the self-position detection unit 12 detects the current position (self-position) of the vehicle 5 on the map by comparing the position information of the ground landmark in the landmark information D01 with the position information of the ground landmark in the map information D02. can do.
  • position includes coordinates and orientation.
  • the position of the ground landmark includes the coordinates and orientation of the ground landmark
  • the current position of the vehicle 5 includes the coordinates and orientation of the vehicle 5 on the map.
  • the self-position detecting unit 12 outputs the coordinates in the reference orthogonal coordinate system and the posture that is the rotation direction of each coordinate axis as self-position information D05.
  • the self-position detecting unit 12 detects the initial position on the map of the vehicle 5 using the landmark information D01 and the map information D02, and cumulatively adds the movement amount of the vehicle 5 to the initial position. Detect the current position (self position) on the map.
  • the self-position detection unit 12 can estimate the amount of movement of the vehicle 5 per unit time, that is, the amount of change in coordinates and posture, using odometry, a radar device, a gyro sensor, a yaw rate sensor, a rudder angle sensor, and the like. .
  • the traffic signal position estimation unit 13 estimates the relative position of the traffic signal with respect to the vehicle 5 from the map information D02 and the self-position information D05.
  • the traffic signal position estimation unit 13 estimates the relative coordinates of the traffic signal with respect to the vehicle 5 from the coordinate information on the map of the traffic signal existing around the vehicle 5 and the coordinates and posture information of the current position on the map of the vehicle.
  • the traffic signal position estimation unit 13 outputs the estimated relative coordinates of the traffic signal as relative position information D06.
  • the traffic light indicated by the relative position information D06 is a traffic light that presents a traffic signal to the vehicle 5, that is, a traffic light that the vehicle should follow.
  • the second detection region setting unit 14 predicts that there are a plurality of traffic signals on the image captured by the imaging unit 11 from the relative position of the traffic signal indicated by the relative position information D06, the second detection region setting unit 14 A second detection area including a traffic light is set on the image. Since the imaging unit 11 is fixed to the vehicle, if the angle of view and the imaging direction of the imaging unit 11 are determined, the second detection area setting unit 14 predicts the area of the traffic signal on the image from the relative position information D06. be able to. The second detection region setting unit 14 sets a second detection region including a plurality of traffic lights based on the predicted traffic signal region on the image, and outputs the second detection region information D07.
  • the second detection area setting unit 14 is predicted in consideration of these errors so that each traffic signal does not deviate from the second detection area even if the behavior of the vehicle 5 or the self-position information D05 includes an error.
  • a second detection area including all areas of the traffic light on the image is set. For example, as shown in FIG. 3, when it is predicted that a plurality of traffic signals TS1 to TS4 exist on the image indicated by the image data D08, the second detection area information D07 is stored in the areas of the plurality of traffic signals TS1 to TS4. On the other hand, it is set to have a predetermined margin in consideration of the error at the top, bottom, left and right ends.
  • the lamp detection unit 15 performs image processing for detecting the lamp of the traffic light on the second detection area of the image captured by the imaging unit 11, so that the characteristics of the lamp of the traffic signal are detected from the second detection region. Detect lamp candidates with. For example, the lamp detection unit 15 extracts pixels that blink at a specific cycle based on the AC cycle of the commercial power supply, and detects the region as a lamp candidate. Alternatively, the lamp detection unit 15 can detect lamp candidates using similarity determination processing of hue and shape. In this way, the lamp detection unit 15 can detect lamp candidates using various image processing methods or combinations thereof. The lamp detection unit 15 outputs the position and area of the detected lamp candidate on the image as lamp candidate information D09.
  • the lamp detection unit 15 performs the image processing only on the second detection region set as a part of the image, not the entire region of the image captured by the imaging unit 11, thereby detecting the lamp candidate. Therefore, the processing load and processing time can be reduced.
  • the second detection area may be set by the second detection area setting unit 14 as the entire area of the image captured by the imaging unit 11. For example, when the lamp detection unit 15 detects a lamp candidate from the second detection area in the example shown in FIG. 3, lamp candidate information D09 is set in the lamp area of each of the traffic lights TS1 to TS4 to be lit as shown in FIG. Is done.
  • the traffic signal detection area setting unit 16 Based on the relative position information D06 and the lamp candidate information D09, the traffic signal detection area setting unit 16 sets a third detection area corresponding to each traffic signal that is narrower than the second detection area on the image captured by the imaging unit 11. Set and output as third detection area information D10. A detailed description of the traffic light detection area setting unit 16 will be described later.
  • the traffic signal detection unit 17 detects the traffic signal from the third detection region by performing image processing for detecting the traffic signal on the third detection region of the image captured by the imaging unit 11, and as traffic signal information D04. Output.
  • the traffic light detection unit 17 stores in advance the feature pattern of the entire image including the traffic signal housing and lamp, and detects an image in the third detection region having a high similarity as a traffic signal by pattern matching. To do. A method similar to that of the lamp detection unit 15 may be combined, or the traffic light can be detected from the third detection region using various image processing methods or a combination thereof. Even in the same manner as the lamp detection unit 15, the third detection area is narrower than the second detection area. Therefore, the lamp candidate detected in the second detection area is detected except for the lamps other than the signal lamp. Can do.
  • the self-position detection unit 12, the traffic signal position estimation unit 13, the second detection area setting unit 14, the lamp detection unit 15, the traffic signal detection area setting unit 16, and the traffic signal detection unit 17 include, for example, a central processing unit (CPU), a memory, and This is realized using a microcontroller having an input / output unit. In this case, a plurality of information processing units (12 to 17) are configured by the CPU executing a computer program preinstalled in the microcontroller.
  • the microcontroller may also be used as an electronic control unit (ECU) used for other control related to the vehicle 5 such as automatic driving control.
  • ECU electronice control unit
  • the traffic light detection area setting unit 16 includes a first detection area setting unit 21, a correction calculation unit 22, and a third detection area setting unit 23, as shown in FIG.
  • the first detection area setting unit 21 sets the first detection area on the image for each traffic signal predicted to be present on the image captured by the imaging unit 11 from the relative position of the traffic signal indicated by the relative position information D06. To do. Since the imaging unit 11 is fixed to the vehicle, when the angle of view and the imaging direction of the imaging unit 11 are determined, the first detection area setting unit 21 predicts the area of the traffic signal on the image from the relative position information D06. be able to.
  • the second detection area setting unit 14 sets a first detection area for each predicted traffic signal and outputs first detection area information D11.
  • the first detection area setting unit 21 sets the first detection area so as to include the casing of the traffic light so that the traffic light is included in the first detection area regardless of which lamp of the traffic light is lit. It may be.
  • the first detection area setting unit 21 may set the first detection area in consideration of the possibility that the self-position information D05 is shifted in the traveling direction of the vehicle 5. For example, when the distance from the vehicle 5 to the traffic signal is calculated as 60 m based on the self-position information D05, it is assumed that the actual distance from the vehicle 5 to the traffic signal is 50 m. At this time, the size of the traffic light on the actual image is 60/50 times the size of the traffic light on the image predicted from the self-position information D05. Further, when the distance from the vehicle 5 to the traffic signal is shifted, the relative position information D06 is also shifted. For example, in the example shown in FIG.
  • the first detection area setting unit 21 sets the first detection area as a first detection area in which an area that can compensate for the deviation on the image of the traffic light is added in consideration of an error that may occur in the self-position information D05. May be.
  • the first detection area setting unit 21 sets the first detection areas in areas corresponding to the traffic lights TS1 to TS4 as shown in FIG. A mask image M that masks the image excluding the first detection region is generated.
  • the first detection area setting unit 21 outputs the mask image M as first detection area information D11.
  • the correction calculation unit 22 calculates a correction amount (correction value) for the first detection area based on the lamp candidate information D09 and the first detection area information D11.
  • the correction calculation unit 22 collates the position of the lamp candidate detected in the second detection area with the first detection area of the mask image M, and the position of the lamp candidate and the first detection area of the mask image M are the most. Find the corresponding position.
  • the correction calculation unit 22 calculates a correction value necessary for correcting the mask image M to a position where the position of the lamp candidate and the first detection area of the mask image M correspond most, and outputs the correction value as correction information D12. A detailed description of the correction calculation unit 22 will be described later.
  • the third detection area setting unit 23 corrects the position on the image of the first detection area indicated by the first detection area information D11 based on the correction value indicated by the correction information D12, and the corrected first detection area By setting the position on the image as the third detection region, the third detection region is set on the image captured by the imaging unit 11, and is output as the third detection region information D10.
  • step S1 when the presence of a plurality of traffic lights on the image is predicted based on the relative position information D06, the second detection area setting unit 14 selects a second detection area including the predicted plurality of traffic lights. It sets on the image imaged by the imaging unit 11.
  • step S2 the lamp detection unit 15 performs image processing for detecting the lamp of the traffic light on the image of the second detection area, so that the lamp having the characteristics of the lamp of the traffic light is detected from the second detection area. Detect candidates. The position and area of the detected lamp candidate on the image are output as lamp candidate information D09.
  • step S ⁇ b> 3 the first detection area setting unit 21 sets the first detection area on the image for each traffic signal predicted to exist on the image captured by the imaging unit 11 based on the relative position information D06 of the traffic signal. Set.
  • step S4 the correction calculation unit 22 searches for a position where the position of the lamp candidate detected in the second detection area most closely corresponds to the first detection area of the mask image M.
  • the mask image M is collated by moving it on the image, and the first detection area most overlaps with the position of the lamp candidate, and the corresponding position is searched.
  • the correction calculation unit 22 determines the amount of movement of the mask image M to the position where the position of the lamp candidate and the first detection region of the mask image M at this time most correspond to each other, and the first detection of the position of the lamp candidate and the mask image M. It is calculated as a correction value necessary for correcting to the position most corresponding to the area.
  • step S5 the third detection region setting unit 23 performs correction by moving the first detection region by the correction value calculated by the correction calculation unit 22, and the corrected position of the first detection region on the image is corrected. Set as the third detection region.
  • step S6 the traffic signal detection unit 17 detects the traffic signal from the third detection region by performing image processing for detecting the traffic signal on the third detection region of the image captured by the imaging unit 11.
  • step S41 the correction calculation unit 22 sets the initial value of the counter value i to N, where N is the number of first detection areas.
  • step S42 the correction calculation unit 22 determines whether or not the counter value i is 1. If the counter value i is 1, the correction calculation unit 22 proceeds to step S43 and calculates the correction value as 0. If the counter value i is not 1, the correction calculation unit 22 proceeds to step S44.
  • step S44 the correction calculation unit 22 collates the first detection area of the mask image M with the position of the lamp candidate detected in the second detection area, and the position of the lamp candidate corresponds to the first detection area (overlapping). ) It is determined whether there is a position where the number is i. If the position where the number is i is found, the correction calculation unit 22 proceeds to step S45, and calculates the amount of movement from the first detection region to the position where the number is i as a correction value. If the position where the number is i cannot be found, the correction calculation unit 22 decrements the counter value i, and returns the process to step S42.
  • the correction values are the movement coordinates (x, y) and rotation angle ( ⁇ ) of the first detection area when the position of the lamp candidate and the first detection area of the mask image M most closely correspond in the last step S44. .
  • FIG. 11 is an example of calculation of a correction value when only two lamp candidates are detected due to the obstruction of the angle of view of the imaging unit 11 while the number N of the first detection areas is four.
  • FIG. 13 is an example of calculating a correction value when the number of detected lamp candidates is larger than the number of first detection areas. For example, it is assumed that the number N of the first detection areas is 4, whereas five lamp candidates including three erroneous detections are detected due to the obstruction of the angle of view or surrounding objects.
  • the correction calculation unit 22 translates the mask image M to the lower right so that the position of the two lamp candidates is near the center of each first detection area of the mask image M.
  • FIG. 14 is an example of calculation of a correction value when the number of detected lamp candidates is larger than the number of first detection areas.
  • the number N of the first detection areas is 4, whereas five lamp candidates are detected due to obstruction of the angle of view or surrounding objects.
  • the correction calculation unit 22 calculates the correction value so that the position of the lamp candidate and the first detection area of the mask image M most correspond to each other by translating the mask image M to the upper right or lower right.
  • Is assumed to be B, i 3.
  • the correction calculation unit 22 may select the one having the smaller correction value (movement amount of the mask image M).
  • the correction calculation unit 22 discards the image of the frame in which the lamp candidate is detected, and the lamp detection unit 15 performs the ramp detection on the next frame image. Candidates may be detected. Thereby, the correction
  • FIG. 15 is an example of calculation of a correction value when the number of lamp candidates detected is smaller than the number of first detection areas.
  • the number N of the first detection areas is 4, whereas three lamp candidates are detected due to the obstruction of the angle of view or surrounding objects.
  • the first detection area Suppose that the number corresponding to the position of the lamp candidate does not exceed 1.
  • the correction calculation unit 22 sets the correction value to 0 in the same manner when the number of detected lamp candidates is 1.
  • the third detection area setting unit 23 does not change the scale of the first detection area indicated by the first detection area information D11 and the coordinates (x, y) are parallel to each other.
  • the third detection area is set by moving the image and, in some cases, by rotating the rotation angle ⁇ .
  • the third detection area may be configured such that the scale of the entire image is changed with respect to the first detection area. Good.
  • the third detection area setting unit 23 performs the entire image of the first detection area based on the center point of each corrected first detection area or the center point of the lamp candidate that overlaps the corrected first detection area. You may make it set a 3rd detection area
  • the scale of the third detection region can be set so that the size of the traffic signal housing is predicted based on the size of the lamp candidate, and the traffic signal housing is included in the third detection region on the image. Thereby, it is possible to cope with a case where the estimation error of the current position in the traveling direction of the vehicle is large.
  • FIG. 16 is an example of calculating a correction value when the scale of the entire image is also changed.
  • FIG. 16A shows a case where the estimation error of the current position in the traveling direction of the vehicle is in a direction close to the traffic light, and the third detection area is set by reducing the scale of the entire image while translating the first detection area. is doing.
  • FIG. 16B assumes a case where it is unknown which lamp of the traffic light is lit, and the scale of the entire image is changed while the first detection area is translated so as to include the traffic signal housing. This is an example of expanding the horizontal width.
  • the size on the image is at least twice that of the traffic light in the lamp arrangement direction. As a result, even when it is unclear whether the lamp of the traffic light is lit, it is easy to find the position where the position of the lamp candidate and the first detection area most collate.
  • the first detection area set based on the relative position of the traffic light is corrected based on the lamp candidates detected in the actual environment, thereby detecting the traffic light.
  • a third detection region to be used is set.
  • the third detection region when the scale of the third detection region with respect to the entire image is equal to the first detection region, the third detection region is set based on the position of the lamp candidate. Therefore, it has the same size as the first detection area, and is set to an appropriate position in the detection of the traffic light. Therefore, the traffic signal detection apparatus 100 can reduce the false detection of the traffic signal and further improve the detection accuracy of the traffic signal.
  • the traffic light detection apparatus 100 when the third detection region is smaller than the area of the first detection region, the third detection region is set based on the position of the lamp candidate, and The signal detection process can be performed in a small area. Therefore, the traffic signal detection device 100 can further reduce the amount of calculation of the traffic signal detection process while reducing false detection of the traffic signal and improving the detection accuracy of the traffic signal.
  • the traffic light detection apparatus 100 even when only one lamp candidate is detected and the first detection area cannot be corrected appropriately, the first detection area is detected. A traffic light is detected as a third detection region. Thereby, the traffic signal detection apparatus 100 detects the traffic signal from the detection area set based on the relative position of the traffic signal, and can prevent the detection accuracy from deteriorating.
  • the traffic light detection apparatus 100 even when the number of first detection areas corresponding to lamp candidates is one and the first detection area cannot be appropriately corrected.
  • the traffic light is detected using the first detection area as the third detection area.
  • the traffic signal detection apparatus 100 detects the traffic signal from the detection area set based on the relative position of the traffic signal, and can prevent the detection accuracy from deteriorating.
  • the third detection area is set by correcting the first detection area at the position where the first detection area and the lamp candidate correspond most.
  • the traffic signal detection apparatus 100 has a high possibility that the third detection area includes a traffic signal on the image, and can further improve the detection accuracy of the traffic signal.
  • a traffic signal detection apparatus and a traffic signal detection method that improve the detection accuracy of a traffic signal by correcting a detection region set based on the relative position of the traffic signal based on an actual environment. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Navigation (AREA)

Abstract

信号機検出装置１００は、車両５の周囲に存在する信号機の位置情報を含む地図情報Ｄ０２と車両５の自己位置とに基づいて、信号機の車両５に対する相対位置を推定する信号機位置推定部１３と、信号機の相対位置から撮像部１１により取得された画像上に存在すると予測される信号機毎に、画像上に第１検出領域を設定する第１検出領域設定部２１と、画像上に複数の信号機が存在することが予測される場合、予測された複数の信号機を含む第２検出領域を画像上に設定する第２検出領域設定部１４と、第２検出領域から検出された信号機のランプ候補に基づいて、第１検出領域を補正することにより第３検出領域を設定する第３検出領域設定部２３と、第３検出領域から信号機を検出する信号機検出部１７とを備える。

Description

信号機検出装置及び信号機検出方法
　本発明は、交通信号機を検出する信号機検出装置及び信号機検出方法に関する。
　車両の前方を撮影した画像データに対して、車両が走行する道路形状及び車両の現在位置から予測された信号機の位置に基づいて、画像処理領域を決定し、画像処理領域から信号機を検出するシステムが提案されている（特許文献１参照）。このようなシステムは、画像処理の対象領域を限定することにより、画像処理における処理負荷を軽減するとともに、信号機でないものに対する誤検出を低減する。
特開２００７－２４１４６９号公報
　しかしながら、特許文献１に記載の技術は、画像処理領域を決定する際に、検出した車両の現在位置に含まれる誤差について考慮されていない。車両の現在位置の誤差は車両の走行状況や周囲環境に応じて大きく変化するため、特許文献１に記載の技術では、車両の現在位置の誤差がある場合、信号機が画像処理領域から外れてしまい、信号機を検出できない可能性がある。
　本発明は、上記問題点を鑑み、信号機の検出精度を向上することができる信号機検出装置及び信号機検出方法を提供することを目的とする。
　信号機検出装置は、信号機の相対位置に基づいて設定された第１検出領域を、実環境から検出されたランプ候補に基づいて補正することにより、第３検出領域を設定し、第３設定領域から信号機を検出する。
図１は、本発明の実施の形態に係る信号機検出装置の基本的な構成を説明する模式的なブロック図である。 図２は、本発明の実施の形態に係る信号機検出装置の構成及びデータフローを説明するブロック図である。 図３は、本発明の実施の形態に係る信号機検出装置に用いる第２検出領域を説明する図である。 図４は、本発明の実施の形態に係る信号機検出装置に用いるランプ候補を説明する図である。 図５は、本発明の実施の形態に係る信号機検出装置が備える信号機検出領域設定部の構成及びデータフローを説明するブロック図である。 図６は、本発明の実施の形態に係る信号機検出装置に用いる第１検出領域を説明する図である。 図７は、本発明の実施の形態に係る信号機検出装置による信号検出方法の一例を説明するフローチャートである。 図８は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の処理の一例を説明するフローチャートである。 図９は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の全ての信号機ランプがランプ候補として検出された場合の処理の一例を説明する図である。 図１０は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の撮像された画像にロール回転を生じている場合の処理の一例を説明する図である。 図１１は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の２つのランプ候補しか検出されなかった場合の処理の一例を説明する図である。 図１２は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の第１検出領域の数に対してランプ候補の検出数が多い場合の処理の一例を説明する図である。 図１３は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の第１検出領域の数に対してランプ候補の検出数が多い場合の処理の一例を説明する図である。 図１４は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の第１検出領域の数に対してランプ候補の検出数が多い場合の処理の一例を説明する図である。 図１５は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の第１検出領域の数に対してランプ候補の検出数が少ない場合の処理の一例を説明する図である。 図１６は、本発明の実施の形態に係る信号機検出装置が備える第３検出領域設定部の画像全体に対する縮尺も変更する場合の処理の一例を説明する図である。
　図面を参照して、本発明の実施の形態を説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付し、重複する説明を省略する。
（信号機検出装置）
　本実施の形態に係る信号機検出装置１００は、図１に示すように、車両（移動体）５に搭載された撮像部（カメラ）により撮像された画像から、車両５が走行する道路周辺に設置された信号機を検出する。信号機検出装置１００は、ランドマーク情報Ｄ０１と、地図情報Ｄ０２と、カメラ情報Ｄ０３とが入力される。信号機検出装置１００は、ランドマーク情報Ｄ０１、地図情報Ｄ０２及びカメラ情報Ｄ０３に基づいて、信号機の検出結果を信号機情報Ｄ０４として出力する。
　ランドマーク情報Ｄ０１は、実環境で走行している車両５の地図上の現在位置（自己位置）を検出するために用いられる。ランドマークには、地上に設けられた特徴物（地上ランドマーク）や、及び車両５が受信可能なＧＰＳ信号を発信するＧＰＳ衛星が含まれる。ランドマーク情報Ｄ０１は、例えば、地図上の地上ランドマークの位置情報を含む。地図情報Ｄ０２は、車両５が走行する道路形状等の位置情報と、予め実環境と地図の間で対応付けされた可能な、地上ランドマーク等の位置情報を含む。カメラ情報Ｄ０３は、撮像部から車両の周囲（例えば前方）の画像を抽出するために用いられる。例えば、撮像方向を決めるズーム、パン及びチルトの情報や、画像の解像度を決める情報などが設定される。
　信号機検出装置１００は、図２に示すように、撮像部（カメラ）１１と、自己位置検出部１２と、信号機位置推定部１３と、第２検出領域設定部１４と、ランプ検出部１５と、信号機検出領域設定部１６と、信号機検出部１７とを備える。
　撮像部１１は、車両５に搭載され、車両５の周囲を撮像して画像を取得する。撮像部１１は、ＣＣＤ、ＣＭＯＳ等の固体撮像素子を備え、画像処理可能なデジタル画像を取得する。撮像部１１は、カメラ情報Ｄ０３に基づいて、カメラの画角、垂直及び水平方向の角度、解像度等を設定し、車両５の周囲の必要な領域に対して撮像した画像を画像データＤ０８として出力する。
　自己位置検出部１２は、ランドマーク情報Ｄ０１及び地図情報Ｄ０２に基づいて、車両５の地図上の現在位置（自己位置）を検出する。ランドマーク情報Ｄ０１は、例えば、車載のカメラ或いはレーザレーダ等のセンサにより検出された地上ランドマーク（店舗、名所、観光スポット等）の、車両５に対する相対位置の情報である。自己位置検出部１２は、ランドマーク情報Ｄ０１の地上ランドマークの位置情報と地図情報Ｄ０２の地上ランドマークの位置情報とを照合することにより、車両５の地図上の現在位置（自己位置）を検出することができる。
　ここで、本実施の形態において、「位置」は、座標及び姿勢を含む。具体的には、地上ランドマークの位置には、地上ランドマークの座標及び姿勢が含まれ、車両５の現在位置には、車両５の地図上の座標及び姿勢が含まれる。自己位置検出部１２は、基準となる直交座標系における座標及び、各座標軸の回転方向である姿勢を自己位置情報Ｄ０５として出力する。
　例えば、自己位置検出部１２は、ランドマーク情報Ｄ０１及び地図情報Ｄ０２を用いて車両５の地図上の初期位置を検出し、初期位置に、車両５の移動量を累積加算することで車両５の地図上の現在位置（自己位置）を検出する。自己位置検出部１２は、オドメトリ、レーダ装置、ジャイロセンサ、ヨーレートセンサ、舵角センサ等を用いて、単位時間当たりの車両５の移動量、つまり、座標及び姿勢の変化量を推定することができる。
　信号機位置推定部１３は、地図情報Ｄ０２と自己位置情報Ｄ０５とから、車両５に対する信号機の相対位置を推定する。信号機位置推定部１３は、車両５の周囲に存在する信号機の地図上の座標情報と車両の地図上の現在位置の座標及び姿勢情報とから、車両５に対する信号機の相対座標を推定する。信号機位置推定部１３は、推定した信号機の相対座標を相対位置情報Ｄ０６として出力する。相対位置情報Ｄ０６に示される信号機は、車両５に対して交通信号を提示する信号機、すなわち、車両が従うべき信号機である。
　第２検出領域設定部１４は、相対位置情報Ｄ０６に示される信号機の相対位置から、撮像部１１により撮像される画像上に複数の信号機が存在することが予測される場合、予測された複数の信号機を含む第２検出領域を画像上に設定する。撮像部１１は車両に固定されているため、撮像部１１の画角及び撮像方向が定まれば、第２検出領域設定部１４は、相対位置情報Ｄ０６から、画像上の信号機の領域を予測することができる。第２検出領域設定部１４は、予測される画像上の信号機の領域に基づいて、複数の信号機を含む第２検出領域を設定し、第２検出領域情報Ｄ０７として出力する。
　第２検出領域設定部１４は、車両５の挙動や自己位置情報Ｄ０５に誤差が含まれたとしても各信号機が第２検出領域から外れないように、これらの誤差分を考慮し、予測される画像上の信号機の領域を全て含む第２検出領域を設定する。例えば、図３に示すように、画像データＤ０８が示す画像上に複数の信号機ＴＳ１～ＴＳ４が存在することが予測される場合、第２検出領域情報Ｄ０７は、複数の信号機ＴＳ１～ＴＳ４の領域に対して、上下左右の端に、誤差分を考慮した所定のマージンを有するように設定される。
　ランプ検出部１５は、撮像部１１により撮像された画像の第２検出領域に対して、信号機のランプを検出するための画像処理を実施することにより、第２検出領域から、信号機のランプの特徴を持ったランプ候補を検出する。例えば、ランプ検出部１５は、商用電源の交流周期に基づく特定の周期で点滅する画素を抽出してその領域をランプ候補として検出する。或いは、ランプ検出部１５は、色相及び形状の類似判定処理を用いて、ランプ候補を検出することができる。このように、ランプ検出部１５は、種々の画像処理方法又はそれらの組み合わせを用いてランプ候補を検出することができる。ランプ検出部１５は、検出したランプ候補の画像上の位置及び領域を、ランプ候補情報Ｄ０９として出力する。
　なお、ランプ検出部１５は、撮像部１１により撮像された画像の全領域でなく、画像の一部に設定された第２検出領域のみに対して画像処理を実施することにより、ランプ候補検出のための処理負荷及び処理時間を低減することができる。但し、第２検出領域は、第２検出領域設定部１４により、撮像部１１により撮像された画像の全領域として設定されてもよい。例えば、ランプ検出部１５が、図３に示す例において第２検出領域からランプ候補を検出すると、図４に示すように、点灯する各信号機ＴＳ１～ＴＳ４のランプの領域にランプ候補情報Ｄ０９が設定される。
　信号機検出領域設定部１６は、相対位置情報Ｄ０６及びランプ候補情報Ｄ０９に基づいて、撮像部１１により撮像された画像上に、第２検出領域よりも狭い、各信号機に対応する第３検出領域を設定し、第３検出領域情報Ｄ１０として出力する。信号機検出領域設定部１６についての詳細な説明は後述する。
　信号機検出部１７は、撮像部１１により撮像された画像の第３検出領域に対して信号機を検出するための画像処理を実施することにより、第３検出領域から信号機を検出し、信号機情報Ｄ０４として出力する。例えば、信号機検出部１７は、予め信号機の筐体、ランプを含んだ全体の画像の特徴パターンを記憶しておき、第３検出領域内の画像をパターンマッチングにより類似度が高いものを信号機として検出する。ランプ検出部１５と同様の手法を組み合わせても良いし、種々の画像処理方法又はそれらの組み合わせを用いて第３検出領域から信号機を検出することができる。ランプ検出部１５と同様の手法でも、第３検出領域は第２検出領域よりも狭いため、第２検出領域で検出したランプ候補のうち、信号機のランプ以外のものを除き、信号機を検出することができる。
　自己位置検出部１２、信号機位置推定部１３、第２検出領域設定部１４、ランプ検出部１５、信号機検出領域設定部１６及び信号機検出部１７は、例えば、中央演算処理装置（ＣＰＵ）、メモリ及び入出力部を備えるマイクロコントローラを用いて実現される。この場合、マイクロコントローラに予めインストールされたコンピュータプログラムをＣＰＵが実行することにより、複数の情報処理部（１２～１７）がそれぞれ構成される。マイクロコントローラは、例えば自動運転制御等の車両５に関わる他の制御に用いる電子制御ユニット（ＥＣＵ）と兼用されてもよい。
　信号機検出領域設定部１６は、図５に示すように、第１検出領域設定部２１と、補正算出部２２と、第３検出領域設定部２３とを備える。
　第１検出領域設定部２１は、相対位置情報Ｄ０６に示される信号機の相対位置から、撮像部１１により撮像される画像上に存在すると予測される信号機毎に、画像上に第１検出領域を設定する。撮像部１１は車両に固定されているため、撮像部１１の画角及び撮像方向が定まれば、第１検出領域設定部２１は、相対位置情報Ｄ０６から、画像上の信号機の領域を予測することができる。第２検出領域設定部１４は、予測される信号機毎に第１検出領域を設定し、第１検出領域情報Ｄ１１を出力する。
　第１検出領域設定部２１は、例えば、信号機が有するどのランプが点灯していても信号機が第１検出領域に含まれるように、信号機の筐体も含むように第１検出領域を設定するようにしてもよい。
　或いは、第１検出領域設定部２１は、自己位置情報Ｄ０５が車両５の進行方向においてずれている可能性を考慮して第１検出領域を設定するようにしてもよい。例えば、自己位置情報Ｄ０５に基づいて、車両５から信号機までの距離が６０ｍと算出される場合において、実際の車両５から信号機までの距離が５０ｍであったとする。このとき、実際の画像上の信号機のサイズは、自己位置情報Ｄ０５から予測される画像上の信号機のサイズの６０／５０倍となる。また、車両５から信号機までの距離がずれると、相対位置情報Ｄ０６もずれる。例えば、図３に示す例において、５０ｍ先にある信号機までの距離が６０ｍと算出される場合、奥の信号機ＴＳ１～ＴＳ３が左上、手前の信号機ＴＳ４が右上にずれてしまう。このように、第１検出領域設定部２１は、自己位置情報Ｄ０５に生じ得る誤差を考慮して、信号機の画像上のずれを補うことができる領域を加えた第１検出領域として設定するようにしてもよい。
　第１検出領域設定部２１は、図３に示すように信号機ＴＳ１～ＴＳ４が予測される場合、図６に示すように、各信号機ＴＳ１～ＴＳ４に対応する領域に第１検出領域を設定し、第１検出領域を除いて画像をマスクするマスク画像Ｍを生成する。第１検出領域設定部２１は、マスク画像Ｍを第１検出領域情報Ｄ１１として出力する。
　補正算出部２２は、ランプ候補情報Ｄ０９及び第１検出領域情報Ｄ１１に基づいて、第１検出領域に対する補正量（補正値）を算出する。補正算出部２２は、第２検出領域において検出されたランプ候補の位置と、マスク画像Ｍの第１検出領域とを照合して、ランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応する位置を探す。補正算出部２２は、マスク画像Ｍを、ランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応する位置に補正するのに必要な補正値を算出し、補正情報Ｄ１２として出力する。補正算出部２２についての詳細な説明は後述する。
　第３検出領域設定部２３は、補正情報Ｄ１２が示す補正値に基づいて、第１検出領域情報Ｄ１１により示される第１検出領域の画像上の位置を補正し、補正後の第１検出領域の画像上の位置を第３検出領域とすることにより、撮像部１１により撮像された画像上に第３検出領域を設定し、第３検出領域情報Ｄ１０として出力する。
（信号機検出方法）
　以下、図７のフローチャートを用いて、本実施の形態に係る信号機検出装置による信号機検出方法の一例を説明する。
　ステップＳ１において、第２検出領域設定部１４は、画像上に複数の信号機が存在することが相対位置情報Ｄ０６に基づいて予測される場合、予測された複数の信号機を含む第２検出領域を、撮像部１１により撮像された画像上に設定する。
　ステップＳ２において、ランプ検出部１５は、第２検出領域の画像に対して信号機のランプを検出するための画像処理を実施することにより、第２検出領域から、信号機のランプの特徴を持ったランプ候補を検出する。検出したランプ候補の画像上の位置及び領域を、ランプ候補情報Ｄ０９として出力する。
　ステップＳ３において、第１検出領域設定部２１は、信号機の相対位置情報Ｄ０６に基づいて、撮像部１１により撮像された画像上に存在すると予測される信号機毎に、画像上に第１検出領域を設定する。
　ステップＳ４において、補正算出部２２は、第２検出領域において検出されたランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応する位置を探す。マスク画像Ｍを画像上で移動させることにより照合し、第１検出領域がランプ候補の位置と最も重なり、対応する位置を探す。補正算出部２２は、この際のランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応する位置へのマスク画像Ｍの移動量を、ランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応する位置に補正するのに必要な補正値として算出する。
　ステップＳ５において、第３検出領域設定部２３は、補正算出部２２により算出された補正値分、第１検出領域を移動させることにより補正し、補正後の第１検出領域の画像上の位置を第３検出領域として設定する。
　ステップＳ６において、信号機検出部１７は、撮像部１１により撮像された画像の第３検出領域に対して信号機を検出するための画像処理を実施することにより、第３検出領域から信号機を検出する。
（補正算出部２２の処理）
　以下、図８に示すフローチャートを用いて、図７のフローチャートのステップＳ４における補正算出部２２の処理について説明する。
　ステップＳ４１において、補正算出部２２は、第１検出領域の数をＮとして、カウンタ値ｉの初期値をＮに設定する。ステップＳ４２において、補正算出部２２は、カウンタ値ｉが１か否かを判定する。補正算出部２２は、カウンタ値ｉが１である場合、ステップＳ４３に処理を進め、補正値を０として算出する。補正算出部２２は、カウンタ値ｉが１でない場合、ステップＳ４４に処理を進める。
　ステップＳ４４において、補正算出部２２は、マスク画像Ｍの第１検出領域と第２検出領域において検出されたランプ候補の位置とを照合し、ランプ候補の位置が第１検出領域と対応する（重なる）数がｉとなる位置があるか否かを判定する。補正算出部２２は、数がｉとなる位置を探し出せた場合、ステップＳ４５に処理を進め、第１検出領域から数がｉとなる位置までの移動量を補正値として算出する。補正算出部２２は、数がｉとなる位置を探し出せない場合、カウンタ値ｉをデクリメントし、ステップＳ４２に処理を戻す。補正値は、最後のステップＳ４４においてランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応したときの、第１検出領域の移動座標（ｘ，ｙ）及び回転角（θ）とする。
　例えば、図９は、第１検出領域の数Ｎが４であり、全ての信号機の点灯するランプがランプ候補として検出された場合の補正値の算出の例である。全ての第１検出領域がランプ候補の位置と重なったとする。この場合、補正算出部２２は、全てのランプ候補が各第１検出部の中央に近くなる位置を、ランプ候補の位置と第１検出領域とが最も対応する位置として補正値を算出する。図１０に示す例では、補正算出部２２は、各第１検出領域を右下に平行移動させることにより、マスク画像Ｍの移動量を算出している。補正値は、移動座標（画素）（ｘ，ｙ）、回転角θ（＝０）のように算出される。
　図１０は、第１検出領域の数Ｎが４であり、全ての信号機の点灯するランプがランプ候補として検出されたが、撮像部１１により撮像された画像にロール回転を生じている場合の補正値の算出の例である。第１検出領域がランプ候補の位置と対応する数が４に満たなかったとする。ロール回転は、車両５の挙動により生じ得る。この場合、補正算出部２２は、回転角θ分マスク画像Ｍを回転させることにより、ｉ＝４とする。更に、補正算出部２２は、各ランプ候補の位置が第１検出領域の中央に近くなるような位置を探しだし、補正値を算出する。このとき補正値は、移動座標（ｘ，ｙ）、回転角θのように算出される。
　図１１は、第１検出領域の数Ｎが４であるのに対して、撮像部１１の画角の阻害等により、２つのランプ候補しか検出されなかった場合の補正値の算出の例である。この場合、補正算出部２２は、マスク画像Ｍを右下に平行移動させることにより、２つのランプ候補の位置がマスク画像Ｍの各第１検出領域と重なる位置を探しだす（ｉ＝２）。更に、補正算出部２２は、カウンタ値ｉが２の状態で、２つのランプ候補の位置がマスク画像Ｍの各第１検出領域の中央近くになるような位置を探しだし、補正値を算出する。補正値は、移動座標（ｘ，ｙ）、回転角θ（＝０）のように算出される。
　図１２は、第１検出領域の数に対してランプ候補の検出数が多い場合の補正値の算出の例である。例えば、第１検出領域の数Ｎが４であるのに対して、車両５の周囲の物体等により、誤検出を含む７つのランプ候補が検出されたとする。この場合、補正算出部２２は、マスク画像Ｍを右下に平行移動させることにより、４つのランプ候補の位置がマスク画像Ｍの各第１検出領域の中央近くになる位置を、ランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応する位置として補正値を算出する（ｉ＝４）。補正値は、移動座標（ｘ，ｙ）、回転角θ（＝０）のように算出される。
　図１３は、第１検出領域の数に対してランプ候補の検出数が多い場合の補正値の算出の例である。例えば、第１検出領域の数Ｎが４であるのに対して、画角の阻害や周囲の物体等により、３つの誤検出を含む５つのランプ候補が検出されたとする。この場合、補正算出部２２は、マスク画像Ｍを右下に平行移動させることにより、２つのランプ候補の位置がマスク画像Ｍの各第１検出領域の中央近くになる位置を、ランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応する位置として補正値を算出する（ｉ＝２）。補正値は、移動座標（ｘ，ｙ）、回転角θ（＝０）のように算出される。
　図１４は、第１検出領域の数に対してランプ候補の検出数が多い場合の補正値の算出の例である。例えば、第１検出領域の数Ｎが４であるのに対して、画角の阻害や周囲の物体等により、５つのランプ候補が検出されたとする。このとき、補正算出部２２は、マスク画像Ｍを右上又は右下に平行移動させることにより、ランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応するように補正値を算出する。マスク画像Ｍの第１検出領域を右上に補正して第３検出領域をＡのように仮定すると、ｉ＝２となり、マスク画像Ｍの第１検出領域を右下に補正して第３検出領域をＢのように仮定すると、ｉ＝３となる。この場合、ランプ候補の１つが誤検出である可能性もあるため、補正算出部２２は、補正値（マスク画像Ｍの移動量）が少ない方を選択すればよい。補正値は、移動座標（ｘ，ｙ）、回転角θ（＝０）のように算出される。
　或いは、別の選択方法として、補正算出部２２は、複数の補正値が算出可能な場合、ランプ候補を検出したフレームの画像を破棄し、次のフレームの画像に対してランプ検出部１５がランプ候補を検出するようにしてもよい。これにより、補正算出部２２は、誤った信号機の検出結果が出力されることを防止することができる。
　図１５は、第１検出領域の数に対してランプ候補の検出数が少ない場合の補正値の算出の例である。例えば、第１検出領域の数Ｎが４であるのに対して、画角の阻害や周囲の物体等により、３つのランプ候補が検出されたとする。また、マスク画像Ｍの第１検出領域を補正しない状態で、第１検出領域がランプ候補と対応する数が１であり、１つのマスク画像Ｍをどのように移動させても、第１検出領域がランプ候補の位置と対応する数が１を超えないとする。このとき、補正算出部２２は、補正値を０（移動座標（０，０）、回転角θ（＝０））とする。すなわち、信号機検出部１７は、第１検出領域情報Ｄ１１が示す第１検出領域から、信号機を検出することになる。なお、補正算出部２２は、検出されたランプ候補の数が１の場合も同様に、補正値を０とする。
　図９～図１５に示す例において、第３検出領域設定部２３は、第１検出領域情報Ｄ１１が示す第１検出領域を、画像全体に対する縮尺を変更せず、座標（ｘ，ｙ）を平行移動させ、場合によっては回転角θ分回転させることにより、第３検出領域を設定しているが、第３検出領域は、画像全体に対する縮尺を第１検出領域に対して変更するようにしてもよい。
　第３検出領域設定部２３は、平行移動での補正後の各第１検出領域の中心点或いは補正後の第１検出領域に重なるランプ候補の中心点を基準に、第１検出領域の画像全体に対する縮尺を変更することにより第３検出領域を設定するようにしてもよい。第３検出領域の縮尺は、ランプ候補の大きさに基づいて信号機の筐体の大きさを予測し、画像上において信号機の筐体が第３検出領域に含まれるように設定することができる。これにより、車両の進行方向の現在位置の推定誤差が大きい場合にも対応することができる。
　例えば図１６は、画像全体に対する縮尺も変更する場合の補正値の算出例である。第１検出領域を平行移動すると伴に画像全体に対する縮尺を変更することにより、車両の進行方向の現在位置の推定誤差が大きい場合にも対応することができる。図１６Ａは、車両の進行方向の現在位置の推定誤差が信号機に近い方向へ出ている場合で、第１検出領域を平行移動すると伴に画像全体に対する縮尺を小さくして第３検出領域を設定している。図１６Ｂは、信号機のどのランプが点灯しているか不明な場合を想定して、信号機の筐体を含むように、第１検出領域を平行移動すると伴に画像全体に対する縮尺を変更した上、更に、横幅を拡大する例である。信号機の筐体を含むように設定する場合、ランプの配列方向において、少なくとも信号機の２倍の画像上の大きさとする。これにより信号機のとのランプが点灯しているか不明な場合にも、ランプ候補の位置と第１検出領域とが最も照合する位置を探しやすくなる。
　本実施の形態に係る信号機検出装置１００によれば、信号機の相対位置に基づいて設定された第１検出領域を、実環境において検出されたランプ候補に基づいて補正することにより、信号機の検出に用いる第３検出領域を設定する。これにより、本実施の形態に係る信号機検出装置は、画像上で、信号機が第３検出領域に含まれる可能性が高くなり、信号機の検出精度を向上することができる。
　また、本実施の形態に係る信号機検出装置１００によれば、第３検出領域の画像全体に対する縮尺が第１検出領域と等しい場合、第３検出領域は、ランプ候補の位置に基づいて設定されていることにより、第１検出領域と同じ大きさで、信号機の検出において適切な位置に設定される。よって、信号機検出装置１００は、信号機の誤検出を低減し、信号機の検出精度を更に向上することができる。
　また、本発明の実施の形態に係る信号機検出装置１００によれば、第３検出領域が第１検出領域の面積より小さい場合、第３検出領域は、ランプ候補の位置に基づいて設定され、かつ、小さい面積で信号機の検出処理ができる。よって、信号機検出装置１００は、信号機の誤検出を低減し、信号機の検出精度を向上しながら、更に信号機の検出処理の演算量を低減することができる。
　また、本実施の形態に係る信号機検出装置１００によれば、ランプ候補が１つしか検出されずに、第１検出領域を適切に補正することができない場合であっても、第１検出領域を第３検出領域として信号機を検出する。これにより、信号機検出装置１００は、信号機の相対位置に基づいて設定した検出領域から信号機を検出することとなり、検出精度の悪化を防止することができる。
　また、本実施の形態に係る信号機検出装置１００によれば、第１検出領域がランプ候補と対応する数が１つであり、第１検出領域を適切に補正することができない場合であっても、第１検出領域を第３検出領域として信号機を検出する。これにより、信号機検出装置１００は、信号機の相対位置に基づいて設定した検出領域から信号機を検出することとなり、検出精度の悪化を防止することができる。
　また、本実施の形態に係る信号機検出装置１００によれば、第１検出領域とランプ候補とが最も対応する位置に第１検出領域を補正することにより第３検出領域を設定する。これにより、信号機検出装置１００は、画像上において、第３検出領域が信号機を含む可能性が高くなり、信号機の検出精度を更に向上することができる。
　上記のように、本発明を上記の実施の形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。その他、上記の各構成を相互に応用した構成等、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
　本発明によれば、信号機の相対位置に基づいて設定された検出領域を、実環境に基づいて補正することにより、信号機の検出精度を向上する信号機検出装置及び信号機検出方法を提供することができる。
　５　車両（移動体）
　１１　撮像部（カメラ）
　１２　自己位置検出部
　１３　信号機位置推定部
　１４　第２検出領域設定部
　１７　信号機検出部
　２１　第１検出領域設定部
　２３　第３検出領域設定部
　１００　信号機検出装置

Claims (7)

  1. 　移動体の周囲を撮像して画像を取得する撮像部１１と、
    　前記移動体の自己位置を検出する自己位置検出部と、
    　前記移動体の周囲に存在する信号機の位置情報を含む地図情報と前記自己位置とに基づいて、前記信号機の前記移動体に対する相対位置を推定する信号機位置推定部と、
    　前記信号機の相対位置から前記画像上に存在すると予測される信号機毎に、前記画像上に第１検出領域を設定する第１検出領域設定部と、
    　前記画像上に複数の信号機が存在することが予測される場合、予測された前記複数の信号機を含む第２検出領域を前記画像上に設定する第２検出領域設定部と、
    　前記第２検出領域から検出された信号機のランプ候補に基づいて、前記第１検出領域を補正することにより第３検出領域を設定する第３検出領域設定部と、
    　前記第３検出領域から信号機を検出する信号機検出部と
    　を備えることを特徴とする信号機検出装置。
  2. 　前記第３検出領域設定部は、画像全体に対する縮尺が、前記第１検出領域と等しい前記第３検出領域を設定することを特徴とする請求項１に記載の信号機検出装置。
  3. 　前記第３検出領域設定部は、前記第１検出領域より面積が小さい前記第３検出領域を設定することを特徴とする請求項１に記載の信号機検出装置。
  4. 　前記信号機検出部は、前記第２検出領域から検出された前記ランプ候補の数が１の場合、前記第１検出領域から信号機を検出することを特徴とする請求項１～３のいずれか１項に記載の信号機検出装置。
  5. 　前記信号機検出部は、前記画像上において、前記第１検出領域が前記ランプ候補と対応する数が１の場合、前記第１検出領域から信号機を検出することを特徴とする請求項１～４のいずれか１項に記載の信号機検出装置。
  6. 　前記第３検出領域設定部は、前記画像上において、前記第１検出領域と前記ランプ候補とが最も対応する位置に、前記第１検出領域を補正することにより、第３検出領域を設定することを特徴とする請求項１～５のいずれか１項に記載の信号機検出装置。
  7. 　移動体の周囲に存在する信号機の位置情報を含む地図情報と前記移動体の自己位置とに基づいて、前記信号機の前記移動体に対する相対位置を推定することと、
    　前記信号機の相対位置から、前記移動体の周囲を撮像する撮像部により取得された画像上に存在すると予測される信号機毎に、前記画像上に第１検出領域を設定することと、
    　前記画像上に複数の信号機が存在することが予測される場合、予測された前記複数の信号機を含む第２検出領域を前記画像上に設定することと、
    　前記第２検出領域から検出された信号機のランプ候補に基づいて、前記第１検出領域を補正することにより第３検出領域を設定することと、
    　前記第３検出領域から信号機を検出することと
    　を含むこと特徴とする信号機検出方法。
PCT/JP2015/066615 2015-06-09 2015-06-09 信号機検出装置及び信号機検出方法 WO2016199225A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2017522792A JP6432680B2 (ja) 2015-06-09 2015-06-09 信号機検出装置及び信号機検出方法
BR112017026297-5A BR112017026297B1 (pt) 2015-06-09 2015-06-09 Dispositivo de detecção de sinal de trânsito e método de detecção de sinal de trânsito
MX2017015718A MX363873B (es) 2015-06-09 2015-06-09 Dispositivo de deteccion de señales de trafico y metodo de deteccion de señales de trafico.
CN201580080785.0A CN107735826B (zh) 2015-06-09 2015-06-09 信号机检测装置及信号机检测方法
CA2988843A CA2988843C (en) 2015-06-09 2015-06-09 Traffic signal detection device and traffic signal detection method
PCT/JP2015/066615 WO2016199225A1 (ja) 2015-06-09 2015-06-09 信号機検出装置及び信号機検出方法
KR1020177036830A KR101974772B1 (ko) 2015-06-09 2015-06-09 신호기 검출 장치 및 신호기 검출 방법
EP15894910.7A EP3309767B1 (en) 2015-06-09 2015-06-09 Traffic signal detection device and traffic signal detection method
US15/580,550 US10210407B2 (en) 2015-06-09 2015-06-09 Traffic signal detection device and traffic signal detection method
RU2017146241A RU2700646C2 (ru) 2015-06-09 2015-06-09 Устройство обнаружения светофора и способ обнаружения светофора

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/066615 WO2016199225A1 (ja) 2015-06-09 2015-06-09 信号機検出装置及び信号機検出方法

Publications (1)

Publication Number Publication Date
WO2016199225A1 true WO2016199225A1 (ja) 2016-12-15

Family

ID=57503325

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/066615 WO2016199225A1 (ja) 2015-06-09 2015-06-09 信号機検出装置及び信号機検出方法

Country Status (10)

Country Link
US (1) US10210407B2 (ja)
EP (1) EP3309767B1 (ja)
JP (1) JP6432680B2 (ja)
KR (1) KR101974772B1 (ja)
CN (1) CN107735826B (ja)
BR (1) BR112017026297B1 (ja)
CA (1) CA2988843C (ja)
MX (1) MX363873B (ja)
RU (1) RU2700646C2 (ja)
WO (1) WO2016199225A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740627B2 (en) * 2017-05-10 2020-08-11 Fotonation Limited Multi-camera vision system and method of monitoring
CN108877269B (zh) * 2018-08-20 2020-10-27 清华大学 一种交叉路口车辆状态检测及v2x广播方法
JP7040399B2 (ja) * 2018-10-23 2022-03-23 トヨタ自動車株式会社 情報処理システム及び情報処理方法
US11679769B2 (en) 2019-11-12 2023-06-20 Nissan Motor Co., Ltd. Traffic signal recognition method and traffic signal recognition device
KR102214022B1 (ko) * 2020-01-07 2021-02-09 주식회사 에프에스솔루션 교통 신호의 식별 방법, 이를 이용하는 교통 신호 식별 장치 및 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005347945A (ja) * 2004-06-01 2005-12-15 Toyota Motor Corp 車両周辺監視装置及び車両周辺監視方法
JP2007241469A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 画像処理システム
US20120288138A1 (en) * 2011-05-10 2012-11-15 GM Global Technology Operations LLC System and method for traffic signal detection
JP2013045176A (ja) * 2011-08-22 2013-03-04 Pioneer Electronic Corp 信号機認識装置、候補点パターン送信装置、候補点パターン受信装置、信号機認識方法、及び候補点パターン受信方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099789A (ja) * 2001-09-20 2003-04-04 Mitsubishi Electric Corp 車両検出装置
RU115114U1 (ru) * 2011-11-22 2012-04-20 Общество с ограниченной ответственностью Научно-производственная фирма "Мета" Автоматизированная система обучения управлению транспортным средством
US8831849B2 (en) * 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
US9145140B2 (en) 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
WO2014162797A1 (ja) * 2013-04-04 2014-10-09 日産自動車株式会社 信号認識装置
RU144555U1 (ru) * 2014-05-05 2014-08-27 Павел Юрьевич Михайлов Устройство для повышения безопасности движения транспортного средства

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005347945A (ja) * 2004-06-01 2005-12-15 Toyota Motor Corp 車両周辺監視装置及び車両周辺監視方法
JP2007241469A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 画像処理システム
US20120288138A1 (en) * 2011-05-10 2012-11-15 GM Global Technology Operations LLC System and method for traffic signal detection
JP2013045176A (ja) * 2011-08-22 2013-03-04 Pioneer Electronic Corp 信号機認識装置、候補点パターン送信装置、候補点パターン受信装置、信号機認識方法、及び候補点パターン受信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3309767A4 *

Also Published As

Publication number Publication date
JP6432680B2 (ja) 2018-12-12
JPWO2016199225A1 (ja) 2018-05-10
BR112017026297B1 (pt) 2023-01-17
EP3309767A4 (en) 2018-06-06
MX363873B (es) 2019-04-05
KR101974772B1 (ko) 2019-05-02
CN107735826B (zh) 2019-07-23
US10210407B2 (en) 2019-02-19
US20180349717A1 (en) 2018-12-06
MX2017015718A (es) 2018-04-24
RU2700646C2 (ru) 2019-09-18
RU2017146241A3 (ja) 2019-07-17
BR112017026297A2 (ja) 2018-09-11
EP3309767A1 (en) 2018-04-18
CA2988843A1 (en) 2016-12-15
CN107735826A (zh) 2018-02-23
RU2017146241A (ru) 2019-07-09
CA2988843C (en) 2019-04-23
EP3309767B1 (en) 2020-01-01
KR20180009786A (ko) 2018-01-29

Similar Documents

Publication Publication Date Title
JP6432680B2 (ja) 信号機検出装置及び信号機検出方法
JP6222353B2 (ja) 物標検出装置及び物標検出方法
JP5966747B2 (ja) 車両走行制御装置及びその方法
US10789491B2 (en) Traffic light recognition device and traffic light recognition method
JP6299517B2 (ja) 信号機認識装置及び信号機認識方法
JP6273352B2 (ja) 物体検出装置、物体検出方法、および移動ロボット
JP6377970B2 (ja) 視差画像生成装置及び視差画像生成方法
JP6365103B2 (ja) 信号機検出装置及び信号機検出方法
JP2020067698A (ja) 区画線検出装置及び区画線検出方法
JP2018073275A (ja) 画像認識装置
JP6855233B2 (ja) 障害物検出装置および障害物検出方法
JP5142801B2 (ja) オフセット補正装置およびオフセット補正方法
JP2008064716A (ja) 車両方位補正システム
JP2022014673A (ja) 画像処理装置
JP2019029986A (ja) 撮像制御装置および撮像制御方法
JP2018116620A (ja) 画像処理装置、画像処理システムおよび画像処理方法
WO2020203829A1 (ja) 車両位置決定装置、車両位置決定システムおよび車両位置決定方法
JP2011129048A (ja) 画像から平面を検出する平面検出装置及び検出方法
JP2013182561A (ja) 段差検出装置
WO2020129715A1 (ja) 画像補正装置、画像補正方法、及びプログラム
JP6337446B2 (ja) 画像処理装置及び方法、並びに画像処理装置の制御プログラム
JP2015226240A (ja) 車両姿勢判定装置
JP2020119212A (ja) 画像処理装置
JP2016018411A (ja) 情報処理装置、情報処理方法およびプログラム
JP2020197826A (ja) 立柱検出装置及び立柱検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15894910

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017522792

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2988843

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: MX/A/2017/015718

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20177036830

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2017146241

Country of ref document: RU

Ref document number: 2015894910

Country of ref document: EP

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112017026297

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112017026297

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20171206