WO2017006451A1 - 灯火器検出装置及び灯火器検出方法 - Google Patents

灯火器検出装置及び灯火器検出方法 Download PDF

Info

Publication number
WO2017006451A1
WO2017006451A1 PCT/JP2015/069599 JP2015069599W WO2017006451A1 WO 2017006451 A1 WO2017006451 A1 WO 2017006451A1 JP 2015069599 W JP2015069599 W JP 2015069599W WO 2017006451 A1 WO2017006451 A1 WO 2017006451A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
edge portion
lamp
edge
luminance
Prior art date
Application number
PCT/JP2015/069599
Other languages
English (en)
French (fr)
Inventor
沖　孝彦
松尾　治夫
大貴 山ノ井
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to MX2018000029A priority Critical patent/MX364013B/es
Priority to EP15897714.0A priority patent/EP3321911B1/en
Priority to CN201580081528.9A priority patent/CN107851382B/zh
Priority to RU2018104690A priority patent/RU2668885C1/ru
Priority to JP2017527026A priority patent/JP6455596B2/ja
Priority to KR1020187000796A priority patent/KR101920186B1/ko
Priority to CA2991471A priority patent/CA2991471C/en
Priority to PCT/JP2015/069599 priority patent/WO2017006451A1/ja
Priority to US15/742,404 priority patent/US10074022B2/en
Priority to BR112018000133-3A priority patent/BR112018000133B1/pt
Publication of WO2017006451A1 publication Critical patent/WO2017006451A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Definitions

  • the present invention relates to a lighting device detection apparatus and a lighting device detection method.
  • Patent Document 1 a traffic signal detection device that detects a traffic signal from an image captured by a camera is known (see Patent Document 1).
  • a signal lamp candidate is detected from an image based on the color and shape of the signal lamp, and it is determined whether the signal lamp candidate blinks at a predetermined cycle.
  • the position of the edge portion having a luminance difference equal to or larger than a predetermined value included in the image captured during the movement is also moved.
  • a luminance step response occurs in the region where the edge portion has moved, and noise having a wide frequency component is generated.
  • noise having a wide frequency component may be erroneously recognized as the lighting device.
  • the present invention has been made in view of the above problems, and its purpose is to suppress erroneous detection of a luminance step response as a lighting device even when the edge portion moves, and to stabilize the lighting device. It is an object to provide a lamp detection device and a lamp detection method capable of detection.
  • the lighting device detection apparatus detects an edge portion having a luminance difference of a predetermined value or more from a camera image, and adjusts the luminance difference of the edge portion to generate a smooth image. And the synchronous pixel from which a brightness
  • the luminance gradient which is the luminance difference between adjacent pixels in the edge portion
  • the luminance gradient is smoothed, so that the luminance of the step response of the luminance of the pixel due to the edge portion moving the position on the image
  • the noise intensity in the power frequency band is reduced, and it is possible to suppress erroneous detection of noise due to the step response of the luminance of the pixel as a lighting device, and to detect the lighting device stably.
  • FIG. 1 is a block diagram showing the overall configuration of the lighting device detection apparatus according to the first embodiment.
  • 2A (a) shows a camera image
  • FIG. 2A (b) shows an edge portion detected from FIG. 2A (a)
  • FIG. 2A (c) adjusts the luminance of the edge portion of FIG. 2A (b).
  • generated by this is shown.
  • FIG. 2B (a) shows a camera image
  • luminance of a part is shown.
  • FIG. 3A is a diagram illustrating an example of a smoothing process for adjusting the luminance of the center pixel using the luminance of the surrounding eight pixels.
  • FIGS. 3B (a) and 3 (b) are diagrams illustrating an example of smoothing processing for adjusting the luminance of the center pixel using the luminance of the surrounding six pixels, and smoothing processing of the edge portion extending in the vertical direction. is there.
  • FIGS. 3C (a) and 3 (b) are diagrams illustrating an example of the smoothing process for adjusting the brightness of the center pixel using the brightness of the surrounding 6 pixels, and smoothing the edge portion extending in the horizontal direction. is there.
  • FIG. 4 is a block diagram showing the detailed configuration of the synchronized image generation circuit 24 and the reference signal setting circuit 23.
  • FIG. 5 is a flowchart showing an example of a lamp detection method using the lamp detection apparatus of FIG.
  • FIG. 6 is a block diagram showing the overall configuration of the lighting device detection apparatus according to the second embodiment.
  • FIG. 7 is a flowchart showing an example of a lamp detection method using the lamp detection apparatus of FIG.
  • the traffic light detection device is mounted on a vehicle, captures an image of the surroundings of the vehicle and acquires a camera image, an image processing unit 12 that detects a lamp using the camera image acquired by the imaging unit 11, and With a map database.
  • the imaging unit 11 is a digital camera equipped with a solid-state imaging device (image sensor), for example, a CCD or a CMOS, and acquires a camera image that can be image-processed.
  • image sensor solid-state imaging device
  • the imaging unit 11 repeatedly captures, for example, the front of the vehicle at predetermined time intervals, and acquires a plurality of continuous camera images.
  • the imaging unit 11 performs imaging a plurality of times during one AC cycle of the system power supply supplied to the lamp.
  • the imaging unit 11 can capture a lighting device existing in front of the vehicle in each camera image. That is, the image sensor has at least sensitivity enough to detect the lighting device.
  • a “lighting device” is an artificial light source that emits light when supplied with system power, such as a traffic light signal light, a self-luminous road sign, and other electric lights (self-luminous signboard, vending machine, etc. Light emitting part).
  • the image processing unit 12 receives the data of the camera image acquired by the imaging unit 11, and detects the type of the lighting device included in the camera image.
  • the information on the detected lamp is transferred to another processing arithmetic device (vehicle CPU 16) mounted on the vehicle, including a controller for realizing automatic driving of the vehicle, for example.
  • vehicle CPU 16 processing arithmetic device mounted on the vehicle, including a controller for realizing automatic driving of the vehicle, for example.
  • the image processing unit 12 includes, for example, a microcontroller including a CPU, a memory, and an input / output unit, and configures a plurality of information processing circuits included in the lamp detection device by executing a computer program installed in advance.
  • the image processing unit 12 repeatedly executes a series of information processing cycles (including edge detection processing, edge smoothing processing, and power synchronization processing) for detecting a lighting device from a camera image for each of a plurality of continuous color images.
  • the image processing unit 12 may also be used as an ECU used for other control relating to the vehicle.
  • the plurality of information processing circuits configured by the image processing unit 12 include an edge detection circuit 21, an edge smoothing circuit 22, a reference signal setting circuit 23, a synchronous image generation circuit 24, and a lamp detection circuit 26. It is.
  • the edge detection circuit 21 detects an edge portion where the luminance difference between adjacent pixels is a predetermined value or more from the camera image. For example, the edge detection circuit 21 detects the edge portion 31a shown in FIG. 2A (b) from the camera image shown in FIG. 2A (a). In FIG. 2A (a), (0) and (255) indicate luminance values (8 bits), respectively. (0) indicates black and (255) indicates white. The grid in FIG. 2A (a) shows a pixel. The edge detection circuit 21 detects, as an edge portion 31a, a portion that produces a luminance difference equal to or greater than a predetermined threshold value between adjacent pixels. A portion where the luminances (0) and (255) are adjacent to each other in FIG.
  • the edge part 31a shown in FIG. 2A (b) is configured by a total of 16 pixels that are continuous in a rectangular shape of 4 vertical pixels and 4 horizontal pixels.
  • the luminance value of the pixel to which the edge portion has moved changes in a step response, so that a luminance value is generated as noise in a wide frequency band.
  • the predetermined value which is a predetermined threshold, is set based on the luminance difference of the edge portion where noise that is extracted as a synchronized image occurs.
  • Specific edge detection methods are not particularly limited, and existing techniques can be used. For example, a Sobel operator, a Prewitt operator, and a Canny method can be used.
  • the edge smoothing circuit 22 adjusts the luminance difference of the edge part 31a in the camera image so as to generate a smooth image. For example, the edge smoothing circuit 22 daringly adjusts the luminance difference of the edge part 31a in the camera image shown in FIG. 2A (a) to generate the smoothed image shown in FIG. 2A (c). At this time, in the camera image of FIG. 2A (b), the brightness difference is daringly adjusted so that the brightness gradient, which is the brightness difference between adjacent pixels in the edge portion 31a, becomes gentle. As an example, the edge smoothing circuit 22 adjusts each luminance of a total of 16 pixels constituting the edge part 31a shown in FIG. 2A (b) by the smoothing process shown below. A small adjustment is made so that the luminance difference of the edge portion 31a does not generate noise that is extracted as a synchronized image.
  • the central pixel represented as “0” corresponds to the pixel constituting the edge portion 31a.
  • the luminance of the pixel is adjusted to the average value of the luminance of the surrounding eight pixels. This process is performed on each of the 16 pixels constituting the edge portion 31a.
  • the luminance of the eight pixels forming the four sides of the edge portion 31a is adjusted to (192), and the luminance of the four pixels forming the four corners of the edge portion 31a is adjusted to (96). Adjusted. In this way, the brightness difference of the camera image of FIG.
  • FIG. 2A (a) is adjusted to be small so that the brightness gradient, which is the brightness difference between adjacent pixels in the edge portion 31a, becomes gentle, and FIG. 2A (c) Smooth images are generated.
  • a pixel group composed of two vertical pixels and two horizontal pixels that are surrounded by eight pixels whose luminances are adjusted and whose luminances are not adjusted constitutes a region 32a for detecting a lamp.
  • FIGS. 3B (a) and 3 (b) show examples of smoothing edge portions extending in the vertical direction
  • FIGS. 3C (a) and 3 (b) show examples of smoothing edge portions extending in the horizontal direction.
  • smoothing processing may be performed by a different method between the edge portion extending in the vertical direction and the edge portion extending in the horizontal direction in the edge portion 31a in FIG. 2A (b).
  • only the edge portion extending in the horizontal direction or the vertical direction may be smoothed according to the moving direction of the image.
  • the synchronized image generation circuit 24 (synchronized pixel extraction circuit) extracts a synchronized pixel whose luminance changes in synchronization with the AC cycle of the power supplied to the lamp from the smooth image, and is a synchronized image made up of synchronized pixels. Is generated.
  • the reference signal setting circuit 23 sets a reference signal used when extracting a synchronous pixel.
  • the synchronous image generation circuit 24 includes an image memory 35, a multiplication circuit 36, and an average processing circuit 37.
  • the reference signal setting circuit 23 includes a reference signal generation circuit 38 and a phase determination circuit 39.
  • the reference signal generation circuit 38 acquires frequency information of the system power supply (commercial power supply) around the vehicle using the own vehicle position information 14 shown in FIG. , 100 Hz) to generate a reference signal whose intensity varies.
  • the own vehicle position information 14 can be obtained from a positioning signal such as a GPS signal, or position information of a landmark reflected in a camera image.
  • the multiplication circuit 36 reads out a smooth image stored in the image memory 35 and multiplies the reference signal to extract a synchronous pixel.
  • the multiplication circuit 36 performs the multiplication process described above for each of the plurality of smooth images stored in the image memory 35 at the same time.
  • the average processing circuit 37 calculates the average value of the multiplication results for each smoothed image by the multiplication circuit 30 and outputs the average value as a synchronized image composed of synchronized pixels.
  • the phase determination circuit 39 determines whether the phase of the reference signal is synchronized with the luminance fluctuation phase of the smoothed image, and feeds back the determination result to the reference signal generation circuit 38.
  • the reference signal generation circuit 38 receives this feedback and adjusts the phase of the reference signal so that the phase of the reference signal is synchronized with the luminance fluctuation of the smoothed image. Specifically, the phase of the reference signal is adjusted so that the multiplication result of the multiplication circuit 36, that is, the luminance of the synchronized pixel takes the maximum value. By this feedback control, the brightness of the synchronized image can be increased.
  • the electric power supplied to the lamp is AC power obtained by full-wave rectification of commercial power.
  • the brightness of the lamp that is lit by receiving power supplied from a commercial power supply changes in the same cycle as the cycle of full-wave rectified AC power (for example, 100 Hz). Synchronized pixels whose luminance changes in synchronization with the AC cycle of power supplied to the lamp can be extracted from the smooth image.
  • the brightness difference at the edge portion is adjusted to be small so that the brightness gradient, which is the brightness difference between adjacent pixels in the edge portion, becomes gentle, and then the brightness changes in synchronization with the AC cycle of power. Extract pixels.
  • the spatial frequency is less likely to be mixed in time-frequency synchronization detection, and noise included in the synchronized image can be reduced.
  • the lighting device detection circuit 26 determines a synchronized pixel having a luminance higher than a predetermined luminance threshold as a lighting device from the synchronized image, and detects the position of the lighting device on the synchronized image. Then, the type of the lighting device is detected using at least one of the synchronization image, the edge image, and the camera image. For example, the lighting device detection circuit 26 uses pattern matching to determine whether the shape of the lighting device is similar to a self-luminous road sign. Then, the lighting device detection circuit 26 determines whether or not the hue of the position of the camera image corresponding to the position of the lighting device is similar to the lighting color of the traffic signal. With these determination functions, it is possible to determine whether the lighting device is a traffic light signal light, a self-luminous road sign, or another electric light.
  • step S01 the imaging unit 11 continuously acquires camera images.
  • the acquired plurality of camera images are stored in the memory.
  • the process proceeds to step S03.
  • the edge detection circuit 21 uses, for example, a Sobel operator or a Prewitt operator to select an edge portion 31a (FIG. 2A (b)) having a luminance difference of a predetermined value or more from the camera image (FIG. 2A (a)). To detect.
  • the edge smoothing circuit 22 gradually reduces the luminance gradient, which is the luminance difference between adjacent pixels in the edge portion 31a.
  • a smooth image (FIG. 2A (c)) is generated by adjusting the luminance difference of the camera image to be small.
  • step S07 the synchronous image generation circuit 24 extracts, from the smooth image, a synchronous pixel whose luminance changes in synchronization with the AC cycle of the power supplied to the lamp, and generates a synchronous image including the synchronous pixels. Generate.
  • the phase determination circuit 39 refers to the synchronized image and determines whether the phase of the reference signal is synchronized with the luminance fluctuation of the smoothed image. For example, when the average luminance value of the entire synchronized image is less than a predetermined value, it is determined that the synchronization is not performed (NO in step S09), and the phase determination circuit 39 feeds back the determination result to the reference signal generation circuit 38.
  • the reference signal generation circuit 38 receives this feedback and adjusts the phase of the reference signal so that the phase of the reference signal is synchronized with the luminance fluctuation of the smoothed image (step S10).
  • step S09 When it is determined that they are synchronized (YES in step S09), the process proceeds to step S11, and the lighting device detection circuit 26 collects a synchronized pixel (pixel group) whose luminance is higher than a predetermined luminance threshold value from the synchronized image. Is determined as a lamp, and the position of the lamp on the synchronized image is detected.
  • the lighting device detection circuit 26 uses pattern matching to determine whether the shape of the lighting device (pixel group) is similar to a self-luminous road sign. If it is similar to the self-luminous road sign (YES in step S11), the lamp detection circuit 26 labels the lamp (pixel group) as a self-luminous road sign (step S15), and proceeds to step S21.
  • the lamp detection circuit 26 determines whether the hue of the position of the camera image corresponding to the position of the lamp is similar to the lamp color of the traffic signal. Judgment is made (step S13). If it is similar to the traffic light color (YES in S13), the light detector detection circuit 26 labels the light device (pixel group) as a traffic light signal light (step S17), and proceeds to step S21. If it is not similar to the color of the traffic light (NO in S13), the lamp detection circuit 26 labels the lamp (pixel group) as another lamp (step S19), and proceeds to step S21.
  • step S21 If the type determination of all the pixel groups determined as lamps from the synchronized image is not completed (NO in step S21), the process returns to step S11, and the type determination is performed for the pixel groups (lamps) that are not determined. carry out. After the type determination is completed for all the pixel groups (lamps) (YES in step S21), the lamp detection device transfers information on the detected lamps to the vehicle CPU 16.
  • the brightness difference that is a brightness difference between adjacent pixels in the edge portion is deliberately adjusted so that the brightness difference in the edge portion is small (S05), Synchronized pixels whose luminance changes synchronously are extracted (S07).
  • a luminance gradient that is a luminance difference between adjacent pixels in the edge portion becomes smooth.
  • the noise When noise is generated in the frequency band of the AC power cycle supplied to the lamp, the noise is also extracted as a synchronized pixel whose luminance changes in synchronization. Therefore, by adjusting the brightness difference of the edge portion so that the brightness gradient, which is the brightness difference between adjacent pixels in the edge portion, becomes gentle, the edge portion moves by changing the position on the image. Since erroneous detection of noise due to luminance step response as a synchronization pixel is suppressed, noise included in the synchronization image is reduced, and the lamp can be detected stably.
  • the extending direction (horizontal and vertical) of the edge portion to be subjected to edge detection and smoothing processing is not limited.
  • the vehicle body vibrates up and down, so that the amount of movement of the edge portion is greater in the vertical direction than in the horizontal direction. Therefore, in order to reduce the image processing burden and efficiently remove noise, only the edge portions that are continuous in the horizontal direction among the edge portions may be adjusted to be small.
  • the edge smoothing circuit 22 in FIG. 1 has a luminance between adjacent pixels only in the edge portion 31a that is continuous in the horizontal direction among the edge portions 31a shown in FIG. 2A (b) detected by the edge detection circuit 21.
  • the smoothing process can be performed only on the edge portion 31a that is continuous in the horizontal direction among the edge portions 31a. Thereby, a smooth image as shown in FIG. 2B (c) can be generated.
  • the edge detection circuit 21 in FIG. 1 may detect only the edge portion 31b that is continuous in the horizontal direction from the camera image in FIG. 2B (a).
  • the edge smoothing circuit 22 can perform a smoothing process on all the edge portions 31 b detected by the edge detection circuit 21.
  • a smooth image as shown in FIG. 2B (c) can be generated.
  • a pixel group composed of two vertical pixels and four horizontal pixels, the luminance of which is not adjusted, constitutes a region 32b for detecting a lighting device.
  • the detection area 32b in FIG. 2B (c) is wider than the detection area 32a in FIG. 2A (c) in which both horizontal and vertical edges are smoothed. This is because the edge portion extending in the vertical direction is left as it is without being smoothed.
  • the luminance gradient which is the luminance difference between adjacent pixels in the edge portions that are continuous in the horizontal direction
  • the edge part continued in the vertical direction can be left as a region for detecting the lamp without being smoothed. Therefore, it is possible to detect with high sensitivity even a lamp that is far from the vehicle and has low luminance while efficiently reducing noise at the edge portion.
  • the image processing burden associated with edge detection or edge smoothing is reduced.
  • the lamp detection device is different from FIG. 1 in that it further includes a vehicle behavior determination circuit 13.
  • the vehicle behavior determination circuit 13 includes a microcontroller, for example, and configures the vehicle behavior determination circuit 13 by executing a computer program installed in advance.
  • the vehicle behavior determination circuit 13 determines whether or not the speed of the position fluctuation of the edge portion in the camera image is equal to or higher than a reference value.
  • the reference value is a value serving as a reference for determining whether or not the edge portion needs to be smoothed, and is a predetermined value.
  • the vehicle behavior determination circuit 13 can estimate the speed of the position variation of the edge portion in the camera image based on the vehicle pitching information and suspension stroke information obtained by CAN communication from the skid prevention device (ESC).
  • FIG. 7 shows an example of a lamp detection method using the lamp detection apparatus of FIG. If the speed of position fluctuation of the edge portion in the camera image is equal to or higher than the reference value (YES in step S02), edge detection (S03) and smoothing (S05) are performed in the same manner as in the first embodiment. On the other hand, if the speed of the position fluctuation of the edge portion is less than the reference value (NO in step S02), the synchronized image generation circuit 24 directly selects the synchronized image from the camera image without performing edge detection and smoothing. What is necessary is just to produce
  • ⁇ Noise is likely to occur when the speed of the edge position change in the camera image increases. Therefore, when the speed of the position variation of the edge portion in the camera image is equal to or higher than the reference value, a synchronization pixel is extracted from the smooth image in order to suppress noise generation. On the other hand, if the speed is less than the reference value, noise is not generated so much, and a synchronized pixel is extracted from the camera image. In this way, the necessity for noise suppression is determined according to the speed of the position variation of the edge portion in the camera image. Therefore, the image processing burden from the camera image to the smooth image is reduced, and noise due to the edge portion can be efficiently suppressed.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

灯火器検出装置は、カメラ画像の中から所定値以上の輝度差を有するエッジ部（３１ａ、３１ｂ）を検出し（２１）、エッジ部の輝度差を小さく調整して平滑画像を生成する（２２）。そして、平滑画像の中から、灯火器に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出し（２４）、同期画素の中から灯火器を検出する（２６）。

Description

灯火器検出装置及び灯火器検出方法
　本発明は、灯火器検出装置及び灯火器検出方法に関するものである。
　従来から、カメラで撮像された画像の中から信号機を検出する信号機検出装置が知られている（特許文献１参照）。特許文献１では、画像の中から、信号灯の色及び形状に基づいて信号灯候補を検出し、信号灯候補が所定の周期で点滅しているか否かを判断している。
特開２００５－３０１５１８号公報
　カメラを搭載する車両が移動していると、移動中に撮像された画像に含まれる、所定値以上の輝度差を有するエッジ部の位置も移動する。これにより、エッジ部が移動した領域に輝度のステップ応答が生じ、広い周波数成分を持ったノイズが発生する。予め定めた周期で輝度が変動している画素を灯火器として抽出する場合、広い周波数成分を持ったノイズを灯火器として誤認識してしまう場合がある。
　本発明は、上記課題に鑑みて成されたものであり、その目的は、エッジ部が移動しても輝度のステップ応答を灯火器として誤検出することを抑制して、安定して灯火器を検出できる灯火器検出装置及び灯火器検出方法を提供することである。
　本発明の一態様に係わる灯火器検出装置は、カメラ画像の中から所定値以上の輝度差を有するエッジ部を検出し、エッジ部の輝度差を小さく調整して平滑画像を生成する。そして、平滑画像の中から、灯火器に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出し、同期画素の中から灯火器を検出する。
　本発明の一態様によれば、エッジ部の隣接する画素の間の輝度差である輝度勾配が滑らかになるので、エッジ部が画像上の位置を移動することによる画素の輝度のステップ応答の輝度差が小さくなることにより、電力周波数帯のノイズ強度が小さくなり、画素の輝度のステップ応答によるノイズを灯火器として誤検出することが抑制され、安定して灯火器を検出できる。
図１は、第１実施形態に係わる灯火器検出装置の全体構成を示すブロック図である。 図２Ａ（ａ）はカメラ画像を示し、図２Ａ（ｂ）は図２Ａ（ａ）から検出されたエッジ部を示し、図２Ａ（ｃ）は図２Ａ（ｂ）のエッジ部の輝度を調整して生成された平滑画像を示す。 図２Ｂ（ａ）はカメラ画像を示し、図２Ｂ（ｂ）は図２Ｂ（ａ）から検出された、水平方向に連続するエッジ部を示し、図２Ｂ（ｃ）は図２Ｂ（ｂ）のエッジ部の輝度を調整して生成された平滑画像を示す。 図３Ａは、周囲の８画素の輝度を用いて中央の画素の輝度を調整する平滑処理の一例を示す図である。 図３Ｂ（ａ）及び（ｂ）は、周囲の６画素の輝度を用いて中央の画素の輝度を調整する平滑処理であって、縦方向に伸びるエッジ部の平滑化処理の例を示す図である。 図３Ｃ（ａ）及び（ｂ）は、周囲の６画素の輝度を用いて中央の画素の輝度を調整する平滑処理であって、横方向に伸びるエッジ部の平滑化処理の例を示す図である。 図４は、同期画像生成回路２４及び基準信号設定回路２３の詳細な構成を示すブロック図である。 図５は、図１の灯火器検出装置を用いた灯火器検出方法の一例を示すフローチャートである。 図６は、第２実施形態に係わる灯火器検出装置の全体構成を示すブロック図である。 図７は、図６の灯火器検出装置を用いた灯火器検出方法の一例を示すフローチャートである。
（第１実施形態）
　次に、図面を参照して、本発明の実施の形態を詳細に説明する。
　図１を参照して、第１実施形態に係わる灯火器検出装置の全体構成を説明する。信号機検出装置は、車両に搭載され、車両の周囲を撮像してカメラ画像を取得する撮像部１１と、撮像部１１により取得されたカメラ画像を用いて灯火器を検出する画像処理部１２と、地図データベースとを備える。
　撮像部１１は、固体撮像素子（イメージセンサ）、例えばＣＣＤ又はＣＭＯＳを備えたディジタルカメラであって、画像処理が可能なカメラ画像を取得する。撮像部１１は、所定の時間間隔で繰り返し車両の例えば前方を撮像して、連続する複数のカメラ画像を取得する。撮像部１１は、灯火器に供給される系統電源の１交流周期の間に、複数回の撮像を行う。撮像部１１は、各カメラ画像に、車両の前方に存在する灯火器を写すことができる。つまり、イメージセンサは、少なくとも、灯火器を検出することができる程度の感度を有する。
　ここで、「灯火器」は、系統電源が供給されて発光する人工光源であって、交通信号機の信号灯、自発光式の道路標識、その他の電灯（自発光式の看板、自動販売機などの発光部）が含まれる。
　画像処理部１２は、撮像部１１により取得されたカメラ画像のデータを受信し、カメラ画像の中に含まれる灯火器の種別を検出する。検出された灯火器の情報は、例えば車両の自動運転を実現するためのコントローラを含む、車両に搭載された他の処理演算装置（車両ＣＰＵ１６）に転送される。画像処理部１２は、例えば、ＣＰＵ、メモリ、及び入出力部を備えるマイクロコントローラからなり、予めインストールされたコンピュータプログラムを実行することにより、灯火器検出装置が備える複数の情報処理回路を構成する。画像処理部１２は、カメラ画像から灯火器を検出する一連の情報処理サイクル（エッジ検出処理、エッジ平滑化処理及び電力同期処理を含む）を、連続する複数のカラー画像毎に繰り返し実行する。画像処理部１２は、車両にかかわる他の制御に用いるＥＣＵと兼用してもよい。
　画像処理部１２により構成される複数の情報処理回路には、エッジ検出回路２１と、エッジ平滑回路２２と、基準信号設定回路２３と、同期画像生成回路２４と、灯火器検出回路２６とが含まれる。
　エッジ検出回路２１は、カメラ画像の中から、隣接する画素の間の輝度差が所定値以上のエッジ部を検出する。例えば、エッジ検出回路２１は、図２Ａ（ａ）に示すカメラ画像から、図２Ａ（ｂ）に示すエッジ部３１ａを検出する。図２Ａ（ａ）中の（０）と（２５５）はそれぞれ輝度値（８ビット）を示す。（０）が黒、（２５５）が白を示す。図２Ａ（ａ）中の格子は画素を示す。エッジ検出回路２１は、隣接する画素の間で、予め定めた閾値以上の輝度差を生じる部分を、エッジ部３１ａとして検出する。図２Ａ（ａ）中の輝度（０）と（２５５）が隣接している部分は、エッジ部３１ａとして検出される。図２Ａ（ｂ）に示すエッジ部３１ａは、縦４画素及び横４画素の方形状に連続する合計１６画素により構成される。エッジ部の高輝度領域がカメラ画像上を移動すると、エッジ部が移動した画素の輝度はステップ応答で変化するため、広い周波数帯域で輝度値がノイズとして発生する。灯火器に供給される電力交流周期の周波数帯域にノイズが発生すると、ノイズも同期して輝度が変化する同期画素として抽出してしまう。よって、予め定める閾値である所定値は、同期画像として抽出されてしまうノイズが発生するエッジ部の輝度差に基づいて設定する。
　具体的なエッジ検出方法は特に問わず、既存の技術を用いることができる。例えば、ソーベル・オペレータ、Ｐｒｅｗｉｔｔオペレータ、キャニー法を用いることができる。
　エッジ平滑回路２２は、カメラ画像の中のエッジ部３１ａの輝度差を小さく調整して平滑画像を生成する。例えば、エッジ平滑回路２２は、図２Ａ（ａ）に示すカメラ画像の中のうち、敢えて、エッジ部３１ａの輝度差を小さく調整して、図２Ａ（ｃ）に示す平滑画像を生成する。このとき、図２Ａ（ｂ）のカメラ画像の中のうち、敢えて、エッジ部３１ａにおける隣接する画素の間の輝度差である輝度勾配が緩やかになるように輝度差を小さく調整する。その一例として、エッジ平滑回路２２は、図２Ａ（ｂ）に示した、エッジ部３１ａを構成する合計１６画素の各輝度を、次に示す平滑処理により、調整する。同期画像として抽出されてしまうノイズが発生しないエッジ部３１ａの輝度差となるように、小さく調整する。
　図３Ａにおいて、「０」と表記された中央の画素がエッジ部３１ａを構成する画素に相当する。図３Ａの方法では、当該画素の輝度を、その周囲の８画素の輝度の平均値に調整する。この処理を、エッジ部３１ａを構成する１６画素の各々に実施する。これにより、図２Ａ（ｃ）に示すように、エッジ部３１ａの４辺を成す８画素の輝度が（１９２）に調整され、エッジ部３１ａの４角を成す４画素の輝度が（９６）に調整される。このようにして、図２Ａ（ａ）のカメラ画像は、そのエッジ部３１ａにおける隣接する画素の間の輝度差である輝度勾配が緩やかになるように輝度差が小さく調整され、図２Ａ（ｃ）の平滑画像が生成される。輝度が調整された８つの画素に囲まれた、輝度が調整されていない、縦２画素及び横２画素からなる画素群は、灯火器を検出するための領域３２ａを構成する。
　このほか、図３Ｂ（ａ）、（ｂ）は縦方向に伸びるエッジ部を平滑処理する例を示し、図３Ｃ（ａ）、（ｂ）は横方向に伸びるエッジ部を平滑処理する例を示す。つまり、図２Ａ（ｂ）のエッジ部３１ａのうち、垂直方向に伸びるエッジ部と水平方向に伸びるエッジ部とで異なる方法で平滑処理を実施しても構わない。或いは、後述するように、画像の移動方向に応じて、水平方向或いは垂直方向に伸びるエッジ部のみを平滑処理しても構わない。
　同期画像生成回路２４（同期画素抽出回路）は、平滑画像の中から、灯火器に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出して、同期画素からなる同期画像を生成する。基準信号設定回路２３は、同期画素を抽出する際に用いる基準信号を設定する。
　図４に示すように、同期画像生成回路２４は、画像メモリ３５と、乗算回路３６と、平均処理回路３７とを備える。基準信号設定回路２３は、基準信号生成回路３８と、位相判定回路３９とを備える。先ず、基準信号生成回路３８は、図１に示す自車位置情報１４を用いて車両周辺における系統電源（商用電源）の周波数情報を取得し、系統電源を全波整流した交流電力の周期（例えば、１００Ｈｚ）で強度が変動する基準信号を生成する。なお、自車位置情報１４は、ＧＰＳ信号などの測位信号や、カメラ画像に写るランドマークの位置情報から求めることができる。
　乗算回路３６は、画像メモリ３５に記憶されている平滑画像を読み出して、基準信号を乗算することにより、同期画素を抽出する。乗算回路３６は、画像メモリ３５に同時に記憶されている複数の平滑画像の各々について、上記した乗算処理を実施する。平均処理回路３７は、乗算回路３０による平滑画像毎の乗算結果の平均値を求め、同期画素からなる同期画像として出力する。
　なお、位相判定回路３９は、基準信号の位相が平滑画像の輝度変動の位相に同期しているかを判断して、その判断結果を基準信号生成回路３８にフィードバックする。基準信号生成回路３８は、このフィードバックを受け、基準信号の位相が平滑画像の輝度変動に同期するように、基準信号の位相を調整する。具体的には、乗算回路３６の乗算結果、つまり同期画素の輝度が最大値を取るように、基準信号の位相を調整する。このフィードバック制御により、同期画像の輝度が高めることができる。
　灯火器に供給される電力は、商用電源の電力を全波整流した交流電力である。商用電源から電力の供給を受けて点灯する灯火器の輝度は、全波整流した交流電力の周期（例えば、１００Ｈｚ）と同じ周期で変化する。灯火器に供給される電力の交流周期に同期して輝度が変化する同期画素を平滑画像の中から抽出することができる。
　実施形態では、エッジ部における隣接する画素の間の輝度差である輝度勾配が緩やかになるようにエッジ部の輝度差を小さく調整したうえで、電力の交流周期と同期して輝度が変化する同期画素を抽出する。これにより、高輝度領域が空間移動している状況においても、時間周波数の同期検出に空間周波数が混入しにくくなり、同期画像に含まれるノイズを低減することができる。
　灯火器検出回路２６は、同期画像の中から予め定めた輝度閾値よりも輝度が高い同期画素を灯火器として判定して、同期画像上の灯火器の位置を検出する。そして、同期画像、エッジ画像、或いはカメラ画像の少なくとも何れか１つを用いて、灯火器の種別を検出する。例えば、灯火器検出回路２６は、パターンマッチングを用いて、灯火器の形状が自発光式の道路標識と類似するか否かを判断する。そして、灯火器検出回路２６は、灯火器の位置に対応するカメラ画像の位置の色相が交通信号機の灯火色と類似するか否かを判断する。これらの判断機能によって、灯火器が交通信号機の信号灯、自発光式の道路標識、あるいは、その他の電灯であるかを判断することができる。
　図５のフローチャートを参照して、図１の灯火器検出装置を用いた灯火器検出方法の一例を説明する。
　先ず、ステップＳ０１において、撮像部１１は、カメラ画像を連続して取得する。取得した複数のカメラ画像はメモリに記憶される。系統電源の１交流周期の間に、例えば６枚のカメラ画像が取得された後に、ステップＳ０３に進む。エッジ検出回路２１は、例えば、ソーベル・オペレータ、Ｐｒｅｗｉｔｔオペレータを用いて、カメラ画像（図２Ａ（ａ））の中から、所定値以上の輝度差を有するエッジ部３１ａ（図２Ａ（ｂ））を検出する。
　次に、ステップＳ０５に進み、図２Ａ、図３Ａ～図３Ｃを参照して説明したように、エッジ平滑回路２２は、エッジ部３１ａにおける隣接する画素の間の輝度差である輝度勾配が緩やかになるように、カメラ画像の輝度差を小さく調整して平滑画像（図２Ａ（ｃ））を生成する。
　ステップＳ０７に進み、同期画像生成回路２４は、平滑画像の中から、灯火器に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出して、同期画素からなる同期画像を生成する。ステップＳ０９に進み、位相判定回路３９は、同期画像を参照して、基準信号の位相が平滑画像の輝度変動に同期しているかを判断する。例えば、同期画像全体の平均輝度値が所定値未満である場合、同期していないと判断し（ステップＳ０９でＮＯ）、位相判定回路３９は、その判断結果を基準信号生成回路３８にフィードバックする。基準信号生成回路３８は、このフィードバックを受け、基準信号の位相が平滑画像の輝度変動に同期するように、基準信号の位相を調整する（ステップＳ１０）。
　同期していると判断した場合（ステップＳ０９でＹＥＳ）、ステップＳ１１に進み、灯火器検出回路２６は、同期画像の中から予め定めた輝度閾値よりも輝度が高い同期画素の集まり（画素群）を灯火器として判定して、同期画像上の灯火器の位置を検出する。灯火器検出回路２６は、パターンマッチングを用いて、灯火器（画素群）の形状が自発光式の道路標識と類似するか否かを判断する。自発光式の道路標識と類似する場合（ステップＳ１１でＹＥＳ）、灯火器検出回路２６は、灯火器（画素群）を自発光式の道路標識としてラベリングし（ステップＳ１５）、ステップＳ２１に進む。
　自発光式の道路標識と類似しない場合（ステップＳ１１でＮＯ）、灯火器検出回路２６は、灯火器の位置に対応するカメラ画像の位置の色相が交通信号機の灯火色と類似するか否かを判断する（ステップＳ１３）。交通信号機の灯火色と類似する場合（Ｓ１３でＹＥＳ）、灯火器検出回路２６は、灯火器（画素群）を交通信号機の信号灯としてラベリングし（ステップＳ１７）、ステップＳ２１に進む。交通信号機の灯火色と類似しない場合（Ｓ１３でＮＯ）、灯火器検出回路２６は、灯火器（画素群）を他の電灯としてラベリングし（ステップＳ１９）、ステップＳ２１に進む。
　同期画像の中から灯火器として判定された全ての画素群の種別判断が完了していなければ（ステップＳ２１でＮＯ）、ステップＳ１１に戻り、判断していない画素群（灯火器）について種別判断を実施する。全ての画素群（灯火器）について種別判断が完了した後（ステップＳ２１でＹＥＳ）、灯火器検出装置は、検出された灯火器の情報を車両ＣＰＵ１６に転送する。
　以上説明したように、第１実施形態によれば、以下の作用効果が得られる。
　第１実施形態では、エッジ部における隣接する画素の間の輝度差である輝度勾配が緩やかになるように、敢えて、エッジ部の輝度差を小さく調整したうえ（Ｓ０５）で、電力の交流周期と同期して輝度が変化する同期画素を抽出する（Ｓ０７）。エッジ部の隣接する画素の間の輝度差である輝度勾配が滑らかになる。エッジ部の高輝度領域がカメラ画像上を移動すると、エッジ部が移動した画素の輝度はステップ応答で変化するため、広い周波数帯域で輝度値がノイズとして発生する。移動による輝度変化が大きいほど、また、移動速度が速いほど、ノイズ量が大きくなる。灯火器に供給される電力交流周期の周波数帯域にノイズが発生すると、ノイズも同期して輝度が変化する同期画素として抽出してしまう。そのため、エッジ部における隣接する画素の間の輝度差である輝度勾配が緩やかになるようにエッジ部の輝度差を小さく調整されることによって、エッジ部が画像上の位置を移動することによる画素の輝度のステップ応答によるノイズを同期画素として誤検出することが抑制されるので、同期画像に含まれるノイズが減少し、安定して灯火器を検出することができる。
（変形例）
　第１実施形態（図２Ａ）では、エッジ検出及び平滑処理の対象とするエッジ部に関し、それが延在する方向（水平、垂直）を限定していない。車両が走行している実走行環境において、車体は上下に振動するため、エッジ部の移動量は、水平方向よりも垂直方向が多くなる。そこで、画像処理負担を軽減してノイズを効率的に除去するために、エッジ部のうち、水平方向に連続するエッジ部のみ、その輝度差を小さく調整するようにしてもよい。
　例えば、図１のエッジ平滑回路２２は、エッジ検出回路２１により検出された図２Ａ（ｂ）に示すエッジ部３１ａのうち、水平方向に連続するエッジ部３１ａにのみ、隣接する画素の間の輝度差である輝度勾配が緩やかになるような輝度差を小さくする調整を実施してもよい。例えば、図３Ｃのマトリックスを用いることにより、エッジ部３１ａのうち水平方向に連続するエッジ部３１ａにのみ、平滑化処理を行うことができる。これにより、図２Ｂ（ｃ）に示すような平滑画像を生成することができる。
　或いは、図１のエッジ検出回路２１が、図２Ｂ（ａ）のカメラ画像から、水平方向に連続するエッジ部３１ｂのみを検出してもよい。この場合、エッジ平滑回路２２は、エッジ検出回路２１により検出された全てのエッジ部３１ｂに平滑化処理を実施することができる。図２Ｂ（ｃ）に示すような平滑画像を生成することができる。図２Ｂ（ｃ）において、輝度が調整されない、縦２画素及び横４画素からなる画素群は、灯火器を検出するための領域３２ｂを構成する。水平及び垂直方向の両エッジを平滑化する図２Ａ（ｃ）の検出領域３２ａに比べて、図２Ｂ（ｃ）の検出領域３２ｂは、広い。これは、垂直方向に延在するエッジ部が平滑化されずにカメラ画像のまま残されているからである。
　エッジ部のうち、水平方向に連続するエッジ部における隣接する画素の間の輝度差である輝度勾配を緩やかにする。これにより、垂直方向に連続するエッジ部は平滑化されずに、灯火器を検出するための領域として残すことができる。よって、エッジ部のノイズを効率よく低減しつつ、車両から遠く輝度の小さい灯火器であっても感度良く検出することができる。また、エッジ検出或いはエッジ平滑化に係わる画像処理負担が軽減される。
（第２実施形態）
　カメラ画像におけるエッジ部の位置変動の速度が速くなると、エッジ部が移動した領域にノイズが発生しやすくなる。カメラ画像におけるエッジ部の位置変動の速度が遅ければ、ノイズは発生し難いため、エッジ部を平滑化せずにそのまま残して、検出領域を広く確保することが望ましい。第２実施形態では、カメラ画像におけるエッジ部の変動速度に応じて、ノイズ抑制の必要性を判断する灯火器検出装置及び灯火器検出方法を説明する。
　図６に示すように、第２実施形態に係わる灯火器検出装置は、図１に比べて、車両挙動判断回路１３を更に備える点が相違する。車両挙動判断回路１３は、画像処理部１２と同様にして、例えばマイクロコントローラからなり、予めインストールされたコンピュータプログラムを実行することにより、車両挙動判断回路１３を構成する。
　車両挙動判断回路１３は、カメラ画像におけるエッジ部の位置変動の速度が基準値以上であるか否かを判断する。基準値は、エッジ部の平滑化処理の必要性の有無を判断する基準となる値であり、予め定めた値である。車両挙動判断回路１３は、横滑り防止装置（ＥＳＣ）からＣＡＮ通信により得られる車両のピッチング情報やサスペンションストローク情報に基づいて、カメラ画像におけるエッジ部の位置変動の速度を推定することができる。
　図７は、図６の灯火器検出装置を用いた灯火器検出方法の一例を示す。カメラ画像におけるエッジ部の位置変動の速度が基準値以上であれば（ステップＳ０２でＹＥＳ）、第１実施形態と同様にして、エッジの検出（Ｓ０３）及び平滑化（Ｓ０５）を実施する。一方、エッジ部の位置変動の速度が基準値未満であれば（ステップＳ０２でＮＯ）、エッジの検出及び平滑化を実施せずに、同期画像生成回路２４は、カメラ画像から直接、同期画像を生成すればよい（ステップＳ０７）。その他の手順は、図５と同じである。
　カメラ画像におけるエッジ部の位置変動の速度が速くなるとノイズが発生しやすくなる。そこで、カメラ画像におけるエッジ部の位置変動の速度が基準値以上である場合、ノイズ発生を抑制するために、平滑画像の中から同期画素を抽出する。一方、速度が基準値未満であれば、ノイズはあまり発生しないため、カメラ画像の中から同期画素を抽出する。このように、カメラ画像におけるエッジ部の位置変動の速度に応じてノイズ抑制の必要性を判断する。よって、カメラ画像から平滑画像への画像処理負担が軽減され、且つエッジ部によるノイズを効率的に抑制することができる。
　上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
　１１　撮像部
　１３　車両挙動判断回路
　２１　エッジ検出回路
　２２　エッジ平滑回路
　２３　基準信号設定回路
　２４　同期画像生成回路（同期画素抽出回路）
　２６　灯火器検出回路
　３１ａ、３１ｂ　エッジ部

Claims (4)

  1. 　車両に搭載され、前記車両の周囲を撮像してカメラ画像を取得する撮像部と、
    　前記カメラ画像の中から、所定値以上の輝度差を有するエッジ部を検出するエッジ検出回路と、
    　前記カメラ画像の中の前記エッジ部の輝度差を小さく調整して平滑画像を生成するエッジ平滑回路と、
    　前記平滑画像の中から、灯火器に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出する同期画素抽出回路と、
    　前記同期画素の中から、前記灯火器を検出する灯火器検出回路と、
    　を備えることを特徴とする灯火器検出装置。
  2. 　前記エッジ平滑回路は、前記エッジ部のうち、水平方向に連続するエッジ部の輝度差を小さく調整することを特徴とする請求項１に記載の灯火器検出装置。
  3. 　前記カメラ画像における前記エッジ部の位置変動の速度が基準値以上であるか否かを判断する車両挙動判断回路を更に備え、
    　前記同期画素抽出回路は、前記エッジ部の位置変動の速度が基準値以上である場合に、前記平滑画像の中から、交通信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出し、
    　同期画素抽出回路は、前記エッジ部の位置変動の速度が基準値未満である場合に、前記カメラ画像の中から、前記灯火器に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出する
    ことを特徴とする請求項１又は２に記載の灯火器検出装置。
  4. 　車両に搭載された撮像部を用いて、前記車両の周囲を撮像してカメラ画像を取得し、
    　前記カメラ画像の中から、所定値以上の輝度差を有するエッジ部を検出し、
    　前記カメラ画像の中の前記エッジ部の輝度差を小さく調整して平滑画像を生成し、
    　前記平滑画像の中から、灯火器に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出し、
    　前記同期画素の中から、前記灯火器を検出する
    　ことを特徴とする灯火器検出方法。
     
PCT/JP2015/069599 2015-07-08 2015-07-08 灯火器検出装置及び灯火器検出方法 WO2017006451A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
MX2018000029A MX364013B (es) 2015-07-08 2015-07-08 Dispositivo de deteccion de lampara y metodo de deteccion de lampara.
EP15897714.0A EP3321911B1 (en) 2015-07-08 2015-07-08 Lamp detection device and lamp detection method
CN201580081528.9A CN107851382B (zh) 2015-07-08 2015-07-08 灯具检测装置及灯具检测方法
RU2018104690A RU2668885C1 (ru) 2015-07-08 2015-07-08 Устройство обнаружения лампы и способ обнаружения лампы
JP2017527026A JP6455596B2 (ja) 2015-07-08 2015-07-08 灯火器検出装置及び灯火器検出方法
KR1020187000796A KR101920186B1 (ko) 2015-07-08 2015-07-08 등화기 검출 장치 및 등화기 검출 방법
CA2991471A CA2991471C (en) 2015-07-08 2015-07-08 Lamp detection device and lamp detection method
PCT/JP2015/069599 WO2017006451A1 (ja) 2015-07-08 2015-07-08 灯火器検出装置及び灯火器検出方法
US15/742,404 US10074022B2 (en) 2015-07-08 2015-07-08 Lamp detection device and lamp detection method
BR112018000133-3A BR112018000133B1 (pt) 2015-07-08 2015-07-08 Dispositivo de detecção de lâmpada e método de detecção de lâmpada

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/069599 WO2017006451A1 (ja) 2015-07-08 2015-07-08 灯火器検出装置及び灯火器検出方法

Publications (1)

Publication Number Publication Date
WO2017006451A1 true WO2017006451A1 (ja) 2017-01-12

Family

ID=57685055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/069599 WO2017006451A1 (ja) 2015-07-08 2015-07-08 灯火器検出装置及び灯火器検出方法

Country Status (10)

Country Link
US (1) US10074022B2 (ja)
EP (1) EP3321911B1 (ja)
JP (1) JP6455596B2 (ja)
KR (1) KR101920186B1 (ja)
CN (1) CN107851382B (ja)
BR (1) BR112018000133B1 (ja)
CA (1) CA2991471C (ja)
MX (1) MX364013B (ja)
RU (1) RU2668885C1 (ja)
WO (1) WO2017006451A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102233391B1 (ko) * 2014-06-16 2021-03-29 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
CN112131414A (zh) * 2020-09-23 2020-12-25 北京百度网讯科技有限公司 信号灯的图像的标注方法、装置、电子设备以及路侧设备
US11681780B2 (en) * 2020-09-30 2023-06-20 Nissan North America, Inc. Annotation and mapping for vehicle operation in low-confidence object detection conditions
CN112700410A (zh) * 2020-12-28 2021-04-23 北京百度网讯科技有限公司 信号灯位置确定方法、装置、存储介质、程序、路侧设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316361A (ja) * 1992-04-24 1993-11-26 Sony Corp ブロック歪除去フィルタ
JP2008134916A (ja) * 2006-11-29 2008-06-12 Denso Corp 車載用車両前方認識装置
JP2013258685A (ja) * 2012-05-16 2013-12-26 Sharp Corp 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03217807A (ja) * 1990-01-23 1991-09-25 Dainippon Screen Mfg Co Ltd 合焦点条件検出方法
US6611610B1 (en) * 1997-04-02 2003-08-26 Gentex Corporation Vehicle lamp control
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
JP4253271B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
JP2005301518A (ja) 2004-04-08 2005-10-27 Toyota Motor Corp 信号機検出装置および信号機検出方法
US20100033571A1 (en) * 2006-09-28 2010-02-11 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
JP4746575B2 (ja) * 2007-03-16 2011-08-10 株式会社東芝 画像処理装置及びその方法
AU2007361004A1 (en) * 2007-11-16 2009-05-22 Tele Atlas B.V. Method of and apparatus for producing lane information
WO2011106578A2 (en) * 2010-02-26 2011-09-01 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
EP2439716B1 (en) * 2010-09-16 2013-11-13 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
JP2013097676A (ja) 2011-11-02 2013-05-20 Honda Elesys Co Ltd 到達時間推定装置、到達時間推定方法、到達時間推定プログラム、及び情報提示装置
RU116258U1 (ru) * 2011-11-15 2012-05-20 Игорь Юрьевич Мацур Система регулирования движения транспортных средств
JP2014006885A (ja) * 2012-05-31 2014-01-16 Ricoh Co Ltd 段差認識装置、段差認識方法及び段差認識用プログラム
JP5925314B2 (ja) * 2012-07-03 2016-05-25 クラリオン株式会社 車両周囲監視装置
US9056395B1 (en) * 2012-09-05 2015-06-16 Google Inc. Construction zone sign detection using light detection and ranging
CN103345766B (zh) * 2013-06-21 2016-03-30 东软集团股份有限公司 一种信号灯识别方法及装置
US9679207B2 (en) * 2014-03-10 2017-06-13 Nissan Motor Co., Ltd. Traffic light detecting device and traffic light detecting method
RU2628023C1 (ru) * 2014-03-10 2017-08-14 Ниссан Мотор Ко., Лтд. Устройство обнаружения светофоров и способ обнаружения светофоров

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316361A (ja) * 1992-04-24 1993-11-26 Sony Corp ブロック歪除去フィルタ
JP2008134916A (ja) * 2006-11-29 2008-06-12 Denso Corp 車載用車両前方認識装置
JP2013258685A (ja) * 2012-05-16 2013-12-26 Sharp Corp 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3321911A4 *

Also Published As

Publication number Publication date
RU2668885C1 (ru) 2018-10-04
CA2991471A1 (en) 2017-01-12
MX364013B (es) 2019-04-11
KR20180016564A (ko) 2018-02-14
CN107851382B (zh) 2019-04-09
MX2018000029A (es) 2018-03-15
US10074022B2 (en) 2018-09-11
US20180197026A1 (en) 2018-07-12
KR101920186B1 (ko) 2018-11-19
CA2991471C (en) 2018-08-07
EP3321911A4 (en) 2018-07-18
JP6455596B2 (ja) 2019-01-23
BR112018000133A2 (ja) 2018-09-04
BR112018000133B1 (pt) 2023-01-17
CN107851382A (zh) 2018-03-27
EP3321911A1 (en) 2018-05-16
EP3321911B1 (en) 2019-09-11
JPWO2017006451A1 (ja) 2018-04-19

Similar Documents

Publication Publication Date Title
JP6222343B2 (ja) 信号機検出装置及び信号機検出方法
RU2655256C1 (ru) Устройство обнаружения светофора и способ обнаружения светофора
JP6477876B2 (ja) 信号機検出装置及び信号機検出方法
JP6233500B2 (ja) 信号機検出装置及び信号機検出方法
JP6455596B2 (ja) 灯火器検出装置及び灯火器検出方法
US9811747B2 (en) Traffic light detecting device and traffic light detecting method
US10942607B2 (en) Manipulation detection device and video display system that are capable detecting an object on a video display surface
WO2016021037A1 (ja) 信号機検出装置及び信号機検出方法
JP2018005391A (ja) 点滅物体検出方法及び点滅物体検出装置
JP2017228131A (ja) 反射物標検出方法及び反射物標検出装置
JP7277205B2 (ja) 信号機検出方法及び信号機検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15897714

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017527026

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2991471

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 15742404

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: MX/A/2018/000029

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20187000796

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2018104690

Country of ref document: RU

Ref document number: 2015897714

Country of ref document: EP

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112018000133

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112018000133

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20180103