WO2014002413A1 - 先行車両検知装置、先行車両検知方法、及び先行車両検知プログラム記憶媒体 - Google Patents

先行車両検知装置、先行車両検知方法、及び先行車両検知プログラム記憶媒体 Download PDF

Info

Publication number
WO2014002413A1
WO2014002413A1 PCT/JP2013/003686 JP2013003686W WO2014002413A1 WO 2014002413 A1 WO2014002413 A1 WO 2014002413A1 JP 2013003686 W JP2013003686 W JP 2013003686W WO 2014002413 A1 WO2014002413 A1 WO 2014002413A1
Authority
WO
WIPO (PCT)
Prior art keywords
preceding vehicle
luminance
vehicle detection
area
brightness
Prior art date
Application number
PCT/JP2013/003686
Other languages
English (en)
French (fr)
Inventor
ジャ ハオ
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2014002413A1 publication Critical patent/WO2014002413A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a preceding vehicle detection device, a preceding vehicle detection method, and a preceding vehicle detection program for analyzing a video captured by an in-vehicle camera and detecting a preceding vehicle traveling in front of the host vehicle.
  • Patent Document 1 has two specific color (red) images with high brightness and arranged in a horizontal direction in a captured image, and a predetermined chromaticity between the two images. When it is possible to recognize a region (number plate) of the size of, it is determined that the brake lamp is lit.
  • the forward vehicle monitoring device described in Patent Document 2 detects a brake lamp from the color of the light source. That is, in the front vehicle monitoring device of Patent Document 2, when the red component of the image of the front vehicle decreases and the yellow component increases, it is determined that the brake lamp is turned on.
  • the tracking vehicle lamp detection system described in Patent Document 3 detects, as a brake lamp, a region where the luminance change is equal to or greater than a certain threshold in the region where the tracking vehicle is cut out from the captured image of the preceding vehicle.
  • the automatic travel control device described in Patent Document 4 determines that the brake lamp is turned on when the luminance change in the predetermined divided area is larger than the luminance change in the entire image of the preceding vehicle.
  • the vehicle detection apparatus described in Patent Document 5 determines that a bright area having a luminance higher than a predetermined threshold luminance in a captured image is a light source area, and further detects a distance to the light source. Then, based on the relationship between the distance to the light source and the luminance prepared in advance, it is identified that the light source is a headlight or a taillight.
  • JP-A 63-78300 page 4, Fig. 1 Japanese Patent Laying-Open No. 2005-339234 (page 7, FIG. 1) JP 2004-341801 A (7th page, FIGS. 3 and 4) JP 2006-168509 A (page 14, FIG. 3) Japanese Patent Laid-Open No. 2008-040615 (page 10, FIG. 5)
  • the determination means for lighting the brake lamp described in Patent Document 1 cannot reliably determine the presence of a vehicle in an environment where there are a plurality of lights other than the brake lamp of the preceding vehicle in the front captured image. Such an environment can occur, for example, when a preceding vehicle travels between buildings decorated with illuminations. Further, when the image of the preceding vehicle is small, there is a problem that it is difficult to detect the license plate between the two red lights.
  • the forward vehicle monitoring apparatus described in Patent Document 2 is not applicable to an apparatus having only an imaging unit that captures a so-called gray scale because the imaging unit is limited to an imaging unit that captures a color image. Further, when there is a yellow area that moves in synchronization with the license plate area, there are many target areas to be noted as means for determining that the tail lamp is turned on. Therefore, there is a drawback that it takes time to determine that the yellow region is a tail lamp.
  • the tracking vehicle lamp detection system described in Patent Document 3 is based on the premise that a region where a tracking vehicle exists can be extracted from a captured image in order to detect a brake lamp. Therefore, when the region where the tracked vehicle is present cannot be determined, the brake lamp of the tracked vehicle cannot be detected. However, in general, it is not easy to determine the region where the tracking vehicle exists. For example, when there is a preceding vehicle outside the lighting range of the night street lights or vehicle lights, when there is a preceding vehicle in the tunnel, or when the color of the appearance of the car is similar to the background color, It is difficult to determine the vehicle area. Therefore, the method described in Patent Document 3 has a problem in that the applicable environment is limited.
  • Patent Document 4 Even in the automatic travel control device described in Patent Document 4, a region image of a preceding vehicle is extracted, and it is determined whether or not the vehicle is lit based on a luminance change in the region of the brake lamp. Therefore, the technique of Patent Document 4 has a problem that, as in the technique of Patent Document 3, when the presence area of the preceding vehicle cannot be determined, the ramp of the tracking vehicle cannot be detected.
  • a bright region having a luminance higher than a predetermined threshold luminance is determined as a light source region.
  • Patent Documents 1-5 have problems such as low reliability of brake lamp detection, color images are required, processing takes time, and applicable environments are limited. is there.
  • the present invention has been made in view of the technical problems as described above, and can improve the reliability of detection of a brake lamp of a preceding vehicle, and can be used in various environments.
  • An object is to provide a detection method and a preceding vehicle detection program.
  • the preceding vehicle detection device of the present invention includes an image input unit that captures image data of an image taken in a traveling direction of a vehicle and a pixel that constitutes an image, the luminance is equal to or higher than a first threshold, and A change area extraction unit that extracts a brightness change area, which is an area composed of pixels whose brightness temporal change is equal to or greater than the second threshold, and a timing at which the brightness change area is extracted are determined, and at the same time, the brightness change area And a change timing determination unit that extracts the extracted first luminance change region and the second luminance change region.
  • the preceding vehicle detection method of the present invention captures image data of a moving image of a vehicle taken from a vehicle, the luminance is not less than the first threshold, and the temporal change in luminance is not less than the second threshold.
  • the brightness change area which is an area composed of pixels constituting the image, is extracted, the timing at which the brightness change area is extracted is determined, and at the same time, the first brightness change area and the second brightness change area extracted as the brightness change area are determined. It is characterized in that a luminance change region is extracted.
  • the preceding vehicle detection program storage medium of the present invention includes an image input unit that captures image data of a moving image of a vehicle taken from a vehicle, a computer included in the preceding vehicle detection device, and a luminance equal to or higher than a first threshold value.
  • a change area extraction means for extracting a brightness change area, which is an area composed of pixels constituting an image, in which the temporal change in brightness is equal to or greater than a second threshold, and the timing at which the brightness change area is extracted is determined
  • the present invention it is possible to reliably detect the presence of the preceding vehicle without being affected by a light source other than the brake lamp of the preceding vehicle. This is because the use of the fact that the lighting of the left and right brake lamps of the same vehicle is synchronized.
  • FIG. 6 is a first example of a luminance change region that is determined not to be a brake lamp region.
  • FIG. It is a 2nd example of the brightness
  • FIG. 1 is a block diagram showing the configuration of the first preceding vehicle detection device.
  • the preceding vehicle detection device 100 detects a preceding vehicle by recognizing a lighting operation of a brake lamp disposed on the rear surface of the preceding vehicle.
  • the preceding vehicle detection device 100 includes an image input unit 101, a change region extraction unit 102, and a change timing determination unit 103.
  • the image input unit 101 inputs image data of an image captured by a front camera that images the front of the host vehicle, and outputs the image data to the change region extraction unit 102.
  • the front camera is, for example, a CCD (Charge Coupled Device) camera or the like that acquires a moving image with a frame rate of TV (TeleVision).
  • a front camera is arrange
  • the change area extraction unit 102 performs preprocessing on the image data input by the image input unit 101 to determine the lighting state of the brake lamp of the vehicle ahead by image processing.
  • the change area extraction unit 102 generates a luminance image from image data captured at a constant time interval.
  • the change region extraction unit 102 performs “difference processing” for obtaining a difference between the luminance at the current time and the luminance at the previous processing, that is, a difference value, for each pixel, and extracts the luminance change region.
  • the “brightness change region” is a “brightness change pixel” extracted as the difference value is equal to or greater than a predetermined first threshold and the luminance of image data at the current time is equal to or greater than a predetermined second threshold.
  • the change area extraction unit 102 pays attention to, for example, the front image 110 illustrated in FIG. 2A, that is, the brightness of the pixels constituting the preceding vehicle rear image and the brake lamp area, and temporal changes thereof. Then, when a plurality of luminance change pixels gather and one area is formed in the front image 110, the change area extraction unit 102 extracts the area as the luminance change area 111 as illustrated in FIG. 2B.
  • the number of luminance change pixels when forming the luminance change region is not particularly limited.
  • the change timing determination unit 103 determines the timing at which the change region extraction unit 102 has extracted the luminance change region 111, and simultaneously extracts two luminance change regions that have changed to high luminance.
  • the preceding vehicle detection device 100 uses the fact that the two lamps change “simultaneously” when the brake lamp lights up.
  • “simultaneous” in the present invention means that the two lit lamps are close enough in time to be regarded as brake lamps. Does not mean. That is, “simultaneously” in the present invention means within a predetermined allowable time. Therefore, “simultaneously” can be rephrased as “synchronously”.
  • each of the two lamps corresponds to one frame depending on the sampling timing of the image sensor.
  • the same phenomenon may occur depending on the sensitivity and response speed of the photoelectric conversion element in the image sensor.
  • such a case may be regarded as “simultaneous lighting”.
  • FIG. 3 is a flowchart for explaining an example of the preceding vehicle detection operation by the preceding vehicle detection device 100.
  • the preceding vehicle detection process is repeatedly executed after capturing images at a predetermined rate of the video rate or lower.
  • step S1 data of a captured image in front of the host vehicle is input by the image input unit 101 (step S1). Subsequently, a difference process is performed using the newly generated luminance image data and the previously generated luminance image data, and a plurality of luminance change regions with a sharp luminance change are extracted (step S2). Finally, out of the plurality of extracted brightness change areas, two brightness change areas that have changed to high brightness at the same time are extracted to determine whether or not the brake lamp is lit (step S3). If it is confirmed in step S3 that the brake lamp is turned on, it is detected that a preceding vehicle is present.
  • the image input unit 101 captures a color image, but the preceding vehicle detection process may be performed using a monochrome image.
  • the change area extraction unit 102 has been described as extracting the area where the luminance has changed.
  • color components of a color space constituting a captured image can be used.
  • an area where the R component value changes may be extracted, or an area where any one or more of the RGB component values change more than a predetermined threshold value May be extracted.
  • RGB value image data generated by the image input unit 101 may be converted into HSV value image data, and lighting of the brake lamp of the preceding vehicle may be detected based on the converted image data.
  • HSV means three components: Hue, Saturation, and Value.
  • Hue Hue
  • Saturation Saturation
  • Value Value
  • the first threshold value and the second threshold value used in the determination by the change area extraction unit 102 are predetermined fixed threshold values.
  • the first threshold value and the second threshold value may be threshold values determined by lighting conditions depending on the environment of the road ahead, that is, daytime, nighttime, rain, and the like, such as time and weather. Further, a variable threshold according to a time-series brightness change may be used.
  • the preceding vehicle detection device of the present embodiment first performs the difference process of the luminance image, the difference value is equal to or greater than the predetermined first threshold value, and the pixel value of the image data at the current time is determined in advance. Pixels that are equal to or greater than the second threshold are extracted and set as luminance change regions. A plurality of such luminance change regions are obtained, and two luminance change regions that are lit simultaneously are extracted from these regions. Therefore, even if there are a plurality of lamps that are not brake lamps, it is possible to extract two lamps that are highly likely to be brake lamps.
  • the color of the lamp is not used in the process for finding the brake lamp. It is not necessary to determine the existence area of the preceding vehicle or to extract an area image of the entire preceding vehicle. Furthermore, it is not necessary to measure the distance to the preceding vehicle.
  • the process for finding the brake lamp by the preceding vehicle detection device of the present embodiment has an effect that it can be realized only by the image processing using the luminance.
  • a brake lamp is found by extracting two luminance change regions that have changed to high luminance at the same time.
  • additional processing is performed on the two detected brightness change areas to reduce the possibility of misrecognizing brake lamps, that is, light sources that are not brake lamps are erroneously recognized as brake lamps. can do.
  • FIG. 4 is a block diagram showing the configuration of the preceding vehicle detection device of the second embodiment.
  • the preceding vehicle detection device 100 detects a preceding vehicle by recognizing a lighting operation of a brake lamp disposed on the rear surface of the preceding vehicle.
  • the preceding vehicle detection device 200 of the second embodiment includes an area condition determination unit 104 in addition to the image input unit 101, the change region extraction unit 102, and the change timing determination unit 103.
  • the image input unit 101, the change region extraction unit 102, and the change timing determination unit 103 are the same as those included in the preceding vehicle detection device 100 of FIG.
  • the region condition determination unit 104 determines whether or not the two luminance change regions extracted by the change timing determination unit 103 satisfy the following three conditions. Then, when the two luminance change regions satisfy the three conditions, the region condition determination unit 104 determines “brake lamp region” and determines that the brake lamp is lit.
  • a brake lamp is usually composed of two lamps, and is arranged horizontally and symmetrically on the ground. Therefore, the mutual positional relationship between the two lamps and the positional relationship with the ground are used as a judgment condition for determining whether or not the brake lamp is used. This condition is hereinafter referred to as “placement condition”.
  • the two luminance change regions are recognized as being arranged in the horizontal direction. It is determined that it is a “brake lamp”.
  • the ground plane B which is the horizontal plane of the vehicle, on the assumption that the ground A to which the preceding vehicle is grounded and the ground B to which the vehicle is grounded are on the same plane. That is, when the line connecting the centers of the two luminance change areas is parallel to the ground B determined from the captured image, the two luminance change areas are determined to be brake lamps.
  • an angle formed by a line connecting the centers of the two luminance change regions and the ground B (hereinafter referred to as “brake lamp inclination angle”) is predetermined. It is possible to determine that the two luminance change regions are brake lamps when the threshold value is equal to or less than the threshold value (third threshold value).
  • the “horizontal direction” in the determination based on the arrangement condition means a direction parallel to the ground surface B which is the installation surface of the own vehicle, and does not mean a direction parallel to the horizontal plane of the earth.
  • the angle of the ground B itself with respect to the horizontal plane of the earth does not affect this determination.
  • the difference in area or size between the two luminance change regions is equal to or less than a predetermined threshold value (fourth threshold value).
  • a predetermined threshold value fourth threshold value.
  • Brake lamps are usually arranged in two left-right symmetry. Display area is equal. Therefore, the difference between the areas of the two lamps is used as a condition for determining whether or not the brake lamp is used. This condition is hereinafter referred to as “size condition”.
  • the size such as a diameter in the case of a circular lamp and the length of a certain side in the case of a polygonal lamp may be used as a determination condition.
  • the ratio between the interval between the two luminance changing areas and the size of the luminance changing area is substantially constant.
  • the “luminance changing area size” means the length, diameter, etc. of a predetermined portion of the luminance changing area. Dimensional quantity.
  • the size and the interval between the captured images of the two brake lamps of the preceding vehicle are proportional to the distance between the preceding vehicle and the host vehicle. However, even if the distance is different, the ratio between the size of the captured image of the two brake lamps and the distance between them is almost constant. That is, the size of the captured image of the two brake lamps is substantially proportional to the interval between them.
  • the ratio is substantially constant means that the ratio is within a certain allowable range.
  • an area can be used instead of the size of the luminance change region.
  • the proportional condition may be that the ratio of the square root of the area to the interval is substantially constant.
  • FIG. 5A is an example of the luminance change region when the arrangement condition is not satisfied because the difference in height of the luminance change region in the image exceeds an allowable value.
  • FIG. 5B is an example of the luminance change region when the size condition is not satisfied because the difference in area between the left and right luminance change regions exceeds an allowable value.
  • FIG. 5C is an example of the luminance change region when the proportional condition is not satisfied because the ratio between the interval and the size between the regions is not constant.
  • the preceding vehicle detection process is repeatedly executed after capturing images at a predetermined rate of the video rate or lower.
  • Whether or not the brake lamp is lit is determined based on whether or not the above-described three determination conditions, that is, the arrangement condition, the size condition, and the proportional condition are met, with respect to the luminance change region extracted in step S3. Detection is performed (step S4).
  • the preceding vehicle detection process may be performed using a monochrome image.
  • color components of the color space constituting the captured image can be used instead of the luminance.
  • an area where the R component value changes may be extracted, or an area where any one or more of the RGB component values change more than a predetermined threshold value May be extracted.
  • RGB value image data generated by the image input unit 101 may be converted into HSV value image data, and lighting of the brake lamp of the preceding vehicle may be detected based on the converted image data.
  • the region condition determination unit 104 determines whether the two luminance change regions have an appropriate positional relationship and area ratio. That is, the area condition determination unit 104 determines that the angle formed between the line connecting the centers of the two luminance change areas and the ground is equal to or smaller than the third threshold value, and the area difference between the two luminance change areas is equal to or smaller than the fourth threshold value. This is used as a determination condition for lighting the brake lamp.
  • a variable threshold may be used as one or both of the third threshold and the fourth threshold.
  • the road between the preceding vehicle and the host vehicle is not a straight line, such as when the road ahead of the host vehicle is curved and the preceding vehicle bends the curve, the high brightness corresponding to the left and right brake lamps of the preceding vehicle The area of the region will not be the same. This is because the front vehicle enters the curve, the direction of the front vehicle becomes oblique with respect to the traveling direction of the host vehicle, and the rear surface of the front vehicle does not face the host vehicle.
  • the ratio of the left and right areas can be predicted. This is because the road shape is available as information in advance. Therefore, regarding the size condition described above, the difference between the left and right areas can be corrected by using a variable threshold according to the shape of the road.
  • information on the shape of the road is preinstalled in the car navigation system. Therefore, the position information of the host vehicle is acquired by GPS (Global Positioning System), and information on the shape of the road ahead such as the angle of the curve is acquired from the position information. Then, the ratio of the correct area of the left and right brake lamps, which is set in advance in association with the shape of the road, is obtained, the fourth threshold value is corrected, and determination according to the size condition may be performed.
  • GPS Global Positioning System
  • a brake lamp inclination angle formed by a line connecting the centers of the two luminance change areas and the ground B is a predetermined angle that is not zero.
  • the brake lamp inclination angle at this time depends on the inter-vehicle distance between the preceding vehicle and the host vehicle and the angle formed by the traveling direction of the preceding vehicle and the traveling direction of the host vehicle.
  • the distance between the left and right brake lamps is approximately 1.5 to 2 meters. Therefore, when there is a 90-degree curve on the road between the preceding vehicle and the own vehicle, the difference in distance from the own vehicle to the left and right brake lamps is 2 meters at the maximum. Detection of the preceding vehicle is not required when the distance between the host vehicle and the preceding vehicle is short, and is generally required when the distance between the vehicles is 50 meters or more. When the inter-vehicle distance is about 50 meters, the difference in distance to the left and right brake lamps is sufficiently smaller than the inter-vehicle distance. Therefore, the difference in height at which the left and right brake lamps are displayed on the screen of the captured image is also small.
  • the brake inclination angle may be determined that the brake inclination angle is parallel to the ground, and the two luminance change regions may be determined as brake lamps. In this case, when the brake lamp inclination angle exceeds the threshold value, it is determined that the two luminance change regions are not brake lamps.
  • the areas of the high brightness areas corresponding to the left and right brake lamps of the preceding vehicle are not the same.
  • two high brightnesses are used.
  • the area difference between the regions is larger than the fourth threshold value.
  • the difference in area exceeds the fourth threshold value, it means that the preceding vehicle is at a position that is greatly displaced laterally from the front of the host vehicle. Accordingly, it is possible to exclude the preceding vehicle that is diagonally forward from the object to be detected.
  • the threshold value 3 is not necessarily a variable value.
  • the distance between each of the left and right brake lamps of the preceding vehicle and the host vehicle is substantially equal. Therefore, each brake lamp is displayed at a substantially equal height position on the screen of the captured image. That is, since the line connecting the centers of the left and right luminance change areas is substantially parallel to the ground, the luminance change area may be determined as a brake lamp. Therefore, the third threshold value does not need to be a variable value.
  • the preceding vehicle detection device of the second embodiment is based on the arrangement condition and the mutual positional relationship between the two luminance change regions in addition to the processing of the preceding vehicle detection device of the first embodiment.
  • the positional relationship with the ground is confirmed, and the sizes of the two luminance change areas are confirmed based on the size condition. Further, based on the proportional condition, the ratio between the interval and the size of the two luminance change regions is confirmed.
  • the preceding vehicle is detected by determining whether the brake lamp is lit. In this way, the brake lamp is found from the two lamps that are turned on at the same time using matters specific to the brake lamp, such as the right and left arrangement and size of the brake lamp and the positional relationship with the ground. Therefore, the reliability regarding the detection of the brake lamp can be improved. (Third embodiment) By performing additional processing in the second embodiment, the possibility of erroneous recognition of the brake lamp can be further reduced.
  • FIG. 7 is a block diagram illustrating a configuration of the preceding vehicle detection device 300.
  • the preceding vehicle detection device 300 includes a synchronization detection unit 105 in addition to the configuration of the preceding vehicle detection device 200 shown in FIG.
  • the image input unit 101, the change region extraction unit 102, the change timing determination unit 103, and the region condition determination unit 104 have the same functions as those included in the preceding vehicle detection device 200.
  • the synchronism detection unit 105 tracks image data in a range corresponding to the two luminance change areas extracted by the change timing determination unit 103, and relates between timings at which movements of the two luminance change areas occur. Check the so-called “synchronization”. If the direction and size of the vector indicating the optical flow of the two extracted brightness change regions, that is, the vector indicating the motion of the object in the temporally continuous digital image are equal, the motions of these regions are synchronized. It can be judged that The movements of the same car lamps are considered to be synchronized. Therefore, when there are two areas moving in the same direction on the image, these areas are determined as brake lamp areas.
  • the discovery of the brake lamp means that there is a preceding vehicle ahead, so this is notified.
  • FIG. 8 is a flowchart for explaining an example of the operation. Steps S1 to S4 are the same as those in FIG.
  • the preceding vehicle detection process is repeatedly executed after capturing images at a predetermined rate of the video rate or lower.
  • step S1 Input of image data (step S1), extraction of luminance change area (step S2), determination of luminance change timing of the luminance change area (step S3), determination of three conditions for the luminance change area (step S4)
  • step S1 extraction of luminance change area
  • step S2 determination of luminance change timing of the luminance change area
  • step S3 determination of three conditions for the luminance change area
  • step S4 the brake lamp detection is verified using the method based on the optical flow detection described above (step S5).
  • the movements of the same car lamps are considered to be synchronized. Accordingly, if two brightness change areas correspond to the brake lamps, it is considered that the movement direction and the movement amount of the two areas are equal. Therefore, when there are two luminance change areas moving in the same direction and the same distance on the photographed image, these areas are determined as brake lamp areas.
  • the fact that the brake lamp has been discovered means that there is a preceding vehicle ahead, so that this is notified.
  • steps S4 and S5 are not limited. That is, the optical flow of the luminance change area may be confirmed (step S5) before the determination (step S4) for the three conditions of the luminance change area.
  • the third preceding vehicle detection device confirms the optical flow of the luminance change region in addition to the processing of the preceding vehicle detection device of the second embodiment. Accordingly, the reliability of the brake lamp detection can be further improved.
  • the confirmation of the optical flow performed in the third embodiment is effective not only in combination with the second embodiment but also in combination with the first embodiment. That is, the reliability shown in the detection of the brake lamp can also be obtained by extracting two luminance change regions that have changed to high luminance at the same time by the method shown in the first embodiment and checking the optical flow of the two regions. Can be improved.
  • FIG. 9 is a block diagram illustrating a configuration example of the preceding vehicle detection process 400 using a computer.
  • the preceding vehicle detection process 400 includes an image input unit 101, a computer 401, and a memory 402.
  • the image input unit 101 is the same as that of the preceding vehicle detection process 100.
  • the computer 401 reads and executes the preceding vehicle detection program stored in the memory 402.
  • the processing flow of the preceding vehicle detection program is the same as that shown in FIGS.
  • the preceding vehicle detection program is stored in a non-temporary medium such as a ROM (Read Only Memory), a RAM (Random Access Memory), a semiconductor memory device such as a flash memory, an optical disk, a magnetic disk, or a magneto-optical disk. May be.
  • a non-temporary medium such as a ROM (Read Only Memory), a RAM (Random Access Memory), a semiconductor memory device such as a flash memory, an optical disk, a magnetic disk, or a magneto-optical disk. May be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

　高い信頼度を持ち、種々の環境に対応可能な先行車両検知装置を提供する。車両から撮影された、車両の進行方向の画像の画像データを取り込む画像入力部と、画像を構成する画素のうち、輝度が第１の閾値以上であり、かつ輝度の時間的変化が第２の閾値以上である画素で構成される領域である輝度変化領域を抽出する変化領域抽出部と、輝度変化領域が抽出されたタイミングを判定し、同時に輝度変化領域として抽出された第１の輝度変化領域及び第２の輝度変化領域を抽出する変化タイミング判定部とを備える。

Description

先行車両検知装置、先行車両検知方法、及び先行車両検知プログラム記憶媒体
　本発明は、車載カメラにて撮影した映像を分析し、自車両の前方を走行する先行車両を検知する先行車両検知装置、先行車両検知方法、及び先行車両検知プログラムに関する。
　最近では、車載カメラやレーザ、レーダ等を搭載して、前方の車両や障害物を検知し、それらにより衝突する危険度を判定する技術の開発が進められている。
　前方の車両の、ブレーキランプ等の光源の点灯を検出して前方車両の検出を行う各種の技術が開示されている（例えば、特許文献１－５参照。）。
　特許文献１に記載された自動車は、撮影画像内に、輝度が高く、水平方向に並ぶ２つの特定色（赤色）の画像があり、さらにその２つの画像の間に、所定の色度で所定の大きさの領域（ナンバープレート）が認識できたときに、ブレーキランプの点灯と判断する。
　特許文献２に記載された前方車両監視装置は、光源の色からブレーキランプを検出する。すなわち、特許文献２の前方車両監視装置では、前方車両の画像の赤色成分が減少し、黄色成分が増加するとブレーキランプの点灯と判断する。
　特許文献３に記載された追跡車両ランプ検出システムは、前方車両の撮像画像から切り出された追跡車両の存在領域の中の、輝度の変化がある閾値以上となる領域をブレーキランプとして検出する。
　特許文献４に記載された自動走行制御装置は、先行車両の画像全体の輝度変化よりも、所定の分割領域の輝度変化が大きい場合にブレーキランプの点灯と判断する。
　特許文献５に記載された車両検出装置は、　撮影画像の中の所定の閾値輝度よりも高い輝度を有する明るい領域を光源領域と判断し、さらに光源までの距離も検出する。そして、予め用意された、光源までの距離と輝度との関係を基に、光源がヘッドライト又はテールライトであることを識別する。
特開昭６３－７８３００号公報　（第４頁、第１図） 特開２００５－３３９２３４号公報　（第７頁、図１） 特開２００４－３４１８０１号公報　（第７頁、図３、４） 特開２００６－１６８５０９号公報　（第１４頁、図３） 特開２００８－０４０６１５号公報　（第１０頁、図５）
　特許文献１－５の各技術には、以下のような課題がある。
　特許文献１に記載されたブレーキランプの点灯の判断手段は、前方の撮影画像内に、先行車両のブレーキランプ以外に複数のライトがあるような環境では、確実な車の存在の判断ができない。このような環境は、例えば、イルミネーションなどが飾られたビルの間を、先行車両が走行するような場合に発生しうる。また、先行車両の画像が小さい場合は、二つの赤色光の間のナンバープレートの検知が困難であるという問題がある。
　特許文献２に記載された前方車両監視装置では、撮像手段がカラー画像を撮像するものに限定されるので、いわゆるグレースケールで撮像する撮像手段しか備えていない装置には適用できない。また、ナンバープレート領域に近接し、同期して移動する黄色領域がある場合に、テールランプの点灯と判断する手段には、注目すべき対象領域が多い。そのため、黄色領域がテールランプであることを判定するにも時間がかかるという欠点がある。
　特許文献３に記載された追跡車両ランプ検出システムは、ブレーキランプを検出するために、撮影画像から追跡車両の存在領域を切り出すことができることを前提条件としている。そのため、追跡車両の存在領域が確定できない場合、追跡車両のブレーキランプを検出することができない。ところが、一般に、追跡車両の存在領域を確定することは、容易ではない。例えば、夜街燈や車両のライトによる照明範囲以外に先行車両がある場合、トンネルの中に先行車両がある場合、車外観の色が背景の色と似ている場合等、種々の状況において、先行車両の存在領域の確定が困難である。従って、特許文献３に記載された方法は、適用可能な環境に制約があるという課題がある。
　特許文献４に記載された自動走行制御装置でも、先行車両の領域画像を抽出し、ブレーキランプの領域の輝度変化に基づいて点灯しているかどうかを判別する。従って、特許文献４の技術にも、特許文献３の技術と同様に、先行車両の存在領域が確定できない場合、追跡車両のランプを検出できないという課題がある。
　特許文献５に記載された車両検出装置では、所定の閾値輝度よりも高い輝度を有する明るい領域を光源領域と判断する。ところが、複数のライトがある場合等、複雑な周囲環境では光源領域の判断が困難である。さらに、光源までの距離の測定も必要であり、処理が複雑になるという課題がある。
　以上のように、特許文献１－５には、ブレーキランプの検出についての信頼性が低い、カラー画像が必要である、処理に時間を要する、適用可能な環境に制約がある、等の課題がある。
（発明の目的）
　本発明は上記のような技術的課題に鑑みて行われたもので、先行車両のブレーキランプの検知の信頼度を向上させることができ、種々の環境に対応可能な先行車両検知装置、先行車両検知方法及び先行車両検知プログラムを提供することを目的とする。
　本発明の先行車両検知装置は、車両から撮影された、車両の進行方向の画像の画像データを取り込む画像入力部と、画像を構成する画素のうち、輝度が第１の閾値以上であり、かつ輝度の時間的変化が第２の閾値以上である画素で構成される領域である輝度変化領域を抽出する変化領域抽出部と、輝度変化領域が抽出されたタイミングを判定し、同時に輝度変化領域として抽出された第１の輝度変化領域及び第２の輝度変化領域を抽出する変化タイミング判定部とを備えることを特徴とする。
　本発明の先行車両検知方法は、車両から撮影された、車両の進行方向の画像の画像データを取り込み、輝度が第１の閾値以上であり、輝度の時間的変化が第２の閾値以上である、画像を構成する画素で構成される領域である輝度変化領域を抽出し、輝度変化領域が抽出されたタイミングを判定し、同時に輝度変化領域として抽出された第１の輝度変化領域及び第２の輝度変化領域を抽出することを特徴とする。
　本発明の先行車両検知プログラム記憶媒体は、先行車両検知装置が備えるコンピュータを、車両から撮影された、車両の進行方向の画像の画像データを取り込む画像入力手段と、輝度が第１の閾値以上であり、輝度の時間的変化が第２の閾値以上である、画像を構成する画素で構成される領域である輝度変化領域を抽出する変化領域抽出手段と、輝度変化領域が抽出されたタイミングを判定し、同時に輝度変化領域として抽出された第１の輝度変化領域及び第２の輝度変化領域を抽出する変化タイミング判定手段として機能させるためのプログラムを格納することを特徴とする。
　本発明によれば、先行車両のブレーキランプ以外の光源の影響を受けることなく、確実に先行車両の存在を検知することができる。その理由は、同じ車両の左右のブレーキランプの点灯が同期することを利用するからである。
本発明の第１の実施形態の先行車両検知装置の構成を示すブロック図である。 前方画像を示す図である。 前方画像から抽出された輝度変化領域を示す図である。 本発明の第１の実施形態の先行車両検知装置の動作を示すフローチャートである。 本発明の第２の実施形態の先行車両検知装置の構成を示すブロック図である。 ブレーキランプ領域ではないと判断される輝度変化領域の第1の例である。 ブレーキランプ領域ではないと判断される輝度変化領域の第２の例である。 ブレーキランプ領域ではないと判断される輝度変化領域の第３の例である。 本発明の第２の実施形態の先行車両検知装置の動作を示すフローチャートである。 本発明の第３の実施形態の先行車両検知装置の構成を示すブロック図である。 本発明の第３の実施形態の先行車両検知装置の動作を示すフローチャートである。 コンピュータを用いた本発明の先行車両検知処理の構成例を示すブロック図である。
（第１の実施形態）
　次に、本発明の実施の形態について図面を参照して詳細に説明する。図１は、第１の先行車両検知装置の構成を示すブロック図である。本実施形態の先行車両検知装置１００は、前方車両後面に配置されるブレーキランプの点灯動作を認識することにより、前方車両を検出する。
　先行車両検知装置１００は、画像入力部１０１、変化領域抽出部１０２、変化タイミング判定部１０３を備える。
　画像入力部１０１は、自車の前方を撮像する前方カメラによって撮影された画像の画像データを入力し、変化領域抽出部１０２に出力する。前方カメラは、例えば、ＴＶ（TeleVision）のフレームレートの動画像を取得するＣＣＤ（Charge Coupled Device）カメラ等である。前方カメラは、例えば、車室前方のルームミラー部分等の、前方車両のブレーキランプを含む後部の画像を取得可能な位置に配置される。
　変化領域抽出部１０２は、画像入力部１０１が入力した画像データに対して、画像処理により前方車両のブレーキランプの点灯状態を判定するための、前処理を行う。変化領域抽出部１０２は、一定の時間間隔で取り込んだ画像データから輝度画像を生成する。そして、変化領域抽出部１０２は、各画素における、現時刻における輝度と前回の処理時における輝度との差、すなわち差分値を求める「差分処理」を行い、輝度変化領域の抽出を行う。「輝度変化領域」とは、差分値が予め定められた第１の閾値以上で、かつ現時刻における画像データの輝度が予め定められた第２の閾値以上であるとして抽出された「輝度変化画素」の連結領域である。輝度の差分値が、第１の閾値及び第２の閾値に関する２つの条件を満たすことを、単に「高輝度に変化する」という。変化領域抽出部１０２は、例えば、図２Ａに示す前方画像１１０、すなわち先行車両後方画像とブレーキランプ領域を構成する画素の輝度と、その時間的変化に着目する。そして、変化領域抽出部１０２は、輝度変化画素が複数個集まり、前方画像１１０中に一つの領域を形成するとき、その領域を輝度変化領域１１１として、図２Ｂに示すように抽出する。輝度変化領域を形成するとみなされるときの輝度変化画素の個数は特に限定されない。
　変化タイミング判定部１０３は、変化領域抽出部１０２が輝度変化領域１１１を抽出したタイミングを判定し、同時に高輝度に変化した２つの輝度変化領域を抽出する。
　ここで、「同時」の意味について説明する。先行車両検知装置１００は、ブレーキランプが点灯する場合は、２個のランプが「同時」に変化することを利用する。つまり、本発明における「同時」とは、点灯した２個のランプがブレーキランプであるとみなすことができる程度に、時間的に接近しているという意味であり、厳密に同時刻であることまでは意味しない。すなわち、本発明における「同時」とは、所定の許容時間内であることを意味する。従って、「同時に」は「同期して」と言い換えることもできる。
　例えば、撮影画像がフレームで構成されている場合には、２個のランプが厳密に同時に点灯したとしても、撮像素子のサンプリング・タイミングによっては、２個のランプの各々が１フレームに相当する時間だけずれて点灯したように撮影される可能性がある。撮像素子内の光電変換素子の感度や応答速度によっても、同様の現象が発生する可能性がある。しかし、このような場合は、「同時の点灯」とみなしてもよい。
　また、ブレーキランプ自体も、ブレーキランプに接続された配線の長さやランプの特性の差などにより、厳密に同時に点灯するとは限らない。しかし、このような、種々の遅延時間に影響された、点灯時間の見かけの時間的ずれは無視し、「同時に点灯」と判断しても差し支えない。
（第１の実施形態の動作）
　次に、本実施形態の動作の一例を説明する。図３は、先行車両検知装置１００による先行車両検知動作の一例を説明するフローチャートである。
　先行車両検知処理は、ビデオレート、又はそれ以下の所定のレートで画像を取り込んでから、繰り返し実行される。
　まず、画像入力部１０１により自車の前方の撮像画像のデータを入力する（ステップＳ１）。続いて、新しく生成された輝度画像データと前回生成した輝度画像データを用いて差分処理を行い、輝度変化の激しい複数の輝度変化領域を抽出する（ステップＳ２）。最後に、抽出された複数の輝度変化領域のうち、同時に高輝度に変化した２つの輝度変化領域を抽出し、ブレーキランプの点灯の有無を判別する（ステップＳ３）。ステップＳ３でブレーキランプの点灯が確認された場合、先行車両が存在することが検出される。
　本実施形態では、画像入力部１０１はカラー画像を撮影するものとしたが、先行車両検知処理は、モノクロ画像を用いて行ってもよい。
　また、本実施形態では、変化領域抽出部１０２が、輝度が変化した領域を抽出するものとして説明した。輝度の代わりに、撮影画像を構成する色空間の色成分を用いることもできる。例えば、ＲＧＢ（Red-Green-Blue）色空間の場合では、Ｒ成分値が変化する領域を抽出してもよいし、ＲＧＢ成分値のいずれか１つ以上の値が所定の閾値以上変化する領域を抽出してもよい。
　また、撮影画像を構成する色空間を別の色空間に変換し、変換後の色空間の色成分を用いることもできる。例えば、画像入力部１０１が生成したＲＧＢ値の画像データをＨＳＶ値の画像データに変換し、変換した画像データに基づいて、先行車両のブレーキランプ点灯を検出してもよい。ＨＳＶとは、色相（Hue）、彩度（Saturation）、明度（Value）の３つの成分を意味する。ＨＳＶ値を用いたＨＳＶ色空間では、例えばＲＧＢ色空間よりも赤色と黄色とを区別し易いため、ウインカーの黄色をブレーキランプの赤色と誤認する可能性が抑制される。
　本実施形態では、変化領域抽出部１０２での判断において使用される第１の閾値と第２の閾値は、予め決められた固定閾値であると説明した。第１の閾値と第２の閾値は、前方の道路の環境、すなわち昼、夜間、雨などの、時間や天候などに依存した照明条件によって決められた閾値でもよい。また、時系列の明度変化に従う可変閾値を用いてもよい。
　以上のように、本実施形態の先行車両検知装置は、まず、輝度画像の差分処理を行い、差分値が予め定めた第１の閾値以上で、かつ現時刻における画像データの画素値が予め定めた第２の閾値以上の画素を抽出し、輝度変化領域とする。このような輝度変化領域を複数求め、それらの領域の中から、同時に点灯した２つの輝度変化領域を抽出する。従って、ブレーキランプではない、複数のランプが多数存在したとしても、ブレーキランプである可能性が高い２つのランプを抽出することができる。
　また、ブレーキランプの発見のための処理の際に、ランプの色は用いていない。先行車両の存在領域の確定や先行車両全体の領域画像の抽出も不要である。さらに、先行車両との間の距離の測定も不要である。このように、本実施形態の先行車両検知装置によるブレーキランプの発見のための処理は、輝度を用いた画像処理のみで実現できるという効果もある。
（第２の実施形態）
　第１の実施形態では、同時に高輝度に変化した２つの輝度変化領域の抽出によって、ブレーキランプを発見する。さらに、発見された２つの輝度変化領域に対して、追加の処理を行うことによって、ブレーキランプの誤認識、すなわちブレーキランプではない光源を誤ってブレーキランプであると認識することの可能性を低減することができる。
　図４は、第２の実施形態の先行車両検知装置の構成を示すブロック図である。本実施形態の先行車両検知装置１００は、前方車両後面に配置されるブレーキランプの点灯動作を認識することにより、前方車両を検出する。
　第２の実施形態の先行車両検知装置２００は、画像入力部１０１、変化領域抽出部１０２、変化タイミング判定部１０３に加え、領域条件判定部１０４を備える。画像入力部１０１、変化領域抽出部１０２、変化タイミング判定部１０３は、図１の先行車両検知装置１００が備えるものと同じなので、説明は省略する。
　領域条件判定部１０４は、変化タイミング判定部１０３によって抽出された２つの輝度変化領域が、以下の３つの条件を満たすか否かを判定する。そして、領域条件判定部１０４は、その２つの輝度変化領域が３つの条件を満たすとき、「ブレーキランプ領域」と判別し、ブレーキランプが点灯していると判断する。
　１）２つの輝度変化領域が水平方向に並んでいること
　ブレーキランプは、通常、２個のランプで構成され、地面に水平に、そして左右対称に配置される。そこで、２個のランプの相互の位置関係及び地面との位置関係を、ブレーキランプであるか否かの判定条件とする。本条件を、以降、「配置条件」という。
　配置条件に基づく判断では、具体的には、２つの輝度変化領域の中心を結ぶラインと地面とが平行であれば、２つの輝度変化領域は水平方向に配置されているものと認識され、「ブレーキランプ」であると判断される。
　上記の判断は、先行車両が接地している地面Ａと自車が接地している地面Ｂは同一平面上にあるものとみなし、自車の水平面である地面Ｂを基準として行われる。すなわち、２つの輝度変化領域の中心を結ぶラインが、撮影画像から判断される地面Ｂと平行であるとき、２つの輝度変化領域はブレーキランプであると判断される。
　なお、地面Ａと地面Ｂとの間に角度差があるものとして、２つの輝度変化領域の中心を結ぶラインと地面Ｂとがなす角（以降、「ブレーキランプ傾斜角」という。）が、所定の閾値（第３の閾値）以下であるとき、２つの輝度変化領域はブレーキランプであると判断してもよい。
　また、配置条件に基づく判断における「水平方向」とは、自車の設置面である地面Ｂと平行な方向との意味であり、地球の水平面に平行な方向という意味ではない。地面Ｂ自体の、地球の水平面に対する角度は、本判断には影響を与えない。
　２）２つの輝度変化領域の面積又は大きさの差が所定の閾値（第４の閾値）以下であること
　ブレーキランプは、通常、２個のランプが左右対称に配置されるため、個々のランプの表示面積は等しい。そこで、２個のランプの面積の違いを、ブレーキランプであるか否かの判定条件とする。本条件を、以降、「サイズ条件」という。
　なお、面積の代わりに、円形のランプの場合には直径等、多角形のランプの場合にはある辺の長さ等、大きさを判定条件として用いてもよい。
　３）２つの輝度変化領域の間隔と輝度変化領域の大きさとの比がほぼ一定であること
　「輝度変化領域の大きさ」とは、輝度変化領域の所定の部分の長さ、直径等、１次元の量である。前方車両の２個のブレーキランプの撮影画像の、大きさ及びその間隔は、前方車両と自車両との距離に比例する。しかし、距離が異なっても、２個のブレーキランプの撮影画像の大きさとその間隔との比はほぼ一定である。すなわち、２個のブレーキランプの撮影画像の大きさは、その間隔にほぼ比例する。そこで、現時刻に撮影された２つの輝度変化領域の間隔と大きさとの比と、前回処理時に撮影された輝度変化領域の間隔と大きさとの比が所定の閾値（第５の閾値）にほぼ等しいことを、ブレーキランプであるか否かの判定条件とする。本条件を、以降、「比例条件」という。
　なお、「比がほぼ一定である」とは、比が一定の許容範囲内にあるという意味である。また、輝度変化領域の大きさの代わりに面積を用いることもできる。その場合は、面積の平方根と間隔の比がほぼ一定であることを比例条件とすればよい。
　上記の条件に合致しないためにブレーキランプ領域ではないと判別される輝度変化領域の例を示す。図５Ａは、画像内における輝度変化領域の高さの差が許容される値を超えているため、配置条件を満たさない場合の輝度変化領域の例である。図５Ｂは、左右の輝度変化領域の面積の差が許容される値を超えているため、サイズ条件を満たさない場合の輝度変化領域の例である。図５Ｃは、領域間の間隔と大きさの比が一定でないため、比例条件を満たさない場合の輝度変化領域の例である。
（第２の実施形態の動作）
　次に、本実施形態の動作の一例を説明する。図６は、先行車両検知装置２００による先行車両検知動作の一例を説明するフローチャートである。ステップＳ１からＳ３までは、図３と同じであるので、説明は省略する。
　先行車両検知処理は、ビデオレート、又はそれ以下の所定のレートで画像を取り込んでから、繰り返し実行される。
　ステップＳ３で抽出された輝度変化領域に対して、前述の３つの判別条件、すなわち、配置条件、サイズ条件及び比例条件に合致するか否かによりブレーキランプの点灯の有無を判別し、ブレーキランプの検出を行う（ステップＳ４）。
　本実施形態でも、先行車両検知処理は、モノクロ画像を用いて行ってもよい。
　また、本実施形態でも、輝度の代わりに、撮影画像を構成する色空間の色成分を用いることもできる。例えば、ＲＧＢ（Red-Green-Blue）色空間の場合では、Ｒ成分値が変化する領域を抽出してもよいし、ＲＧＢ成分値のいずれか１つ以上の値が所定の閾値以上変化する領域を抽出してもよい。
　また、撮影画像を構成する色空間を別の色空間に変換し、変換後の色空間の色成分を用いることもできる。例えば、画像入力部１０１が生成したＲＧＢ値の画像データをＨＳＶ値の画像データに変換し、変換した画像データに基づいて、先行車両のブレーキランプ点灯を検出してもよい。
　領域条件判定部１０４では、２つの輝度変化領域がお互いに適切な位置関係、面積比率を持つか否かを判定する。すなわち領域条件判定部１０４は、２つの輝度変化領域の中心を結ぶ線と地面とがなす角が第３の閾値以下であること、及び２つの輝度変化領域の面積の差が第４の閾値以下であることをブレーキランプ点灯の判別条件とする。位置関係や面積比率の歪みを補正するために、第３の閾値及び第４の閾値の一方又は両方として、可変閾値を用いてもよい。
　例えば、自車両の前方道路がカーブし先行車両がそのカーブを曲がっている場合等、先行車両と自車との間の道路が直線でない場合は、先行車両の左右のブレーキランプに相当する高輝度領域の面積は同じにはならない。なぜなら、前方車両がそのカーブに進入して、自車両の進行方向に対して前方車両の向きが斜めとなり、前方車両の後面が自車両に正対しなくなるからである。
　ところが、カーブなど、道路の形状によって左右のブレーキランプの輝度変化領域の面積が影響を受ける場合は、左右の面積の比率を予想することができる。なぜなら、道路の形状は予め情報として入手可能だからである。従って、前述のサイズ条件について、道路の形状に応じて可変閾値を用いることによって、左右の面積の差を補正することができる。
　例えば、車のナビゲーションシステムには道路の形状の情報が事前に搭載されている。そこで、ＧＰＳ（Global Positioning System）によって自車両の位置情報を取得し、その位置情報から、カーブの角度等、前方の道路の形状の情報を取得する。そして、道路の形状に対応付けて予め設定された、左右のブレーキランプの正しい面積の比率を求めて第４の閾値を補正し、サイズ条件に従った判別を行えばよい。
　ただし、前方道路がカーブしている場合であっても、配置条件に用いる第３の閾値に関しては、必ずしも可変値を用いる必要はない。先行車両がカーブを曲がっているような場合では、先行車両の左右のブレーキランプの各々と自車両との距離に差が生じる。このとき、各ブレーキランプが撮影画像の画面に表示されるときの位置は、各ブレーキランプから自車までの距離によって変化し、距離が長い方のランプが高い位置に表示される。すなわち、２つの輝度変化領域の中心を結ぶラインと地面Ｂとがなす、ブレーキランプ傾斜角が０でない所定の角度となる。このときのブレーキランプ傾斜角は、先行車両と自車両との車間距離、及び先行車両の進行方向と自車の進行方向がなす角度に依存する。
　一般に、左右のブレーキランプの間隔は、おおよそ、１．５～２メートルである。従って、先行車両と自車との間の道路に９０度のカーブがある場合、自車から左右の各ブレーキランプまでの距離の差は、最大２メートルになる。先行車両の検知は、自車と先行車両の車間距離が短いときは不要であり、おおよそ、車間距離が５０メートル以上のときに必要とされる。車間距離が５０メートル程度のときは、左右の各ブレーキランプまでの距離の差は、車間距離に比べて十分に小さい。そのため、左右の各ブレーキランプが撮影画像の画面に表示される高さの差も小さい。従って、ブレーキ傾斜角が所定の閾値を超えないならば、地面と平行であると判断し、２つの輝度変化領域はブレーキランプであると判断してもよい。この場合、ブレーキランプ傾斜角が閾値を超えた場合には、２つの輝度変化領域はブレーキランプではないと判断する。
　ところで、先行車両が自車両の斜め前に存在する場合も、前方車両の左右のブレーキランプに相当する高輝度領域の面積は、同じにはならない。例えば、複数車線からなる道路において、自車両と前方車両との走行車線が異なって、前方車両が自車両の前方正面から横方向にずれた位置を走行している場合などでは、２つの高輝度領域の面積の差が第４の閾値より大きくなる可能性がある。しかし、面積の差が第４の閾値を超えた場合は、先行車両が自車両の前方から大きく横方向にずれた位置にあることを意味する。従って、斜め前にある先行車両を、検出すべき対象から除外しても差し支えない。
　先行車両が自車両の前方正面から横方向にずれた位置を走行している場合も、先行車両が自車両と同じ車線を走行しているときなど、横方向のずれが大きくない場合は、第３の閾値を必ずしも可変値とする必要はない。横方向のずれが大きくない場合は、先行車両の左右のブレーキランプの各々と自車両との距離はほぼ等しい。従って、各ブレーキランプは、撮影画像の画面のほぼ等しい高さの位置に表示される。すなわち、左右の輝度変化領域の中心を結ぶラインが地面にほぼ平行となるので、輝度変化領域をブレーキランプと判断してよい。従って、第３の閾値を可変値とする必要はない。
　以上のように、第２の実施形態の先行車両検知装置は、第１の実施形態の先行車両検知装置の処理に加え、配置条件に基づいて、２つの輝度変化領域の、相互の位置関係及び地面との位置関係を確認し、サイズ条件に基づいて、２つの輝度変化領域の大きさを確認する。また、比例条件に基づいて、２つの輝度変化領域の間隔と大きさとの比を確認する。ブレーキランプの点灯の判断により先行車両を検出する。このように、ブレーキランプの左右の配置及び大きさ、地面との位置関係など、ブレーキランプに特有の事項を用いて、同時に点灯した２つのランプの中から、ブレーキランプを発見する。従って、ブレーキランプの検出についての信頼性を向上させることができる。
（第３の実施形態）
　第２の実施形態に、さらに追加の処理を行うことによって、ブレーキランプの誤認識の可能性を一層低減することができる。
　本発明の第３の実施形態について図面を参照して詳細に説明する。図７は、先行車両検知装置３００の構成を示すブロック図である。先行車両検知装置３００は、図４に示した先行車両検知装置２００の構成に加え、同期性検出部１０５を備える。
　画像入力部１０１、変化領域抽出部１０２、変化タイミング判定部１０３、領域条件判定部１０４は、先行車両検知装置２００が備えるものと同一の機能を備える。
　同期性検出部１０５は、変化タイミング判定部１０３で抽出された２つの輝度変化領域に対応する範囲の画像データを追跡し、２つの輝度変化領域の各々の動きが発生したタイミング間の関連性、いわゆる「同期性」を確認する。そして、抽出された２つの輝度変化領域のオプティカルフローを示すベクトル、すなわち時間的に連続するデジタル画像の中で物体の動きを示すベクトルの向きと大きさが等しければ、それらの領域の動きは同期していると判断できる。同じ車のランプの動きは同期していると考えられる。従って、画像上において、お互いに同じ方向に移動している２つの領域がある場合、これらの領域をブレーキランプ領域として判別する。
　ブレーキランプが発見されたことは、前方に先行車両が存在することを意味するので、その旨を報知する。
　このように、時系列で前方撮影画像に前方車両のブレーキランプが含まれているか否かを確認することにより、先行車両の検出についての信頼性を向上させることができる。
（第３の実施形態の動作）
　次に、本実施形態の動作の一例を説明する。図８は、動作の一例を説明するフローチャートである。ステップＳ１からＳ４までは、図６と同じである。
　先行車両検知処理は、ビデオレート、又はそれ以下の所定のレートで画像を取り込んでから、繰り返し実行される。
　画像データの入力（ステップＳ１）、輝度変化領域の抽出（ステップＳ２）、輝度変化領域の輝度変化タイミングの判定（ステップＳ３）、輝度変化領域についての３条件の判定（ステップＳ４）は、第２の実施形態で説明した動作と同様である。
　ステップＳ４の次に、ブレーキランプの検出を、上記のオプティカルフローの検出による方法を用いて検証する（ステップＳ５）。同じ車のランプの動きは同期していると考えられる。従って、ある２つの輝度変化領域がブレーキランプに対応するものであるならば、その２つの領域の移動方向及び移動量は等しいと考えられる。そこで、撮影画像上において、お互いに同じ方向に、同じ距離だけ移動している２つの輝度変化領域がある場合、これらの領域をブレーキランプ領域として判別する。ブレーキランプが発見されたことは、前方に先行車両が存在することを意味するので、その旨を報知する。
　なお、上記のステップＳ４とＳ５の実行順序は限定されない。すなわち、輝度変化領域の３つ条件について判定（ステップＳ４）の前に、輝度変化領域のオプティカルフローの確認（ステップＳ５）を行ってもよい。
　以上のように、第３の先行車両検知装置は、第２の実施形態の先行車両検知装置の処理に加え、輝度変化領域のオプティカルフローの確認を行う。従って、ブレーキランプの検出についての信頼性をさらに向上させることができる。
　ところで、第３の実施形態において行ったオプティカルフローの確認は、第２の実施形態との組み合わせのみでなく、第１の実施形態との組み合わせにも有効である。すなわち、第１の実施形態で示した方法で、同時に高輝度に変化した２つの輝度変化領域を抽出し、その２つの領域のオプティカルフローを確認することによっても、ブレーキランプの検出についての信頼性を向上させることができる。
　図４、図６及び図８に示した、先行車両検知処理は、コンピュータによるプログラムの実行によって行うことができる。図９は、コンピュータを用いた先行車両検知処理４００の構成例を示すブロック図である。
　先行車両検知処理４００は、画像入力部１０１、コンピュータ４０１、メモリ４０２を備える。
　画像入力部１０１は、先行車両検知処理１００のものと同じである。
　コンピュータ４０１は、メモリ４０２に格納された、先行車両検知プログラムを読み込んで実行する。先行車両検知プログラムの処理フローは、図４、図６及び図８と同じである。
　なお、上記の先行車両検知プログラムは、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体記憶装置、光ディスク、磁気ディスク、光磁気ディスク等、非一時的な媒体に格納されてもよい。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１２年６月２７日に出願された日本出願特願２０１２－１４３７４６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　　　１００　　先行車両検知装置
　　　１１０　　前方画像
　　　１１１　　輝度変化領域
　　　２００　　先行車両検知装置
　　　３００　　先行車両検知装置
　　　４００　　先行車両検知装置

Claims (9)

  1. 　車両から撮影された、前記車両の進行方向の画像の画像データを取り込む画像入力部と、
    　前記画像を構成する画素のうち、輝度が第１の閾値以上であり、かつ前記輝度の時間的変化が第２の閾値以上である画素で構成される領域である輝度変化領域を抽出する変化領域抽出部と、
    　前記輝度変化領域が抽出されたタイミングを判定し、同時に前記輝度変化領域として抽出された第１の前記輝度変化領域及び第２の前記輝度変化領域を抽出する変化タイミング判定部と、
    を備えることを特徴とする先行車両検知装置。
  2. 　前記第１の輝度変化領域の中心と前記第２の輝度変化領域を結ぶ線と前記画像から判断される水平方向とがなす角が第３の閾値以下であり、前記第１の輝度変化領域の第１の大きさと前記第２の輝度変化領域の第２の大きさの差が第４の閾値以下であり、前記第１の大きさ及び第２の大きさと前記第１の輝度変化領域と前記第２の輝度変化領域との間隔の比が第５の閾値に等しい、前記第１の輝度変化領域及び前記第２の輝度変化領域を検出する領域条件判定部と
    を備えることを特徴とする請求項１に記載の先行車両検知装置。
  3. 　前記画像上におけるオプティカルフローの向きと大きさが等しい、前記第１の輝度変化領域及び前記第２の輝度変化領域を検出する車検出確認部を備える
    ことを特徴とする請求項１又は２に記載の先行車両検知装置。
  4. 　前記画像データは、第１の色空間の第１の色成分を含み、
    　前記輝度に代えて、前記第１の色成分の値を用いる
    ことを特徴とする請求項１乃至３のいずれかに記載の先行車両検知装置。
  5. 　前記輝度に代えて、前記第１の色空間から変換された第２の色空間の第２の色成分の値を用いる
    ことを特徴とする請求項４に記載の先行車両検知装置。
  6. 　前記進行方向の道路の環境に基づいて、前記第１の閾値又は第２の閾値を変化させる
    ことを特徴とする請求項１乃至５のいずれかに記載の先行車両検知装置。
  7. 　前記進行方向の道路の形状に基づいて、前記第４の閾値を変化させる
    ことを特徴とする請求項１乃至６のいずれかに記載の先行車両検知装置。
  8. 　車両から撮影された、前記車両の進行方向の画像の画像データを取り込み、
    　輝度が第１の閾値以上であり、前記輝度の時間的変化が第２の閾値以上である、前記画像を構成する画素で構成される領域である輝度変化領域を抽出し、
    　前記輝度変化領域が抽出されたタイミングを判定し、同時に前記輝度変化領域として抽出された第１の前記輝度変化領域及び第２の前記輝度変化領域を抽出する
    ことを特徴とする先行車両検知方法。
  9. 　先行車両検知装置が備えるコンピュータを、
    　車両から撮影された、前記車両の進行方向の画像の画像データを取り込む画像入力手段と、
    　輝度が第１の閾値以上であり、前記輝度の時間的変化が第２の閾値以上である、前記画像を構成する画素で構成される領域である輝度変化領域を抽出する変化領域抽出手段と、
    　前記輝度変化領域が抽出されたタイミングを判定し、同時に前記輝度変化領域として抽出された第１の前記輝度変化領域及び第２の前記輝度変化領域を抽出する変化タイミング判定手段
    として機能させるための先行車両検知プログラムを格納した非一時的な記憶媒体。
PCT/JP2013/003686 2012-06-27 2013-06-12 先行車両検知装置、先行車両検知方法、及び先行車両検知プログラム記憶媒体 WO2014002413A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-143746 2012-06-27
JP2012143746 2012-06-27

Publications (1)

Publication Number Publication Date
WO2014002413A1 true WO2014002413A1 (ja) 2014-01-03

Family

ID=49782613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/003686 WO2014002413A1 (ja) 2012-06-27 2013-06-12 先行車両検知装置、先行車両検知方法、及び先行車両検知プログラム記憶媒体

Country Status (1)

Country Link
WO (1) WO2014002413A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016130965A (ja) * 2015-01-14 2016-07-21 株式会社デンソー 点灯検出装置
US10248874B2 (en) 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection
JP2019091376A (ja) * 2017-11-17 2019-06-13 スズキ株式会社 車両挙動認識装置および運転支援装置
CN114779838A (zh) * 2022-06-20 2022-07-22 鲁冉光电(微山)有限公司 一种车载摄像头角度智能调节控制系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0610839B2 (ja) * 1985-11-22 1994-02-09 日本電装株式会社 前方車両の警報ランプの認識装置
JPH08221700A (ja) * 1995-02-17 1996-08-30 Suzuki Motor Corp ストップランプ認識装置
JP2002175522A (ja) * 2000-12-05 2002-06-21 Hitachi Ltd 車両の運転支援装置
JP2008189148A (ja) * 2007-02-05 2008-08-21 Toyota Motor Corp 走行状態検知装置
JP2008265474A (ja) * 2007-04-18 2008-11-06 Toyota Motor Corp 制動灯検出装置
JP2009048566A (ja) * 2007-08-22 2009-03-05 Denso Corp 車両検出装置
JP2009057946A (ja) * 2007-09-03 2009-03-19 Auto Network Gijutsu Kenkyusho:Kk アイドリングストップ支援装置
JP2009067240A (ja) * 2007-09-13 2009-04-02 Auto Network Gijutsu Kenkyusho:Kk 発車報知装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0610839B2 (ja) * 1985-11-22 1994-02-09 日本電装株式会社 前方車両の警報ランプの認識装置
JPH08221700A (ja) * 1995-02-17 1996-08-30 Suzuki Motor Corp ストップランプ認識装置
JP2002175522A (ja) * 2000-12-05 2002-06-21 Hitachi Ltd 車両の運転支援装置
JP2008189148A (ja) * 2007-02-05 2008-08-21 Toyota Motor Corp 走行状態検知装置
JP2008265474A (ja) * 2007-04-18 2008-11-06 Toyota Motor Corp 制動灯検出装置
JP2009048566A (ja) * 2007-08-22 2009-03-05 Denso Corp 車両検出装置
JP2009057946A (ja) * 2007-09-03 2009-03-19 Auto Network Gijutsu Kenkyusho:Kk アイドリングストップ支援装置
JP2009067240A (ja) * 2007-09-13 2009-04-02 Auto Network Gijutsu Kenkyusho:Kk 発車報知装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016130965A (ja) * 2015-01-14 2016-07-21 株式会社デンソー 点灯検出装置
US10248874B2 (en) 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection
US10853673B2 (en) 2016-11-22 2020-12-01 Ford Global Technologies, Llc Brake light detection
JP2019091376A (ja) * 2017-11-17 2019-06-13 スズキ株式会社 車両挙動認識装置および運転支援装置
CN114779838A (zh) * 2022-06-20 2022-07-22 鲁冉光电(微山)有限公司 一种车载摄像头角度智能调节控制系统
CN114779838B (zh) * 2022-06-20 2022-09-02 鲁冉光电(微山)有限公司 一种车载摄像头角度智能调节控制系统

Similar Documents

Publication Publication Date Title
JP4654163B2 (ja) 車両の周囲環境認識装置及びシステム
JP6176028B2 (ja) 車両制御システム、画像センサ
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
CN105981042B (zh) 车辆探测系统及方法
US8908924B2 (en) Exterior environment recognition device and exterior environment recognition method
JP5846872B2 (ja) 画像処理装置
JP5820843B2 (ja) 周囲環境判定装置
EP2546779B1 (en) Environment recognizing device for a vehicle and vehicle control system using the same
JP6457278B2 (ja) 物体検出装置及び物体検出方法
US20070221822A1 (en) Headlight, Taillight And Streetlight Detection
JP2012155612A (ja) 車線検出装置
JP5065172B2 (ja) 車両灯火判定装置及びプログラム
WO2012141053A1 (ja) 画像処理装置
JP5501477B2 (ja) 環境推定装置及び車両制御装置
WO2014002413A1 (ja) 先行車両検知装置、先行車両検知方法、及び先行車両検知プログラム記憶媒体
KR101134857B1 (ko) 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치
JP5353531B2 (ja) 車両灯火認識装置及びプログラム
JP5434277B2 (ja) 走行支援装置および走行支援方法
JP2005339234A (ja) 前方車両監視装置
US20220398853A1 (en) Traffic Signal Recognition Method and Traffic Signal Recognition Device
US11167687B2 (en) Object detection system
JP7390899B2 (ja) レーンマーク認識装置
JP5310162B2 (ja) 車両灯火判定装置
JP2003174642A (ja) スミア検出方法及びこのスミア検出方法を用いた画像処理装置
JP2018182540A (ja) 表示制御装置、表示制御方法及びカメラモニタリングシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13809464

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13809464

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP