WO2013077132A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2013077132A1
WO2013077132A1 PCT/JP2012/077389 JP2012077389W WO2013077132A1 WO 2013077132 A1 WO2013077132 A1 WO 2013077132A1 JP 2012077389 W JP2012077389 W JP 2012077389W WO 2013077132 A1 WO2013077132 A1 WO 2013077132A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance information
image processing
image
detection
distance
Prior art date
Application number
PCT/JP2012/077389
Other languages
English (en)
French (fr)
Inventor
裕史 大塚
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP12850902.3A priority Critical patent/EP2784745A4/en
Priority to US14/353,549 priority patent/US20140293055A1/en
Publication of WO2013077132A1 publication Critical patent/WO2013077132A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/42—Indexing codes relating to other road users or special conditions oncoming vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an image processing apparatus that detects a target from an image captured by an image sensor mounted on a moving body.
  • Patent Document 1 describes a technology for detecting a taillight of a preceding vehicle or a headlight of an oncoming vehicle from a color camera image and switching the headlight from a high beam to a low beam so as not to dazzle the driver of the preceding vehicle or the oncoming vehicle. ing. The driver does not need to switch between the high beam and the low beam while paying attention to the preceding and oncoming vehicles, and can concentrate on driving.
  • the main cause of inappropriate control is the detection failure of the taillight of the preceding vehicle and the headlight of the oncoming vehicle by the camera, and other misdetection of the light source. For example, a dark taillight may be missed, or disturbance light such as a delineator, a traffic light, or a streetlight on the road may be erroneously detected as a vehicle light. How to reduce this detection defect is a technical issue.
  • Patent Document 1 describes means for detecting two light sources as a light source pair.
  • the headlight of the oncoming vehicle and the taillight of the preceding vehicle are paired side by side with the left and right light sources. Pair them and determine whether they are the light sources of other vehicles based on whether they can be paired. To do. Also, an approximate distance is calculated from the distance between the light source pairs.
  • the light source of the other vehicle is based on whether or not pairing is possible. Therefore, when two left and right laying systems are installed like a traffic signal at an intersection with a lot of traffic, they are paired. It may be erroneously determined as another vehicle.
  • the traffic light is laid on the upper side, so it can be seen upward on the screen when it is in the vicinity, and can be distinguished from the light source of other vehicles, but when it is 200 to 300m or more, it appears near the vanishing point on the screen. It becomes difficult to distinguish by the information.
  • the object of the present invention is to extract only the headlight of the oncoming vehicle and the taillight of the preceding vehicle from various light spots at night based on the information obtained from the stereo camera, so that the field of view is safer for the driver. Is to provide.
  • the present invention provides first distance information for calculating first distance information from two images captured by a first image sensor and a second image sensor to a detection target candidate. Comparing the first distance information and the second distance information with the calculating means, the second distance information calculating means for calculating the second distance information from the image captured by the first image sensor to the detection target candidate And it is set as the structure which has a target object detection means to detect a target object from a detection target object candidate based on the compared comparison result.
  • the headlight of the oncoming vehicle and the taillight of the preceding vehicle can be extracted from various light spots at night to provide a safer view for the driver.
  • FIG. 1 is a schematic diagram showing an overall configuration for realizing a headlight light distribution control method, which is an embodiment relating to an image processing apparatus of the present invention.
  • the camera 101 which is an imaging device, is installed in the headlight unit 105 so that the front view of the vehicle can be captured and the headlight 104 illuminates the front of the vehicle.
  • the vehicle front image captured by the camera 101 is input to the image signal processing unit 102, and the image signal processing unit 102 calculates the number and positions of the headlights of the oncoming vehicle and the taillights of the preceding vehicle existing in front of the vehicle. .
  • the calculated information is sent to the headlight control unit 103.
  • the image signal processing unit 102 that is an image processing device sends information indicating that the headlight is not present to the headlight control unit 103.
  • the headlight control unit 103 controls the headlight 104 by determining whether the headlight 104 is to be a high beam or a low beam from the received information.
  • each unit it is desirable to install the camera 101 and the headlight 104 as close as possible. By doing so, it leads to simplification of calibration such as optical axis adjustment.
  • the camera 101 may be installed in a vehicle interior, for example, in the back of a room mirror, at a position where the front of the vehicle can be seen.
  • the optical axis 301 of the camera 101 which is an imaging apparatus and the optical axis 302 of the headlight 104 are made parallel. This is because if the optical axes are not parallel, the spatial position captured by the camera 101 and the spatial position projected by the headlight 104 will be displaced. Further, the angle of view 303 of the camera is set to be equal to or more than the irradiation angle 304 of the headlight 104.
  • FIG. 1 is a diagram showing an internal configuration of a camera 101 that is an imaging device and an image signal processing unit 102 that is an image processing device.
  • the camera 101 is a stereo camera and there are two left and right cameras (a right camera 101b that is a first imaging device and a left camera 101a that is a second imaging device).
  • Each camera includes CMOS 201a and 201b (Complementary Metal Oxide Semiconductor), which are image pickup elements in which photodiodes that convert light into electric charges are arranged in a grid, and each pixel has red (R), green (G), Blue (B) color filters are arranged in a Bayer array as shown in FIG.
  • CMOS 201a and 201b Complementary Metal Oxide Semiconductor
  • RGB Red
  • G green
  • B Blue
  • the RAW images obtained by the Bayer-arrayed CMOSs 201a and 201b are transferred to color reproduction DSPs 202a and 202b, which are color reproduction processing units provided in the respective cameras.
  • the RGB image is further converted into a Y image and a UV image, and the image input I / O of the image signal processing unit 102 which is an image processing apparatus is converted. Send to F205.
  • each pixel can measure only the intensity of any one of red (R), green (G), and blue (B), other colors are estimated with reference to surrounding colors.
  • R red
  • G green
  • B blue
  • the RGB values of the center pixel G 22 in FIG. 5A are obtained by the following equation (1).
  • RGB of the pixel at R 22 in the center of FIG. 5B is obtained by the following equation (2).
  • RGB image can be obtained.
  • brightness Y and color difference signals U and V in all pixels are obtained from the following equation (3) to create a Y image and a UV image.
  • Y image is 8-bit data from 0 to 255, and the closer to 255, the brighter the image.
  • the image signal is transmitted continuously, but the head includes a synchronization signal, and only an image at a necessary timing can be captured by the image input I / F 205.
  • the image captured by the image input I / F 205 is written in the memory 206 as a storage unit, and is processed and analyzed by the image processing unit 204. Details of this processing will be described later. A series of processing is performed according to the program 207 written in the Flash ROM.
  • the CPU 203 performs control and necessary calculations for capturing an image with the image input I / F 205 and causing the image processing unit 204 to perform image processing.
  • Each of the image sensors CMOS 201a and 201b incorporates an exposure control unit for performing exposure control and a register for setting an exposure time, and the CMOS 201a and 201b capture an image with the exposure time set in the register.
  • the register can be rewritten from the CPU 203 as a processing unit, and the rewritten exposure time is reflected at the time of imaging in the next frame or the next field.
  • the exposure time can be controlled electronically, and the amount of light that strikes the CMOS 201a, 201b is limited.
  • the exposure time control can be realized by the electronic shutter method as described above, but can also be realized by using a method of opening and closing the mechanical shutter. Further, the exposure amount may be changed by adjusting the aperture. Further, when the operation is performed every other line as in the case of interlace, the exposure amount may be changed between the odd-numbered line and the even-numbered line.
  • the Y image obtained by Expression (3) is binarized with a preset brightness threshold value MinY.
  • a binary image as shown in FIG. 7A is created by setting 1 if MinY or more and 0 if less than MinY.
  • the UV image is analyzed to detect a light spot having a red component. Specifically, using the image processing unit 204,
  • this binary image is labeled to extract a light spot region.
  • Labeling is image processing for attaching the same label to connected pixels.
  • the label image is as shown in FIG. Since a different label is attached to each light spot region, it is easy to analyze the region. This label processing is also performed by the image processing unit 204.
  • FIG. 12 is a flowchart showing a flow of processing for identifying the main taillight light spot of this embodiment. The same applies to the headlight, but here, tail light detection that easily detects red signals will be described as an example.
  • step S1 first, an image is acquired by an image acquisition means. As shown in FIG. 2, images are obtained from the CMOS 201a which is the second image sensor of the left camera of the stereo camera and the CMOS 201b which is the first image sensor of the right camera.
  • step S2 light spot pair detection means performs image processing to detect a pair of light spots from the image.
  • the image is YUV converted to extract a red light spot from the UV image, and is labeled.
  • pairing is performed by analyzing the position and size of the labeled light spot. The pairing is performed under the condition that the heights (y coordinates) of the two light spots are almost equal and the sizes are not too far apart. If a pair light spot is detected, verification is performed by the number of pairs by the determination in step S3.
  • the second distance information calculation means calculates the distance to the light spot by a monocular method.
  • the distance to the preceding vehicle (second distance information) is Z 1
  • the width of the taillight 1001 of the preceding vehicle is W
  • the focal length of the lens 901 and the CMOS 201 is f
  • the preceding vehicle imaged on the CMOS is shown. If the width of the taillight 1001 is w, the distance Z 1 is from the similarity ratio of the triangle,
  • the width W of the taillight 1001 of the preceding vehicle is an unknown number that cannot be measured, but can be obtained by assuming a general vehicle width, for example, 1.7 m.
  • step S5 the first distance information calculation means calculates the distance to the light spot in a stereo manner.
  • the distance to the preceding vehicle is Z 2
  • the baseline length which is the distance between the left and right optical axes is B
  • the focal length is f
  • the parallax on the CMOS is d
  • the distance Z 2 is from the similarity ratio of the triangle
  • step S6 in the object detecting means, for comparing the magnitude of the distance Z 2 and distance Z 1 is the second distance information is the first distance information, specifically, the distance Z 1 and the distance Z Determine if 2 is equal.
  • the preceding vehicle 801 and the traffic light 802 appear in the same manner as the light spot 803 in FIG. 8C when only the night light spot is visible.
  • FIG. 9 is a diagram showing the positional relationship when the situation of FIG. 8 is viewed from above. Actually, the traffic light 802 is considerably far away from the preceding vehicle 801.
  • the distance Z 1 is the same for both the preceding vehicle 801 and the traffic signal 802, but the distance Z 2 is greater for the traffic signal 802 than for the preceding vehicle 801. Since the width of the taillight 1001 of the preceding vehicle of the formula (5) is set to match the width of the preceding vehicle 801, Z 1 ⁇ Z 2 in the case of the preceding vehicle 801 and Z 1 ⁇ Z 2 in the case of the traffic light 802 I understand that
  • the tail light determination of the vehicle at step S7 is performed, and when they are different, the noise light source determination of step S8 is performed.
  • the present invention compares the first distance information calculated by the stereo method with the second distance information calculated by the monocular method in the object detection unit, and the comparison result is as follows. Based on the information obtained from the stereo camera, it detects various objects at night based on the configuration that detects the object (headlight of the oncoming vehicle and taillight of the preceding vehicle) from the detection object candidate (paired light spot) based on By extracting only the headlights of the oncoming vehicle and the taillight of the preceding vehicle from the points, the reliability of the light distribution control is increased and a safer view for the driver can be provided.

Abstract

　ステレオカメラから得られた情報をもとに、夜間のさまざまな光点の中から、対 向車のヘッドライトや先行車のテールライトのみを抽出し、ドライバーにとってより安全な視界を提供するために、第１の撮像素子と第２の撮像素子で撮像した２つの画像から検知対象物候補までの第１の距離情報を算出する第１の距離情報算出手段と、第１の撮像素子で撮像した画像から検知対象物候補までの第２の距離情報を算出する第２の距離情報算出手段と、第１の距離情報と第２の距離情報を比較し、比較した比較結果に基づいて検知対象物候補から対象物を検知する対象物検知手段と、を有する。

Description

画像処理装置
　本発明は、移動体に搭載された撮像素子で撮影された画像から対象を検知する画像処理装置に関する。
　従来から、夜間、車載カメラの映像から光点を解析することで、対向車や先行車の有無を判断し、ヘッドライトのハイビーム、ロービームを自動的に切り替える配光制御技術の研究開発が行われている。
　特許文献１では、カラーカメラの映像から、先行車のテールライトや対向車のヘッドライトを検出して先行車や対向車のドライバーを眩惑しないようにヘッドライトをハイビームからロービームに切り替える技術が記載されている。ドライバーは先行車や対向車に注意しながらハイビームやロービームの切り替えをする必要が無くなり、運転に集中することができる。
　しかしながら、その制御のタイミングが適切でないと、ドライバーに違和感を与える恐れがある。制御が不適切になる一番の要因は、カメラによる先行車のテールライトや対向車のヘッドライトの検知漏れやその他光源の誤検知である。例えば、暗いテールライトを検知漏れしたり、路上のデリニエータや信号機、街灯などの外乱光を車両灯と誤検知したりすることがあり、この検知不具合によって誤動作が生じる。この検知不具合をいかにして減らすかが技術課題となる。
　特許文献１では、２つの光源を光源対として検出する手段が記載されている。対向車のヘッドライトや先行車のテールライトは左右２つの光源が横に並んで対になっているので、それをペアリングして、ペアリングできたか否かで他車両の光源かどうかを判定する。
また、光源対の間隔からおおよその距離を算出する。
特許第３５０３２３０号公報
　しかしながら、上記従来例ではペアリングできたか否かで他車両の光源かどうか判定しているため、交通量の多い交差点の信号機のように左右２基敷設されている場合、それらがペアリングされて他車両と誤判定されることがある。一般に信号機は上方に敷設されているので、近傍の場合は画面上でも上方に写り他車両の光源と区別できるが、２００～３００ｍ以上の遠方の場合は画面上で消失点付近に写るため、高さ情報で区別することが難しくなる。
　本発明の目的は、ステレオカメラから得られた情報をもとに、夜間のさまざまな光点の中から、対向車のヘッドライトや先行車のテールライトのみを抽出し、ドライバーにとってより安全な視界を提供することである。
　上記の目的を達成するために、本発明は、第１の撮像素子と第２の撮像素子で撮像した２つの画像から検知対象物候補までの第１の距離情報を算出する第１の距離情報算出手段と、第１の撮像素子で撮像した画像から検知対象物候補までの第２の距離情報を算出する第２の距離情報算出手段と、第１の距離情報と第２の距離情報を比較し、比較した比較結果に基づいて検知対象物候補から対象物を検知する対象物検知手段と、を有する構成とする。
　ステレオカメラから得られた情報をもとに、夜間のさまざまな光点の中から、対向車のヘッドライトや先行車のテールライトのみを抽出し、ドライバーにとってより安全な視界を提供できる。
本発明に係る画像処理装置を含むヘッドライト配光制御方法の一構成例を示す図である。 図１のカメラ及び画像信号処理ユニットの一構成例を示す図である。 図１のカメラとヘッドライトの関係を説明する図である。 図２のＣＭＯＳのカラーフィルタのベイヤー配列を説明する図である。 図２のＣＭＯＳの色再生処理を説明する図である。 図２の色再生ＤＳＰのＵＶ画像を説明する図である。 本発明に係る画像処理装置の２値画像とラベル画像の関係を示す図である。 テールライトと信号機の光点の見え方を説明する図である。 テールライトと信号機の位置関係を説明する図である。 本発明に係る画像処理装置の単眼カメラを用いた先行車テールライトまでの測距方法を説明する図である。 本発明に係る画像処理装置のステレオカメラを用いた先行車テールライトまでの測距方法を説明する図である。 本発明に係る画像処理装置の処理フローを示す図である。
　図１は、本発明の画像処理装置に関わる実施例である、ヘッドライト配光制御方法を実現するための全体の構成を示す概略図である。
　撮像装置であるカメラ１０１は車両の前方の視界を捕らえられるように、ヘッドライト１０４は車両の前方を照らすように、それぞれヘッドライトユニット１０５内に設置される。カメラ１０１で撮像された車両前方画像は画像信号処理ユニット１０２に入力され、画像信号処理ユニット１０２は、車両前方に存在する対向車のヘッドライトおよび、先行車のテールライトの個数や位置を計算する。計算された情報は、ヘッドライト制御ユニット１０３に送られる。車両前方に存在する対向車のヘッドライトおよび、先行車のテールライトが存在しない場合は、画像処理装置である画像信号処理ユニット１０２は、存在しないという情報をヘッドライト制御ユニット１０３に送る。ヘッドライト制御ユニット１０３では、受け取った情報からヘッドライト１０４をハイビームにするかロービームにするかを判断して、ヘッドライト１０４を制御する。
　各ユニットの配置に関しては、カメラ１０１とヘッドライト１０４をできるだけ近くに設置することが望ましい。そうすることで、光軸調整などのキャリブレーションの簡便化に繋がる。
　しかし、ヘッドライトユニット１０５のスペースに余裕がなくカメラ１０１が収まらない場合は、カメラ１０１を車室内、たとえばルームミラーの奥等に設置して車両前方が写る位置に設置しても良い。
　さらに、図３のように撮像装置であるカメラ１０１の光軸３０１とヘッドライト１０４の光軸３０２は平行にしておく。光軸を平行にしなければ、カメラ１０１で撮像された空間位置とヘッドライト１０４で投光する空間位置にずれが生じてしまうためである。また、カメラの画角３０３はヘッドライト１０４の照射角３０４と同等、もしくはそれ以上に合わせておく。
　次に、カメラ１０１で対向車のヘッドライトと先行車のテールライトを検出する方法について説明する。
　図１は、撮像装置であるカメラ１０１と、画像処理装置である画像信号処理ユニット１０２の内部構成を示した図である。
　カメラ１０１は、ステレオカメラで左右２つ（第１の撮像装置である右カメラ１０１ｂ、第２の撮像装置である左カメラ１０１ａ）存在する。
　各カメラは、光を電荷に変換するフォトダイオードが格子状に並んだ撮像素子であるＣＭＯＳ２０１ａ、２０１ｂ（Complementary Metal Oxide Semiconductor）を備え、各画素の表面には赤（Ｒ）・緑（Ｇ）・青（Ｂ）のカラーフィルタが図４のようにベイヤー配列で配置されている。
　そのため、画素４０１には赤色の光だけ、画素４０２は緑色の光だけ、画素４０３は青色の光だけが入射する。このベイヤー配列のＣＭＯＳ２０１ａ、２０１ｂで得られたＲＡＷ画像は、それぞれ各カメラに設けた色再生処理部である色再生ＤＳＰ２０２ａ、２０２ｂに転送される。
　色再生処理部である色再生ＤＳＰ２０２ａ、２０２ｂでは、色再生処理を行った後、ＲＧＢ画像をさらにＹ画像、ＵＶ画像に変換して、画像処理装置である画像信号処理ユニット１０２の画像入力Ｉ／Ｆ２０５に送信する。
　ここで、ベイヤー配列をもつ一般的なカラーＣＭＯＳで行われる色再生（デモザイク）処理の仕組みを説明する。
　各画素は赤（Ｒ）か、緑（Ｇ）か、青（Ｂ）かのいずれか１色の強度しか測定できないため、それ以外の色は周囲の色を参照して推定する。たとえば、図５（ａ）の中央のＧ22の画素のＲＧＢはそれぞれ次式（１）のようにして求められる。
Figure JPOXMLDOC01-appb-M000001
　同様に、図５（ｂ）の中央のＲ22の画素のＲＧＢはそれぞれ次式（２）のようにして求められる。
Figure JPOXMLDOC01-appb-M000002
　その他の画素も同様にして求められる。このように求めていくと、すべての画素でＲＧＢの３原色を計算することができ、ＲＧＢ画像を得ることができる。さらに、全画素での明度Ｙ、色差信号Ｕ、Ｖを、次式（３）から求めてＹ画像、ＵＶ画像を作成する。
Figure JPOXMLDOC01-appb-M000003
　Ｙ画像は各画素が０から２５５の８ｂｉｔのデータになっていて、２５５に近いほど明るいことを意味している。
　画像信号は連続的に送信されるがその先頭には同期信号が含まれており、画像入力Ｉ／Ｆ２０５で必要なタイミングの画像のみを取り込むことができる。
　画像入力Ｉ／Ｆ２０５で取り込まれた画像は記憶部であるメモリ２０６に書き込まれ、画像処理ユニット２０４によって処理や解析が行われる。この処理の詳細は後述する。一連の処理はＦｌａｓｈ　ＲＯＭに書き込まれたプログラム２０７に従って行われる。画像入力Ｉ／Ｆ２０５で画像を取り込んだり、画像処理ユニット２０４で画像処理を行わせたりするための制御および必要な計算はＣＰＵ２０３によって行われる。
　各々の撮像素子であるＣＭＯＳ２０１ａ、２０１ｂは、露光制御を行うための露光制御ユニットと露光時間を設定するレジスタとを内蔵しており、ＣＭＯＳ２０１ａ、２０１ｂは、レジスタに設定された露光時間で撮像する。レジスタは、処理部であるＣＰＵ２０３から書き換え可能であり、書き換えられた露光時間は次フレーム、あるいは次フィールド以降の撮像時に反映される。露光時間は、電子制御可能で、ＣＭＯＳ２０１ａ、２０１ｂに当たる光の量が制限される。露光時間制御は前記のような電子シャッター方式によって実現できるが、メカニカルシャッターを開閉させる方式を用いても同様に実現可能である。また、絞りを調整することで露光量を変化させても良い。また、インターレースのように１ラインおきに操作する場合、奇数ラインと偶数ラインで露光量を変化させても良い。
　ヘッドライトやテールライト検知では画像中の光点の位置を検出する必要がある。ヘッドライトの場合、高輝度の位置を見つければよいため、式（３）で得られたＹ画像を、あらかじめ設定された明度しきい値ＭｉｎＹで２値化する。ＭｉｎＹ以上であれば１、ＭｉｎＹ未満であれば０とすることで図７（ａ）のような２値画像ができ上がる。テールライトの場合、赤色の場合はＵＶ画像を解析して赤成分をもつ光点を検出する。具体的には、画像処理ユニット２０４を用いて、
Figure JPOXMLDOC01-appb-M000004
　上式（４）のようにρ、θを計算しておき、明度しきい値ＭｉｎＹ＝３０、彩度しきい値ＭｉｎＲｈｏ＝３０、ＭｉｎＲｈｏ＝１８１色相しきい値ＭｉｎＴｈｅｔａ＝８０、ＭａｘＴｈｅｔａ＝１２０のように設定すれば、図６の赤色領域６０１の範囲の色をもつ、赤い色の光点が検知できる。
　次にこの２値画像をラベリングして、光点領域を抽出する。ラベリングとは、つながっている画素に同じラベルを付ける画像処理である。ラベル画像は図７（ｂ）のようになる。光点領域ごとに異なるラベルが付けられるため、領域の解析が行いやすい。このラベル処理も画像処理ユニット２０４によって行われる。
　図１２は、本実施例のメインとなるテールライト光点を識別するための処理の流れを表したフローチャートである。ヘッドライトでも同様であるが、ここでは特に赤信号を誤検知しやすいテールライト検知を例に説明する。
　ステップＳ１でまず画像取得手段で画像を取得する。図２のようにステレオカメラの左のカメラの第２の撮像素子であるＣＭＯＳ２０１ａ、右のカメラの第１の撮像素子であるＣＭＯＳ２０１ｂからそれぞれ画像を得る。
　ステップＳ２では光点ペア検知手段にて画像処理を行い画像中から光点のペアを検出する。まず、上述したように画像をＹＵＶ変換してＵＶ画像から赤色光点を抽出し、ラベリングする。次にラベリングした光点の位置、大きさを分析してペアリングを行う。ペアリングは、２つの光点の高さ（ｙ座標）がほぼ等しく、かつ大きさもほぼ等しく離れすぎていない、といった条件で行う。ペア光点が検出されたら、ステップＳ３の判定によって、ペアの回数だけ検証を行う。
　ステップＳ４では、第２の距離情報算出手段にて、光点までの距離の計算を単眼方式で行う。図１０で、先行車までの距離（第２の距離情報）をＺ1、先行車のテールライト１００１の幅をＷ、レンズ９０１とＣＭＯＳ２０１の焦点距離をｆ、ＣＭＯＳ上に結像した先行車のテールライト１００１の幅をｗとすると、距離Ｚ1は三角形の相似比から、
Figure JPOXMLDOC01-appb-M000005
 と定義できる。ここで、先行車のテールライト１００１の幅Ｗは計測できない未知数であるが、一般的な車幅、例えば１.７ｍと仮定しておくことで求めることができる。
　ステップＳ５では、第１の距離情報算出手段にて、光点までの距離の計算をステレオ方式で行う。図１１で、先行車までの距離（第１の距離情報）をＺ2、左右の光軸間の距離である基線長をＢ、焦点距離をｆ、ＣＭＯＳ上の視差をｄとすると、距離Ｚ2は三角形の相似比から、
Figure JPOXMLDOC01-appb-M000006
 で求めることができる。
　ステップＳ６では、対象物検知手段にて、第２の距離情報である距離Ｚ1と第１の距離情報である距離Ｚ2の大きさを比較する、具体的には、距離Ｚ1と距離Ｚ2が等しいかどうかを判定する。図８（ａ）、（ｂ）の例の場合、先行車８０１と信号機８０２は、夜間光点しか見えない状態だと図８（ｃ）の光点８０３のように同じように写る。
　図９は、図８の状況を上から見たときの位置関係を表した図で、実際には先行車８０１にくらべて信号機８０２はかなり遠方にある。
　つまり、距離Ｚ1は先行車８０１も信号機８０２も同じだが、距離Ｚ2は先行車８０１よりも信号機８０２のほうが大きくなる。式（５）の先行車のテールライト１００１の幅をＷが先行車８０１に合わせてあるため、先行車８０１の場合、Ｚ1≒Ｚ2となり、信号機８０２の場合、Ｚ1＜＜Ｚ2となることがわかる。
　そのため、距離がほぼ等しい場合はステップＳ７の車両のテールライト判定をされ、異なる場合はステップＳ８のノイズ光源判定がなされる。
　本発明は、以上のように、対象物検知手段にて、ステレオ方式で算出された第１の距離情報と単眼方式で算出された第２の距離情報と、を比較し、比較した比較結果に基づいて検知対象物候補（ペア光点）から対象物（対向車のヘッドライトや先行車のテールライト）を検知する構成から、ステレオカメラから得られた情報をもとに、夜間のさまざまな光点の中から、対向車のヘッドライトや先行車のテールライトのみを抽出することで、配光制御の信頼性が増しドライバーにとってより安全な視界を提供することができる。
　なお、本実施例では、単眼カメラとステレオカメラの測距の違いを利用した場合について説明したが、単眼カメラとレーダの組み合わせでも同様に実現できる。
１０１　カメラ
１０２　画像信号処理ユニット
１０３　ヘッドライト制御ユニット
１０４　ヘッドライト
２０１ａ、２０１ｂ　ＣＭＯＳ
２０２ａ、２０２ｂ　色再生ＤＳＰ
２０３　ＣＰＵ
２０４　画像処理ユニット
２０５　画像入力Ｉ／Ｆ
２０６　メモリ
２０７　プログラム
２０８　ＣＡＮ　Ｉ／Ｆ
３０１　カメラの光軸
３０２　ヘッドライトの光軸
３０３　カメラの画角
３０４　ヘッドライトの照射角
４０１、４０２、４０３　画素
６０１　赤色領域
８０１　先行車
８０２　信号機
８０３　光点
９０１　レンズ
１００１　先行車のテールライト

Claims (14)

  1. 　第１の撮像素子と第２の撮像素子で撮像した２つの画像から検知対象物候補までの第１の距離情報を算出する第１の距離情報算出手段と、
    　前記第１の撮像素子で撮像した画像から前記検知対象物候補までの第２の距離情報を算出する第２の距離情報算出手段と、
    　前記第１の距離情報と前記第２の距離情報を比較し、比較した比較結果に基づいて前記検知対象物候補から対象物を検知する対象物検知手段と、を有する画像処理装置。
  2. 　請求項１記載の画像処理装置において、
    　前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が等しい場合は、前記検知対象物候補は、先行車のテールライト又は対向車のヘッドライトであると判定する画像処理装置。
  3. 　請求項１記載の画像処理装置において、
    　前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が異なる場合は、前記検知対象物候補は、検知対象物ではないと判定する画像処理装置。
  4. 　請求項１記載の画像処理装置において、
    　前記第１の撮像素子と前記第２の撮像素子で撮像した前記２つの画像から赤色光点を抽出し、抽出された赤色光点からペア光点を検知する光点ペア検知手段を有し、
    　前記第１の距離情報算出手段と前記第２の距離情報算出手段は、前記ペア光点までの距離を算出する画像処理装置。
  5. 　第１の撮像素子を有する第１の撮像装置と、
    　第２の撮像素子を有する第２の撮像装置と、
    　前記第１の撮像装置と前記第２の撮像装置からそれぞれ画像を取得し、対象物を検知する画像処理装置と、を有し、
    　前記画像処理装置は、
    　前記第１の撮像装置と前記第２の撮像装置から、それぞれ画像を取得する画像取得手段と、
    　２つの画像から検知対象物候補までの第１の距離情報を算出する第１の距離情報算出手段と、
    　前記第１の撮像装置から取得した画像から前記検知対象物候補までの第２の距離情報を算出する第２の距離情報算出手段と、
    　前記第１の距離情報と前記第２の距離情報を比較し、比較した比較結果に基づいて前記検知対象物候補から対象物を検知する対象物検知手段と、を有する画像処理システム。
  6. 　請求項５記載の画像処理システムにおいて、
    　前記第１の撮像素子及び第２の撮像素子は、光を電荷に変換するフォトダイオードが格子状に並んだ撮像素子である画像処理システム。
  7. 　請求項５記載の画像処理システムにおいて、
    　前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が等しい場合は、前記検知対象物候補は、先行車のテールライト又は対向車のヘッドライトであると判定する画像処理システム。
  8. 　請求項５記載の画像処理システムにおいて、
    　前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が異なる場合は、前記検知対象物候補は、検知対象物ではないと判定する画像処理システム。
  9. 　請求項５記載の画像処理システムにおいて、
    　前記第１の撮像素子と前記第２の撮像素子で撮像した前記２つの画像から赤色光点を抽出し、抽出された赤色光点からペア光点を検知する光点ペア検知手段を有し、
    　前記第１の距離情報算出手段と前記第２の距離情報算出手段は、前記ペア光点までの距離を算出する画像処理システム。
  10. 　第１の撮像素子を有する第１の撮像装置と、
    　第２の撮像素子を有する第２の撮像装置と、
    　前記第１の撮像装置と前記第２の撮像装置からそれぞれ画像を取得し、対象物を検知する画像処理装置と、
    　ヘッドライトと、
    　検知された前記対象物に基づいて前記ヘッドライトを制御するヘッドライト制御ユニットと、を有し、
    　前記画像処理装置は、
    　前記第１の撮像装置と前記第２の撮像装置から、それぞれ画像を取得する画像取得手段と、
    　２つの画像から検知対象物候補までの第１の距離情報を算出する第１の距離情報算出手段と、
    　前記第１の撮像装置から取得した画像から前記検知対象物候補までの第２の距離情報を算出する第２の距離情報算出手段と、
    　前記第１の距離情報と前記第２の距離情報を比較し、比較した比較結果に基づいて前記検知対象物候補から対象物を検知する対象物検知手段と、を有するヘッドライトユニット。
  11. 　請求項１０記載のヘッドライトユニットにおいて、
    　前記画像処理装置の前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が等しい場合は、前記検知対象物候補は、先行車のテールライト又は対向車のヘッドライトであると判定し、
    　前記ヘッドライト制御ユニットは、前記検知対象物候補は、先行車のテールライト又は対向車のヘッドライトであると判定された場合は、ロービームとなるように制御されるヘッドライトユニット。
  12. 　請求項１０記載のヘッドライトユニットにおいて、
    　前記画像処理装置の前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が異なる場合は、前記検知対象物候補は、検知対象物ではないと判定するヘッドライトユニット。
  13. 　請求項１０記載のヘッドライトユニットにおいて、
    　前記画像処理装置は、前記第１の撮像素子と前記第２の撮像素子で撮像した前記２つの画像から赤色光点を抽出し、抽出された赤色光点からペア光点を検知する光点ペア検知手段を有し、
    　前記画像処理装置の前記第１の距離情報算出手段と前記第２の距離情報算出手段は、前記ペア光点までの距離を算出するヘッドライトユニット。
  14. 　請求項１０記載のヘッドライトユニットにおいて、
    　前記第１の撮像装置と前記第２の撮像装置の光軸と前記ヘッドライトの光軸とは、平行であるヘッドライトユニット。
PCT/JP2012/077389 2011-11-21 2012-10-24 画像処理装置 WO2013077132A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP12850902.3A EP2784745A4 (en) 2011-11-21 2012-10-24 IMAGING DEVICE
US14/353,549 US20140293055A1 (en) 2011-11-21 2012-10-24 Image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-253421 2011-11-21
JP2011253421A JP5846872B2 (ja) 2011-11-21 2011-11-21 画像処理装置

Publications (1)

Publication Number Publication Date
WO2013077132A1 true WO2013077132A1 (ja) 2013-05-30

Family

ID=48469583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/077389 WO2013077132A1 (ja) 2011-11-21 2012-10-24 画像処理装置

Country Status (4)

Country Link
US (1) US20140293055A1 (ja)
EP (1) EP2784745A4 (ja)
JP (1) JP5846872B2 (ja)
WO (1) WO2013077132A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105270179A (zh) * 2014-05-30 2016-01-27 Lg电子株式会社 车辆驾驶辅助装置及车辆

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013104335A1 (de) 2013-03-26 2014-10-16 Continental Automotive Gmbh Verfahren zur Auslösung einer Fahrerassistenzfunktion bei einer Detektion eines Bremslichtes mittels einer Kamera
US9758086B2 (en) * 2013-09-20 2017-09-12 Honda Motor Co., Ltd. Vehicle lamp control device
WO2015045504A1 (ja) * 2013-09-27 2015-04-02 日立オートモティブシステムズ株式会社 物体検知装置
JP2015098304A (ja) * 2013-11-20 2015-05-28 スタンレー電気株式会社 車両用灯具の光軸制御装置、車両用前照灯システム
DE102014204058A1 (de) * 2014-03-05 2015-09-10 Conti Temic Microelectronic Gmbh Vorrichtung zur verifizierten Detektion eines Verkehrsteilnehmers und Vorrichtung für ein Fahrzeug zur verifizierten Detektion eines Verkehrsteilnehmers
JP6095605B2 (ja) * 2014-04-24 2017-03-15 本田技研工業株式会社 車両認識装置
JP6310899B2 (ja) 2015-11-25 2018-04-11 株式会社Ｓｕｂａｒｕ 車外環境認識装置
JP6200481B2 (ja) * 2015-11-25 2017-09-20 株式会社Ｓｕｂａｒｕ 車外環境認識装置
JP6527456B2 (ja) * 2015-12-02 2019-06-05 株式会社Ｓｕｂａｒｕ 車外環境認識装置
JP6585006B2 (ja) * 2016-06-07 2019-10-02 株式会社東芝 撮影装置および車両
CN107554422B (zh) * 2016-07-01 2020-02-14 华为终端有限公司 汽车安全警示装置和汽车安全警示的方法
WO2018047495A1 (ja) * 2016-09-06 2018-03-15 日立オートモティブシステムズ株式会社 画像処理装置および配光制御システム
US10891745B1 (en) * 2017-08-14 2021-01-12 Apple Inc. Hybrid system with a structured-light stereo device and a time of flight device
EP3547208A1 (en) * 2018-03-27 2019-10-02 Aptiv Technologies Limited A device and a method for clustering light spots
JP7043375B2 (ja) 2018-09-18 2022-03-29 株式会社日立製作所 ステレオカメラ、車載灯具ユニット、及びステレオカメラシステム
US11092480B2 (en) * 2018-09-27 2021-08-17 International Business Machines Corporation Light obstruction sensor
WO2020087352A1 (en) 2018-10-31 2020-05-07 SZ DJI Technology Co., Ltd. Method and apparatus for controlling a lighting system of a vehicle
US11740071B2 (en) 2018-12-21 2023-08-29 Apple Inc. Optical interferometry proximity sensor with temperature variation compensation
JP7237607B2 (ja) * 2019-01-25 2023-03-13 株式会社小糸製作所 車両用灯具システム、車両用灯具の制御装置および車両用灯具の制御方法
US11243068B1 (en) 2019-02-28 2022-02-08 Apple Inc. Configuration and operation of array of self-mixing interferometry sensors
US11156456B2 (en) 2019-05-21 2021-10-26 Apple Inc. Optical proximity sensor integrated into a camera module for an electronic device
US11473898B2 (en) 2019-05-24 2022-10-18 Apple Inc. Wearable voice-induced vibration or silent gesture sensor
JP7264749B2 (ja) * 2019-07-05 2023-04-25 日立Astemo株式会社 ステレオカメラ、及びステレオカメラ一体型ライトユニット
JP7356319B2 (ja) 2019-10-17 2023-10-04 株式会社Subaru 車外環境認識装置
US11150332B1 (en) 2020-06-30 2021-10-19 Apple Inc. Self-calibrating optical transceiver system with reduced crosstalk sensitivity for through-display proximity sensing
JP7251714B2 (ja) * 2020-08-03 2023-04-04 ダイハツ工業株式会社 車両識別装置
US11460293B2 (en) 2020-09-25 2022-10-04 Apple Inc. Surface quality sensing using self-mixing interferometry
US11874110B2 (en) 2020-09-25 2024-01-16 Apple Inc. Self-mixing interferometry device configured for non-reciprocal sensing
US11629948B2 (en) 2021-02-04 2023-04-18 Apple Inc. Optical interferometry proximity sensor with optical path extender

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1038560A (ja) * 1996-07-19 1998-02-13 Toyota Motor Corp 車間距離検出装置
JP3503230B2 (ja) 1994-12-15 2004-03-02 株式会社デンソー 夜間用車両認識装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004016520D1 (de) * 2003-07-11 2008-10-23 Toyota Motor Co Ltd Aufprallsicherheitsfahrzeugsteuersystem
JP4253271B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
US7804980B2 (en) * 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
JP4853160B2 (ja) * 2006-08-02 2012-01-11 株式会社デンソー 車両検出装置及びヘッドランプ制御装置
JP4697101B2 (ja) * 2006-09-07 2011-06-08 株式会社デンソー 車両検出装置、およびライト制御装置
JP2008292278A (ja) * 2007-05-24 2008-12-04 Konica Minolta Holdings Inc 距離検出装置の光学ずれ検出方法及び距離検出装置
JP5368369B2 (ja) * 2010-04-28 2013-12-18 株式会社デンソー 車載用撮像装置及び車載用画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3503230B2 (ja) 1994-12-15 2004-03-02 株式会社デンソー 夜間用車両認識装置
JPH1038560A (ja) * 1996-07-19 1998-02-13 Toyota Motor Corp 車間距離検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2784745A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105270179A (zh) * 2014-05-30 2016-01-27 Lg电子株式会社 车辆驾驶辅助装置及车辆

Also Published As

Publication number Publication date
JP5846872B2 (ja) 2016-01-20
US20140293055A1 (en) 2014-10-02
EP2784745A1 (en) 2014-10-01
EP2784745A4 (en) 2015-08-19
JP2013107476A (ja) 2013-06-06

Similar Documents

Publication Publication Date Title
JP5846872B2 (ja) 画像処理装置
US10880471B2 (en) Building night vision and other driver assistance systems (DAS) using near infra-red (NIR) illumination and rolling shutter
KR101417571B1 (ko) 물체 식별 장치
WO2010137563A1 (ja) 画像処理装置
US9405980B2 (en) Arrow signal recognition device
US9542608B2 (en) Image processing apparatus
EP1962226B1 (en) Image recognition device for vehicle and vehicle head lamp controller and method of controlling head lamps
JP5750291B2 (ja) 画像処理装置
WO2011016257A1 (ja) 車両用距離算出装置
JP6267493B2 (ja) 矢印信号灯検出装置
JP2007124676A (ja) 車載用画像処理装置
JP2010286995A (ja) 車両用画像処理システム
JP2008026991A (ja) 信号機識別装置
JP2011098579A (ja) 車両のテールランプ検出装置
JP6816273B2 (ja) 画像処理装置および配光制御システム
KR101303758B1 (ko) 카메라 시스템 및 그 제어방법
WO2018047495A1 (ja) 画像処理装置および配光制御システム
KR20210098272A (ko) 차선과 차량 위치 인식 장치 및 제어 방법
KR20190048284A (ko) 서라운드 뷰 모니터링 시스템
JPH09282448A (ja) 車両認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12850902

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14353549

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2012850902

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012850902

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE