JP4151571B2 - In-vehicle obstacle detection device - Google Patents

In-vehicle obstacle detection device Download PDF

Info

Publication number
JP4151571B2
JP4151571B2 JP2003414664A JP2003414664A JP4151571B2 JP 4151571 B2 JP4151571 B2 JP 4151571B2 JP 2003414664 A JP2003414664 A JP 2003414664A JP 2003414664 A JP2003414664 A JP 2003414664A JP 4151571 B2 JP4151571 B2 JP 4151571B2
Authority
JP
Japan
Prior art keywords
vehicle
light
obstacle
detection device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003414664A
Other languages
Japanese (ja)
Other versions
JP2005176031A (en
Inventor
秀和 西内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003414664A priority Critical patent/JP4151571B2/en
Publication of JP2005176031A publication Critical patent/JP2005176031A/en
Application granted granted Critical
Publication of JP4151571B2 publication Critical patent/JP4151571B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、車両の周囲に存在する障害物を検出して運転者に報知する車載用障害物検出装置に関する。   The present invention relates to an on-vehicle obstacle detection device that detects an obstacle existing around a vehicle and notifies a driver of the obstacle.

カメラを用いて車両周囲の画像を撮像し、その画像から他車両などの検出対象をパターンマッチングにより検出することで、周囲の障害物を検出して運転者に報知する装置が知られている(たとえば、特許文献1)。   There is known an apparatus that detects an obstacle around the vehicle by sensing an image of the surroundings of the vehicle using a camera and detecting a detection target such as another vehicle from the image by pattern matching. For example, Patent Document 1).

特開2000−148977号公報JP 2000-148777 A

パターンマッチングでは、検出対象の特徴に合致する画像パターンを画像から抽出し、それを障害物として認識する。そのため、検出対象が鏡面状の反射物に映り込んだ像や、その検出対象の特徴に合致している周囲の風景などを誤って抽出してしまい、誤検出が生じるという問題がある。   In pattern matching, an image pattern that matches the feature to be detected is extracted from the image and recognized as an obstacle. For this reason, there is a problem that an erroneous detection occurs because an image in which a detection target is reflected on a mirror-like reflection object or a surrounding landscape that matches the characteristics of the detection target is erroneously extracted.

本発明による車載用障害物検出装置は、自車両の周囲の撮像画像を取得する撮像手段と、撮像手段によって取得された撮像画像に基づいて自車両の周囲の障害物を検出する検出手段と、障害物に光を照射し、検出手段により複数の障害物が検出されてその複数の障害物が互いに撮像画像上で重なっていた場合には、その複数の障害物のうち自車両からより遠方に位置しているものに向けて照射する光の照射状態を変化させる投光手段と、投光手段が障害物に照射する光の照射状態を変化させたときに撮像手段によってそれぞれ取得された複数の撮像画像に基づいて、検出手段による障害物の検出結果の信頼性を判断する判断手段とを備えるものである。
An on-vehicle obstacle detection device according to the present invention includes an imaging unit that acquires a captured image around the host vehicle, a detection unit that detects an obstacle around the host vehicle based on the captured image acquired by the imaging unit, When the obstacle is irradiated with light and a plurality of obstacles are detected by the detection means and the obstacles overlap each other on the captured image, the obstacle is farther from the own vehicle. A light projecting unit that changes an irradiation state of the light that is irradiated toward a position, and a plurality of light sources acquired by the imaging unit when the light irradiation unit changes the irradiation state of the light that irradiates the obstacle. And a determination unit that determines the reliability of the detection result of the obstacle by the detection unit based on the captured image.

本発明によれば、撮像手段によって取得した自車両の周囲の撮像画像に基づいて自車両周囲の障害物を検出し、複数の障害物が検出されてその複数の障害物が互いに撮像画像上で重なっていた場合には、その複数の障害物のうち自車両からより遠方に位置しているものに向けて投光手段から照射する光の照射状態を変化させる。そして、投光手段が光の照射状態を変化させたときに撮像手段によってそれぞれ取得された複数の撮像画像に基づいて、障害物の検出結果の信頼性を判断することとした。このようにしたので、検出された障害物が真に障害物であるか否かを判断することができ、検出対象である障害物が鏡面状の反射物に映り込んだ像や、その障害物の特徴に合致している周囲の風景などによって生じる誤検出を防ぐことができる。   According to the present invention, an obstacle around the host vehicle is detected based on a captured image around the host vehicle acquired by the imaging unit, and a plurality of obstacles are detected, and the plurality of obstacles are mutually detected on the captured image. In the case of overlapping, the irradiation state of the light emitted from the light projecting means is changed toward the obstacle located farther from the own vehicle among the plurality of obstacles. Then, the reliability of the obstacle detection result is determined based on a plurality of captured images respectively acquired by the imaging unit when the light projecting unit changes the light irradiation state. Since it did in this way, it can be judged whether the detected obstacle is a true obstacle, and the obstacle which the detection target reflected in the mirror-like reflection object, and the obstacle It is possible to prevent false detection caused by surrounding scenery that matches the characteristics of the.

本発明の一実施形態による障害物検出装置の構成を図1に示す。この障害物検出装置は車両に搭載されており、その車両の前方に存在する他車両を障害物として検出して、運転者に報知するものである。この障害物検出装置は、カメラ1、投光器2、画像メモリ3、マイコン4、およびモニタ5を備える。   FIG. 1 shows the configuration of an obstacle detection apparatus according to an embodiment of the present invention. This obstacle detection device is mounted on a vehicle, detects other vehicles in front of the vehicle as obstacles, and notifies the driver. The obstacle detection apparatus includes a camera 1, a projector 2, an image memory 3, a microcomputer 4, and a monitor 5.

カメラ1は自車両前方を撮像するように自車両の前部に設置されており、撮像した画像を画像信号として画像メモリ3へ出力する。カメラ1における入力光量に対する出力信号の増幅ゲイン量(以下、単にゲインという)や、カメラ1のシャッター速度と絞りは、マイコン4によって後で説明するように制御される。このカメラ1は、車両の走行環境における周囲からの光の波長帯域と、後述する投光器2から照射される光の波長帯域とを少なくとも含む範囲に受光感度を有している。なお、カメラ1にはたとえばCCDカメラ等が用いられる。   The camera 1 is installed at the front of the host vehicle so as to capture the front of the host vehicle, and outputs the captured image to the image memory 3 as an image signal. The amplification gain amount (hereinafter simply referred to as gain) of the output signal with respect to the input light amount in the camera 1 and the shutter speed and aperture of the camera 1 are controlled by the microcomputer 4 as described later. The camera 1 has light receiving sensitivity in a range including at least a wavelength band of light from the surroundings in a traveling environment of the vehicle and a wavelength band of light emitted from a projector 2 described later. As the camera 1, for example, a CCD camera or the like is used.

投光器2は、マイコン4の制御によって車両前方への投光を行う。投光器2が照射する光の範囲、照射強度および照射方向は、マイコン4の制御により変化させることができるように構成されている。たとえば、ランプ光源からの光をリフレクタによって車両前方へ反射するように、投光器2は構成される。この場合には、ランプ光源の発光強度とリフレクタの位置をマイコン4の制御によって調整することにより、照射する光の範囲、照射強度および照射方向を変化させることができる。なお、投光器2が照射する光の波長帯域は、カメラ1が受光感度を有する波長帯域内とする。   The light projector 2 projects light forward of the vehicle under the control of the microcomputer 4. The range of light irradiated by the projector 2, the irradiation intensity, and the irradiation direction can be changed under the control of the microcomputer 4. For example, the projector 2 is configured so that light from a lamp light source is reflected to the front of the vehicle by a reflector. In this case, by adjusting the emission intensity of the lamp light source and the position of the reflector under the control of the microcomputer 4, the range of irradiation light, the irradiation intensity, and the irradiation direction can be changed. In addition, the wavelength band of the light irradiated by the projector 2 is set within the wavelength band in which the camera 1 has light receiving sensitivity.

画像メモリ3は、カメラ1から入力した画像信号を画像データとして記憶保持するためのフレームメモリである。画像メモリ3に記憶された画像データは、マイコン4の制御により画像フレーム単位でマイコン4に出力される。   The image memory 3 is a frame memory for storing and holding the image signal input from the camera 1 as image data. The image data stored in the image memory 3 is output to the microcomputer 4 in units of image frames under the control of the microcomputer 4.

マイコン4は、画像メモリ3から画像データを入力し、その画像から障害物(他車両)の候補をパターンマッチングにより抽出する。このパターンマッチングは、周知のように画像中の輝度、形状等によって対象物の特徴をあらかじめ設定しておき、その特徴に合致する部分を抽出する画像処理方法である。さらに、抽出された障害物候補が複数ある場合には、それらが画像上で重なっているか否かを判定し、重なっている場合には、実空間上で自車両からより遠方にあると判断されるものをテクスチャ候補とする。テクスチャとは面状に描かれた絵を意味するものであり、ここでは本装置の検出対象すなわち実際の車両ではないことを表す。なお、自車両と抽出された障害物候補との実空間上の距離は、その障害物候補の画像上の位置によって判断することができ、遠方にあるほど画像の上方に位置して消失点に近づいている。   The microcomputer 4 inputs image data from the image memory 3 and extracts obstacle (other vehicle) candidates from the image by pattern matching. As is well known, this pattern matching is an image processing method in which features of an object are set in advance according to brightness, shape, etc. in an image and a portion matching the features is extracted. Furthermore, when there are a plurality of extracted obstacle candidates, it is determined whether or not they overlap on the image. If they overlap, it is determined that they are farther from the vehicle in real space. Is a texture candidate. The texture means a picture drawn in a planar shape, and here represents that it is not a detection target of the present apparatus, that is, an actual vehicle. The distance in real space between the host vehicle and the extracted obstacle candidate can be determined by the position of the obstacle candidate on the image. It is approaching.

誤検出を引き起こす原因となるようなテクスチャは、車両が鏡面状の反射物に映り込んでいる場合や、周囲の風景がパターンマッチングに用いる車両の特徴に合致している場合などに生じる。このようなテクスチャによる誤検出を防ぐために、上記のようにしてテクスチャ候補が検出された場合には、マイコン4により投光器2を制御してそのテクスチャ候補に向けて投光を行い、カメラ1を用いて撮像する。そして、投光中と非投光中での撮像画像を比較することにより、テクスチャ候補とした部分が実際にテクスチャであるか、それとも他車両であるかを判定する。その結果、テクスチャであると判定された場合は障害物候補から除外する。このように、パターンマッチングにより抽出された障害物候補からテクスチャであるものを除外することによって、実際の障害物の検出を行う。なお、以上説明したマイコン4が実行する処理内容については、後で詳細に説明する。   Textures that cause erroneous detection occur when the vehicle is reflected in a mirror-like reflector or when the surrounding landscape matches the characteristics of the vehicle used for pattern matching. In order to prevent such erroneous detection due to texture, when a texture candidate is detected as described above, the projector 4 is controlled by the microcomputer 4 to project light toward the texture candidate, and the camera 1 is used. Take an image. Then, by comparing the captured images during light projection and non-light projection, it is determined whether the portion that is a texture candidate is actually a texture or another vehicle. As a result, if the texture is determined, it is excluded from the obstacle candidates. In this way, an actual obstacle is detected by excluding textures from the obstacle candidates extracted by pattern matching. The processing contents executed by the microcomputer 4 described above will be described in detail later.

モニタ5は、上記のようにしてマイコン4において検出された障害物の画像を、マイコン4から出力される画像信号を元に車室内に画像表示する。このモニタ5の画像表示により、運転者に対して障害物すなわち周囲の他車両の存在を報知する。なお、モニタ5に障害物を画像表示するとき、自車両からの距離に応じて表示形態を変えたり、その距離ごとに異なる音声を画像表示と同時に出力したりしてもよい。このようにすることで、障害物と自車両との接近度合いを運転者にさらに分かりやすく報知することができる。   The monitor 5 displays the image of the obstacle detected by the microcomputer 4 as described above in the vehicle interior based on the image signal output from the microcomputer 4. The image display on the monitor 5 notifies the driver of the presence of an obstacle, that is, another vehicle in the vicinity. When an obstacle is displayed as an image on the monitor 5, the display form may be changed according to the distance from the host vehicle, or a different sound for each distance may be output simultaneously with the image display. By doing in this way, the approach degree of an obstacle and the own vehicle can be alert | reported to a driver more easily.

図2に、カメラ1と投光器2の車両への取り付け例を示す。図2は車両を前方から見たときの模式図である。カメラ1は、たとえば図2のようにルームミラーの背面に配置されることにより、フロントガラスの上部を通して車両前方を撮像することができる。車両前方を撮像できればこれ以外の設置位置としてもよい。投光器2は車両のヘッドランプを兼ねており、可視光を車両前方へ照射する。このように、投光器2をヘッドランプと兼ねてもよいし、あるいはヘッドランプと別に設置してもよい。なお、後に説明するように投光器2からの投光によって生じる影をカメラ1を用いて撮像することから、カメラ1と投光器2は異なる位置に設置する必要がある。   FIG. 2 shows an example of attachment of the camera 1 and the projector 2 to the vehicle. FIG. 2 is a schematic diagram when the vehicle is viewed from the front. For example, the camera 1 is arranged on the rear surface of the rear-view mirror as shown in FIG. Other installation positions may be used as long as the front of the vehicle can be imaged. The projector 2 also serves as a headlamp of the vehicle and irradiates visible light forward of the vehicle. Thus, the projector 2 may also serve as a headlamp, or may be installed separately from the headlamp. In addition, since the shadow produced by the light projection from the projector 2 is imaged using the camera 1 as will be described later, the camera 1 and the projector 2 need to be installed at different positions.

上記で説明したパターンマッチングによって抽出された障害物候補からテクスチャ候補を検出するときの様子を、図3および4を用いて説明する。図3(a)は、自車両100の前方に3台の他車両200、201および202が走行している様子を示す図であり、図3(b)は、図3(a)のときに自車両100から撮像した画像例を示す図である。図3(b)の画像からパターンマッチングによって他車両200、201および202が障害物候補として抽出されると、他車両200とその後ろを行く他車両201は画像上で重なっている。この場合、遠方の他車両200がテクスチャ候補とされる。   A state when a texture candidate is detected from obstacle candidates extracted by the pattern matching described above will be described with reference to FIGS. FIG. 3A is a diagram showing a state in which three other vehicles 200, 201, and 202 are traveling in front of the host vehicle 100. FIG. 2 is a diagram illustrating an example of an image captured from a host vehicle 100. FIG. When the other vehicles 200, 201, and 202 are extracted as obstacle candidates from the image of FIG. 3B by pattern matching, the other vehicle 200 and the other vehicle 201 that follows the vehicle overlap each other on the image. In this case, the distant other vehicle 200 is set as a texture candidate.

図4(a)は、自車両100の前方に他車両203が走行しており、その他車両203に自車両100が映り込んでいる様子を示す図である。図4(b)は、図4(a)のときに自車両100から撮像した画像を示す図である。図4(b)の画像からは、他車両203と自車両100の映り込みによるテクスチャ(テクスチャ100’と表す)がパターンマッチングによって障害物候補として抽出される。このテクスチャ100’は他車両203より遠方にあるように画像上で見えるため、テクスチャ100’がテクスチャ候補として検出される。   FIG. 4A is a diagram illustrating a state in which the other vehicle 203 is traveling in front of the host vehicle 100 and the host vehicle 100 is reflected in the other vehicle 203. FIG. 4B is a diagram illustrating an image captured from the host vehicle 100 in FIG. From the image of FIG. 4B, a texture (represented as a texture 100 ′) resulting from the reflection of the other vehicle 203 and the host vehicle 100 is extracted as an obstacle candidate by pattern matching. Since the texture 100 ′ appears on the image so as to be far from the other vehicle 203, the texture 100 ′ is detected as a texture candidate.

以上説明したようにテクスチャ候補が検出されると、本装置は投光器2を用いてテクスチャ候補に向けて光を照射し、そのテクスチャ候補が真にテクスチャであるか否かを判定する。その方法を図5および6を用いて以下に説明する。図5には、図3と同様に、自車両前方の他車両200および201のうち、遠方の他車両200がテクスチャ候補として検出された場合を示している。この場合、図5(a)のように、自車両100から前方に対して投光を行うと、点線の範囲に照射した光は他車両201によって遮られる。そのため、図中の網掛け部分は他車両201の陰となり、その範囲には光が照射されない。これにより、テクスチャ候補である他車両200の上に他車両201の影が現れる。   As described above, when a texture candidate is detected, this apparatus irradiates light toward the texture candidate using the projector 2, and determines whether or not the texture candidate is truly a texture. The method will be described below with reference to FIGS. FIG. 5 shows a case where, in the same manner as in FIG. 3, the distant other vehicle 200 among the other vehicles 200 and 201 in front of the host vehicle is detected as a texture candidate. In this case, as shown in FIG. 5A, when light is projected forward from the host vehicle 100, the light irradiated on the dotted line range is blocked by the other vehicle 201. Therefore, the shaded portion in the figure is behind the other vehicle 201, and light is not irradiated to that range. Thereby, the shadow of the other vehicle 201 appears on the other vehicle 200 which is a texture candidate.

ここで、前述したようにカメラ1と投光器2は異なる位置に設置されているので、投光器2からの光の照射によって他車両200上に現れた他車両201の影を、カメラ1を用いて撮像することができる。たとえば、図5(a)のように右側のヘッドランプ(投光器2)から投光し、自車両100の左右の中心に位置するカメラ1を用いて撮像する。こうして撮像された投光中の画像の例を図5(c)に示す。なお、図5(b)は同じ車両位置の状態における投光していないときの画像例である。この場合は図5(c)に示すように、投光中の撮像画像において他車両200の上に他車両201の影300が現れる。   Here, as described above, since the camera 1 and the projector 2 are installed at different positions, the shadow of the other vehicle 201 that appears on the other vehicle 200 due to light irradiation from the projector 2 is imaged using the camera 1. can do. For example, as shown in FIG. 5A, light is projected from the right headlamp (light projector 2), and an image is captured using the camera 1 positioned at the left and right centers of the host vehicle 100. FIG. 5C shows an example of the projected image thus captured. FIG. 5B is an image example when light is not projected in the same vehicle position state. In this case, as shown in FIG. 5C, a shadow 300 of the other vehicle 201 appears on the other vehicle 200 in the captured image during the projection.

図6には、図4と同様に、自車両前方の他車両203に映り込んでいる自車両のテクスチャ100’がテクスチャ候補として検出された場合を示している。このとき図6(a)のように自車両100から前方に光を照射すると、点線の範囲に照射した分が他車両203に遮られ、図中の網掛けの範囲が他車両203の陰となる。この状態で撮像した投光中の画像の例を図6(c)に示す。なお、図6(b)は同じ車両位置の状態における非投光時の画像例である。この場合は図6(c)に示すように、投光中の撮像画像においてテクスチャ100’の上に影が現れない。   FIG. 6 shows a case where the texture 100 ′ of the host vehicle reflected in the other vehicle 203 in front of the host vehicle is detected as a texture candidate, as in FIG. 4. At this time, when light is irradiated forward from the host vehicle 100 as shown in FIG. 6A, the amount of light irradiated to the dotted line range is blocked by the other vehicle 203, and the shaded range in the figure is the shadow of the other vehicle 203. Become. FIG. 6C shows an example of a projected image captured in this state. FIG. 6B is an example of an image when no light is projected in the same vehicle position. In this case, as shown in FIG. 6C, no shadow appears on the texture 100 ′ in the captured image being projected.

以上説明したように、投光器2を用いて光を照射することにより、テクスチャ候補が実際の車両であった場合には、そのテクスチャ候補に影が現れる。一方、車両ではなくテクスチャであった場合には、そのテクスチャ候補には影が現れない。このような影の発生の有無は、非投光時と投光中の撮像画像におけるテクスチャ候補の輝度変化を調べることによって確認することができる。撮像画像中でテクスチャ候補に輝度変化の小さい部分があった場合は、その部分には影が現れているため、そのテクスチャ候補は他車両であると判断できる。しかし、一様に輝度変化していた場合には影が現れていないため、そのテクスチャ候補は映り込みなどによるテクスチャであって他車両ではないと判断できる。   As described above, when a texture candidate is an actual vehicle by irradiating light using the projector 2, a shadow appears in the texture candidate. On the other hand, when the texture is not a vehicle, no shadow appears in the texture candidate. The presence or absence of such a shadow can be confirmed by examining the luminance change of the texture candidate in the non-light-projected and captured images during the light projection. When a texture candidate has a portion with a small luminance change in the captured image, a shadow appears in that portion, and therefore it can be determined that the texture candidate is another vehicle. However, when the luminance changes uniformly, no shadow appears, so it can be determined that the texture candidate is a texture due to reflection and is not another vehicle.

なお、図5および6の例では、自車両の右側のヘッドランプより投光を行っているが、自車両とテクスチャ候補との位置関係に応じて、右側と左側のいずれか一方のヘッドランプを選択するようにしてもよい。このとき、図5や6のように自車両から見て左側の位置にテクスチャ候補がある場合には、右側のヘッドランプより投光し、右側に位置している場合は、左側のヘッドランプを用いることが好ましい。このようにすることで、左右中央に備えられたカメラ1から見たときに、手前側の他車両によりテクスチャ候補上に生じる影の範囲を大きくすることができる。   In the examples of FIGS. 5 and 6, light is projected from the right headlamp of the host vehicle, but either the right or left headlamp is set according to the positional relationship between the host vehicle and the texture candidate. You may make it select. At this time, as shown in FIGS. 5 and 6, when there is a texture candidate on the left side when viewed from the own vehicle, light is emitted from the right headlamp, and when located on the right side, the left headlamp is turned on. It is preferable to use it. By doing in this way, when it sees from the camera 1 with which the center of right and left was provided, the range of the shadow produced on a texture candidate by the other vehicle of this side can be enlarged.

上記に説明したようなテクスチャ候補の輝度変化を調べるための画像を撮像するときには、カメラ1におけるゲイン、シャッター速度または絞りのいずれかを通常の撮像時に比べて変化させることが好ましい。その内容を図7を用いて説明する。図7は、実空間における明るさとカメラ1の輝度出力との関係の例を示している。カメラ1は、符号10または11に示すいずれかのカメラ特性に従って、撮像した物体の明るさに応じた輝度出力を行うものとする。   When an image for examining the brightness change of the texture candidate as described above is captured, it is preferable to change any of the gain, shutter speed, or aperture in the camera 1 as compared to normal imaging. The contents will be described with reference to FIG. FIG. 7 shows an example of the relationship between the brightness in real space and the luminance output of the camera 1. Assume that the camera 1 performs luminance output according to the brightness of the imaged object in accordance with one of the camera characteristics indicated by reference numerals 10 and 11.

通常の撮像時、すなわち障害物候補をパターンマッチングによって抽出するための画像を撮像するときには、実空間に存在する様々な明るさの物体の輝度分布を画像上に表せるように、広いレンジの明るさをカバーできるカメラ特性10を選択する。一方、投光/非投光時におけるテクスチャ候補の輝度変化を調べるための画像を撮像するときには、カメラ特性11を選択する。カメラ特性11は、符号12に示すテクスチャ候補の非投光時の明るさを中心に、大きく輝度出力が変化するようにしたものである。非投光時の明るさ12は、カメラ特性10で撮像された画像の輝度値からあらかじめ知ることができる。これにより、投光器2から光を照射したときの明るさの変化によって、画像上のテクスチャ候補の輝度に大きな変化量を得ることができる。   During normal imaging, that is, when imaging an image for extracting obstacle candidates by pattern matching, a wide range of brightness so that the brightness distribution of objects of various brightness in real space can be represented on the image The camera characteristics 10 that can cover the range are selected. On the other hand, when capturing an image for examining the luminance change of the texture candidate during light projection / non-light projection, the camera characteristic 11 is selected. The camera characteristic 11 is such that the luminance output largely changes around the brightness of the texture candidate indicated by reference numeral 12 when not projected. The brightness 12 at the time of non-projection can be known in advance from the luminance value of the image captured by the camera characteristic 10. As a result, a large amount of change in the brightness of the texture candidate on the image can be obtained by the change in brightness when light is emitted from the projector 2.

たとえば、投光器2からの投光によって、図に示すΔBだけテクスチャ候補の明るさが変化したとすると、カメラ特性10のときは画像にΔL1の輝度変化しか起こらないが、カメラ特性11のときにはΔL2の輝度変化が起こる。このように、少ない明るさ変化であっても、カメラ特性を変えることで画像に大きな輝度変化を得ることができる。これにより、テクスチャ候補に現れる影の有無をより正確に判別できるようになって、検出対象である他車両の検出精度を上げることができる。   For example, if the brightness of the texture candidate is changed by ΔB shown in the figure due to light projection from the projector 2, only a luminance change of ΔL1 occurs in the image when the camera characteristic is 10; A brightness change occurs. Thus, even if the brightness change is small, a large brightness change can be obtained in the image by changing the camera characteristics. As a result, the presence or absence of a shadow appearing in the texture candidate can be more accurately determined, and the detection accuracy of the other vehicle that is the detection target can be increased.

以上説明したカメラ特性の選択は、カメラ1のゲイン、シャッター速度、または絞りのいずれかを変化させることによって行うことができる。シャッター速度や絞りを変化させると、撮像時の露光量を制御してカメラ1への入力光量を調節することができる。また、ゲインを変化させると、入力光量に対するカメラ1からの輝度出力量を調節できる。したがって、露光量またはゲインのいずれか一方、または両方を制御することにより、任意のカメラ特性を選択することが出来る。このとき、選択するカメラ特性10および11は固定のものではなく、撮像された画像に応じて変化させるようにすることが好ましい。   The selection of the camera characteristics described above can be performed by changing any of the gain, shutter speed, or aperture of the camera 1. When the shutter speed or the aperture is changed, the amount of light input to the camera 1 can be adjusted by controlling the exposure amount during imaging. Further, when the gain is changed, the luminance output amount from the camera 1 with respect to the input light amount can be adjusted. Therefore, an arbitrary camera characteristic can be selected by controlling either one or both of the exposure amount and the gain. At this time, it is preferable that the camera characteristics 10 and 11 to be selected are not fixed and are changed according to the captured image.

本装置は、以上説明したような処理を行うことにより、撮像画像に基づいて障害物として周囲の他車両を検出し、検出された他車両がテクスチャであるか否かを判定することによって、その他車両の検出結果の信頼性を判断する。そして、テクスチャでない場合は信頼性ありと判断してその他車両を画面表示し、テクスチャである場合は信頼性なしと判断してその他車両を画面表示しない。このようにして、他車両の検出結果を運転者に報知する。このとき実行されるフローチャートを図8に示す。図8の処理フローは、所定の時間間隔、たとえばカメラ1における撮像のフレーム間隔ごとに、マイコン4により実行されるものである。   By performing the processing as described above, this apparatus detects other surrounding vehicles as obstacles based on the captured image, and determines whether the detected other vehicles are textures. Determine the reliability of the vehicle detection results. If it is not a texture, it is determined that the vehicle is reliable and other vehicles are displayed on the screen. If it is a texture, it is determined that the vehicle is not reliable and the other vehicles are not displayed on the screen. In this way, the detection result of the other vehicle is notified to the driver. A flowchart executed at this time is shown in FIG. The processing flow of FIG. 8 is executed by the microcomputer 4 at predetermined time intervals, for example, every imaging frame interval in the camera 1.

ステップS100では、画像メモリ3に記録された画像データを読み出す。この画像データには、カメラ1によって撮像された画像の輝度情報が表されている。すなわち、カメラ1によって撮像された画像をステップS100においてマイコン4に読み込む。ステップS101では、検出対象とする障害物すなわち他車両をパターンマッチングにより抽出するための画像パターンを読み出す。この画像パターンは、車両の輝度や形状等の特徴を表したデータであり、マイコン4内に記録されている。   In step S100, the image data recorded in the image memory 3 is read. In this image data, luminance information of an image captured by the camera 1 is represented. That is, an image captured by the camera 1 is read into the microcomputer 4 in step S100. In step S101, an image pattern for extracting an obstacle to be detected, that is, another vehicle, by pattern matching is read. This image pattern is data representing characteristics such as the brightness and shape of the vehicle, and is recorded in the microcomputer 4.

ステップS102では、ステップS100で読み込んだ画像から、ステップS101で読み出した画像パターンに合致する部分をパターンマッチングを用いて抽出する。ステップS103では、ステップS102で抽出した部分を障害物候補として検出する。より具体的に述べると、ステップS102においては、読み込んだ画像からエッジ抽出した領域ごとにパターンマッチング用の画像パターンとの近似度を算出し、ステップS103においては、算出された近似度が所定のしきい値を超えている領域を障害物候補として検出する。こうして、ステップS102とS103でパターンマッチングを行うことにより、障害物候補を検出する。   In step S102, a portion matching the image pattern read in step S101 is extracted from the image read in step S100 using pattern matching. In step S103, the part extracted in step S102 is detected as an obstacle candidate. More specifically, in step S102, the degree of approximation with the image pattern for pattern matching is calculated for each region extracted from the read image, and in step S103, the calculated degree of approximation is a predetermined value. An area exceeding the threshold is detected as an obstacle candidate. Thus, obstacle candidates are detected by performing pattern matching in steps S102 and S103.

ステップS104とS105では、ステップS103で検出された障害物候補が互いに画像上で重なっているか否かを判定するために、各障害物候補の画像上の位置を求める。たとえば、各障害物候補が画像中に占める領域の中心点の座標位置を求め、これによって各障害物候補の画像上の位置を表す。ステップS104において、まだ画像上の位置を求めていない障害物候補があるか否かを判定し、ある場合はステップS105において、いずれかの障害物候補の画像上の位置を求める。ステップS105の実行後はステップS104へ戻る。全ての障害物候補について画像上の位置が求められた、あるいはステップS103において障害物候補が1つも検出されなかった場合は、ステップS104が否定判定され、ステップS106へ進む。   In steps S104 and S105, in order to determine whether or not the obstacle candidates detected in step S103 overlap each other on the image, the position of each obstacle candidate on the image is obtained. For example, the coordinate position of the center point of the area occupied by each obstacle candidate in the image is obtained, and thereby the position of each obstacle candidate on the image is represented. In step S104, it is determined whether there is an obstacle candidate whose position on the image has not yet been obtained. If there is an obstacle candidate, the position on the image of any obstacle candidate is obtained in step S105. After execution of step S105, the process returns to step S104. If positions on the image have been obtained for all obstacle candidates, or if no obstacle candidates have been detected in step S103, a negative determination is made in step S104, and the process proceeds to step S106.

ステップS106では、ステップS103で検出された各障害物候補の画像上での重なり判定を行う。このとき、ステップS105において求められた各障害物候補の画像上の位置と、各障害物候補が画像中に占める領域の大きさとに基づいて、各障害物候補が画像上で互いに重なっているか否かを判定する。そして、重なっていると判定した場合には、そのうち実空間上でより遠方にあるものをテクスチャ候補とする。なお、自車両から各障害物候補までの実空間上の距離は、前述したように画像上の位置によって判断することができる。   In step S106, an overlap determination on the image of each obstacle candidate detected in step S103 is performed. At this time, based on the position on the image of each obstacle candidate obtained in step S105 and the size of the area occupied by each obstacle candidate in the image, whether or not the obstacle candidates overlap each other on the image. Determine whether. If it is determined that they overlap, a texture candidate that is farther away in the real space is used as a texture candidate. Note that the distance in real space from the host vehicle to each obstacle candidate can be determined by the position on the image as described above.

ステップS107では、ステップS106でテクスチャ候補として検出された障害物候補の情報をリスト化し、テクスチャ候補リストとして記録する。ここで記録される情報には、ステップS105で算出された各テクスチャ候補の画像上の位置情報が含まれる。なお、テクスチャ候補リストはマイコン4によって記憶され、新たな情報が書き込まれるたびにその内容が更新される。   In step S107, the obstacle candidate information detected as texture candidates in step S106 is listed and recorded as a texture candidate list. The information recorded here includes position information on each texture candidate image calculated in step S105. The texture candidate list is stored by the microcomputer 4, and the contents are updated each time new information is written.

ステップS108では、マイコン4内に記憶された投光器2の発光強度マップを読み出す。この発光強度マップには、自車両から障害物候補までの距離と発光強度との関係が記録されている。ステップS109では、投光器2から照射する光の強度、範囲および方向を、テクスチャ候補の実空間上の位置に応じて設定する。このとき、ステップS107でテクスチャ候補リストに記録された画像上の位置情報により、各テクスチャ候補の実空間上の距離と方向とを求める。そして、算出された距離とステップS108で読み出した発光強度マップに基づいて照射強度を決定し、算出された方向に基づいて照射方向を決定する。また、照射範囲については、各テクスチャ候補の位置と大きさに基づいて、テクスチャ候補の全体を照射できるように決定する。複数のテクスチャ候補が検出された場合には、それらの全てに光が照射されるように、投光器2からの照射範囲および照射方向が決定される。なお、この時点では投光器2からの投光はまだ行わない。   In step S108, the emission intensity map of the projector 2 stored in the microcomputer 4 is read. In this emission intensity map, the relationship between the distance from the host vehicle to the obstacle candidate and the emission intensity is recorded. In step S109, the intensity, range, and direction of light emitted from the projector 2 are set according to the position of the texture candidate in the real space. At this time, the distance and direction in the real space of each texture candidate are obtained from the position information on the image recorded in the texture candidate list in step S107. Then, the irradiation intensity is determined based on the calculated distance and the emission intensity map read in step S108, and the irradiation direction is determined based on the calculated direction. The irradiation range is determined so that the entire texture candidate can be irradiated based on the position and size of each texture candidate. When a plurality of texture candidates are detected, the irradiation range and irradiation direction from the projector 2 are determined so that all of them are irradiated with light. At this time, no light is projected from the projector 2 yet.

ステップS110では、各テクスチャ候補の画像上での輝度値をそれぞれ算出する。このとき、通常は各テクスチャ候補の画像領域内における輝度は均一でないため、その領域内の輝度の平均値や中央値などが、各テクスチャ候補の画像上での輝度値として用いられる。ステップS111では、ステップS110で算出された各テクスチャ候補の画像上での輝度値に基づいて、カメラ1のゲインとシャッター速度を制御する。このとき、図7で説明したように、算出された輝度値とそのときのカメラ特性によって各テクスチャ候補の明るさを求め、その明るさを中心に輝度出力が大きく変化するカメラ特性となるように、カメラ1のゲインとシャッター速度の制御を行う。なお、複数のテクスチャ候補に対して異なる複数の輝度値がステップS110で算出された場合には、それぞれの輝度値を示す明るさを全て含んだ範囲のカメラ特性となるようにする。   In step S110, the brightness value of each texture candidate on the image is calculated. At this time, since the brightness in the image area of each texture candidate is usually not uniform, the average value or median value of the brightness in that area is used as the brightness value on the image of each texture candidate. In step S111, the gain and shutter speed of the camera 1 are controlled based on the luminance value on the texture candidate image calculated in step S110. At this time, as described with reference to FIG. 7, the brightness of each texture candidate is obtained from the calculated brightness value and the camera characteristics at that time, and the camera characteristics in which the brightness output changes greatly centering on the brightness are obtained. The gain and shutter speed of the camera 1 are controlled. Note that when a plurality of different brightness values are calculated for a plurality of texture candidates in step S110, the camera characteristics are in a range including all the brightness values indicating the respective brightness values.

ステップS112では、カメラ1を用いて撮像された非投光時の画像を画像メモリ3から読み込む。ステップS113では、投光器2をオンにし、ステップS109で設定した条件に従って投光器2から光を照射する。こうして、投光器2からの投光を行う。ステップS114では、ステップS113において投光器2から投光しているときのカメラ1の撮像画像を画像メモリ3から読み込む。ステップS115では、投光器2をオフして、投光器2からの投光を終了する。   In step S <b> 112, an image at the time of non-light projection captured using the camera 1 is read from the image memory 3. In step S113, the projector 2 is turned on, and light is emitted from the projector 2 according to the conditions set in step S109. In this way, the light is emitted from the projector 2. In step S114, the captured image of the camera 1 when the light is projected from the projector 2 in step S113 is read from the image memory 3. In step S115, the projector 2 is turned off and the projection from the projector 2 is terminated.

ステップS116では、ステップS112で読み込んだ非投光時の画像と、ステップS114で読み込んだ投光中の画像との差分を算出し、両者の差分画像を求める。この差分画像には、投光器2からの投光前後での各テクスチャ候補の輝度変化が表されている。ステップS117では、ステップS116で求めた差分画像において輝度値が所定値より小さい領域を抽出する。この領域は、投光によって輝度が変化しなかった部分、すなわち影が生じていた部分である。   In step S116, the difference between the non-light-projected image read in step S112 and the light-projected image read in step S114 is calculated, and a difference image between them is obtained. In the difference image, the luminance change of each texture candidate before and after the light projection from the projector 2 is represented. In step S117, a region having a luminance value smaller than a predetermined value is extracted from the difference image obtained in step S116. This area is a part where the luminance is not changed by light projection, that is, a part where a shadow is generated.

ステップS118では、各テクスチャ候補の画像上の領域内に、ステップS117で抽出した領域、すなわち影の部分が含まれているか否かを判定することにより、各テクスチャ候補がテクスチャであるか否かを判定する。影の部分が含まれていないテクスチャ候補があった場合は、そのテクスチャ候補はテクスチャであると判定して、ステップS119へ進む。ステップS119では、ステップS103で検出された障害物候補から、ステップS118でテクスチャと判定されたものを除外する。ステップS119でテクスチャを全て除外した後は、ステップS120へ進む。なお、ステップS118で全てのテクスチャ候補に影の部分が含まれており、テクスチャと判定されなかった場合には、ステップS118からステップS120へ進む。   In step S118, it is determined whether or not each texture candidate is a texture by determining whether or not the area extracted in step S117, that is, a shadow portion, is included in the area on each texture candidate image. judge. If there is a texture candidate that does not include a shadow portion, it is determined that the texture candidate is a texture, and the process proceeds to step S119. In step S119, the obstacle determined in step S118 is excluded from the obstacle candidates detected in step S103. After all the textures are excluded in step S119, the process proceeds to step S120. If it is determined in step S118 that all texture candidates include a shadow portion and are not determined to be textures, the process proceeds from step S118 to step S120.

ステップS120では、ステップS118でテクスチャと判定されてステップS119で除外されたものを除いて、ステップS103で検出された障害物候補の情報を検出リストとして記録する。ここで記録される情報は、モニタ5に検出結果の画像を表示するための情報である。なお、検出リストはマイコン4によって記憶され、新たな情報が書き込まれるたびにその内容が更新される。ステップS121では、ステップS120で記録された検出リストの障害物候補の情報に基づいて、モニタ5へ画像信号を出力する。このようにして、検出された障害物すなわち他車両がモニタ5へ表示される。   In step S120, information on the obstacle candidates detected in step S103 is recorded as a detection list, except for those determined as textures in step S118 and excluded in step S119. The information recorded here is information for displaying the detection result image on the monitor 5. The detection list is stored by the microcomputer 4, and the contents are updated each time new information is written. In step S121, an image signal is output to the monitor 5 based on the obstacle candidate information in the detection list recorded in step S120. In this way, the detected obstacle, that is, the other vehicle is displayed on the monitor 5.

以上説明した実施の形態によれば、次の作用効果が得られる。
(1)カメラ1を用いて撮像した自車両前方の撮像画像により他車両を障害物候補として検出し、その障害物候補のうちのテクスチャ候補に対して投光器2から光を照射する。そして、投光器2からの非投光中と投光中にそれぞれカメラ1により取得された撮像画像に基づいて、テクスチャ候補がテクスチャであるか否かを判定することにより、障害物候補の検出結果の信頼性を判断することとした。このようにしたので、検出された障害物候補が真に障害物であるか、それともテクスチャであるかを判断することができる。その結果、検出対象とする障害物が鏡面状の反射物に映り込んだ像や、その障害物の特徴に合致している周囲の風景などのテクスチャによって生じる誤検出を防ぐことができる。
According to the embodiment described above, the following operational effects can be obtained.
(1) The other vehicle is detected as an obstacle candidate from the captured image in front of the host vehicle imaged using the camera 1, and light is emitted from the projector 2 to the texture candidate among the obstacle candidates. Then, based on the captured images acquired by the camera 1 during the non-projection from the projector 2 and during the projection, it is determined whether the texture candidate is a texture. It was decided to judge reliability. Since it did in this way, it can be judged whether the detected obstacle candidate is a real obstacle or a texture. As a result, it is possible to prevent erroneous detection caused by textures such as an image in which an obstacle to be detected is reflected on a mirror-like reflection object and surrounding scenery that matches the feature of the obstacle.

(2)投光器2が光を照射していないときの撮像画像と、投光器2が光を照射しているときの撮像画像とをカメラ1により取得し、これらの撮像画像の差分画像を求めて両者を比較することにより、テクスチャ候補がテクスチャであるか否かを判定して障害物候補の検出結果の信頼性を判断することとした。具体的には、求められた差分画像に基づいて、投光器2が光を照射しているときの撮像画像に影の部分が現れているか否かを判定する。影の部分が現れている場合は、そのテクスチャ候補(障害物候補)は障害物であり、検出結果を信頼性ありと判断する。現れていない場合は、そのテクスチャ候補(障害物候補)はテクスチャであって、検出結果を信頼性なしと判断することとした。このようにしたので、撮像画像に基づいて障害物候補の検出結果の信頼性を判断することができる。 (2) The captured image when the projector 2 is not irradiating light and the captured image when the projector 2 is irradiating light are acquired by the camera 1, and a difference image between these captured images is obtained. To determine whether or not the texture candidate is a texture and determine the reliability of the detection result of the obstacle candidate. Specifically, based on the obtained difference image, it is determined whether or not a shadow portion appears in the captured image when the projector 2 is irradiating light. When a shadow portion appears, the texture candidate (obstacle candidate) is an obstacle, and the detection result is determined to be reliable. If it does not appear, the texture candidate (obstacle candidate) is a texture, and the detection result is determined to be unreliable. Since it did in this way, the reliability of the detection result of an obstacle candidate can be judged based on a captured image.

(3)複数の障害物候補が検出されてそれらが互いに撮像画像上で重なっていた場合、実空間上で自車両からより遠方に位置しているものをテクスチャ候補とし、そのテクスチャ候補に向けて投光器2からの投光を行うこととした。このようにしたので、テクスチャ候補がテクスチャであるか否かを判定するための撮像画像をカメラ1を用いて取得することができる。 (3) When a plurality of obstacle candidates are detected and they overlap each other on the captured image, a texture candidate that is located farther from the vehicle in the real space is set as the texture candidate, Projection from the projector 2 was performed. Since it did in this way, the captured image for determining whether a texture candidate is a texture can be acquired using the camera 1. FIG.

(4)検出されたテクスチャ候補(障害物候補)の位置と大きさに応じて、投光器2が照射する光の強度、範囲および方向を設定することとしたので、テクスチャ候補に向けて投光器2からの投光を行うことができる。 (4) Since the intensity, range, and direction of light emitted by the projector 2 are set according to the position and size of the detected texture candidate (obstacle candidate), the projector 2 is directed toward the texture candidate. Can be used.

(5)投光器2が光を照射していないときの撮像画像に基づいて、投光器2が光を照射しているときのカメラ1におけるゲインまたは露光量を制御することとした。このようにしたので、投光器2から光を照射したときの明るさの変化が少ない場合でも、撮像画像に大きな輝度変化を得ることができる。これにより、テクスチャ候補に現れる影の有無をより正確に判別でき、障害物候補の検出結果の信頼性の判断精度を上げることができる。 (5) Based on the captured image when the projector 2 is not irradiating light, the gain or exposure amount in the camera 1 when the projector 2 is irradiating light is controlled. Since it did in this way, even when there is little change of the brightness when light is irradiated from the light projector 2, a big luminance change can be obtained in a captured image. As a result, the presence or absence of a shadow appearing in the texture candidate can be more accurately determined, and the reliability determination accuracy of the obstacle candidate detection result can be increased.

(6)テクスチャ候補(障害物候補)と自車両との位置関係に応じて、自車両の左右に対をなして備えられた投光器2のいずれかを選択的に用いて投光を行うこととすれば、カメラ1から見たときのテクスチャ候補上に生じる影の範囲を大きくすることができる。そのため、テクスチャ候補に現れる影の有無を容易に判別することができる。 (6) Projecting light by selectively using one of the light projectors 2 provided in pairs on the left and right of the host vehicle according to the positional relationship between the texture candidate (obstacle candidate) and the host vehicle. By doing so, it is possible to increase the range of shadows that appear on the texture candidates as viewed from the camera 1. Therefore, it is possible to easily determine the presence or absence of a shadow that appears in the texture candidate.

なお、上記の実施形態では、カメラ1を用いて自車両の前方を撮像し、その撮像画像に基づいて自車両の前方に存在する他車両を障害物として検出する例について説明した。しかし、本発明はこの内容に限定されるものではなく、自車両周囲の他の方向、たとえば側方や後方などを撮像し、撮像画像に基づいてその方向に存在する障害物を検出する場合にも適用できる。さらに、他車両以外のもの、たとえば歩行者などを障害物として検出する場合にも、本発明を適用可能である。   In the above embodiment, an example has been described in which the front of the host vehicle is imaged using the camera 1 and another vehicle existing in front of the host vehicle is detected as an obstacle based on the captured image. However, the present invention is not limited to this content, and when other directions around the host vehicle, for example, the side or the rear, are imaged and an obstacle existing in that direction is detected based on the captured image. Is also applicable. Furthermore, the present invention can also be applied to the case where objects other than other vehicles, such as pedestrians, are detected as obstacles.

また、上記の実施形態において投光器2が照射する光には、可視光あるいは赤外光のいずれも用いることができる。可視光とした場合には、上記の実施形態で説明したように、車両のヘッドランプを用いて容易に投光器2を実現することができ、赤外光とした場合には、自車両や周囲の他車両の運転動作などに影響を及ぼすことなく、投光を行うことができる。さらに、可視光と赤外光の両方の波長帯域を含んでいてもよい。なお、赤外光を用いる場合には、遠赤外光と近赤外光のいずれであっても同様の効果を得ることができる。   In the above embodiment, either visible light or infrared light can be used as the light emitted by the projector 2. In the case of visible light, as described in the above embodiment, the projector 2 can be easily realized using the headlamp of the vehicle, and in the case of infrared light, The light can be projected without affecting the driving operation of other vehicles. Furthermore, the wavelength band of both visible light and infrared light may be included. When infrared light is used, the same effect can be obtained with either far infrared light or near infrared light.

さらに、上記の実施形態では、テクスチャ候補の実空間上の位置と大きさに応じて、投光器2から照射する光の強度、範囲および方向を設定する例を説明した。しかし、投光器2からの投光中にカメラ1によって撮像した画像を用いて、上記に説明したようなテクスチャ候補の判定処理を実行することができる限り、投光器2から照射する光のこれらの設定条件を固定としてもよい。あるいは、これらの設定条件のいずれかを変化させ、いずれかを固定としてもよい。この場合には、テクスチャ候補の実空間上の位置と大きさのうち、必要ないずれか一方あるいは両方に応じて、その可変とした投光器2の設定条件を変化させるようにすることができる。   Furthermore, in the above embodiment, an example has been described in which the intensity, range, and direction of light emitted from the projector 2 are set according to the position and size of the texture candidate in the real space. However, as long as the texture candidate determination process as described above can be executed using the image captured by the camera 1 during the projection from the projector 2, these setting conditions for the light emitted from the projector 2 May be fixed. Alternatively, any one of these setting conditions may be changed and any of them may be fixed. In this case, the variable setting condition of the projector 2 can be changed according to one or both of the position and size of the texture candidate in the real space.

また上記の実施形態では、投光器2からの非投光中に検出された障害物候補に対して、光を照射したときの撮像画像を取得することにより、その検出結果の信頼性を判断する例を説明した。しかし、投光中の検出結果に対しても、照射する光の強度を変化させたときの撮像画像を取得することで、本発明を同様にして適用することができる。この場合、変化中の光の照射強度を変化前より強くしても、弱くしてもいずれでもよい。これにより、たとえば近赤外光を投光する暗視装置などにおいても、本発明を適用することができる。   Further, in the above embodiment, an example of determining the reliability of the detection result by acquiring a captured image when light is irradiated on an obstacle candidate detected during non-projection from the projector 2. Explained. However, the present invention can be similarly applied to a detection result during light projection by acquiring a captured image when the intensity of light to be irradiated is changed. In this case, the irradiation intensity of the changing light may be stronger or weaker than before the change. Thus, the present invention can be applied to, for example, a night vision apparatus that projects near-infrared light.

上記の実施形態では、検出手段と判断手段をマイコン4によって実現しているが、これはあくまで一例であって、本発明の特徴が損なわれない限り、各構成要素は上記実施の形態に限定されない。   In the above embodiment, the detection unit and the determination unit are realized by the microcomputer 4, but this is only an example, and each component is not limited to the above embodiment unless the characteristics of the present invention are impaired. .

本発明の一実施形態による障害物検出装置の構成を示す図である。It is a figure which shows the structure of the obstruction detection apparatus by one Embodiment of this invention. カメラと投光器2の車両への取り付け例を示す図である。It is a figure which shows the example of attachment to the vehicle of a camera and the light projector. 障害物候補からテクスチャ候補を検出するときの様子を説明するための図であり、(a)は自車両の前方に3台の他車両が走行している様子、(b)は(a)のときに自車両から撮像した画像例をそれぞれ示している。It is a figure for demonstrating a mode when a texture candidate is detected from an obstacle candidate, (a) is a mode that three other vehicles are drive | working ahead of the own vehicle, (b) is a figure of (a). Examples of images taken from the host vehicle are shown. 障害物候補からテクスチャ候補を検出するときの様子を説明するための図であり、(a)は自車両の前方に走行している他車両に自車両が映り込んでいる様子、(b)は(a)のときに自車両から撮像した画像例をそれぞれ示している。It is a figure for demonstrating a mode when a texture candidate is detected from an obstacle candidate, (a) A mode that the own vehicle is reflected in the other vehicle which is drive | working ahead of the own vehicle, (b) is a figure. The example of an image imaged from the own vehicle at the time of (a) is each shown. テクスチャ候補に向けて光を照射し、そのテクスチャ候補が真にテクスチャであるか否かを判定する方法を説明するための図であり、(a)は自車両の前方に3台の他車両が走行している様子、(b)は(a)の状態で投光していないときの撮像画像例、(c)は(a)の状態で投光しているときの撮像画像例をそれぞれ示している。It is a figure for demonstrating the method of irradiating light toward a texture candidate, and determining whether the texture candidate is a true texture, (a) is three other vehicles ahead of the own vehicle. (B) shows an example of a captured image when light is not projected in the state of (a), and (c) shows an example of a captured image when light is projected in the state of (a). ing. テクスチャ候補に向けて光を照射し、そのテクスチャ候補が真にテクスチャであるか否かを判定する方法を説明するための図であり、(a)は自車両の前方に走行している他車両に自車両が映り込んでいる様子、(b)は(a)の状態で投光していないときの撮像画像例、(c)は(a)の状態で投光しているときの撮像画像例をそれぞれ示している。It is a figure for demonstrating the method of irradiating light toward a texture candidate, and determining whether the texture candidate is truly texture, (a) is the other vehicle which is drive | working ahead of the own vehicle (B) is an example of a captured image when light is not projected in the state of (a), and (c) is a captured image when light is projected in the state of (a). Each example is shown. テクスチャ候補の輝度変化を調べるための画像を撮像するときに、カメラのゲインやシャッター速度を通常の撮像時に比べて変化させる内容を説明する図である。It is a figure explaining the content which changes the gain and shutter speed of a camera compared with the time of normal imaging, when imaging the image for investigating the brightness change of a texture candidate. 本発明の一実施形態による障害物検出装置において実行されるフローチャートである。It is a flowchart performed in the obstacle detection apparatus by one Embodiment of this invention.

符号の説明Explanation of symbols

1:カメラ
2:投光器
3:画像メモリ
4:マイコン
5:モニタ
1: Camera 2: Projector 3: Image memory 4: Microcomputer 5: Monitor

Claims (8)

自車両の周囲の撮像画像を取得する撮像手段と、
前記撮像手段によって取得された撮像画像に基づいて前記自車両の周囲の障害物を検出する検出手段と、
前記障害物に光を照射し、前記検出手段により複数の障害物が検出されてその複数の障害物が互いに前記撮像画像上で重なっていた場合には、その複数の障害物のうち前記自車両からより遠方に位置しているものに向けて照射する光の照射状態を変化させる投光手段と、
前記投光手段が前記障害物に照射する光の照射状態を変化させたときに前記撮像手段によってそれぞれ取得された複数の撮像画像に基づいて、前記検出手段による前記障害物の検出結果の信頼性を判断する判断手段とを備えることを特徴とする車載用障害物検出装置。
Imaging means for acquiring a captured image around the host vehicle;
Detecting means for detecting obstacles around the host vehicle based on a captured image acquired by the imaging means;
When the obstacle is irradiated with light, a plurality of obstacles are detected by the detection means, and the obstacles overlap each other on the captured image, the host vehicle among the obstacles A light projecting means for changing the irradiation state of the light radiated toward what is located farther from
Reliability of the detection result of the obstacle by the detecting means based on a plurality of captured images respectively acquired by the imaging means when the light projecting means changes the irradiation state of the light irradiating the obstacle An on-vehicle obstacle detection device comprising: a determination means for determining
請求項1の車載用障害物検出装置において、
前記判断手段は、前記投光手段が第1の照射状態で光を照射しているときに取得された第1の撮像画像と、前記投光手段が前記第1の照射状態とは少なくとも光強度が異なる第2の照射状態で光を照射しているときに取得された第2の撮像画像とにおける前記障害物の輝度変化により、前記信頼性の判断を行うことを特徴とする車載用障害物検出装置。
The in-vehicle obstacle detection device according to claim 1,
The determination means includes a first captured image acquired when the light projecting means is irradiating light in the first irradiation state, and the light projecting means has at least light intensity as the first irradiation state. The vehicle-mounted obstacle characterized in that the reliability is determined based on a luminance change of the obstacle in a second captured image acquired when light is irradiated in a second irradiation state with different Detection device.
請求項2の車載用障害物検出装置において、
前記判断手段は、前記障害物の輝度変化に影の部分が現れているか否かを判定し、現れている場合はその障害物の検出結果を信頼性ありと判断し、現れていない場合は信頼性なしと判断することを特徴とする車載用障害物検出装置。
The in-vehicle obstacle detection device according to claim 2,
The determination means determines whether or not a shadow portion appears in the luminance change of the obstacle. If it appears, the determination means determines that the detection result of the obstacle is reliable, and if it does not appear, the determination is reliable. A vehicle-mounted obstacle detection device characterized by determining that there is no sex.
請求項2または3のいずれかの車載用障害物検出装置において、
前記第1の撮像画像に基づいて、前記第2の撮像画像を撮像するときの前記撮像手段におけるゲインまたは露光量のいずれか一方または両方を制御することを特徴とする車載用障害物検出装置。
In the in-vehicle obstacle detection device according to claim 2 or 3,
An in-vehicle obstacle detection device that controls one or both of a gain and an exposure amount in the imaging unit when capturing the second captured image based on the first captured image.
請求項1〜4のいずれかの車載用障害物検出装置において、
前記障害物の位置と大きさのいずれか一方あるいは両方に応じて、前記投光手段が光の照射状態を変化させたときに照射する光の強度、範囲または方向のいずれか少なくとも1つを設定することを特徴とする車載用障害物検出装置。
In the vehicle-mounted obstacle detection device according to any one of claims 1 to 4 ,
According to either or both of the position and size of the obstacle, at least one of the intensity, range or direction of light emitted when the light projecting means changes the light irradiation state is set. An in-vehicle obstacle detection device.
請求項1〜5のいずれかの車載用障害物検出装置において、
前記投光手段は前記自車両の左右に対をなして備えられ、
前記障害物と自車両との位置関係に応じて、前記左右一対の投光手段のいずれかによる光の照射状態を選択的に変化させることを特徴とする車載用障害物検出装置。
In the vehicle obstacle detection device according to any one of claims 1 to 5 ,
The light projecting means is provided in pairs on the left and right of the host vehicle,
A vehicle-mounted obstacle detection device that selectively changes the light irradiation state by one of the pair of left and right light projecting means according to the positional relationship between the obstacle and the host vehicle.
請求項1〜6のいずれかの車載用障害物検出装置において、
前記投光手段は、可視光を照射することを特徴とする車載用障害物検出装置。
In the vehicle-mounted obstacle detection device according to any one of claims 1 to 6 ,
The vehicle-mounted obstacle detection device, wherein the light projecting means emits visible light.
請求項1〜6のいずれかの車載用障害物検出装置において、
前記投光手段は、赤外光を照射することを特徴とする車載用障害物検出装置。
In the vehicle-mounted obstacle detection device according to any one of claims 1 to 6 ,
The vehicle-mounted obstacle detection device characterized in that the light projecting means emits infrared light.
JP2003414664A 2003-12-12 2003-12-12 In-vehicle obstacle detection device Expired - Fee Related JP4151571B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003414664A JP4151571B2 (en) 2003-12-12 2003-12-12 In-vehicle obstacle detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003414664A JP4151571B2 (en) 2003-12-12 2003-12-12 In-vehicle obstacle detection device

Publications (2)

Publication Number Publication Date
JP2005176031A JP2005176031A (en) 2005-06-30
JP4151571B2 true JP4151571B2 (en) 2008-09-17

Family

ID=34734396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003414664A Expired - Fee Related JP4151571B2 (en) 2003-12-12 2003-12-12 In-vehicle obstacle detection device

Country Status (1)

Country Link
JP (1) JP4151571B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4824598B2 (en) * 2007-02-21 2011-11-30 株式会社小糸製作所 Vehicle lamp system
JP5092613B2 (en) * 2007-08-06 2012-12-05 日産自動車株式会社 Distance measuring method and apparatus, and vehicle equipped with distance measuring apparatus
WO2014024385A1 (en) * 2012-08-08 2014-02-13 株式会社小糸製作所 Vehicle lamp fitting
JP5853947B2 (en) 2012-12-27 2016-02-09 株式会社デンソー Night vision device
JP5804155B1 (en) * 2014-07-24 2015-11-04 沖電気工業株式会社 Information processing apparatus, information processing method, and program
JP2022147722A (en) * 2021-03-23 2022-10-06 パナソニックIpマネジメント株式会社 Control method, program, and control device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09259278A (en) * 1996-03-25 1997-10-03 Matsushita Electric Ind Co Ltd Image processor
JPH11208367A (en) * 1998-01-20 1999-08-03 Nissan Motor Co Ltd Informative device
JP2000318513A (en) * 1999-05-17 2000-11-21 Mitsubishi Electric Corp Obstacle detection device for vehicle

Also Published As

Publication number Publication date
JP2005176031A (en) 2005-06-30

Similar Documents

Publication Publication Date Title
JP2004112144A (en) Front car tracking system and method for tracking front car
US20180334099A1 (en) Vehicle environment imaging systems and methods
JP2008530667A (en) Method and apparatus for visualizing the periphery of a vehicle by fusing infrared and visible images
WO2020184447A1 (en) Gating camera, automobile, vehicle lamp, object identifying system, arithmetic processing unit, object identifying method, image display system, detection method, image capturing device, and image processing device
JP2006279752A (en) Undervehicle image display controlling apparatus and its display controlling program
JP4927647B2 (en) Vehicle periphery monitoring device
JP7095640B2 (en) Object detector
WO2018110389A1 (en) Vehicle lighting system and vehicle
JP6811661B2 (en) Mobile imager and mobile
JP4151571B2 (en) In-vehicle obstacle detection device
JP4930256B2 (en) Adjacent vehicle detection device and adjacent vehicle detection method
KR101276073B1 (en) System and method for detecting distance between forward vehicle using image in navigation for vehicle
JP2005025497A (en) Sign recognizing device
CN112334361A (en) Information display device and information display method
JP2020137053A (en) Control device and imaging system
JP2007089094A (en) Pedestrian detection device
US10889233B2 (en) Lighting control device, vehicular lamp, and lighting control method
JP7201706B2 (en) Image processing device
JP2007192755A (en) Range finder
JP3823944B2 (en) Moving object notification device
JP7298562B2 (en) Vehicle peripheral detection device
JP7267517B2 (en) Gesture recognition device and gesture recognition method
WO2023085403A1 (en) Sensing system
JP5907405B2 (en) Image analysis apparatus and object detection apparatus using the same
KR101822302B1 (en) Headlamp Control Device Of Vehicle And Driving Method Thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080610

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080623

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4151571

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110711

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120711

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120711

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130711

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees