JP4151571B2 - In-vehicle obstacle detection device - Google Patents
In-vehicle obstacle detection device Download PDFInfo
- Publication number
- JP4151571B2 JP4151571B2 JP2003414664A JP2003414664A JP4151571B2 JP 4151571 B2 JP4151571 B2 JP 4151571B2 JP 2003414664 A JP2003414664 A JP 2003414664A JP 2003414664 A JP2003414664 A JP 2003414664A JP 4151571 B2 JP4151571 B2 JP 4151571B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- light
- obstacle
- detection device
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、車両の周囲に存在する障害物を検出して運転者に報知する車載用障害物検出装置に関する。 The present invention relates to an on-vehicle obstacle detection device that detects an obstacle existing around a vehicle and notifies a driver of the obstacle.
カメラを用いて車両周囲の画像を撮像し、その画像から他車両などの検出対象をパターンマッチングにより検出することで、周囲の障害物を検出して運転者に報知する装置が知られている(たとえば、特許文献1)。 There is known an apparatus that detects an obstacle around the vehicle by sensing an image of the surroundings of the vehicle using a camera and detecting a detection target such as another vehicle from the image by pattern matching. For example, Patent Document 1).
パターンマッチングでは、検出対象の特徴に合致する画像パターンを画像から抽出し、それを障害物として認識する。そのため、検出対象が鏡面状の反射物に映り込んだ像や、その検出対象の特徴に合致している周囲の風景などを誤って抽出してしまい、誤検出が生じるという問題がある。 In pattern matching, an image pattern that matches the feature to be detected is extracted from the image and recognized as an obstacle. For this reason, there is a problem that an erroneous detection occurs because an image in which a detection target is reflected on a mirror-like reflection object or a surrounding landscape that matches the characteristics of the detection target is erroneously extracted.
本発明による車載用障害物検出装置は、自車両の周囲の撮像画像を取得する撮像手段と、撮像手段によって取得された撮像画像に基づいて自車両の周囲の障害物を検出する検出手段と、障害物に光を照射し、検出手段により複数の障害物が検出されてその複数の障害物が互いに撮像画像上で重なっていた場合には、その複数の障害物のうち自車両からより遠方に位置しているものに向けて照射する光の照射状態を変化させる投光手段と、投光手段が障害物に照射する光の照射状態を変化させたときに撮像手段によってそれぞれ取得された複数の撮像画像に基づいて、検出手段による障害物の検出結果の信頼性を判断する判断手段とを備えるものである。
An on-vehicle obstacle detection device according to the present invention includes an imaging unit that acquires a captured image around the host vehicle, a detection unit that detects an obstacle around the host vehicle based on the captured image acquired by the imaging unit, When the obstacle is irradiated with light and a plurality of obstacles are detected by the detection means and the obstacles overlap each other on the captured image, the obstacle is farther from the own vehicle. A light projecting unit that changes an irradiation state of the light that is irradiated toward a position, and a plurality of light sources acquired by the imaging unit when the light irradiation unit changes the irradiation state of the light that irradiates the obstacle. And a determination unit that determines the reliability of the detection result of the obstacle by the detection unit based on the captured image.
本発明によれば、撮像手段によって取得した自車両の周囲の撮像画像に基づいて自車両周囲の障害物を検出し、複数の障害物が検出されてその複数の障害物が互いに撮像画像上で重なっていた場合には、その複数の障害物のうち自車両からより遠方に位置しているものに向けて投光手段から照射する光の照射状態を変化させる。そして、投光手段が光の照射状態を変化させたときに撮像手段によってそれぞれ取得された複数の撮像画像に基づいて、障害物の検出結果の信頼性を判断することとした。このようにしたので、検出された障害物が真に障害物であるか否かを判断することができ、検出対象である障害物が鏡面状の反射物に映り込んだ像や、その障害物の特徴に合致している周囲の風景などによって生じる誤検出を防ぐことができる。 According to the present invention, an obstacle around the host vehicle is detected based on a captured image around the host vehicle acquired by the imaging unit, and a plurality of obstacles are detected, and the plurality of obstacles are mutually detected on the captured image. In the case of overlapping, the irradiation state of the light emitted from the light projecting means is changed toward the obstacle located farther from the own vehicle among the plurality of obstacles. Then, the reliability of the obstacle detection result is determined based on a plurality of captured images respectively acquired by the imaging unit when the light projecting unit changes the light irradiation state. Since it did in this way, it can be judged whether the detected obstacle is a true obstacle, and the obstacle which the detection target reflected in the mirror-like reflection object, and the obstacle It is possible to prevent false detection caused by surrounding scenery that matches the characteristics of the.
本発明の一実施形態による障害物検出装置の構成を図1に示す。この障害物検出装置は車両に搭載されており、その車両の前方に存在する他車両を障害物として検出して、運転者に報知するものである。この障害物検出装置は、カメラ1、投光器2、画像メモリ3、マイコン4、およびモニタ5を備える。
FIG. 1 shows the configuration of an obstacle detection apparatus according to an embodiment of the present invention. This obstacle detection device is mounted on a vehicle, detects other vehicles in front of the vehicle as obstacles, and notifies the driver. The obstacle detection apparatus includes a camera 1, a
カメラ1は自車両前方を撮像するように自車両の前部に設置されており、撮像した画像を画像信号として画像メモリ3へ出力する。カメラ1における入力光量に対する出力信号の増幅ゲイン量(以下、単にゲインという)や、カメラ1のシャッター速度と絞りは、マイコン4によって後で説明するように制御される。このカメラ1は、車両の走行環境における周囲からの光の波長帯域と、後述する投光器2から照射される光の波長帯域とを少なくとも含む範囲に受光感度を有している。なお、カメラ1にはたとえばCCDカメラ等が用いられる。
The camera 1 is installed at the front of the host vehicle so as to capture the front of the host vehicle, and outputs the captured image to the
投光器2は、マイコン4の制御によって車両前方への投光を行う。投光器2が照射する光の範囲、照射強度および照射方向は、マイコン4の制御により変化させることができるように構成されている。たとえば、ランプ光源からの光をリフレクタによって車両前方へ反射するように、投光器2は構成される。この場合には、ランプ光源の発光強度とリフレクタの位置をマイコン4の制御によって調整することにより、照射する光の範囲、照射強度および照射方向を変化させることができる。なお、投光器2が照射する光の波長帯域は、カメラ1が受光感度を有する波長帯域内とする。
The
画像メモリ3は、カメラ1から入力した画像信号を画像データとして記憶保持するためのフレームメモリである。画像メモリ3に記憶された画像データは、マイコン4の制御により画像フレーム単位でマイコン4に出力される。
The
マイコン4は、画像メモリ3から画像データを入力し、その画像から障害物(他車両)の候補をパターンマッチングにより抽出する。このパターンマッチングは、周知のように画像中の輝度、形状等によって対象物の特徴をあらかじめ設定しておき、その特徴に合致する部分を抽出する画像処理方法である。さらに、抽出された障害物候補が複数ある場合には、それらが画像上で重なっているか否かを判定し、重なっている場合には、実空間上で自車両からより遠方にあると判断されるものをテクスチャ候補とする。テクスチャとは面状に描かれた絵を意味するものであり、ここでは本装置の検出対象すなわち実際の車両ではないことを表す。なお、自車両と抽出された障害物候補との実空間上の距離は、その障害物候補の画像上の位置によって判断することができ、遠方にあるほど画像の上方に位置して消失点に近づいている。
The
誤検出を引き起こす原因となるようなテクスチャは、車両が鏡面状の反射物に映り込んでいる場合や、周囲の風景がパターンマッチングに用いる車両の特徴に合致している場合などに生じる。このようなテクスチャによる誤検出を防ぐために、上記のようにしてテクスチャ候補が検出された場合には、マイコン4により投光器2を制御してそのテクスチャ候補に向けて投光を行い、カメラ1を用いて撮像する。そして、投光中と非投光中での撮像画像を比較することにより、テクスチャ候補とした部分が実際にテクスチャであるか、それとも他車両であるかを判定する。その結果、テクスチャであると判定された場合は障害物候補から除外する。このように、パターンマッチングにより抽出された障害物候補からテクスチャであるものを除外することによって、実際の障害物の検出を行う。なお、以上説明したマイコン4が実行する処理内容については、後で詳細に説明する。
Textures that cause erroneous detection occur when the vehicle is reflected in a mirror-like reflector or when the surrounding landscape matches the characteristics of the vehicle used for pattern matching. In order to prevent such erroneous detection due to texture, when a texture candidate is detected as described above, the
モニタ5は、上記のようにしてマイコン4において検出された障害物の画像を、マイコン4から出力される画像信号を元に車室内に画像表示する。このモニタ5の画像表示により、運転者に対して障害物すなわち周囲の他車両の存在を報知する。なお、モニタ5に障害物を画像表示するとき、自車両からの距離に応じて表示形態を変えたり、その距離ごとに異なる音声を画像表示と同時に出力したりしてもよい。このようにすることで、障害物と自車両との接近度合いを運転者にさらに分かりやすく報知することができる。
The monitor 5 displays the image of the obstacle detected by the
図2に、カメラ1と投光器2の車両への取り付け例を示す。図2は車両を前方から見たときの模式図である。カメラ1は、たとえば図2のようにルームミラーの背面に配置されることにより、フロントガラスの上部を通して車両前方を撮像することができる。車両前方を撮像できればこれ以外の設置位置としてもよい。投光器2は車両のヘッドランプを兼ねており、可視光を車両前方へ照射する。このように、投光器2をヘッドランプと兼ねてもよいし、あるいはヘッドランプと別に設置してもよい。なお、後に説明するように投光器2からの投光によって生じる影をカメラ1を用いて撮像することから、カメラ1と投光器2は異なる位置に設置する必要がある。
FIG. 2 shows an example of attachment of the camera 1 and the
上記で説明したパターンマッチングによって抽出された障害物候補からテクスチャ候補を検出するときの様子を、図3および4を用いて説明する。図3(a)は、自車両100の前方に3台の他車両200、201および202が走行している様子を示す図であり、図3(b)は、図3(a)のときに自車両100から撮像した画像例を示す図である。図3(b)の画像からパターンマッチングによって他車両200、201および202が障害物候補として抽出されると、他車両200とその後ろを行く他車両201は画像上で重なっている。この場合、遠方の他車両200がテクスチャ候補とされる。
A state when a texture candidate is detected from obstacle candidates extracted by the pattern matching described above will be described with reference to FIGS. FIG. 3A is a diagram showing a state in which three
図4(a)は、自車両100の前方に他車両203が走行しており、その他車両203に自車両100が映り込んでいる様子を示す図である。図4(b)は、図4(a)のときに自車両100から撮像した画像を示す図である。図4(b)の画像からは、他車両203と自車両100の映り込みによるテクスチャ(テクスチャ100’と表す)がパターンマッチングによって障害物候補として抽出される。このテクスチャ100’は他車両203より遠方にあるように画像上で見えるため、テクスチャ100’がテクスチャ候補として検出される。
FIG. 4A is a diagram illustrating a state in which the
以上説明したようにテクスチャ候補が検出されると、本装置は投光器2を用いてテクスチャ候補に向けて光を照射し、そのテクスチャ候補が真にテクスチャであるか否かを判定する。その方法を図5および6を用いて以下に説明する。図5には、図3と同様に、自車両前方の他車両200および201のうち、遠方の他車両200がテクスチャ候補として検出された場合を示している。この場合、図5(a)のように、自車両100から前方に対して投光を行うと、点線の範囲に照射した光は他車両201によって遮られる。そのため、図中の網掛け部分は他車両201の陰となり、その範囲には光が照射されない。これにより、テクスチャ候補である他車両200の上に他車両201の影が現れる。
As described above, when a texture candidate is detected, this apparatus irradiates light toward the texture candidate using the
ここで、前述したようにカメラ1と投光器2は異なる位置に設置されているので、投光器2からの光の照射によって他車両200上に現れた他車両201の影を、カメラ1を用いて撮像することができる。たとえば、図5(a)のように右側のヘッドランプ(投光器2)から投光し、自車両100の左右の中心に位置するカメラ1を用いて撮像する。こうして撮像された投光中の画像の例を図5(c)に示す。なお、図5(b)は同じ車両位置の状態における投光していないときの画像例である。この場合は図5(c)に示すように、投光中の撮像画像において他車両200の上に他車両201の影300が現れる。
Here, as described above, since the camera 1 and the
図6には、図4と同様に、自車両前方の他車両203に映り込んでいる自車両のテクスチャ100’がテクスチャ候補として検出された場合を示している。このとき図6(a)のように自車両100から前方に光を照射すると、点線の範囲に照射した分が他車両203に遮られ、図中の網掛けの範囲が他車両203の陰となる。この状態で撮像した投光中の画像の例を図6(c)に示す。なお、図6(b)は同じ車両位置の状態における非投光時の画像例である。この場合は図6(c)に示すように、投光中の撮像画像においてテクスチャ100’の上に影が現れない。
FIG. 6 shows a case where the
以上説明したように、投光器2を用いて光を照射することにより、テクスチャ候補が実際の車両であった場合には、そのテクスチャ候補に影が現れる。一方、車両ではなくテクスチャであった場合には、そのテクスチャ候補には影が現れない。このような影の発生の有無は、非投光時と投光中の撮像画像におけるテクスチャ候補の輝度変化を調べることによって確認することができる。撮像画像中でテクスチャ候補に輝度変化の小さい部分があった場合は、その部分には影が現れているため、そのテクスチャ候補は他車両であると判断できる。しかし、一様に輝度変化していた場合には影が現れていないため、そのテクスチャ候補は映り込みなどによるテクスチャであって他車両ではないと判断できる。
As described above, when a texture candidate is an actual vehicle by irradiating light using the
なお、図5および6の例では、自車両の右側のヘッドランプより投光を行っているが、自車両とテクスチャ候補との位置関係に応じて、右側と左側のいずれか一方のヘッドランプを選択するようにしてもよい。このとき、図5や6のように自車両から見て左側の位置にテクスチャ候補がある場合には、右側のヘッドランプより投光し、右側に位置している場合は、左側のヘッドランプを用いることが好ましい。このようにすることで、左右中央に備えられたカメラ1から見たときに、手前側の他車両によりテクスチャ候補上に生じる影の範囲を大きくすることができる。 In the examples of FIGS. 5 and 6, light is projected from the right headlamp of the host vehicle, but either the right or left headlamp is set according to the positional relationship between the host vehicle and the texture candidate. You may make it select. At this time, as shown in FIGS. 5 and 6, when there is a texture candidate on the left side when viewed from the own vehicle, light is emitted from the right headlamp, and when located on the right side, the left headlamp is turned on. It is preferable to use it. By doing in this way, when it sees from the camera 1 with which the center of right and left was provided, the range of the shadow produced on a texture candidate by the other vehicle of this side can be enlarged.
上記に説明したようなテクスチャ候補の輝度変化を調べるための画像を撮像するときには、カメラ1におけるゲイン、シャッター速度または絞りのいずれかを通常の撮像時に比べて変化させることが好ましい。その内容を図7を用いて説明する。図7は、実空間における明るさとカメラ1の輝度出力との関係の例を示している。カメラ1は、符号10または11に示すいずれかのカメラ特性に従って、撮像した物体の明るさに応じた輝度出力を行うものとする。
When an image for examining the brightness change of the texture candidate as described above is captured, it is preferable to change any of the gain, shutter speed, or aperture in the camera 1 as compared to normal imaging. The contents will be described with reference to FIG. FIG. 7 shows an example of the relationship between the brightness in real space and the luminance output of the camera 1. Assume that the camera 1 performs luminance output according to the brightness of the imaged object in accordance with one of the camera characteristics indicated by
通常の撮像時、すなわち障害物候補をパターンマッチングによって抽出するための画像を撮像するときには、実空間に存在する様々な明るさの物体の輝度分布を画像上に表せるように、広いレンジの明るさをカバーできるカメラ特性10を選択する。一方、投光/非投光時におけるテクスチャ候補の輝度変化を調べるための画像を撮像するときには、カメラ特性11を選択する。カメラ特性11は、符号12に示すテクスチャ候補の非投光時の明るさを中心に、大きく輝度出力が変化するようにしたものである。非投光時の明るさ12は、カメラ特性10で撮像された画像の輝度値からあらかじめ知ることができる。これにより、投光器2から光を照射したときの明るさの変化によって、画像上のテクスチャ候補の輝度に大きな変化量を得ることができる。
During normal imaging, that is, when imaging an image for extracting obstacle candidates by pattern matching, a wide range of brightness so that the brightness distribution of objects of various brightness in real space can be represented on the image The
たとえば、投光器2からの投光によって、図に示すΔBだけテクスチャ候補の明るさが変化したとすると、カメラ特性10のときは画像にΔL1の輝度変化しか起こらないが、カメラ特性11のときにはΔL2の輝度変化が起こる。このように、少ない明るさ変化であっても、カメラ特性を変えることで画像に大きな輝度変化を得ることができる。これにより、テクスチャ候補に現れる影の有無をより正確に判別できるようになって、検出対象である他車両の検出精度を上げることができる。
For example, if the brightness of the texture candidate is changed by ΔB shown in the figure due to light projection from the
以上説明したカメラ特性の選択は、カメラ1のゲイン、シャッター速度、または絞りのいずれかを変化させることによって行うことができる。シャッター速度や絞りを変化させると、撮像時の露光量を制御してカメラ1への入力光量を調節することができる。また、ゲインを変化させると、入力光量に対するカメラ1からの輝度出力量を調節できる。したがって、露光量またはゲインのいずれか一方、または両方を制御することにより、任意のカメラ特性を選択することが出来る。このとき、選択するカメラ特性10および11は固定のものではなく、撮像された画像に応じて変化させるようにすることが好ましい。
The selection of the camera characteristics described above can be performed by changing any of the gain, shutter speed, or aperture of the camera 1. When the shutter speed or the aperture is changed, the amount of light input to the camera 1 can be adjusted by controlling the exposure amount during imaging. Further, when the gain is changed, the luminance output amount from the camera 1 with respect to the input light amount can be adjusted. Therefore, an arbitrary camera characteristic can be selected by controlling either one or both of the exposure amount and the gain. At this time, it is preferable that the
本装置は、以上説明したような処理を行うことにより、撮像画像に基づいて障害物として周囲の他車両を検出し、検出された他車両がテクスチャであるか否かを判定することによって、その他車両の検出結果の信頼性を判断する。そして、テクスチャでない場合は信頼性ありと判断してその他車両を画面表示し、テクスチャである場合は信頼性なしと判断してその他車両を画面表示しない。このようにして、他車両の検出結果を運転者に報知する。このとき実行されるフローチャートを図8に示す。図8の処理フローは、所定の時間間隔、たとえばカメラ1における撮像のフレーム間隔ごとに、マイコン4により実行されるものである。
By performing the processing as described above, this apparatus detects other surrounding vehicles as obstacles based on the captured image, and determines whether the detected other vehicles are textures. Determine the reliability of the vehicle detection results. If it is not a texture, it is determined that the vehicle is reliable and other vehicles are displayed on the screen. If it is a texture, it is determined that the vehicle is not reliable and the other vehicles are not displayed on the screen. In this way, the detection result of the other vehicle is notified to the driver. A flowchart executed at this time is shown in FIG. The processing flow of FIG. 8 is executed by the
ステップS100では、画像メモリ3に記録された画像データを読み出す。この画像データには、カメラ1によって撮像された画像の輝度情報が表されている。すなわち、カメラ1によって撮像された画像をステップS100においてマイコン4に読み込む。ステップS101では、検出対象とする障害物すなわち他車両をパターンマッチングにより抽出するための画像パターンを読み出す。この画像パターンは、車両の輝度や形状等の特徴を表したデータであり、マイコン4内に記録されている。
In step S100, the image data recorded in the
ステップS102では、ステップS100で読み込んだ画像から、ステップS101で読み出した画像パターンに合致する部分をパターンマッチングを用いて抽出する。ステップS103では、ステップS102で抽出した部分を障害物候補として検出する。より具体的に述べると、ステップS102においては、読み込んだ画像からエッジ抽出した領域ごとにパターンマッチング用の画像パターンとの近似度を算出し、ステップS103においては、算出された近似度が所定のしきい値を超えている領域を障害物候補として検出する。こうして、ステップS102とS103でパターンマッチングを行うことにより、障害物候補を検出する。 In step S102, a portion matching the image pattern read in step S101 is extracted from the image read in step S100 using pattern matching. In step S103, the part extracted in step S102 is detected as an obstacle candidate. More specifically, in step S102, the degree of approximation with the image pattern for pattern matching is calculated for each region extracted from the read image, and in step S103, the calculated degree of approximation is a predetermined value. An area exceeding the threshold is detected as an obstacle candidate. Thus, obstacle candidates are detected by performing pattern matching in steps S102 and S103.
ステップS104とS105では、ステップS103で検出された障害物候補が互いに画像上で重なっているか否かを判定するために、各障害物候補の画像上の位置を求める。たとえば、各障害物候補が画像中に占める領域の中心点の座標位置を求め、これによって各障害物候補の画像上の位置を表す。ステップS104において、まだ画像上の位置を求めていない障害物候補があるか否かを判定し、ある場合はステップS105において、いずれかの障害物候補の画像上の位置を求める。ステップS105の実行後はステップS104へ戻る。全ての障害物候補について画像上の位置が求められた、あるいはステップS103において障害物候補が1つも検出されなかった場合は、ステップS104が否定判定され、ステップS106へ進む。 In steps S104 and S105, in order to determine whether or not the obstacle candidates detected in step S103 overlap each other on the image, the position of each obstacle candidate on the image is obtained. For example, the coordinate position of the center point of the area occupied by each obstacle candidate in the image is obtained, and thereby the position of each obstacle candidate on the image is represented. In step S104, it is determined whether there is an obstacle candidate whose position on the image has not yet been obtained. If there is an obstacle candidate, the position on the image of any obstacle candidate is obtained in step S105. After execution of step S105, the process returns to step S104. If positions on the image have been obtained for all obstacle candidates, or if no obstacle candidates have been detected in step S103, a negative determination is made in step S104, and the process proceeds to step S106.
ステップS106では、ステップS103で検出された各障害物候補の画像上での重なり判定を行う。このとき、ステップS105において求められた各障害物候補の画像上の位置と、各障害物候補が画像中に占める領域の大きさとに基づいて、各障害物候補が画像上で互いに重なっているか否かを判定する。そして、重なっていると判定した場合には、そのうち実空間上でより遠方にあるものをテクスチャ候補とする。なお、自車両から各障害物候補までの実空間上の距離は、前述したように画像上の位置によって判断することができる。 In step S106, an overlap determination on the image of each obstacle candidate detected in step S103 is performed. At this time, based on the position on the image of each obstacle candidate obtained in step S105 and the size of the area occupied by each obstacle candidate in the image, whether or not the obstacle candidates overlap each other on the image. Determine whether. If it is determined that they overlap, a texture candidate that is farther away in the real space is used as a texture candidate. Note that the distance in real space from the host vehicle to each obstacle candidate can be determined by the position on the image as described above.
ステップS107では、ステップS106でテクスチャ候補として検出された障害物候補の情報をリスト化し、テクスチャ候補リストとして記録する。ここで記録される情報には、ステップS105で算出された各テクスチャ候補の画像上の位置情報が含まれる。なお、テクスチャ候補リストはマイコン4によって記憶され、新たな情報が書き込まれるたびにその内容が更新される。
In step S107, the obstacle candidate information detected as texture candidates in step S106 is listed and recorded as a texture candidate list. The information recorded here includes position information on each texture candidate image calculated in step S105. The texture candidate list is stored by the
ステップS108では、マイコン4内に記憶された投光器2の発光強度マップを読み出す。この発光強度マップには、自車両から障害物候補までの距離と発光強度との関係が記録されている。ステップS109では、投光器2から照射する光の強度、範囲および方向を、テクスチャ候補の実空間上の位置に応じて設定する。このとき、ステップS107でテクスチャ候補リストに記録された画像上の位置情報により、各テクスチャ候補の実空間上の距離と方向とを求める。そして、算出された距離とステップS108で読み出した発光強度マップに基づいて照射強度を決定し、算出された方向に基づいて照射方向を決定する。また、照射範囲については、各テクスチャ候補の位置と大きさに基づいて、テクスチャ候補の全体を照射できるように決定する。複数のテクスチャ候補が検出された場合には、それらの全てに光が照射されるように、投光器2からの照射範囲および照射方向が決定される。なお、この時点では投光器2からの投光はまだ行わない。
In step S108, the emission intensity map of the
ステップS110では、各テクスチャ候補の画像上での輝度値をそれぞれ算出する。このとき、通常は各テクスチャ候補の画像領域内における輝度は均一でないため、その領域内の輝度の平均値や中央値などが、各テクスチャ候補の画像上での輝度値として用いられる。ステップS111では、ステップS110で算出された各テクスチャ候補の画像上での輝度値に基づいて、カメラ1のゲインとシャッター速度を制御する。このとき、図7で説明したように、算出された輝度値とそのときのカメラ特性によって各テクスチャ候補の明るさを求め、その明るさを中心に輝度出力が大きく変化するカメラ特性となるように、カメラ1のゲインとシャッター速度の制御を行う。なお、複数のテクスチャ候補に対して異なる複数の輝度値がステップS110で算出された場合には、それぞれの輝度値を示す明るさを全て含んだ範囲のカメラ特性となるようにする。 In step S110, the brightness value of each texture candidate on the image is calculated. At this time, since the brightness in the image area of each texture candidate is usually not uniform, the average value or median value of the brightness in that area is used as the brightness value on the image of each texture candidate. In step S111, the gain and shutter speed of the camera 1 are controlled based on the luminance value on the texture candidate image calculated in step S110. At this time, as described with reference to FIG. 7, the brightness of each texture candidate is obtained from the calculated brightness value and the camera characteristics at that time, and the camera characteristics in which the brightness output changes greatly centering on the brightness are obtained. The gain and shutter speed of the camera 1 are controlled. Note that when a plurality of different brightness values are calculated for a plurality of texture candidates in step S110, the camera characteristics are in a range including all the brightness values indicating the respective brightness values.
ステップS112では、カメラ1を用いて撮像された非投光時の画像を画像メモリ3から読み込む。ステップS113では、投光器2をオンにし、ステップS109で設定した条件に従って投光器2から光を照射する。こうして、投光器2からの投光を行う。ステップS114では、ステップS113において投光器2から投光しているときのカメラ1の撮像画像を画像メモリ3から読み込む。ステップS115では、投光器2をオフして、投光器2からの投光を終了する。
In step S <b> 112, an image at the time of non-light projection captured using the camera 1 is read from the
ステップS116では、ステップS112で読み込んだ非投光時の画像と、ステップS114で読み込んだ投光中の画像との差分を算出し、両者の差分画像を求める。この差分画像には、投光器2からの投光前後での各テクスチャ候補の輝度変化が表されている。ステップS117では、ステップS116で求めた差分画像において輝度値が所定値より小さい領域を抽出する。この領域は、投光によって輝度が変化しなかった部分、すなわち影が生じていた部分である。
In step S116, the difference between the non-light-projected image read in step S112 and the light-projected image read in step S114 is calculated, and a difference image between them is obtained. In the difference image, the luminance change of each texture candidate before and after the light projection from the
ステップS118では、各テクスチャ候補の画像上の領域内に、ステップS117で抽出した領域、すなわち影の部分が含まれているか否かを判定することにより、各テクスチャ候補がテクスチャであるか否かを判定する。影の部分が含まれていないテクスチャ候補があった場合は、そのテクスチャ候補はテクスチャであると判定して、ステップS119へ進む。ステップS119では、ステップS103で検出された障害物候補から、ステップS118でテクスチャと判定されたものを除外する。ステップS119でテクスチャを全て除外した後は、ステップS120へ進む。なお、ステップS118で全てのテクスチャ候補に影の部分が含まれており、テクスチャと判定されなかった場合には、ステップS118からステップS120へ進む。 In step S118, it is determined whether or not each texture candidate is a texture by determining whether or not the area extracted in step S117, that is, a shadow portion, is included in the area on each texture candidate image. judge. If there is a texture candidate that does not include a shadow portion, it is determined that the texture candidate is a texture, and the process proceeds to step S119. In step S119, the obstacle determined in step S118 is excluded from the obstacle candidates detected in step S103. After all the textures are excluded in step S119, the process proceeds to step S120. If it is determined in step S118 that all texture candidates include a shadow portion and are not determined to be textures, the process proceeds from step S118 to step S120.
ステップS120では、ステップS118でテクスチャと判定されてステップS119で除外されたものを除いて、ステップS103で検出された障害物候補の情報を検出リストとして記録する。ここで記録される情報は、モニタ5に検出結果の画像を表示するための情報である。なお、検出リストはマイコン4によって記憶され、新たな情報が書き込まれるたびにその内容が更新される。ステップS121では、ステップS120で記録された検出リストの障害物候補の情報に基づいて、モニタ5へ画像信号を出力する。このようにして、検出された障害物すなわち他車両がモニタ5へ表示される。
In step S120, information on the obstacle candidates detected in step S103 is recorded as a detection list, except for those determined as textures in step S118 and excluded in step S119. The information recorded here is information for displaying the detection result image on the monitor 5. The detection list is stored by the
以上説明した実施の形態によれば、次の作用効果が得られる。
(1)カメラ1を用いて撮像した自車両前方の撮像画像により他車両を障害物候補として検出し、その障害物候補のうちのテクスチャ候補に対して投光器2から光を照射する。そして、投光器2からの非投光中と投光中にそれぞれカメラ1により取得された撮像画像に基づいて、テクスチャ候補がテクスチャであるか否かを判定することにより、障害物候補の検出結果の信頼性を判断することとした。このようにしたので、検出された障害物候補が真に障害物であるか、それともテクスチャであるかを判断することができる。その結果、検出対象とする障害物が鏡面状の反射物に映り込んだ像や、その障害物の特徴に合致している周囲の風景などのテクスチャによって生じる誤検出を防ぐことができる。
According to the embodiment described above, the following operational effects can be obtained.
(1) The other vehicle is detected as an obstacle candidate from the captured image in front of the host vehicle imaged using the camera 1, and light is emitted from the
(2)投光器2が光を照射していないときの撮像画像と、投光器2が光を照射しているときの撮像画像とをカメラ1により取得し、これらの撮像画像の差分画像を求めて両者を比較することにより、テクスチャ候補がテクスチャであるか否かを判定して障害物候補の検出結果の信頼性を判断することとした。具体的には、求められた差分画像に基づいて、投光器2が光を照射しているときの撮像画像に影の部分が現れているか否かを判定する。影の部分が現れている場合は、そのテクスチャ候補(障害物候補)は障害物であり、検出結果を信頼性ありと判断する。現れていない場合は、そのテクスチャ候補(障害物候補)はテクスチャであって、検出結果を信頼性なしと判断することとした。このようにしたので、撮像画像に基づいて障害物候補の検出結果の信頼性を判断することができる。
(2) The captured image when the
(3)複数の障害物候補が検出されてそれらが互いに撮像画像上で重なっていた場合、実空間上で自車両からより遠方に位置しているものをテクスチャ候補とし、そのテクスチャ候補に向けて投光器2からの投光を行うこととした。このようにしたので、テクスチャ候補がテクスチャであるか否かを判定するための撮像画像をカメラ1を用いて取得することができる。
(3) When a plurality of obstacle candidates are detected and they overlap each other on the captured image, a texture candidate that is located farther from the vehicle in the real space is set as the texture candidate, Projection from the
(4)検出されたテクスチャ候補(障害物候補)の位置と大きさに応じて、投光器2が照射する光の強度、範囲および方向を設定することとしたので、テクスチャ候補に向けて投光器2からの投光を行うことができる。
(4) Since the intensity, range, and direction of light emitted by the
(5)投光器2が光を照射していないときの撮像画像に基づいて、投光器2が光を照射しているときのカメラ1におけるゲインまたは露光量を制御することとした。このようにしたので、投光器2から光を照射したときの明るさの変化が少ない場合でも、撮像画像に大きな輝度変化を得ることができる。これにより、テクスチャ候補に現れる影の有無をより正確に判別でき、障害物候補の検出結果の信頼性の判断精度を上げることができる。
(5) Based on the captured image when the
(6)テクスチャ候補(障害物候補)と自車両との位置関係に応じて、自車両の左右に対をなして備えられた投光器2のいずれかを選択的に用いて投光を行うこととすれば、カメラ1から見たときのテクスチャ候補上に生じる影の範囲を大きくすることができる。そのため、テクスチャ候補に現れる影の有無を容易に判別することができる。
(6) Projecting light by selectively using one of the
なお、上記の実施形態では、カメラ1を用いて自車両の前方を撮像し、その撮像画像に基づいて自車両の前方に存在する他車両を障害物として検出する例について説明した。しかし、本発明はこの内容に限定されるものではなく、自車両周囲の他の方向、たとえば側方や後方などを撮像し、撮像画像に基づいてその方向に存在する障害物を検出する場合にも適用できる。さらに、他車両以外のもの、たとえば歩行者などを障害物として検出する場合にも、本発明を適用可能である。 In the above embodiment, an example has been described in which the front of the host vehicle is imaged using the camera 1 and another vehicle existing in front of the host vehicle is detected as an obstacle based on the captured image. However, the present invention is not limited to this content, and when other directions around the host vehicle, for example, the side or the rear, are imaged and an obstacle existing in that direction is detected based on the captured image. Is also applicable. Furthermore, the present invention can also be applied to the case where objects other than other vehicles, such as pedestrians, are detected as obstacles.
また、上記の実施形態において投光器2が照射する光には、可視光あるいは赤外光のいずれも用いることができる。可視光とした場合には、上記の実施形態で説明したように、車両のヘッドランプを用いて容易に投光器2を実現することができ、赤外光とした場合には、自車両や周囲の他車両の運転動作などに影響を及ぼすことなく、投光を行うことができる。さらに、可視光と赤外光の両方の波長帯域を含んでいてもよい。なお、赤外光を用いる場合には、遠赤外光と近赤外光のいずれであっても同様の効果を得ることができる。
In the above embodiment, either visible light or infrared light can be used as the light emitted by the
さらに、上記の実施形態では、テクスチャ候補の実空間上の位置と大きさに応じて、投光器2から照射する光の強度、範囲および方向を設定する例を説明した。しかし、投光器2からの投光中にカメラ1によって撮像した画像を用いて、上記に説明したようなテクスチャ候補の判定処理を実行することができる限り、投光器2から照射する光のこれらの設定条件を固定としてもよい。あるいは、これらの設定条件のいずれかを変化させ、いずれかを固定としてもよい。この場合には、テクスチャ候補の実空間上の位置と大きさのうち、必要ないずれか一方あるいは両方に応じて、その可変とした投光器2の設定条件を変化させるようにすることができる。
Furthermore, in the above embodiment, an example has been described in which the intensity, range, and direction of light emitted from the
また上記の実施形態では、投光器2からの非投光中に検出された障害物候補に対して、光を照射したときの撮像画像を取得することにより、その検出結果の信頼性を判断する例を説明した。しかし、投光中の検出結果に対しても、照射する光の強度を変化させたときの撮像画像を取得することで、本発明を同様にして適用することができる。この場合、変化中の光の照射強度を変化前より強くしても、弱くしてもいずれでもよい。これにより、たとえば近赤外光を投光する暗視装置などにおいても、本発明を適用することができる。
Further, in the above embodiment, an example of determining the reliability of the detection result by acquiring a captured image when light is irradiated on an obstacle candidate detected during non-projection from the
上記の実施形態では、検出手段と判断手段をマイコン4によって実現しているが、これはあくまで一例であって、本発明の特徴が損なわれない限り、各構成要素は上記実施の形態に限定されない。
In the above embodiment, the detection unit and the determination unit are realized by the
1:カメラ
2:投光器
3:画像メモリ
4:マイコン
5:モニタ
1: Camera 2: Projector 3: Image memory 4: Microcomputer 5: Monitor
Claims (8)
前記撮像手段によって取得された撮像画像に基づいて前記自車両の周囲の障害物を検出する検出手段と、
前記障害物に光を照射し、前記検出手段により複数の障害物が検出されてその複数の障害物が互いに前記撮像画像上で重なっていた場合には、その複数の障害物のうち前記自車両からより遠方に位置しているものに向けて照射する光の照射状態を変化させる投光手段と、
前記投光手段が前記障害物に照射する光の照射状態を変化させたときに前記撮像手段によってそれぞれ取得された複数の撮像画像に基づいて、前記検出手段による前記障害物の検出結果の信頼性を判断する判断手段とを備えることを特徴とする車載用障害物検出装置。 Imaging means for acquiring a captured image around the host vehicle;
Detecting means for detecting obstacles around the host vehicle based on a captured image acquired by the imaging means;
When the obstacle is irradiated with light, a plurality of obstacles are detected by the detection means, and the obstacles overlap each other on the captured image, the host vehicle among the obstacles A light projecting means for changing the irradiation state of the light radiated toward what is located farther from
Reliability of the detection result of the obstacle by the detecting means based on a plurality of captured images respectively acquired by the imaging means when the light projecting means changes the irradiation state of the light irradiating the obstacle An on-vehicle obstacle detection device comprising: a determination means for determining
前記判断手段は、前記投光手段が第1の照射状態で光を照射しているときに取得された第1の撮像画像と、前記投光手段が前記第1の照射状態とは少なくとも光強度が異なる第2の照射状態で光を照射しているときに取得された第2の撮像画像とにおける前記障害物の輝度変化により、前記信頼性の判断を行うことを特徴とする車載用障害物検出装置。 The in-vehicle obstacle detection device according to claim 1,
The determination means includes a first captured image acquired when the light projecting means is irradiating light in the first irradiation state, and the light projecting means has at least light intensity as the first irradiation state. The vehicle-mounted obstacle characterized in that the reliability is determined based on a luminance change of the obstacle in a second captured image acquired when light is irradiated in a second irradiation state with different Detection device.
前記判断手段は、前記障害物の輝度変化に影の部分が現れているか否かを判定し、現れている場合はその障害物の検出結果を信頼性ありと判断し、現れていない場合は信頼性なしと判断することを特徴とする車載用障害物検出装置。 The in-vehicle obstacle detection device according to claim 2,
The determination means determines whether or not a shadow portion appears in the luminance change of the obstacle. If it appears, the determination means determines that the detection result of the obstacle is reliable, and if it does not appear, the determination is reliable. A vehicle-mounted obstacle detection device characterized by determining that there is no sex.
前記第1の撮像画像に基づいて、前記第2の撮像画像を撮像するときの前記撮像手段におけるゲインまたは露光量のいずれか一方または両方を制御することを特徴とする車載用障害物検出装置。 In the in-vehicle obstacle detection device according to claim 2 or 3,
An in-vehicle obstacle detection device that controls one or both of a gain and an exposure amount in the imaging unit when capturing the second captured image based on the first captured image.
前記障害物の位置と大きさのいずれか一方あるいは両方に応じて、前記投光手段が光の照射状態を変化させたときに照射する光の強度、範囲または方向のいずれか少なくとも1つを設定することを特徴とする車載用障害物検出装置。 In the vehicle-mounted obstacle detection device according to any one of claims 1 to 4 ,
According to either or both of the position and size of the obstacle, at least one of the intensity, range or direction of light emitted when the light projecting means changes the light irradiation state is set. An in-vehicle obstacle detection device.
前記投光手段は前記自車両の左右に対をなして備えられ、
前記障害物と自車両との位置関係に応じて、前記左右一対の投光手段のいずれかによる光の照射状態を選択的に変化させることを特徴とする車載用障害物検出装置。 In the vehicle obstacle detection device according to any one of claims 1 to 5 ,
The light projecting means is provided in pairs on the left and right of the host vehicle,
A vehicle-mounted obstacle detection device that selectively changes the light irradiation state by one of the pair of left and right light projecting means according to the positional relationship between the obstacle and the host vehicle.
前記投光手段は、可視光を照射することを特徴とする車載用障害物検出装置。 In the vehicle-mounted obstacle detection device according to any one of claims 1 to 6 ,
The vehicle-mounted obstacle detection device, wherein the light projecting means emits visible light.
前記投光手段は、赤外光を照射することを特徴とする車載用障害物検出装置。 In the vehicle-mounted obstacle detection device according to any one of claims 1 to 6 ,
The vehicle-mounted obstacle detection device characterized in that the light projecting means emits infrared light.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003414664A JP4151571B2 (en) | 2003-12-12 | 2003-12-12 | In-vehicle obstacle detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003414664A JP4151571B2 (en) | 2003-12-12 | 2003-12-12 | In-vehicle obstacle detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005176031A JP2005176031A (en) | 2005-06-30 |
JP4151571B2 true JP4151571B2 (en) | 2008-09-17 |
Family
ID=34734396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003414664A Expired - Fee Related JP4151571B2 (en) | 2003-12-12 | 2003-12-12 | In-vehicle obstacle detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4151571B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4824598B2 (en) * | 2007-02-21 | 2011-11-30 | 株式会社小糸製作所 | Vehicle lamp system |
JP5092613B2 (en) * | 2007-08-06 | 2012-12-05 | 日産自動車株式会社 | Distance measuring method and apparatus, and vehicle equipped with distance measuring apparatus |
WO2014024385A1 (en) * | 2012-08-08 | 2014-02-13 | 株式会社小糸製作所 | Vehicle lamp fitting |
JP5853947B2 (en) | 2012-12-27 | 2016-02-09 | 株式会社デンソー | Night vision device |
JP5804155B1 (en) * | 2014-07-24 | 2015-11-04 | 沖電気工業株式会社 | Information processing apparatus, information processing method, and program |
JP2022147722A (en) * | 2021-03-23 | 2022-10-06 | パナソニックIpマネジメント株式会社 | Control method, program, and control device |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09259278A (en) * | 1996-03-25 | 1997-10-03 | Matsushita Electric Ind Co Ltd | Image processor |
JPH11208367A (en) * | 1998-01-20 | 1999-08-03 | Nissan Motor Co Ltd | Informative device |
JP2000318513A (en) * | 1999-05-17 | 2000-11-21 | Mitsubishi Electric Corp | Obstacle detection device for vehicle |
-
2003
- 2003-12-12 JP JP2003414664A patent/JP4151571B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005176031A (en) | 2005-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004112144A (en) | Front car tracking system and method for tracking front car | |
US20180334099A1 (en) | Vehicle environment imaging systems and methods | |
JP2008530667A (en) | Method and apparatus for visualizing the periphery of a vehicle by fusing infrared and visible images | |
WO2020184447A1 (en) | Gating camera, automobile, vehicle lamp, object identifying system, arithmetic processing unit, object identifying method, image display system, detection method, image capturing device, and image processing device | |
JP2006279752A (en) | Undervehicle image display controlling apparatus and its display controlling program | |
JP4927647B2 (en) | Vehicle periphery monitoring device | |
JP7095640B2 (en) | Object detector | |
WO2018110389A1 (en) | Vehicle lighting system and vehicle | |
JP6811661B2 (en) | Mobile imager and mobile | |
JP4151571B2 (en) | In-vehicle obstacle detection device | |
JP4930256B2 (en) | Adjacent vehicle detection device and adjacent vehicle detection method | |
KR101276073B1 (en) | System and method for detecting distance between forward vehicle using image in navigation for vehicle | |
JP2005025497A (en) | Sign recognizing device | |
CN112334361A (en) | Information display device and information display method | |
JP2020137053A (en) | Control device and imaging system | |
JP2007089094A (en) | Pedestrian detection device | |
US10889233B2 (en) | Lighting control device, vehicular lamp, and lighting control method | |
JP7201706B2 (en) | Image processing device | |
JP2007192755A (en) | Range finder | |
JP3823944B2 (en) | Moving object notification device | |
JP7298562B2 (en) | Vehicle peripheral detection device | |
JP7267517B2 (en) | Gesture recognition device and gesture recognition method | |
WO2023085403A1 (en) | Sensing system | |
JP5907405B2 (en) | Image analysis apparatus and object detection apparatus using the same | |
KR101822302B1 (en) | Headlamp Control Device Of Vehicle And Driving Method Thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080325 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080610 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080623 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4151571 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |