JP6596889B2 - Object detection device - Google Patents
Object detection device Download PDFInfo
- Publication number
- JP6596889B2 JP6596889B2 JP2015076642A JP2015076642A JP6596889B2 JP 6596889 B2 JP6596889 B2 JP 6596889B2 JP 2015076642 A JP2015076642 A JP 2015076642A JP 2015076642 A JP2015076642 A JP 2015076642A JP 6596889 B2 JP6596889 B2 JP 6596889B2
- Authority
- JP
- Japan
- Prior art keywords
- reflected light
- reflector
- unit
- image
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
本発明は、車両走行路の周囲に存在し、連続性を有して配置される複数の反射物からなる一連の反射物群を検出する物体検出装置に関する。 The present invention relates to an object detection device that detects a series of reflectors that are present around a vehicle travel path and are composed of a plurality of reflectors arranged in a continuous manner.
車両の周囲に存在する物体を検出する物体検出装置として、例えば、特許文献1に開示されたものが知られている。該特許文献1では、投光部より前方に照射する光を、より遠くの目標物に対応したものほどビーム強度を大きくすることにより、受信器に戻るビーム反射を確実にすることが記載されている。 As an object detection device that detects an object existing around a vehicle, for example, an apparatus disclosed in Patent Document 1 is known. In Patent Document 1, it is described that the light reflected forward from the light projecting unit increases the beam intensity as it corresponds to the farther target, thereby ensuring the beam reflection returning to the receiver. Yes.
しかしながら、上述した特許文献1に開示された従来例では、車両周辺に存在する道路マーカ等の一連の反射物群を検出する場合、先行車両のリフレクタ等の他の反射物の存在により反射物群を誤検出するという問題があった。 However, in the conventional example disclosed in Patent Document 1 described above, when a series of reflectors such as road markers existing around the vehicle is detected, the reflectors are caused by the presence of other reflectors such as a reflector of the preceding vehicle. There was a problem of misdetecting.
本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、車両の周囲に存在する反射物群を高精度に検出することが可能な物体検出装置を提供することにある。 The present invention has been made to solve such a conventional problem, and an object of the present invention is to provide an object detection apparatus capable of detecting a reflector group existing around a vehicle with high accuracy. Is to provide.
上記目的を達成するため、本願発明は、光を投光する投光部と、投光部より投光された光による反射光を含む周囲を撮像する撮像部と、撮像部で撮像された画像から反射光を検出する反射光抽出部を備える。更に、反射光抽出部で検出される反射光の相対輝度に基づいて、各反射物が一連の反射物群であるか否かを判断する反射物群判断部を備える。反射物群判断部は、各反射物による反射光の、画像上での水平方向の位置、及び輝度に基づいて、各反射物が一連の反射物群であるか否かを判断する。 In order to achieve the above object, the present invention provides a light projecting unit that projects light, an image capturing unit that captures surroundings including reflected light from light projected from the light projecting unit, and an image captured by the image capturing unit. A reflected light extraction unit for detecting reflected light from Furthermore, a reflection object group determination unit is provided that determines whether each reflection object is a series of reflection object groups based on the relative luminance of the reflection light detected by the reflection light extraction unit. The reflector group determination unit determines whether or not each reflector is a series of reflector groups based on the position of the reflected light from each reflector in the horizontal direction on the image and the luminance.
本発明に係る物体検出装置では、反射光抽出部で検出される反射光の相対輝度に基づいて、各反射物が一連の反射物群であるか否かを判断するので、車両の周囲に存在する反射物群を高精度に検出することが可能になる。 In the object detection device according to the present invention, since it is determined whether or not each reflector is a series of reflectors based on the relative luminance of the reflected light detected by the reflected light extraction unit, it exists around the vehicle. It is possible to detect the reflector group to be detected with high accuracy.
以下、本発明の実施形態を図面に基づいて説明する。
[第1実施形態の構成説明]
図1は、本発明の第1実施形態に係る物体検出装置の構成を示すブロック図である。図1に示すように、第1実施形態に係る物体検出装置101は、投光部11と、撮像部12と、反射光抽出部13、及び反射物群判断部14を備えている。そして、車両走行路の周囲の道路側方や道路区画線周辺に存在する道路マーカ(連続して配置される反射物)を検出する。道路マーカの例として、デリニエータ(視線誘導標;Delineator)やキャッツアイ(小型の道路鋲;Cat's eye)を挙げることができる。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[Description of Configuration of First Embodiment]
FIG. 1 is a block diagram showing the configuration of the object detection apparatus according to the first embodiment of the present invention. As illustrated in FIG. 1, the object detection apparatus 101 according to the first embodiment includes a
なお、反射光抽出部13、及び反射物群判断部は、例えば、中央演算ユニット(CPU)や、RAM、ROM、ハードディスク等の記憶手段からなる一体型のコンピュータとして構成することができる。
The reflected
投光部11は、車両の前方視認位置の適所に設けられ、車両の前方に向けて一定の周期で点灯、消灯を繰り返す点滅光を投光する。また、後述する同期検波方式を採用する場合には、輝度が周期的に変化するパターン光を投光する。
The
撮像部12は、例えばCMOSイメージャを搭載したカメラであり、車両の周囲を撮像する。撮像して得られる画像には、投光部11より投光され前方に存在する道路マーカ等の反射物X1で反射した反射光が含まれる。また、撮像して得られる画像は、横軸方向が水平方向、縦軸方向が前後方向となる。
The
反射光抽出部13は、撮像部12で撮像された画像中の点滅が生じた領域、即ち、周期的に輝度が変化する領域を抽出する。抽出した領域の画像を反射光画像とする。周期的に点灯、消灯を繰り返す反射光は、太陽光や他の光源からの照射光ではなく、投光部11より投光された光の反射光であると見なすことができるので、車両の周囲に存在する道路マーカ等の反射物であると推定できる。従って、反射光画像を抽出することにより、道路マーカの候補となる画像を得ることができる。
The reflected
反射物群判断部14は、反射光抽出部13にて抽出された各反射物による反射光画像の、相対輝度の関係に基づいて、各反射物が一連の反射物群であるか否かを判断する。具体的には、反射光抽出部13で抽出された反射光画像のうち、輝度が所定の閾値(例えば、検知ノイズレベルの2倍の輝度)を上回るものを抽出し、道路マーカの候補点とする。即ち、デリニエータやキャッツアイ等の道路マーカには、再帰反射材が取り付けられており、反射光の輝度は、他の物体の反射光の輝度よりも高いと推定されるので、輝度が所定の閾値を上回る反射光画像を抽出し、これを道路マーカの候補点とする。
The reflection object
更に、反射物群判断部14は、一つの候補点が決定した場合に、この候補点の近傍領域、例えば、反射光画像のサイズの縦軸方向10倍、横軸方向5倍となる領域を設定し、これを近傍領域とする。そして、この近傍領域にて上記と同様の手順で候補点を抽出する。これを繰り返しながら、画像全体に存在する全ての候補点を抽出する。即ち、画像全体から道路マーカの候補点を抽出する。
Furthermore, when one candidate point is determined, the reflector
例えば、図2に示すように、車両前方の走行路左側の路側に複数のデリニエータ21aからなる一連のデリニエータ群21が存在し、右側の路側に複数のキャッツアイ22aからなる一連のキャッツアイ群22が存在し、更に、この走行路の前方に先行車両31が存在する場合を想定する。すると、撮像部12で撮像された画像で、各デリニエータ21a、及び各キャッツアイ22aでの反射光が、輝度の高い光(所定値を上回る輝度の光)として反射光抽出部13にて抽出される。これに加えて、先行車両31のリフレクタ32で反射した光が輝度の高い光として抽出される。従って、道路マーカの候補点として、図3(a)に示す符号21、22、32で示す領域が候補点として抽出される。反射物群判断部14は、各候補点の位置、及び相対的な輝度の関係に基づいて、一連のデリニエータ群21、及び一連のキャッツアイ群22を抽出する処理を行う。詳細な抽出方法については、後述する。
For example, as shown in FIG. 2, a series of
[第1実施形態の作用の説明]
次に、上述のように構成された本実施形態に係る物体検出装置の作用を、図4に示すフローチャートを参照して説明する。初めに、ステップS11において、投光部11は、車両の前方に向けて点滅光を投光する。
[Description of Operation of First Embodiment]
Next, the operation of the object detection apparatus according to this embodiment configured as described above will be described with reference to the flowchart shown in FIG. First, in step S11, the
ステップS12において、撮像部12は、車両前方を撮像する。撮像して得られる画像には、投光部11より投光され、車両の前方に存在する反射物X1(図1参照)等で反射した反射光が含まれる。撮像部12で車両前方を撮像することにより、例えば、図2に示す如くの画像が得られる。この画像には、複数のデリニエータ21aからなるデリニエータ群21、及び複数のキャッツアイ22aからなるキャッツアイ群22、及び先行車両31のリフレクタ32が存在している。
In step S12, the
ステップS13において、反射光抽出部13は、撮像部12で撮像された画像から、反射光を抽出しこれを反射光画像とする。前述したように、投光部11より投光される光は、点滅しているので周期的に輝度が変化する。従って、点灯時の画像と消灯時の画像の差分を演算することにより、投光部11より投光された光の反射光画像を抽出することができる。
In step S <b> 13, the reflected
ステップS14において、反射物群判断部14は、ステップS13の処理で抽出された各反射光画像に基づき、輝度が所定の閾値を上回るものを抽出する。即ち、車両前方に存在するデリニエータ21aやキャッツアイ22aは再帰反射材を備えており、これらの再帰反射材で反射した光は輝度が高いと予想される。従って、予め設定した閾値を上回る輝度を有する領域を、デリニエータ21aやキャッツアイ22a等の道路マーカでの反射光の候補点であるものと判断する。この処理により、例えば、図3(a)に示すように、複数の候補点が抽出された画像が得られる。
In step S <b> 14, the reflector
ステップS15において、反射物群判断部14は、各候補点の画像上での縦軸方向の位置(車両前後方向の位置)と、輝度(受信強度)を対応付けて平面上にプロットする。その結果、図3(b)に示すように、各デリニエータ21a、各キャッツアイ22a、及び各リフレクタ32による反射光画像について、それぞれ点21b(黒丸)、点22b(+印)、点32b(*印)がプロットされる。そして、それぞれの点を滑らかな曲線で接続する。その結果、デリニエータ群21に対応する曲線Q1、キャッツアイ群22に対応する曲線Q2が得られる。この際、曲線Q1、Q2の起点を走行路の消失点(画像上で左側の路側と右側の路側が交わる点)としている。また、リフレクタ32による点32bは、他の点に対して滑らかな曲線で接続されないので、いずれの曲線Q1、Q2にも属さない。
In step S15, the reflector
その後、ステップS16において、反射物群判断部14は、図3(b)に示した曲線Q1、Q2の輝度変化が二次関数の特性を有しているか否かを判断する。つまり、輝度は距離の2乗に反比例するので、路側に略等間隔で設けられた各デリニエータ21aによる反射光は、二次関数の特性を有すると推定されるので、これを検証することにより、反射物体が連続して配置されたデリニエータ群21等の道路マーカであると判断する。二次関数の特性を有するか否かの検証は、隣接する候補点(反射光)の輝度の比率に基づいて一連の反射物群であるか否かを判断することができる。一例として、互いに隣接する候補点の輝度の比率が1/2程度であるか否かにより判断することができる。
Thereafter, in step S16, the reflector
ステップS17において、二次関数の特性を有していると判断された場合には、反射物群判断部14は、図3(b)に示した各点21bに対応する候補点が、図3(a)に示すデリニエータ21aによる反射光画像であるものと推定する。同様に、図3(b)に示した各点22bに対応する候補点が、図3(a)に示すキャッツアイ22aによる反射光画像であるものと推定する。従って、図2に示した前方画像中の左側の路側に存在する物体は、一連のデリニエータ群21であると認識する。更に、右側の路側に存在する物体は、一連のキャッツアイ群22であると認識する。
If it is determined in step S17 that the characteristic has a quadratic function, the reflector
こうして、図3(a)に示した複数の候補点から、デリニエータ群21による反射光、及びキャッツアイ群22による反射光を選別して抽出することができ、車両前方に存在するデリニエータやキャッツアイ等の道路マーカを検出することができる。また、先行車両31のリフレクタ32による反射光を除外することができることになる。
In this way, the reflected light from the
このようにして、第1実施形態に係る物体検出装置101では、投光部11より一定の周期で点灯と消灯を繰り返す点滅光を、車両の周囲に投光し、車両の周囲に存在する物体にて反射する反射光を撮像部12で撮像する。そして、撮像部12で撮像された反射光から道路マーカの候補点を抽出する。更に、各候補点の位置と輝度の関係を平面上にプロットし、各点を滑らかな曲線で接続した際に、二次関数特性を有するか否か(相対輝度の関係)を判断し、二次関数特性を有する場合に、この候補点は、車両の周囲に存在する一連の道路マーカ群であると判断する。従って、自車両の周辺に存在するデリニエータ21aやキャッツアイ22a等の道路マーカを高精度に検出することが可能となる。
Thus, in the object detection apparatus 101 according to the first embodiment, the flashing light that repeatedly turns on and off at a constant cycle is projected from the
また、複数のデリニエータ21aと複数のキャッツアイ22aが混在する場合や、先行車両31のリフレクタ32による反射光が混在する場合でも、これらを確実に選別してデリニエータ21a、及びキャッツアイ22aに分類することができ、誤検出を低減、或いは完全に無くすることができる。
Further, even when a plurality of
更に、候補点(反射光)の輝度の比率に基づいて、各候補点が一連の反射物群であるか否かを検証するので、より高精度な道路マーカ群の検出が可能となる。 Furthermore, since it is verified whether each candidate point is a series of reflector groups based on the luminance ratio of the candidate points (reflected light), it is possible to detect a road marker group with higher accuracy.
なお、上述した実施形態では、車両前方の走行路の消失点を起点として滑らかな曲線を接続したが、消失点を使用せずに、縦軸方向の最上部に存在する候補点を起点として、滑らかな曲線を接続するようにしてもよい。 In the embodiment described above, a smooth curve is connected starting from the vanishing point of the traveling road ahead of the vehicle, but without using the vanishing point, the candidate point existing at the top of the vertical axis is used as the starting point. You may make it connect a smooth curve.
更に、図3(c)に示すように、各候補点の画像横軸方向の位置に対する輝度をプロットし、各点21bが滑らかな曲線Q4で接続される場合に、これらを一連の道路マーカであると判断することも可能である。
Further, as shown in FIG. 3 (c), when the luminance with respect to the position in the horizontal direction of the image of each candidate point is plotted and each
[第1実施形態の第1変形例の説明]
また、図5に示すように、一連の道路マーカの候補点の、画像中の位置を検出し、この検出位置の上下方向の位置座標に基づいて、道路マーカに設けられる再帰反射材の高さを認識することができる。即ち、図5(a)に示すデリニエータ群21の最下点の位置21Pと、キャッツアイ群22の最下点の位置22Pは、図5(b)に示すように、画像上で上下方向に大きく相違している。従って、符号21に示す候補点は、再帰反射材が路面から高い位置に設けられているものと判断され、符号22に示す候補点は、再帰反射材が路面から低い位置に設けられているものと判断できる。
[Description of First Modification of First Embodiment]
Further, as shown in FIG. 5, the positions of a series of road marker candidate points in the image are detected, and the height of the retroreflective material provided on the road marker is determined based on the vertical position coordinates of the detected positions. Can be recognized. That is, the
上記のことから、符号21に示す候補点は、路面から高い位置に再帰反射材が設けられているデリニエータによる反射光、符号22に示す候補点は、路面に設けられているキャッツアイによる反射光であるものと認識することができる。このように、各候補点の最下点の垂直方向の位置を検出することにより、道路マーカの路面からの高さを認識することが可能となる。
From the above, the candidate point indicated by
[第1実施形態の第2変形例の説明]
前述した第1実施形態では、ほぼ直線の走行路を車両が走行している場合を想定しており、各候補点の縦軸方向(車両の前後方向)の位置に対して、各候補点の輝度をプロットして、図3(a)に示す曲線Q1、Q2を作成した。しかし、車両前方の走行路がカーブしている場合には、縦軸方向の位置に対して輝度をプロットした場合に、特性曲線を得ることができない場合がある。第2変形例では、このような場合における特性極性の作成方法を示す。
[Description of Second Modification of First Embodiment]
In the first embodiment described above, it is assumed that the vehicle is traveling on a substantially straight traveling path, and the position of each candidate point with respect to the position of each candidate point in the vertical axis direction (front-rear direction of the vehicle). The luminance was plotted to create curves Q1 and Q2 shown in FIG. However, when the traveling road ahead of the vehicle is curved, there are cases where the characteristic curve cannot be obtained when the luminance is plotted against the position in the vertical axis direction. In the second modification, a method for creating the characteristic polarity in such a case will be shown.
例えば、図6に示すように、車両前方の走行路が右方向に大きくカーブしている場合を想定する。走行路の左側にデリニエータ群21が存在し、走行路の右側にキャッツアイ群22が存在している。このような場合には、各候補点が画像の縦軸方向にて重複する場合が生じるので、図3(b)に示したように、各候補点の輝度をプロットした場合、曲線Q1のような滑らかな曲線を作成できない場合がある。
For example, as shown in FIG. 6, a case is assumed in which the traveling road ahead of the vehicle is greatly curved in the right direction. A
第1変形例では、画像の横軸方向に、各候補点の輝度をプロットする。その結果、図6(b)に示す如くの曲線Q3を生成することができる。そして、この曲線Q3が滑らかな曲線になる場合に、各候補点が一連のデリニエータ群21であると判断する。更に、右側の路側に存在するキャッツアイ群22についても同様に、画像の横軸方向に各候補点の輝度をプロットすることにより、存在を認識することが可能となる。
In the first modification, the luminance of each candidate point is plotted in the horizontal axis direction of the image. As a result, a curve Q3 as shown in FIG. 6B can be generated. When the curve Q3 becomes a smooth curve, it is determined that each candidate point is a series of
また、デリニエータ21aの候補点と、キャッツアイ22aの候補点は、輝度が異なるので、各候補点が混在する場合であっても、それぞれを選別して認識することが可能となる。
Further, since the candidate point of the
このように、第2変形例では、車両がカーブ路を走行する場合等、画像の縦軸方向に輝度を示す複数の点をプロットできない場合においても、画像の横軸方向に輝度をプロットすることにより、一連の道路マーカであるか否かを高精度に検出することが可能となる。 Thus, in the second modification, even when a plurality of points indicating luminance in the vertical axis direction of the image cannot be plotted, such as when the vehicle travels on a curved road, the luminance is plotted in the horizontal axis direction of the image. Thus, it is possible to detect with high accuracy whether or not it is a series of road markers.
[第1実施形態の第3変形例の説明]
次に、上述した第1実施形態の第3変形例について説明する。前述した第1実施形態では、一定の周期で点灯、消灯を繰り返す点滅光を投光部11から投光し、撮像部12で撮像される点灯時の画像と消灯時の画像の差分を演算することにより、道路マーカ等の反射物体で反射した反射光を抽出する例について説明した。
[Description of Third Modification of First Embodiment]
Next, a third modification of the first embodiment described above will be described. In the first embodiment described above, flashing light that repeatedly turns on and off at a constant cycle is projected from the
これに対して第3変形例では、同期検波方式を採用して、投光した光と撮像した光を同期させて検出する。具体的には、投光部11より送信する信号をS(t)とし、これをsin(ωt)で変調する。更に、撮像部12で撮像された画像データにsin(ωt)を乗じる。すると、下記(1)式の関係から、ローパスフィルタで高周波成分を除去すれば、信号S(t)を抽出できる。
S(t)*sin(ωt)*sin(ωt)=S(t)*(1−cos(2ωt))/2 …(1)
なお、同期検波方式は、周知の技術であるので、詳細な説明を省略する。
On the other hand, in the third modification, a synchronous detection method is adopted to detect the light projected and the light captured in synchronization. Specifically, a signal transmitted from the
S (t) * sin (ωt) * sin (ωt) = S (t) * (1-cos (2ωt)) / 2 (1)
Since the synchronous detection method is a well-known technique, detailed description thereof is omitted.
このように、第3変形例に係る物体検出装置では、同期検波方式を用いて、投光部11より投光した光と、撮像部12で撮像された画像に含まれる反射光を同期して検出することができるので、投光部11より投光され、道路マーカ等の反射物体で反射光のみを高精度に抽出することができ、より高精度な物体検出が可能となる。
Thus, in the object detection device according to the third modification, the light projected from the
[第2実施形態の説明]
次に本発明の第2実施形態について説明する。図7は、第2実施形態に係る物体検出装置の構成を示すブロック図である。図7に示すように、第2実施形態に係る物体検出装置102は、図1と対比して、反射光移動量測定部15を備えている点で相違する。それ以外の構成は、図1と同様であるので、同一符号を付して構成説明を省略する。
[Description of Second Embodiment]
Next, a second embodiment of the present invention will be described. FIG. 7 is a block diagram illustrating a configuration of the object detection device according to the second embodiment. As shown in FIG. 7, the object detection apparatus 102 according to the second embodiment is different from FIG. 1 in that a reflected light movement
反射光移動量測定部15(オプティカルフロー演算部)は、所定の周期で撮像される画像に含まれる反射光のオプティカルフローを算出し、オプティカルフローに基づいて各反射光の所定の周期毎の移動量を算出する。そして、反射物群判断部14は、各反射光の移動量と輝度に基づいて、一連の道路マーカによる反射光であるか否かを判断する。
The reflected light movement amount measurement unit 15 (optical flow calculation unit) calculates an optical flow of reflected light included in an image captured at a predetermined cycle, and moves the reflected light for each predetermined cycle based on the optical flow. Calculate the amount. Then, the reflector
以下、図8を参照して道路マーカによる反射光を検出する原理について説明する。図8(a)は、前回の撮像時に撮像された画像より得られた候補点と、今回の撮像時に撮像された画像より得られた候補点を示し、各候補点の移動量をオプティカルフローとして示している。図8(a)から、より前方に存在する候補点ほど移動量が小さくなり、オプティカルフローのフロー長が短くなっていることが理解される。 Hereinafter, the principle of detecting the reflected light by the road marker will be described with reference to FIG. FIG. 8A shows candidate points obtained from the image captured at the previous imaging, and candidate points obtained from the image captured at the current imaging, and the movement amount of each candidate point as an optical flow. Show. From FIG. 8 (a), it is understood that the moving amount is smaller and the optical flow length is shorter as the candidate point exists further forward.
そして、図8(b)に示すように、画像の縦軸方向の位置とオプティカルフローのフロー長をプロットする。更に、図8(c)に示すように、横軸を各候補点のフロー長とし、縦軸を各候補点の輝度とした座標上に各候補点をプロットする。そして、プロットされた各候補点が直線状に存在すれば、各候補点は一連の道路マーカによる反射光であるものと判断する。 Then, as shown in FIG. 8B, the position in the vertical direction of the image and the flow length of the optical flow are plotted. Further, as shown in FIG. 8C, each candidate point is plotted on coordinates where the horizontal axis is the flow length of each candidate point and the vertical axis is the luminance of each candidate point. If the plotted candidate points are present in a straight line, it is determined that each candidate point is reflected light from a series of road markers.
以下、第2実施形態の処理手順を、図9に示すフローチャートを参照して説明する。初めに、ステップS31において、投光部11は、車両の前方に向けて点滅光を投光する。
Hereinafter, the processing procedure of 2nd Embodiment is demonstrated with reference to the flowchart shown in FIG. First, in step S31, the
ステップS32において、撮像部12は、車両前方を撮像する。撮像して得られる画像には、投光部11より投光され、車両の前方に存在する反射物X1(図1参照)等で反射した反射光が含まれる。
In step S32, the
ステップS33において、反射光抽出部13は、撮像部12で撮像された画像から、反射光を抽出しこれを反射光画像とする。前述したように、投光部11より投光される光は、点滅しているので周期的に輝度が変化する。従って、点灯時の画像と消灯時の画像の差分を演算することにより、投光部11より投光された光の反射光画像を抽出することができる。
In step S <b> 33, the reflected
ステップS34において、反射物群判断部14は、ステップS33の処理で抽出された各反射光画像に基づき、輝度が所定の閾値を上回るものを抽出する。即ち、車両前方に存在するデリニエータ21aやキャッツアイ22aは再帰反射材を備えており、これらの再帰反射材で反射した光は輝度が高いと予想される。従って、予め設定した閾値を上回る輝度を有する領域を、デリニエータ21aやキャッツアイ22a等の道路マーカでの反射光の候補点であるものと判断する。
In step S <b> 34, the reflector
ステップS35において、前回撮像時における候補点の位置と、今回撮像時における候補点の位置に基づき、各候補点のオプティカルフローを演算して、図8(a)に示す画像を生成する。その後、各候補点の移動量(フロー長)を求める。その結果、図8(b)に示すように、画像の縦軸方向の位置に対応した移動量のデータが得られる。 In step S35, the optical flow of each candidate point is calculated based on the position of the candidate point at the previous imaging time and the position of the candidate point at the current imaging time to generate the image shown in FIG. Thereafter, the movement amount (flow length) of each candidate point is obtained. As a result, as shown in FIG. 8B, movement amount data corresponding to the position in the vertical axis direction of the image is obtained.
ステップS36において、図8(c)に示すように移動量と輝度変位(前回の輝度と今回の輝度の差分)の関係を座標上にプロットする。そして、各候補点が線形特性を有するか否か(直線状になっているか否か)を判断する。 In step S36, as shown in FIG. 8C, the relationship between the movement amount and the luminance displacement (difference between the previous luminance and the current luminance) is plotted on the coordinates. Then, it is determined whether each candidate point has a linear characteristic (whether it is linear).
ステップS37において、各候補点の移動量と輝度を示す点が線形特性を有する場合には、これらの候補点は、一連の道路マーカ群であると認識することができる。即ち、図8(a)に示すように、各デリニエータ21aの候補点が一連のデリニエータ群21であるものと認識される。また、各キャッツアイ22a、及び先行車両21のリフレクタ32の反射光については、図8(c)に示す直線上に存在しないので、除外される。なお、図示を省略するが、キャッツアイ22aの候補点については、図8(c)とは異なる線形特性を有することになり、この線形特性に基づいてキャッツアイ群22を認識することができる。
In step S37, if the points indicating the amount of movement and the brightness of each candidate point have linear characteristics, these candidate points can be recognized as a series of road marker groups. That is, as shown in FIG. 8A, it is recognized that the candidate points of each delineator 21 a are a series of
このようにして、第2実施形態では、時系列的に撮像される各画像から、候補点のオプティカルフローを演算して各候補点の移動量を求め、各候補点の移動量と輝度変位の関係が線形性を有するか否かにより、各候補点が一連の道路マーカであるか否かを判断している。従って、第1実施形態と同様に、自車両の周辺に存在するデリニエータ21aやキャッツアイ22a等の道路マーカを高精度に検出することが可能となる。
In this way, in the second embodiment, the optical flow of the candidate points is calculated from each image captured in time series to obtain the movement amount of each candidate point, and the movement amount and luminance displacement of each candidate point are calculated. Whether each candidate point is a series of road markers is determined based on whether the relationship has linearity. Therefore, as in the first embodiment, road markers such as the
[第3実施形態の説明]
次に、本発明の第3実施形態について説明する。図10は、第3実施形態に係る物体検出装置の構成を示すブロック図である。図10に示すように、第3実施形態に係る物体検出装置103は、図1と対比して、走行境界検出部16、撮像部レイアウト情報データベース17、地図照合部18、及び地図データベース19を備えている点で相違する。それ以外の構成は、図1と同様であるので、同一符号を付して構成説明を省略する。
[Description of Third Embodiment]
Next, a third embodiment of the present invention will be described. FIG. 10 is a block diagram illustrating a configuration of the object detection device according to the third embodiment. As shown in FIG. 10, the object detection apparatus 103 according to the third embodiment includes a travel
走行境界検出部16は、撮像部12で撮像された画像に含まれる道路マーカ群の位置に基づいて、車両前方の走行路の走路境界線を抽出する。
The travel
撮像部レイアウト情報データベース17は、車両に取り付けられる撮像部12の位置、及び角度の情報(レイアウト情報)を記憶している。地図データベース19(地図データ記憶部)は、車両が走行する走行路の地図データを記憶している。
The imaging unit
地図照合部18は、地図データベース19に記憶されている地図データと、撮像部レイアウト情報データベース17に保存されている撮像部レイアウト(位置及び角度の情報)、及び車両の現在位置(図示省略のGPS装置等にて特定される位置情報)に基づいて、車両前方の走行路を予測し、推定画像を作成する。即ち、地図照合部18は、撮像部12の取り付け状態を検出する位置検出部としての機能を備えている。更に、地図照合部18は、走行境界検出部16で検出された走行境界の画像(道路マーカ群の画像)を照合する。そして、撮像部レイアウトをもとに地図上の自車両の現在候補位置を変更させながら双方の画像を対比し、ノルムが最小となる推定画像を選択する。そして、この推定画像が得られる撮像部レイアウトと自車両の現在候補位置を認識する。
The
例えば、図11(a)に示す如くの走行境界の推定画像が得られ、更に、走行境界検出部16で検出された走行境界の画像が図11(b)に示す如くの画像である場合には、これらの相違が最小となる撮像部レイアウトを選択する。
For example, when an estimated image of the travel boundary as shown in FIG. 11A is obtained, and the travel boundary image detected by the travel
そして、選択された撮像部レイアウト情報、地図データ、及び車両の現在位置のデータに基づいて推定画像を作成し、この推定画像を参照して道路マーカの推定に用いる。 Then, an estimated image is created based on the selected image capturing unit layout information, map data, and current vehicle position data, and is used for estimating a road marker with reference to the estimated image.
即ち、反射物群判断部14で抽出された道路マーカの位置と、上記の推定画像に含まれる走行境界との一致を判断することにより、抽出された候補点が一連の道路マーカであるか否かを判断する。この際、走行境界から大きく離れた位置に存在する候補点は、道路マーカの候補から除外することができる。
That is, whether or not the extracted candidate points are a series of road markers by determining whether the position of the road marker extracted by the reflector
このようにして、第3実施形態に係る物体検出装置103では、撮像部12のレイアウト情報、車両の現在位置、及び地図データに基づいて、車両前方の走行境界を推定し、推定された走行境界から離れた候補点を除外して、一連の道路マーカ群を抽出する。従って、走行境界から離れた位置に存在する再帰反射材が道路マーカであるものと誤検出することを防止でき、より高精度な道路マーカの検出が可能となる。
Thus, in the object detection apparatus 103 according to the third embodiment, the traveling boundary ahead of the vehicle is estimated based on the layout information of the
以上、本発明の物体検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。 Although the object detection device of the present invention has been described based on the illustrated embodiment, the present invention is not limited to this, and the configuration of each part is replaced with an arbitrary configuration having the same function. Can do.
11 投光部
12 撮像部
13 反射光抽出部
14 反射物群判断部
15 反射光移動量測定部
16 走行境界検出部
17 撮像部レイアウト情報データベース
18 地図照合部
19 地図データベース
21 デリニエータ群
21a デリニエータ
22 キャッツアイ群
22a キャッツアイ
31 先行車両
32 リフレクタ
101、102、103 物体検出装置
X1 反射物
DESCRIPTION OF
Claims (5)
車両の周囲に光を投光する投光部と、
前記投光部より投光された光が、前記各反射物で反射する反射光を含む周囲を撮像する撮像部と、
前記撮像部で撮像された画像から前記反射光を検出する反射光抽出部と、
前記反射光抽出部で検出される各反射物による反射光の相対輝度に基づいて、各反射物が一連の反射物群であるか否かを判断する反射物群判断部と、を備え、
前記反射物群判断部は、前記各反射物による反射光の、画像上での水平方向の位置、及び輝度に基づいて、各反射物が一連の反射物群であるか否かを判断すること
を特徴とする物体検出装置。 An object detection device for detecting a reflector group composed of a plurality of reflectors arranged around a vehicle travel path,
A light projecting unit that projects light around the vehicle;
An imaging unit that captures an image of the surroundings including the reflected light reflected by each of the reflectors, the light projected from the light projecting unit;
A reflected light extraction unit that detects the reflected light from an image captured by the imaging unit;
A reflector group determination unit that determines whether or not each reflector is a series of reflector groups based on the relative luminance of the reflected light from each reflector detected by the reflected light extraction unit ;
The reflector group determination unit determines whether or not each reflector is a series of reflector groups based on the horizontal position on the image of the reflected light from each reflector and the luminance. An object detection device characterized by.
前記反射光抽出部は、前記撮像部で撮像された画像から、前記輝度の変化と同期する反射光を抽出すること
を特徴とする請求項1に記載の物体検出装置。 The light projecting unit projects light whose luminance changes periodically,
The object detection apparatus according to claim 1, wherein the reflected light extraction unit extracts reflected light synchronized with the change in luminance from an image captured by the imaging unit.
を特徴とする請求項1または2のいずれかに記載の物体検出装置。 The reflector group determination unit determines whether each reflected light is a series of reflector groups based on the position of each reflected light and the luminance ratio of each reflected light on the image captured by the imaging unit. The object detection device according to claim 1, wherein:
前記反射物群判断部は、前記オプティカルフローの大きさに基づいて、前記各反射物が一連の反射物群であるか否かを判断すること
を特徴とする請求項1〜3のいずれか1項に記載の物体検出装置。 An optical flow calculation unit that calculates an optical flow of each reflecting object based on the reflected light from the reflecting object;
The said reflector group judgment part judges whether each said reflector is a series of reflector groups based on the magnitude | size of the said optical flow, The any one of Claims 1-3 characterized by the above-mentioned. The object detection device according to item.
前記反射物群判断部は、前記車両の前記地図データ上での位置を特定し、更に、前記位置検出部で検出された前記撮像部の取り付け位置に基づき、車両前方に存在する走行路を予測し、
前記予測された走行路と、前記反射物による反射光の画像上の位置に基づいて、各反射物が一連の反射物群であるか否かを判断すること
を特徴とする請求項1〜4のいずれか1項に記載の物体検出装置。 A map data storage unit that stores map data, a GPS device that identifies the position of the vehicle, and a position detection unit that detects a mounting state of the imaging unit;
The reflector group determination unit identifies a position of the vehicle on the map data, and further predicts a traveling path existing in front of the vehicle based on the mounting position of the imaging unit detected by the position detection unit. And
Based on the predicted traveling path and the position on the image of the reflected light by the reflector, it is determined whether or not each reflector is a series of reflectors.
The object detection device according to claim 1, wherein
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015076642A JP6596889B2 (en) | 2015-04-03 | 2015-04-03 | Object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015076642A JP6596889B2 (en) | 2015-04-03 | 2015-04-03 | Object detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016197046A JP2016197046A (en) | 2016-11-24 |
JP6596889B2 true JP6596889B2 (en) | 2019-10-30 |
Family
ID=57358286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015076642A Active JP6596889B2 (en) | 2015-04-03 | 2015-04-03 | Object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6596889B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7392963B2 (en) * | 2017-09-05 | 2023-12-06 | 日本電気株式会社 | Spatial recognition device, spatial recognition method, program |
JP7392962B2 (en) * | 2017-09-05 | 2023-12-06 | 日本電気株式会社 | Spatial recognition device, spatial recognition method, program |
JP7371496B2 (en) | 2017-09-11 | 2023-10-31 | ソニーグループ株式会社 | Signal processing device, signal processing method, program, and mobile object |
JP6984256B2 (en) | 2017-09-11 | 2021-12-17 | ソニーグループ株式会社 | Signal processing equipment, and signal processing methods, programs, and mobiles. |
JP2020027044A (en) * | 2018-08-13 | 2020-02-20 | パイオニア株式会社 | Scanner, method for controlling scanner, program, recording medium, and distance measuring device |
WO2023189956A1 (en) * | 2022-03-30 | 2023-10-05 | 株式会社小糸製作所 | Imge irradiation apparatus |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06230133A (en) * | 1993-02-03 | 1994-08-19 | Nissan Motor Co Ltd | Object detector for vehicle |
JPH07244154A (en) * | 1994-03-07 | 1995-09-19 | Mitsubishi Electric Corp | Radar apparatus for vehicle |
JPH11203458A (en) * | 1998-01-13 | 1999-07-30 | Nissan Motor Co Ltd | Road shape recognizing device |
JP2000030198A (en) * | 1998-07-14 | 2000-01-28 | Mitsubishi Motors Corp | Device for recognizing road shape for vehicle |
JP3649163B2 (en) * | 2001-07-12 | 2005-05-18 | 日産自動車株式会社 | Object type discrimination device and object type discrimination method |
JP4036158B2 (en) * | 2003-07-22 | 2008-01-23 | 日産自動車株式会社 | Vehicle obstacle detection device and inter-vehicle distance control device |
JP3922245B2 (en) * | 2003-11-20 | 2007-05-30 | 日産自動車株式会社 | Vehicle periphery monitoring apparatus and method |
JP2008252327A (en) * | 2007-03-29 | 2008-10-16 | Toyota Motor Corp | Vehicle periphery monitoring device |
JP5014237B2 (en) * | 2008-04-23 | 2012-08-29 | 本田技研工業株式会社 | Lane marker recognition device, vehicle, and lane marker recognition program |
JP2010170449A (en) * | 2009-01-26 | 2010-08-05 | Calsonic Kansei Corp | Device and method for creating range image data for vehicle |
JP4788798B2 (en) * | 2009-04-23 | 2011-10-05 | トヨタ自動車株式会社 | Object detection device |
JP5772250B2 (en) * | 2011-06-07 | 2015-09-02 | 日産自動車株式会社 | Camera system and image generation method |
DE102011084762A1 (en) * | 2011-10-19 | 2013-04-25 | Robert Bosch Gmbh | Method and device for determining a position of an object in an environment of a vehicle |
-
2015
- 2015-04-03 JP JP2015076642A patent/JP6596889B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016197046A (en) | 2016-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6596889B2 (en) | Object detection device | |
KR101395089B1 (en) | System and method for detecting obstacle applying to vehicle | |
JP5407898B2 (en) | Object detection apparatus and program | |
RU2636120C2 (en) | Three-dimensional object detecting device | |
US8625850B2 (en) | Environment recognition device and environment recognition method | |
US9591274B2 (en) | Three-dimensional object detection device, and three-dimensional object detection method | |
US9740943B2 (en) | Three-dimensional object detection device | |
US20100259609A1 (en) | Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program | |
RU2616538C2 (en) | Device for detecting three-dimensional objects | |
JP6358552B2 (en) | Image recognition apparatus and image recognition method | |
WO2015177864A1 (en) | Traffic-light recognition device and traffic-light recognition method | |
RU2635280C2 (en) | Device for detecting three-dimensional objects | |
JP5743020B2 (en) | Three-dimensional object detection device | |
JP2008304344A (en) | Target detector | |
JP2020077293A (en) | Lane line detection device and lane line detection method | |
JP5888275B2 (en) | Road edge detection system, method and program | |
KR102287310B1 (en) | Object determination system and method of the vehicle around | |
US11417117B2 (en) | Method and device for detecting lanes, driver assistance system and vehicle | |
JP2017045427A (en) | Travel path accessory detection device and method for detecting travel path accessory and travel path | |
CN103748600A (en) | Method and device for detecting disturbing objects in the surrounding air of vehicle | |
JP2017187858A (en) | Circumstance recognition device | |
KR102639790B1 (en) | Head lamp control device and method | |
JP5668891B2 (en) | Three-dimensional object detection device | |
KR101608359B1 (en) | Apparatus and method of processing the shadow portion in image | |
CN111914610A (en) | Three-dimensional object detection device and three-dimensional object detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190604 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190916 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6596889 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |