JP5804180B2 - 立体物検出装置 - Google Patents

立体物検出装置 Download PDF

Info

Publication number
JP5804180B2
JP5804180B2 JP2014502225A JP2014502225A JP5804180B2 JP 5804180 B2 JP5804180 B2 JP 5804180B2 JP 2014502225 A JP2014502225 A JP 2014502225A JP 2014502225 A JP2014502225 A JP 2014502225A JP 5804180 B2 JP5804180 B2 JP 5804180B2
Authority
JP
Japan
Prior art keywords
light source
dimensional object
threshold value
detected
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014502225A
Other languages
English (en)
Other versions
JPWO2013129356A1 (ja
Inventor
早川 泰久
泰久 早川
修 深田
修 深田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2014502225A priority Critical patent/JP5804180B2/ja
Publication of JPWO2013129356A1 publication Critical patent/JPWO2013129356A1/ja
Application granted granted Critical
Publication of JP5804180B2 publication Critical patent/JP5804180B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04Systems determining the presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/262Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Geometry (AREA)

Description

本発明は、立体物検出装置に関するものである。
本出願は、2012年3月1日に出願された日本国特許出願の特願2012−045356に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
従来より、異なる時刻に撮像された2枚の撮像画像を鳥瞰視画像に変換し、変換した2枚の鳥瞰視画像の差分に基づいて、障害物を検出する技術が知られている(特許文献1参照)。
特開2008−227646号公報
夜間、自車両後方を撮像した画像を用いて、自車両が走行する車線に隣接する隣接車線を走行する他車両を検出する場合に、隣接車線に隣接する車線(以下、隣隣接車線ともいう)を走行する他車両のヘッドライトの光が検出領域に照射されると、このヘッドライトの光の像を、隣接車線を走行する他車両として誤検出してしまう場合がある。そのため、自車両後方において光源が検出された場合には、光源の位置に応じて、隣接車線を走行する他車両を検出するための検出基準を高くすることで、隣隣接車線を走行する他車両のヘッドライトの影響を排除する方法が考えられている。しかし、検出した光源が、隣隣接車線を走行する他車両のヘッドライトではない場合に、隣隣接車線を走行する車両のヘッドライトの影響を排除するために、検出基準を変更してしまうと、却って、隣接車線を走行する他車両を適切に検出できない場合があった。
本発明が解決しようとする課題は、自車両が走行する車線に隣接する隣接車線を走行する他車両を検出する際に、隣接車線に隣接する隣隣接車線を走行する他車両のヘッドライトから照射される光の影響を排除し、隣接車線を走行する他車両を正確に検出することである。
本発明は、自車両の後方に存在する光源を検出し、検出した光源が、隣接車線に隣接する隣隣接車線を走行する他車両のヘッドライトである確信度を算出し、算出した確信度が所定値以上である場合には、撮像手段と光源との位置関係に基づいて隣接車両を検出するための検出基準を設定し、確信度が所定値未満である場合には、撮像手段からの後方距離に応じて隣接車両を検出するための閾値を設定することで、上記課題を解決する。
本発明によれば、検出した光源が、隣接車線に隣接する隣隣接車線を走行する他車両のヘッドライトである確信度に基づいて、立体物を検出するための閾値を設定することで、検出した光源が、隣接車線を走行する他車両のヘッドライトである場合も、隣接車線に隣接する隣隣接車線を走行する他車両のヘッドライトである場合でも、ヘッドライトの光の影響を適切に排除し、隣接車線を走行する他車両を適切に検出することができる。
図1は、第1実施形態に係る立体物検出装置を搭載した車両の概略構成図である。 図2は、図1の車両の走行状態を示す平面図である。 図3は、第1実施形態に係る計算機の詳細を示すブロック図である。 図4は、第1実施形態に係る位置合わせ部の処理の概要を説明するための図であり、(a)は車両の移動状態を示す平面図、(b)は位置合わせの概要を示す画像である。 図5は、第1実施形態に係る立体物検出部による差分波形の生成の様子を示す概略図である。 図6は、第1実施形態に係る隣接車両の検出方法を説明するための図である。 図7は、検出領域A1,A2内の検出位置における輝度と、第1の閾値αとの関係の一例を示すグラフである。 図8は、カメラからの後方距離と、第1の閾値αとの関係を説明するための図である。 図9Aは、検出領域A1,A2内の領域R2に隣隣接車両のヘッドライトの光が照射される場面を示す図である。 図9Bは、検出領域A1,A2内の領域R1に隣隣接車両のヘッドライトの光が照射される場面を示す図である。 図9Cは、検出領域A1,A2内の領域R3に隣隣接車両のヘッドライトの光が照射される場面を示す図である。 図10は、検出領域A1,A2内の検出位置における輝度と、閾値α’との関係を示す第1の閾値マップの一例を示すグラフである。 図11は、検出領域A1,A2内の検出位置における輝度と、閾値α”との関係を示す第2の閾値マップの一例を示す図である。 図12は、第2の閾値マップから得られる閾値α”の重みwtを規定した制御マップの一例を示す図である。 図13は、図12に示す制御マップの調整方法を説明するための図である。 図14は、第1実施形態に係る立体物検出部によって分割される小領域を示す図である。 図15は、第1実施形態に係る立体物検出部により得られるヒストグラムの一例を示す図である。 図16は、第1実施形態に係る立体物検出部による重み付けを示す図である。 図17は、第1実施形態に係る立体物検出部により得られるヒストグラムの他の例を示す図である。 図18は、第1実施形態に係る隣接車両検出方法を示すフローチャートである。 図19は、ステップS105の閾値αの設定処理を示すフローチャートである。 図20は、第2実施形態に係る計算機の詳細を示すブロック図である。 図21は、車両の走行状態を示す図であり、(a)は検出領域等の位置関係を示す平面図、(b)は実空間における検出領域等の位置関係を示す斜視図である。 図22は、第2実施形態に係る輝度差算出部の動作を説明するための図であり、(a)は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図、(b)は実空間における注目線、参照線、注目点及び参照点の位置関係を示す図である。 図23は、第2実施形態に係る輝度差算出部の詳細な動作を説明するための図であり、(a)は鳥瞰視画像における検出領域を示す図、(b)は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図である。 図24は、エッジ検出動作を説明するための画像例を示す図である。 図25は、検出領域A1,A2内の検出位置における輝度と、第3の閾値βとの関係の一例を示すグラフである。 図26は、カメラからの後方距離と、第3の閾値βとの関係を説明するための図である。 図27は、検出領域A1,A2内における輝度と、閾値β’との関係を示す第3の閾値マップの一例を示す図である。 図28は、検出領域A1,A2内における輝度と、閾値β”との関係を示す第4の閾値マップの一例を示す図である。 図29は、第4の閾値マップから得られる閾値β”の重みwtを規定した制御マップの一例を示す図である。 図30は、エッジ線とエッジ線上の輝度分布を示す図であり、(a)は検出領域に立体物(隣接車両)が存在している場合の輝度分布を示す図、(b)は検出領域に立体物が存在しない場合の輝度分布を示す図である。 図31は、第2実施形態に係る隣接車両検出方法を示すフローチャートである。 図32は、他の実施形態に係る制御マップを示す図である。
《第1実施形態》
図1は、第1実施形態に係る立体物検出装置1を搭載した車両の概略構成図である。本実施形態に係る立体物検出装置1は、自車両V1が車線変更する際に接触の可能性がある隣接車線に存在する車両(以下、隣接車両V2ともいう。)を検出することを目的とする。本実施形態に係る立体物検出装置1は、図1に示すように、カメラ10と、車速センサ20と、計算機30とを備える。
カメラ10は、図1に示すように、自車両V1の後方における高さhの箇所において、光軸が水平から下向きに角度θとなるように車両V1に取り付けられている。カメラ10は、この位置から自車両V1の周囲環境のうちの所定領域を撮像する。車速センサ20、自車両V1の走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から車速度を算出する。計算機30は、自車両後方の隣接車線に存在する隣接車両の検出を行う。
図2は、図1の自車両V1の走行状態を示す平面図である。同図に示すように、カメラ10は、所定の画角aで車両後方側を撮像する。このとき、カメラ10の画角aは、自車両V1が走行する車線に加えて、その左右の車線(隣接車線)についても撮像可能な画角に設定されている。
図3は、図1の計算機30の詳細を示すブロック図である。なお、図3においては、接続関係を明確とするためにカメラ10、車速センサ20についても図示する。
図3に示すように、計算機30は、視点変換部31と、位置合わせ部32と、立体物検出部33と、確信度判定部34と、検出基準設定部35とを備える。以下に、それぞれの構成について説明する。
視点変換部31は、カメラ10による撮像にて得られた所定領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換する。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開2008−219063号公報に記載されるようにして実行することができる。撮像画像データを鳥瞰視画像データに視点変換するのは、立体物に特有の鉛直エッジは鳥瞰視画像データへの視点変換により特定の定点を通る直線群に変換されるという原理に基づき、これを利用すれば平面物と立体物とを識別できるからである。
位置合わせ部32は、視点変換部31の視点変換により得られた鳥瞰視画像データを順次入力し、入力した異なる時刻の鳥瞰視画像データの位置を合わせる。図4は、位置合わせ部32の処理の概要を説明するための図であり、(a)は自車両V1の移動状態を示す平面図、(b)は位置合わせの概要を示す画像である。
図4(a)に示すように、現時刻の自車両V1がPに位置し、一時刻前の自車両V1がP’に位置していたとする。また、自車両V1の後側方向に隣接車両V2が位置して自車両V1と並走状態にあり、現時刻の隣接車両V2がPに位置し、一時刻前の隣接車両V2がP’に位置していたとする。さらに、自車両V1は、一時刻で距離d移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間(例えば1制御周期)だけ過去の時刻であってもよいし、任意の時間だけ過去の時刻であってもよい。
このような状態において、現時刻における鳥瞰視画像PBは図4(b)に示すようになる。この鳥瞰視画像PBでは、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、隣接車両V2(位置P)については倒れ込みが発生する。また、一時刻前における鳥瞰視画像PBt−1についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、隣接車両V2(位置P’)については倒れ込みが発生する。既述したとおり、立体物の鉛直エッジ(厳密な意味の鉛直エッジ以外にも路面から三次元空間に立ち上がったエッジを含む)は、鳥瞰視画像データへの視点変換処理によって倒れ込み方向に沿った直線群として現れるのに対し、路面上の平面画像は鉛直エッジを含まないので、視点変換してもそのような倒れ込みが生じないからである。
位置合わせ部32は、上記のような鳥瞰視画像PB,PBt−1の位置合わせをデータ上で実行する。この際、位置合わせ部32は、一時刻前における鳥瞰画像PBt−1をオフセットさせ、現時刻における鳥瞰視画像PBと位置を一致させる。図4(b)の左側の画像と中央の画像は、移動距離d’だけオフセットした状態を示す。このオフセット量d’は、図4(a)に示した自車両V1の実際の移動距離dに対応する鳥瞰視画像データ上の移動量であり、車速センサ20からの信号と一時刻前から現時刻までの時間に基づいて決定される。
また、位置合わせ後において位置合わせ部32は、鳥瞰視画像PB,PBt−1の差分をとり、差分画像PDのデータを生成する。ここで、本実施形態において、位置合わせ部32は、照度環境の変化に対応するために、鳥瞰視画像PB,PBt−1の画素値の差を絶対値化し、当該絶対値が所定の閾値th以上であるときに、差分画像PDの画素値を「1」とし、絶対値が所定の閾値th未満であるときに、差分画像PDの画素値を「0」とすることで、図4(b)の右側に示すような差分画像PDのデータを生成することができる。
図3に戻り、立体物検出部33は、図4(b)に示す差分画像PDのデータに基づいて立体物を検出する。この際、立体物検出部33は、実空間上における立体物の移動距離についても算出する。立体物の検出および移動距離の算出にあたり、立体物検出部33は、まず差分波形を生成する。
差分波形の生成にあたって立体物検出部33は、差分画像PDにおいて検出領域を設定する。本例の立体物検出装置1は、自車両V1が車線変更する際に接触の可能性がある隣接車両について移動距離を算出することを目的とするものである。このため、本例では、図2に示すように自車両V1の後側方に矩形状の検出領域A1,A2を設定する。なお、このような検出領域A1,A2は、自車両V1に対する相対位置から設定してもよいし、白線の位置を基準に設定してもよい。白線の位置を基準に設定する場合に、立体物検出装置1は、例えば既存の白線認識技術等を利用するとよい。
また、立体物検出部33は、図2に示すように、設定した検出領域A1,A2の自車両V1側における辺(走行方向に沿う辺)を接地線L1,L2として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なおこの場合であっても、経験上、本実施形態に係る接地線と、本来の隣接車両V2の位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。
図5は、立体物検出部33による差分波形の生成の様子を示す概略図である。図5に示すように、立体物検出部33は、位置合わせ部32で算出した差分画像PD(図4(b)の右図)のうち検出領域A1,A2に相当する部分から、差分波形DWを生成する。この際、立体物検出部33は、視点変換により立体物が倒れ込む方向に沿って、差分波形DWを生成する。なお、図5に示す例では、便宜上検出領域A1のみを用いて説明するが、検出領域A2についても同様の手順で差分波形DWを生成する。
具体的に説明すると、まず立体物検出部33は、差分画像PDのデータ上において立体物が倒れ込む方向上の線Laを定義する。そして、立体物検出部33は、線La上において所定の差分を示す差分画素DPの数をカウントする。本実施形態では、所定の差分を示す差分画素DPは、差分画像PDの画素値が「0」「1」で表現されており、「1」を示す画素が、差分画素DPとしてカウントされる。
立体物検出部33は、差分画素DPの数をカウントした後、線Laと接地線L1との交点CPを求める。そして、立体物検出部33は、交点CPとカウント数とを対応付け、交点CPの位置に基づいて横軸位置、すなわち図5右図の上下方向軸における位置を決定するとともに、カウント数から縦軸位置、すなわち図5右図の左右方向軸における位置を決定し、交点CPにおけるカウント数としてプロットする。
以下同様に、立体物検出部33は、立体物が倒れ込む方向上の線Lb,Lc…を定義して、差分画素DPの数をカウントし、各交点CPの位置に基づいて横軸位置を決定し、カウント数(差分画素DPの数)から縦軸位置を決定しプロットする。立体物検出部33は、上記を順次繰り返して度数分布化することで、図5右図に示すように差分波形DWを生成する。
ここで、差分画像PDのデータ上における差分画素PDは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。このため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形DWを生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形DWを生成することとなる。
なお、図5左図に示すように、立体物が倒れ込む方向上の線Laと線Lbとは検出領域A1と重複する距離が異なっている。このため、検出領域A1が差分画素DPで満たされているとすると、線Lb上よりも線La上の方が差分画素DPの数が多くなる。このため、立体物検出部33は、差分画素DPのカウント数から縦軸位置を決定する場合に、立体物が倒れ込む方向上の線La,Lbと検出領域A1とが重複する距離に基づいて正規化する。具体例を挙げると、図5左図において線La上の差分画素DPは6つあり、線Lb上の差分画素DPは5つである。このため、図5においてカウント数から縦軸位置を決定するにあたり、立体物検出部33は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形DWに示すように、立体物が倒れ込む方向上の線La,Lbに対応する差分波形DWの値はほぼ同じとなっている。
差分波形DWの生成後、立体物検出部33は、生成した差分波形DWに基づいて、隣接車線に存在している隣接車両の検出を行う。ここで、図6は、立体物検出部33による隣接車両の検出方法を説明するための図であり、差分波形DWおよび隣接車両を検出するための閾値αの一例を示している。立体物検出部33は、図6に示すように、生成した差分波形DWのピークが、当該差分波形DWのピークの位置に対応する閾値α以上であるか否かを判断する。そして、立体物検出部33は、差分波形DWのピークが閾値α未満である場合には、検出領域A1,A2に隣接車両は存在しないと判断し、一方、差分波形DWのピークが閾値α以上である場合には、検出領域A1,A2に隣接車両が存在すると判断し、隣接車線に存在する隣接車両を検出する。
このように、差分波形DWは、所定輝度差を示す画素の分布情報の一態様であり、本実施形態における「画素の分布情報」とは、撮像画像を鳥瞰視画像に視点変換した際における立体物が倒れ込む方向に沿って検出される「輝度差が所定閾値以上の画素」の分布の状態を示す情報と位置付けることができる。つまり、立体物検出部33は、視点変換部31により得られた鳥瞰視画像上で、鳥瞰視画像に視点変換した際に立体物が倒れ込む方向において、輝度差が所定閾値th以上の画素の分布情報を差分波形DWとして検出し、さらに、立体物が倒れこむ方向における画素の分布の度合い(差分波形DWにおける差分画素DPのカウント数)が閾値α以上である場合に、差分波形DWに基づいて、立体物を検出する。
続いて、隣接車両を検出するための閾値αの設定方法について説明する。
閾値αは、図3に示す検出基準設定部35により設定される。本実施形態において、検出基準設定部35は、後述するように、図3に示す確信度判定部34により検出された確信度に基づいて、カメラ10からの後方距離に応じて設定した第1の閾値α、および、カメラ10と光源との位置関係に応じて設定された第2の閾値αのいずれか一方を、差分波形DWに基づいて隣接車両を検出するための閾値αとして設定する。
確信度判定部34は、自車両後側方において光源が検出された場合に、検出された光源が、自車両後側方の隣隣接車線(自車線の2車線隣の車線)を走行する他車両(以下、隣隣接車両という)のヘッドライトであることの確からしさを確信度として判定する。以下に、確信度判定部34による確信度の判定方法について説明する。なお、本実施形態では、後述するように、光源の検出は検出基準設定部35により行われる。
本実施形態において、確信度判定部34は、検出した光源の数、光源の位置、および、光源の状態の時間変化に基づいて、検出した光源が、隣隣接車両のヘッドライトである確信度を判定する。
たとえば、確信度判定部34は、検出領域A1,A2内で検出された光源の数が多い場合には、検出した光源は、たとえば街灯や電飾された看板などであり、隣隣接車両のヘッドライトである可能性は低いもの判断し、検出した光源が隣隣接車両のヘッドライトである確信度を低く判定する。
また、確信度判定部34は、光源の位置、すなわち、光源の高さ(光源の鉛直方向における位置)、光源の車幅方向における位置、および光源の自車両進行方向における位置に基づいて、検出した光源が、隣隣接車両のヘッドライトである確信度を判定する。たとえば、確信度判定部34は、光源の高さが高い場合は、検出した光源は街灯に起因する可能性が高いものと判断し、検出した光源が隣隣接車両のヘッドライトである確信度を低く判定する。また、確信度判定部34は、光源の車幅方向における位置が、自車両から遠くなるほど、検出した光源は、隣接車線よりも自車両から遠い隣隣接車線に存在する隣隣接車両のヘッドライトである可能性が高いものと判断し、検出した光源が隣隣接車両のヘッドライトである確信度を高く判定する。さらに、確信度判定部34は、光源の自車両進行方向における位置が自車両から遠いほど、検出した光源は、隣隣接車両のヘッドライトである可能性が低いものと判断し、検出した光源が隣隣接車両のヘッドライトである確信度を低く判定する。
さらに、確信度判定部34は、光源の状態の時間変化に基づいて、検出した光源が、隣隣接車両のヘッドライトである確信度を判定する。たとえば、確信度判定部34は、検出した光源の大きさの時間変化が小さい場合には、検出した光源は、隣接車線よりも自車両から遠い隣隣接車線を走行する隣隣接車両のヘッドライトである可能性が高いものと判断し、検出した光源が、隣隣接車両のヘッドライトである確信度を高く判定する。また、たとえば、確信度判定部34は、検出した光源の位置の時間変化が小さい場合や、検出した光源の輝度の時間変化が小さい場合にも、検出した光源は、隣接車線よりも自車両から遠い隣隣接車線を走行する隣隣接車両のヘッドライトである可能性が高いものと判断し、検出した光源が隣隣接車両のヘッドライトである確信度を高く判定する。
そして、確信度判定部34は、これら光源の数、光源の位置、および光源の状態の時間変化に基づいて、検出した光源が隣隣接車両のヘッドライトである確信度を総合的に判定する。このように、光源の数、光源の位置、および光源の状態の時間変化を総合的に判断することで、検出した光源が隣隣接車両のヘッドライトに起因するものであるか否かを適切に判定することができる。なお、確信度判定部34は、確信度を判定する際に、検出した光源の大きさを加味する構成としてもよい。たとえば、確信度判定部34は、検出した光源の大きさが、隣隣接車両の一般的なヘッドライトの大きさから大きく外れる場合には、確信度を低く判定する構成とすることができる。
そして、検出基準設定部35は、確信度判定部34により判定された確信度が所定値以上であるか否かを判断し、確信度が所定値未満である場合には、後述するカメラ10からの後方距離に応じて設定した第1の閾値αを、差分波形DWに基づいて隣接車両を検出するための閾値αとして設定し、一方、確信度が所定値以上である場合には、後述するカメラ10と光源との位置関係に応じて設定された第2の閾値αを、差分波形DWに基づいて隣接車両を検出するための閾値αとして設定する。ここで、まず、カメラ10からの後方距離に応じた第1の閾値αの設定方法について説明する。
検出基準設定部35は、図5左図に示す立体物が倒れ込む方向上の各線La,Lb,Lc…に対応する検出領域A1,A2内の位置(以下、検出領域A1,A2内の検出位置という)ごとに、検出領域A1,A2内の検出位置における輝度(たとえば、図5左図に示す立体物が倒れ込む方向上の各線La,Lb,Lc…上の差分画素DPの平均輝度など)、および、カメラ10からの後方距離に応じて、第1の閾値αを設定する。ここで、図7は、検出領域A1,A2内の検出位置における輝度と第1の閾値αとの関係の一例を示すグラフであり、図8は、カメラ10からの後方距離と第1の閾値αとの関係を説明するための図である。
具体的には、検出基準設定部35は、図7に示すように、検出領域A1,A2内の検出位置における輝度が高いほど、当該検出位置に対応する第1の閾値αを高い値に設定する。これにより、たとえば、輝度の高い隣隣接車両(自車線の2車線隣の隣隣接車線に存在する車両)のヘッドライトの光が隣接車線に照射された場合でも、隣隣接車両のヘッドライトの光に基づく差分波形DWのピークが第1の閾値α未満となり、隣隣接車両のヘッドライトの光の影響を排除することができるため、隣隣接車両のヘッドライトの光の像を、隣接車両として誤検出してしまうことを有効に防止することができる。
さらに、検出基準設定部35は、カメラ10からの後方距離に応じて設定されている第1の閾値αのゲインに基づいて、検出領域A1,A2内の検出位置における輝度に応じて設定された第1の閾値αを変更する。たとえば、検出基準設定部35は、図8左図に示すように、カメラ10からの後方距離に応じて、検出領域A1,A2を3つの領域に分割する。図8左図に示す例では、検出基準設定部35は、検出領域A1,A2を、カメラ10からの後方距離が距離D1未満の領域R1と、カメラ10からの後方距離が距離D1以上であり、かつ、距離D2未満の領域R2と、カメラ10からの後方距離が距離D2以上であり、かつ、距離D3未満の領域R3の3つの領域に分割する。なお、図8については検出領域A1のみを図示して説明するが、検出領域A2についても同様に第1の閾値αのゲインが設定されている。
図8右図に示すように、第1の閾値αのゲインは、カメラ10からの後方距離に応じて設定されている。たとえば、検出領域A1のうち、カメラ10からの後方距離が距離D1以上であり、かつ、距離D2未満である領域R2では、第1の閾値αのゲインは一定の値に設定されている。これに対して、検出領域A1のうち、カメラ10からの後方距離が距離D1未満の領域R1では、領域R2で設定されている第1の閾値αよりも高いゲインとなっており、また、カメラ10からの後方距離が小さいほど(自車両に近いほど)、第1の閾値αのゲインが高くなっている。さらに、検出領域A1のうち、カメラ10からの後方距離が距離D2以上の領域R3でも、領域R2で設定されている第1の閾値αよりも高いゲインとなっており、また、カメラ10からの後方距離が大きいほど(自車両から遠いほど)、第1の閾値αのゲインが高くなっている。
ここで、図9Aは、検出領域A2内の領域R2で隣隣接車両V3のヘッドライトが検出される場面を示している。図9Aに示すように、検出領域A2のうち領域R2においては、隣隣接車両のヘッドライトの光が隣隣接車両からカメラ10に直線的に照射され、カメラ10に入射されるヘッドライトの光量は多くなるため、領域R2における輝度は、検出領域A2の他の領域R1,R2と比べて高くなる。そのため、図8右図に示すように、検出領域A1,A2内の領域R2において、第1の閾値αのゲインを、検出領域A1,A2内の他の領域R1,R3と比べて低い値とした場合でも、検出基準設定部35は、図7に示すように、領域R2における高い輝度に応じて閾値αを高く設定することができ、これにより、領域R2において、隣隣接車両V3のヘッドライトの光を、隣接車両として誤検出してしまうことを有効に防止することができる。なお、図9Aについては検出領域A2のみを図示して説明するが、検出領域A1についても同様である(後述する図9B、図9Cにおいても同じ。)。
また、図9Bは、検出領域A2内の領域R1で隣隣接車両V3のヘッドライトが検出される場面を示している。図9Bに示すように、自車両に近い領域R1で隣隣接車両V3のヘッドライトが検出された場合、隣隣接車両V3から照射されたヘッドライトの光のうち、自車両V1が存在する方向に照射された一部の光のみが、カメラ10に入射する。そのため、検出領域A1,A2のうち自車両に近い領域R1では、通常、検出領域A1,A2の領域R2と比べて、カメラ10に入射されるヘッドライトの光量が少なく、領域R1の輝度が低くなる。そのため、図7に示すように、第1の閾値αを輝度に応じて変更するだけでは、領域R1に照射された隣隣接車両V3のヘッドライトの光を、隣接車両として誤検出してしまう場合がある。特に、領域R1では、カメラ10からの後方距離が小さいほど(自車両に近いほど)、隣隣接車両V3から照射されるヘッドライトの光は弱くなる。これに対して、本実施形態では、図8右図に示すように、領域R1においては、領域R2と比べて、第1の閾値αのゲインが高く設定されているとともに、カメラ10からの後方距離が小さいほど(自車両に近いほど)、第1の閾値αのゲインが高く設定されている。そのため、本実施形態において、検出基準設定部35は、領域R1で検出された隣隣接車両V3のヘッドライトの輝度が低い場合でも、閾値αを高い値に変更することができ、これにより、領域R1で検出された隣隣接車両V3のヘッドライトの輝度が低い場合でも、隣隣接車両V3のヘッドライトの光を、隣接車両V2として誤検出してしまうことを有効に防止することができる。
また、図9Cは、検出領域A2内の領域R3で隣隣接車両V3のヘッドライトが検出される場面を示している。図9Cに示すように、自車両から遠い領域R3には、検出領域A1,A2よりも後方に位置する複数の車両(たとえば、図9Cに示す隣隣接車両V3や、当該隣隣接車両V3よりもさらに後方に存在する車両など)から、様々な輝度の光が照射される。すなわち、領域R3で検出される隣隣接車両V3のヘッドライトの光は、領域R2と比べて輝度が低い場合もあり、このような場合に、図7に示すように、第1の閾値αを輝度に応じて変更するだけでは、領域R3に照射された隣隣接車両V3のヘッドライトの光の像を、隣接車両として誤検出してしまう場合がある。特に、領域R3では、カメラ10からの後方距離が大きいほど(自車両から遠いほど)、照射されるヘッドライトの光の輝度がばらつく傾向にあり、より輝度の低い光が照射される可能性がある。これに対して、本実施形態では、図8右図に示すように、領域R3においては、領域R1と同様に、領域R2と比べて第1の閾値αのゲインが高く設定されているとともに、カメラ10からの後方距離が大きいほど(自車両から遠いほど)、第1の閾値αのゲインが高く設定されている。そのため、本実施形態において、検出基準設定部35は、領域R3で検出された隣隣接車両V3のヘッドライトの輝度が低い場合でも、第1の閾値αを高い値に変更することができ、これにより、領域R3で検出された隣隣接車両V3のヘッドライトの輝度が低い場合でも、隣隣接車両V3のヘッドライトの光を、隣接車両V2として誤検出してしまうことを有効に防止することができる。
このように、検出基準設定部35は、図7に示すように、検出領域A1,A2内の検出位置における輝度に応じて第1の閾値αを設定するとともに、設定した第1の閾値αのゲインを、図8に示すように、カメラ10からの後方距離に応じて変更することで、図6に示すように、検出領域A1,A2内の各検出位置に対応する第1の閾値αを設定する。たとえば、検出基準設定部35は、図7を参照して、図5左図に示す線La上の差分画素DPの輝度に応じて第1の閾値αを設定し、さらに、図8右図に示す第1の閾値αのゲインのうち、線Laの交点CPの位置における第1の閾値αのゲインで、設定した閾値第1の閾値αを変更することで、線Laに対応する位置の第1の閾値αを算出する。同様に、検出基準設定部35は、線Lb,Lc…に対応する位置の第1の閾値αを算出することで、図6に示すように、検出領域A1,A2内の各検出位置に対応する第1の閾値αを設定する。
なお、検出基準設定部35は、隣接車線に照射された隣隣接車両V3のヘッドライトの光の像を、隣接車両として誤検出してしまうことを防止できるように、閾値αの設定を行うものである。そのため、本実施形態では、カメラ10からの後方距離に応じて第1の閾値αを変更する処理を、隣隣接車両V3がヘッドライトを点灯する条件(たとえば、夜間)のみ行う構成としてもよい。なお、検出基準設定部35は、たとえば、カメラ10により撮像した画像の輝度が所定値以下である場合に、隣隣接車両V3がヘッドライトを点灯する条件(たとえば、夜間)であると判断することができる。
次に、カメラ10と光源との位置関係に応じた第2の閾値αの設定方法について説明する。本実施形態において、検出基準設定部35は、図10に示すように、検出領域A1,A2内の検出位置における輝度と、所定の閾値α’との関係を示した第1の閾値マップ、および、図11に示すように、検出領域A1,A2内の検出位置における輝度と、所定の閾値α”との関係を示した第2の閾値マップを備えている。図10に示す第1の閾値マップでは、隣接車両の特徴的な部分であるタイヤホイールを検出しやすいように、輝度が低い場合に閾値α’が低い値となるように設定されている。一方、図11に示す第2の閾値マップでは、たとえば、検出領域A1,A2内において隣隣接車両(自車線の2車線隣の隣隣接車線に存在する車両)のヘッドライトの光が検出された場合でも、検出されたヘッドライト周辺において隣接車両の誤検出が生じないよう、輝度が低い場合でも閾値α”が高い値に設定されている。具体的には、図10に示す第1の閾値マップで規定されている閾値α’と比較して、図11に示す第2の閾値マップで規定されている閾値α”は、輝度が低い場合でも、所定値S未満とならないように設定されている。
そして、検出基準設定部35は、検出領域A1,A2内の検出位置における輝度に応じて図10に示す第1の閾値マップから得られた閾値α’と、検出領域A1,A2内の検出位置における輝度に応じて図11に示す第2の閾値マップから得られた閾値α”とを用いて、下記数式1に従って、検出領域内A1,A2内の検出位置において、隣接車両を検出するための第2の閾値αを算出する。
[数1]
第2の閾値α={(1−wt)・第1の閾値マップから得られた閾値α’)+(wt・第2の閾値マップから得られた閾値α”)
なお、上記式1中、wtは、第2の閾値マップ(ヘッドライト周辺での誤検出の防止を重視したマップ)から得られた閾値α”の重みであり、この重みwtは、図12に示す制御マップに基づいて決定される。
ここで、図12は、第2の閾値マップから得られる閾値α”の重みwtを規定した制御マップの一例である。なお、図12に示す制御マップでは、縦軸に、第2の閾値マップから得られる閾値α”の重みwtを示し、横軸に、検出位置の自車両進行方向における位置を示している。図12に示す制御マップでは、後述する基準位置Pにおいて、重みwtが最大の「1」となっている。そのため、上記式1に従って第2の閾値αを算出した場合に、基準位置Pにおける第2の閾値αは、ヘッドライト周辺での誤検出の防止を重視した第2の閾値マップから得られる閾値α”と等しくなる。また、図12に示す制御マップでは、基準位置P付近においても重みwtが「1」に近い値となっている。そのため、上記式1に従って第2の閾値αを算出した場合、基準位置P付近における第2の閾値αは、第2の閾値マップから得られる閾値α”に近い値となる。
また、図12に示す制御マップでは、基準位置Pの後方において、基準位置Pの前方と比べて、基準位置Pから少し離れた位置で重みwtが「0」となっている。そのため、上記式1に従って第2の閾値αを算出した場合に、基準位置Pの後方における第2の閾値αは、隣接車両のタイヤホイールを検出しやすい第1の閾値マップから得られる閾値α’と等しくなる。反対に、基準位置Pの前方においては、第2の閾値マップから得られる閾値α”の重みwtが高い値で推移している。そのため、上記式1に従って第2の閾値αを算出した場合に、基準位置Pの前方においては、基準位置Pの後方と比較して、ヘッドライト周辺での誤検出の防止を重視した閾値α”が算出されることとなる。
さらに、本実施形態において、検出基準設定部35は、図12に示す制御マップを用いて、隣接車両を検出するための第2の閾値αを算出する前に、図12に示す制御マップを、カメラ10と光源との位置関係に応じて調整する。以下に、図13を参照して、図12に示す制御マップの調整方法について説明する。ここで、図13は、図12に示す制御マップの調整方法を説明するための図である。
すなわち、検出基準設計部35は、図13(A)右図に示すように、まず、カメラ10により撮像された撮像画像から、隣隣接車両V3のヘッドライトなどの光源を検出する。そして、検出基準設定部35は、検出した光源の重心位置を検出し、光源の重心位置と、カメラ10の中心位置とを通る直線Lcを設定する。さらに、検出基準設定部35は、直線Lcと、検出領域A2の隣隣接車線側における辺(走行方向に沿う辺)L2’との交点Oを算出する。なお、検出基準設定部35による光源の検出方法については後述する。
そして、検出基準設定部35は、図13(A)左図に示すように、交点Oと、図12に示す制御マップの基準位置Pとが一致するように、図12に示す制御マップの調整を行う。ここで、図13(B)は、図13(A)に示す場面から、隣隣接車両V3が自車両V1に近接した場面を例示している。図13(B)に示す場面では、隣隣接車両V3が自車両V1に近接しているため、直線Lcと検出領域A2の線L2’との交点Oは、図13(A)に示す交点Oよりも、前方(Y軸負方向)に移動している。そのため、図13(B)左図に示すように、検出基準設定部35により、図13(B)右図に示す交点Oの位置と、図12に示す制御マップの基準位置Pとが一致するように、図12に示す制御マップを調整することで、図13(B)左図に示すように、図12に示す制御マップは、図13(A)左図に示す制御マップと比べて、全体的に前方(Y軸負方向)にシフトされ、これにより、光源の位置と、図12に示す制御マップの基準位置Pとが対応することとなる。
このように、光源の位置と図12に示す制御マップの基準位置Pとを対応させることで、光源よりも前方の領域Rf(すなわち、自車両の進行方向をY方向、車幅方向をX方向としたXY平面において、Y方向におけるカメラ10の位置を0、カメラ10よりも後方をY>0とし、直線LcをY=kXで示した場合に、Y<kXとなる領域)において、第2の閾値マップから得られる閾値”の重みwtが大きくすることができる。そのため、上記式1に従って第2の閾値αを算出した場合に、光源よりも前方の領域においては、ヘッドライト周辺での誤検出の防止を重視した第2の閾値αが得られることとなる。
一方、光源の位置と図12に示す制御マップの基準位置Pとを対応させることで、光源よりも後方の領域Rr(すなわち、自車両の進行方向をY方向、車幅方向をX方向としたXY平面において、Y方向におけるカメラ10の位置を0、カメラ10よりも後方をY>0とし、直線LcをY=kXで示した場合に、Y≧kXとなる領域)において、第2の閾値マップから得られる閾値α”の重みwtを小さくすることができる。そのため、上記式1に従って第2の閾値αを算出した場合に、光源よりも後方の領域においては、隣接車両のタイヤホイールが検出しやすい第2の閾値αが得られることとなる。
なお、検出基準設定部35は、隣接車線に照射される隣隣接車両のヘッドライトの光を、隣接車両として誤検出してしまうことを有効に防止するために、第2の閾値αを変更するものである。そのため、本実施形態では、検出基準設定部35による第2の閾値αの変更を、隣隣接車両がヘッドライトを点灯する夜間のみ行う構成とすることができる。なお、検出基準設定部35は、たとえば、カメラ10により撮像した画像の輝度が所定値以下である場合に、夜間であると判断すればよい。
このように、検出基準設定部35は、カメラ10からの後方距離に応じて設定した第1の閾値αと、カメラ10と光源との位置関係に応じて設定された第2の閾値αとを設定可能となっている。そして、検出基準設定部35は、確信度判定部34により判定された確信度が所定値以上であるか否かを判断し、確信度が所定値未満である場合には、第1の閾値αを、差分波形DWに基づいて隣接車両を検出するための閾値αとして設定し、一方、確信度が所定値以上である場合には、第2の閾値αを、差分波形DWに基づいて隣接車両を検出するための閾値αとして設定する。
続いて、立体物検出部33の説明に戻る。隣接車線に存在する立体物を検出した後、立体物検出部33は、一時刻前の差分波形DWt−1と現時刻における差分波形DWとの対比により、隣接車両に存在する立体物の移動距離を算出する。すなわち、立体物検出部33は、差分波形DW,DWt−1の時間変化から移動距離を算出する。
詳細に説明すると、立体物検出部33は、図14に示すように差分波形DWを複数の小領域DWt1〜DWtn(nは2以上の任意の整数)に分割する。図14は、立体物検出部33によって分割される小領域DWt1〜DWtnを示す図である。小領域DWt1〜DWtnは、例えば図14に示すように、互いに重複するようにして分割される。例えば小領域DWt1と小領域DWt2とは重複し、小領域DWt2と小領域DWt3とは重複する。
次いで、立体物検出部33は、小領域DWt1〜DWtn毎にオフセット量(差分波形の横軸方向(図14の上下方向)の移動量)を求める。ここで、オフセット量は、一時刻前における差分波形DWt−1と現時刻における差分波形DWとの差(横軸方向の距離)から求められる。この際、立体物検出部33は、小領域DWt1〜DWtn毎に、一時刻前における差分波形DWt−1を横軸方向に移動させた際に、現時刻における差分波形DWとの誤差が最小となる位置(横軸方向の位置)を判定し、差分波形DWt−1の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、立体物検出部33は、小領域DWt1〜DWtn毎に求めたオフセット量をカウントしてヒストグラム化する。
図15は、立体物検出部33により得られるヒストグラムの一例を示す図である。図15に示すように、各小領域DWt1〜DWtnと一時刻前における差分波形DWt−1との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、立体物検出部33は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、立体物検出部33は、ヒストグラムの極大値から隣接車両の移動距離を算出する。すなわち、図15に示す例において、立体物検出部33は、ヒストグラムの極大値を示すオフセット量を移動距離τと算出する。このように、本実施形では、オフセット量にバラつきがあったとしても、その極大値から、より正確性の高い移動距離を算出することが可能となる。なお、移動距離τは、自車両V1に対する隣接車両の相対移動距離である。このため、立体物検出部33は、絶対移動距離を算出する場合には、得られた移動距離τと車速センサ20からの信号とに基づいて、絶対移動距離を算出することとなる。
このように、本実施形態では、異なる時刻に生成された差分波形DWの誤差が最小となるときの差分波形DWのオフセット量から立体物の移動距離を算出することで、波形という1次元の情報のオフセット量から移動距離を算出することとなり、移動距離の算出にあたり計算コストを抑制することができる。また、異なる時刻に生成された差分波形DWを複数の小領域DWt1〜DWtnに分割することで、立体物のそれぞれの箇所を表わした波形を複数得ることができ、これにより、立体物のそれぞれの箇所毎にオフセット量を求めることができ、複数のオフセット量から移動距離を求めることができるため、移動距離の算出精度を向上させることができる。また、本実施形態では、高さ方向の情報を含む差分波形DWの時間変化から立体物の移動距離を算出することで、単に1点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とが高さ方向の情報を含んで特定されるため、立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。
なお、ヒストグラム化にあたり立体物検出部33は、複数の小領域DWt1〜DWtn毎に重み付けをし、小領域DWt1〜DWtn毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化してもよい。図16は、立体物検出部33による重み付けを示す図である。
図16に示すように、小領域DW(mは1以上n−1以下の整数)は平坦となっている。すなわち、小領域DWは所定の差分を示す画素数のカウントの最大値と最小値との差が小さくなっている。立体物検出部33は、このような小領域DWについて重みを小さくする。平坦な小領域DWについては、特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。
一方、小領域DWm+k(kはn−m以下の整数)は起伏に富んでいる。すなわち、小領域DWは所定の差分を示す画素数のカウントの最大値と最小値との差が大きくなっている。立体物検出部33は、このような小領域DWについて重みを大きくする。起伏に富む小領域DWm+kについては、特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。
なお、移動距離の算出精度を向上するために上記実施形態では差分波形DWを複数の小領域DWt1〜DWtnに分割したが、移動距離の算出精度がさほど要求されない場合は小領域DWt1〜DWtnに分割しなくてもよい。この場合に、立体物検出部33は、差分波形DWと差分波形DWt−1との誤差が最小となるときの差分波形DWのオフセット量から移動距離を算出することとなる。すなわち、一時刻前における差分波形DWt−1と現時刻における差分波形DWとのオフセット量を求める方法は上記内容に限定されない。
なお、本実施形態において立体物検出部33は、自車両V1(カメラ10)の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求める。静止物のオフセット量を求めた後、立体物検出部33は、ヒストグラムの極大値のうち静止物に該当するオフセット量を無視したうえで、隣接車両の移動距離を算出する。
図17は、立体物検出部33により得られるヒストグラムの他の例を示す図である。カメラ10の画角内に隣接車両の他に静止物が存在する場合に、得られるヒストグラムには2つの極大値τ1,τ2が現れる。この場合、2つの極大値τ1,τ2のうち、いずれか一方は静止物のオフセット量である。このため、立体物検出部33は、移動速度から静止物についてのオフセット量を求め、そのオフセット量に該当する極大値について無視し、残り一方の極大値を採用して立体物の移動距離を算出する。これにより、静止物により立体物の移動距離の算出精度が低下してしまう事態を防止することができる。
なお、静止物に該当するオフセット量を無視したとしても、極大値が複数存在する場合、カメラ10の画角内に隣接車両が複数台存在すると想定される。しかし、検出領域A1,A2内に複数の隣接車両が存在することは極めて稀である。このため、立体物検出部33は、移動距離の算出を中止する。これにより、本実施形態では、極大値が複数あるような誤った移動距離を算出してしまう事態を防止することができる。
次に、本実施形態に係る隣接車両検出処理について説明する。図18は、本実施形態の隣接車両検出処理を示すフローチャートである。図18に示すように、まず、計算機30により、カメラ10から撮像画像Pのデータの取得が行われ(ステップS101)、視点変換部31により、取得した撮像画像Pのデータに基づいて、鳥瞰視画像PBのデータが生成される(ステップS102)。
次いで、位置合わせ部33は、鳥瞰視画像PBのデータと、一時刻前の鳥瞰視画像PBt−1のデータとを位置合わせをし、差分画像PDのデータを生成する(ステップS103)。その後、立体物検出部33は、差分画像PDのデータから、画素値が「1」の差分画素DPの数をカウントして、差分波形DWを生成する(ステップS104)。
検出基準設定部35は、差分波形DWに基づいて隣接車両を検出するための閾値αの設定を行う(ステップS105)。ここで、図19は、ステップS105の閾値αの設定処理を示すフローチャートである。検出基準設定部35は、図19に示すように、まず、カメラ10により撮像された撮像画像から、隣隣接車両のヘッドライトなどの光源を検出する(ステップS201)。
ここで、検出基準設定部35は、ノイズの影響を排除し、他車両のヘッドライトを光源として適切に検出するために、撮像画像のうち、周辺との明るさの差が所定値s以上であり、かつ、所定値s以上の大きさである画像領域を、光源に対応する領域として検出する。
そのため、検出基準設定部35は、まず、撮像画像のエッジ処理を行い、周辺との明るさの差が所定値s以上の領域を、光源候補として検出する。なお、本実施形態において、検出基準設定部35は、光源を適切に検出するために、所定値sを一定の値に限定せず、たとえば、カメラ10から光源候補までの後方距離や、光源候補が存在する領域の輝度に基づいて、所定値sを変更することができる。たとえば、検出基準設定部35は、輝度に応じて所定値sが設定された閾値マップと、カメラ10から光源候補までの後方距離に応じて所定値sが設定された閾値マップとを有し、これら2つの閾値マップを比較し、それぞれの閾値マップで得られた所定値sのうち高いほうの所定値sを、光源候補を検出するための所定値sとして選択することができる。
そして、検出基準設定部35は、検出された光源候補のうち、所定値s以上の大きさである画像領域を、光源に対応する領域として検出する。なお、所定値sも一定の値に限定されず、たとえば、検出基準設定部35は、カメラ10から光源候補までの後方距離に応じて、所定値sを変更してもよい。たとえば、検出領域A1,A2の自車両進行方向における長さが10mである場合、検出基準設定部35は、検出領域A1,A2を、検出領域A1,A2のうちカメラ10から最も近い位置から、車両進行方向に0〜1.5mまでの領域R1と、1.5〜6mの領域R2と、6m〜10mの領域R3との3つの領域に分割する。そして、検出基準設定部35は、検出領域A1,A2のうち、自車両から近い領域R1、および自車両から遠い領域R3では、たとえば、縦×横が5×5画素以上となる画像領域を、光源に対応する領域として検出し、検出領域A1,A2のうち、中央の領域R2では、たとえば、縦×横が7×7画素以上となる画像領域を、光源に対応する領域として検出することができる。
なお、ステップS201において、光源を検出できなかった場合には、検出基準設定部35は、たとえば、閾値αを予め定めた閾値に設定して、ステップS105の閾値αの設定処理を終了する。
次に、確信度判定部34により、検出された光源が、自車両後側方の隣隣接車両のヘッドライトである確信度の判定が行われる(ステップS202)。上述したように、確信度判定部34は、光源の数、光源の位置、光源の状態の時間変化、および光源の大きさに基づいて、検出した光源が、隣隣接車両のヘッドライトである確信度を総合的に判定する。そして、検出基準設定部35は、ステップS202での確信度の判定結果に基づいて、確信度が所定値以上であるか否かを判断し、確信度が所定値未満である場合には、カメラ10からの後方距離に応じて閾値αを設定するために、ステップS204に進み、確信度が所定値以上である場合には、カメラ10と光源との位置関係に基づいて閾値αを設定するために、ステップS208に進む。
ステップS204では、検出基準設定部35により、図7に示すように、検出位置の輝度に応じて、当該検出位置における第1の閾値αの取得が行われる。そして、検出基準設定部35は、ステップS204で取得した第1の閾値αを、図8に示すように、カメラ10からの後方距離に応じて規定されている第1の閾値αのゲインに基づいて変更する(ステップS205)。そして、検出基準設定部35は、検出領域A1,A2内における全て検出位置ごとに第1の閾値αを算出し、検出領域A1,A2内における全て検出位置において第1の閾値αを算出した場合に(ステップS206=Yes)、算出した第1の閾値αを、図6に示すように、差分波形DWに基づいて隣接車両を検出するための閾値αとして設定する。
一方、ステップS203で、確信度が所定値未満と判断された場合には、ステップS208に進む。ステップS208では、検出基準設定部35は、図13(A)右図に示すように、検出した光源の重心位置とカメラ10の中心位置とを通る直線Lcを設定し、さらに、検出基準設定部35は、設定した直線Lcと、検出領域A2の隣隣接車線側の辺L2’との交点Oを算出する(ステップS209)。そして、検出基準設定部35は、図13(B)左図に示すように、ステップS209で算出した交点Oと、図12に示す制御マップの基準位置Pとが一致するように、図12に示す制御マップを調整する(ステップS210)。
そして、検出基準設定部35は、隣接車両のタイヤホイールを検出しやすいように、閾値α’が設定されている第1の閾値マップ(図7参照)と、ヘッドライト周辺での誤検出の防止を重視して、閾値α”が設定されている第2の閾値マップ(図8参照)と、ステップS210で調整した制御マップとを用いて、上記式1に従って、第2の閾値αを算出する(ステップS211)。そして、検出基準設定部35は、検出領域A1,A2内における全て検出位置ごとに第2の閾値αを算出し、検出領域A1,A2内における全て検出位置において第2の閾値αを算出した場合に(ステップS212=Yes)、算出した第2の閾値αを、図6に示すように、差分波形DWに基づいて隣接車両を検出するための閾値αとして設定する(ステップS213)。
図18に戻り、立体物検出部33は、ステップS104で生成された差分波形DWのピークが、ステップS105で生成された閾値α以上となるか否かの判断を行う(ステップS106)。差分波形DWのピークが閾値α以上でない場合、すなわち差分が殆どない場合には、撮像画像P内には隣接車両が存在しないと考えられる。このため、差分波形DWのピークが閾値α以上でないと判断した場合には(ステップS106=No)、立体物検出部33は、隣接車線に隣接車両が存在しないと判断し(ステップS115)、図18に示す処理を終了する。
一方、差分波形DWのピークが閾値α以上であると判断した場合には(ステップS106=Yes)、立体物検出部33は、隣接車線に立体物が存在すると判断し、ステップS107に進み、立体物検出部33により、差分波形DWが、複数の小領域DWt1〜DWtnに分割される。次いで、立体物検出部33は、小領域DWt1〜DWtn毎に重み付けを行い(ステップS108)、小領域DWt1〜DWtn毎のオフセット量を算出し(ステップS109)、重みを加味してヒストグラムを生成する(ステップS110)。
そして、立体物検出部33は、ヒストグラムに基づいて自車両に対する隣接車両の移動距離である相対移動距離を算出する(ステップS111)。さらに、立体物検出部33は、相対移動距離から隣接車両の絶対移動速度を算出する(ステップS112)。このとき、立体物検出部33は、相対移動距離を時間微分して相対移動速度を算出すると共に、車速センサ20で検出された自車速を加算して、隣接車両の絶対移動速度を算出する。
その後、立体物検出部33は、隣接車両の絶対移動速度が10km/h以上、且つ、隣接車両の自車両に対する相対移動速度が+60km/h以下であるか否かを判断する(ステップS113)。双方を満たす場合には(ステップS113=Yes)、立体物検出部33は、隣接車線に隣接車両が存在すると判断する(ステップS114)。そして、図18に示す処理を終了する。一方、いずれか一方でも満たさない場合には(ステップS113=No)、立体物検出部33は、隣接車線に隣接車両が存在しないと判断する(ステップS115)。そして、図18に示す処理を終了する。
なお、本実施形態では自車両の後側方を検出領域A1,A2とし、自車両が車線変更した場合に接触する可能性があるか否かに重点を置いている。このため、ステップS113の処理が実行されている。すなわち、本実施形態にけるシステムを高速道路で作動させることを前提とすると、隣接車両の速度が10km/h未満である場合、たとえ隣接車両が存在したとしても、車線変更する際には自車両の遠く後方に位置するため問題となることが少ない。同様に、隣接車両の自車両に対する相対移動速度が+60km/hを超える場合(すなわち、隣接車両が自車両の速度よりも60km/hより大きな速度で移動している場合)、車線変更する際には自車両の前方に移動しているため問題となることが少ない。このため、ステップS113では車線変更の際に問題となる隣接車両を判断しているともいえる。
また、ステップS113において隣接車両の絶対移動速度が10km/h以上、且つ、隣接車両の自車両に対する相対移動速度が+60km/h以下であるかを判断することにより、以下の効果がある。例えば、カメラ10の取り付け誤差によっては、静止物の絶対移動速度を数km/hであると検出してしまう場合があり得る。よって、10km/h以上であるかを判断することにより、静止物を隣接車両であると判断してしまう可能性を低減することができる。また、ノイズによっては隣接車両の自車両に対する相対速度を+60km/hを超える速度に検出してしまうことがあり得る。よって、相対速度が+60km/h以下であるかを判断することにより、ノイズによる誤検出の可能性を低減できる。
さらに、ステップS113の処理に代えて、隣接車両の絶対移動速度がマイナスでないことや、0km/hでないことを判断してもよい。また、本実施形態では自車両が車線変更した場合に接触する可能性がある否かに重点を置いているため、ステップS114において隣接車両が検出された場合に、自車両の運転者に警告音を発したり、所定の表示装置により警告相当の表示を行ったりしてもよい。
以上のように、第1実施形態では、自車両後方の検出領域A1,A2を異なる時刻で撮像し、撮像した撮像画像を鳥瞰視画像に変換し、異なる時刻の鳥瞰視画像の差分に基づいて、差分画像PDを生成する。そして、視点変換により立体物が倒れ込む方向に沿って、所定の差分を示す画素数をカウントして度数分布化することで、差分画像PDのデータから差分波形DWを生成する。そして、生成した差分波形DWのピークが、カメラ10からの後方距離、あるいは、カメラ10と光源との位置関係に応じて設定された閾値α以上であるか否かを判断し、差分波形DWのピークが閾値α以上である場合には、隣接車線に隣接車両が存在すると判断することで、隣接車線に存在する隣接車両を適切に検出することができる。
すなわち、本実施形態では、差分波形DWに基づいて隣接車両を検出する際に、自車両後側方の光源を検出し、検出された光源の数、光源の位置、光源の大きさ、および光源の状態の時間変化に基づいて、検出された光源が、隣隣接車両のヘッドライトである確信度を判定する。そして、確信度が所定値以上である場合には、カメラ10と光源との位置関係に基づいて得られる第2の閾値αを閾値αとして設定する。すなわち、検出された光源が隣隣接車両のヘッドライトである可能性が高い場合には、図10に示すように、光源よりも前方において、ヘッドライト周辺の誤検出を防止するように閾値αを設定し、光源よりも後方において、隣接車両のタイヤホイールを検出しやすいように閾値αを設定する。これにより、たとえば、カメラ10のレンズの汚れによりヘッドライト(光源)周辺の輝度が高く、ヘッドライト(光源)の後方に存在する特徴的な部分である隣接車両のタイヤホイールが検出し難い場合でも、タイヤホイールの存在しないヘッドライト(光源)よりも前方においては、ヘッドライト周辺の誤検出を防止するように閾値αが高く設定されるため、隣隣接車両のヘッドライトによる隣接車両の誤検出を有効に防止することができ、また、ヘッドライト(光源)よりも後方においては、隣接車両のタイヤホイールを検出しやすいように閾値αが設定されるため、ヘッドライト(光源)よりも後方に存在する隣接車両のタイヤホイールを適切に検出することができる。
一方、確信度が所定値未満である場合には、カメラ10からの後方距離に基づいて得られる第1の閾値αを閾値αとして設定する。すなわち、検出された光源が隣隣接車両のヘッドライトである可能性が低い場合には、図8に示すように、検出領域A1,A2のうち、自車両から近い領域R1および自車両から遠い領域R3において、中央の領域R2と比べて、閾値αのゲインが高く設定される。これにより、領域R1,R3において、隣隣接車両からのヘッドライトから照射されるヘッドライトの光の輝度が低い場合でも、閾値αを高く設定することができ、領域R1,R3に照射された隣隣接車両V3のヘッドライトの光の像を、隣接車両として誤検出してしまうことを有効に防止することができる。
さらに、本実施形態では、確信度が所定値未満である場合には、カメラ10からの後方距離に基づいて得られる第1の閾値αを閾値αとして設定し、確信度が所定値以上である場合に、カメラ10と光源との位置関係に基づいて得られる第2の閾値αを閾値αとして設定する。ここで、確信度が所定値以上である場合、すなわち、検出された光源が隣隣接車両のヘッドライトである可能性が高い場合に、カメラ10と光源との位置関係に基づいて得られる第2の閾値αを閾値αとすることで、検出された光源が隣隣接車両のヘッドライトである可能性が高い場合に、カメラ10からの後方距離に基づいて得られる第1の閾値αを閾値αに設定する場合と比べて、隣隣接車両のヘッドライトの影響を排除し、隣接車両を適切に検出する効果をより高く得ることができる。
また、確信度が所定値未満である場合、すなわち、検出された光源が、隣隣接車両のヘッドライトである可能性が低い場合に、カメラ10と光源との位置関係に基づいて得られる第2の閾値αを閾値αとして設定した場合には、たとえば、光源よりも前方において閾値αが高く設定され過ぎてしまい、隣接車両が実際に存在する場合に隣接車両を適切に検出できない誤検出が生じてしまう場合があった。そのため、本実施形態では、確信度が所定値未満である場合に、カメラ10からの後方距離に基づいて得られる第1の閾値αを閾値αとして設定することで、確信度が所定値未満である場合に、カメラ10と光源との位置関係に基づいて得られる第2の閾値αを閾値αに設定する場合と比べて、隣隣接車両のヘッドライトの光による隣接車両の誤検出をより有効に防止することができ、隣接車両をより適切に検出することができる。
《第2実施形態》
続いて、第2実施形態に係る立体物検出装置1aについて説明する。第2実施形態に係る立体物検出装置1aは、図20に示すように、第1実施形態の計算機30に代えて、計算機30aを備えており、以下に説明するように動作すること以外は、第1実施形態と同様である。ここで、図20は、第2実施形態に係る計算機30aの詳細を示すブロック図である。
第2実施形態にかかる立体物検出装置1aは、図20に示すように、カメラ10と計算機30aとを備えており、計算機30aは、視点変換部31、輝度差算出部36、エッジ線検出部37、立体物検出部33a、確信度判定部34、および検出基準設定部35aから構成されている。以下に、第2実施形態に係る立体物検出装置1aの各構成について説明する。
図21は、図20のカメラ10の撮像範囲等を示す図であり、図21(a)は平面図、図21(b)は、自車両V1から後側方における実空間上の斜視図を示す。図21(a)に示すように、カメラ10は所定の画角aとされ、この所定の画角aに含まれる自車両V1から後側方を撮像する。カメラ10の画角aは、図2に示す場合と同様に、カメラ10の撮像範囲に自車両V1が走行する車線に加えて、隣接する車線も含まれるように設定されている。
本例の検出領域A1,A2は、平面視(鳥瞰視された状態)において台形状とされ、これら検出領域A1,A2の位置、大きさ及び形状は、距離d〜dに基づいて決定される。なお、同図に示す例の検出領域A1,A2は台形状に限らず、図2に示すように鳥瞰視された状態で矩形など他の形状であってもよい。
ここで、距離d1は、自車両V1から接地線L1,L2までの距離である。接地線L1,L2は、自車両V1が走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施形態においては、自車両V1の後側方において自車両V1の車線に隣接する左右の車線を走行する隣接車両V2等(2輪車等を含む)を検出することが目的である。このため、自車両V1から白線Wまでの距離d11及び白線Wから隣接車両V2が走行すると予測される位置までの距離d12から、隣接車両V2の接地線L1,L2となる位置である距離d1を略固定的に決定しておくことができる。
また、距離d1については、固定的に決定されている場合に限らず、可変としてもよい。この場合に、計算機30aは、白線認識等の技術により自車両V1に対する白線Wの位置を認識し、認識した白線Wの位置に基づいて距離d11を決定する。これにより、距離d1は、決定された距離d11を用いて可変的に設定される。以下の本実施形態においては、隣接車両V2が走行する位置(白線Wからの距離d12)及び自車両V1が走行する位置(白線Wからの距離d11)は大凡決まっていることから、距離d1は固定的に決定されているものとする。
距離d2は、自車両V1の後端部から車両進行方向に伸びる距離である。この距離d2は、検出領域A1,A2が少なくともカメラ10の画角a内に収まるように決定されている。特に本実施形態において、距離d2は、画角aに区分される範囲に接するよう設定されている。距離d3は、検出領域A1,A2の車両進行方向における長さを示す距離である。この距離d3は、検出対象となる立体物の大きさに基づいて決定される。本実施形態においては、検出対象が隣接車両V2等であるため、距離d3は、隣接車両V2を含む長さに設定される。
距離d4は、図21(b)に示すように、実空間において隣接車両V2等のタイヤを含むように設定された高さを示す距離である。距離d4は、鳥瞰視画像においては図21(a)に示す長さとされる。なお、距離d4は、鳥瞰視画像において左右の隣接車線よりも更に隣接する車線(すなわち2車線隣りの隣隣接車線)を含まない長さとすることもできる。自車両V1の車線から2車線隣の車線を含んでしまうと、自車両V1が走行している車線である自車線の左右の隣接車線に隣接車両V2が存在するのか、2車線隣りの隣隣接車線に隣隣接車両が存在するのかについて、区別が付かなくなってしまうためである。
以上のように、距離d1〜距離d4が決定され、これにより検出領域A1,A2の位置、大きさ及び形状が決定される。具体的に説明すると、距離d1により、台形をなす検出領域A1,A2の上辺b1の位置が決定される。距離d2により、上辺b1の始点位置C1が決定される。距離d3により、上辺b1の終点位置C2が決定される。カメラ10から始点位置C1に向かって伸びる直線L3により、台形をなす検出領域A1,A2の側辺b2が決定される。同様に、カメラ10から終点位置C2に向かって伸びる直線L4により、台形をなす検出領域A1,A2の側辺b3が決定される。距離d4により、台形をなす検出領域A1,A2の下辺b4の位置が決定される。このように、各辺b1〜b4により囲まれる領域が検出領域A1,A2とされる。この検出領域A1,A2は、図21(b)に示すように、自車両V1から後側方における実空間上では真四角(長方形)となる。
図20に戻り、視点変換部31は、カメラ10による撮像にて得られた所定領域の撮像画像データを入力する。視点変換部31は、入力した撮像画像データに対して、鳥瞰視される状態の鳥瞰画像データに視点変換処理を行う。鳥瞰視される状態とは、上空から例えば鉛直下向き(又は、やや斜め下向き)に見下ろす仮想カメラの視点から見た状態である。この視点変換処理は、例えば特開2008−219063号公報に記載された技術によって実現することができる。
輝度差算出部36は、鳥瞰視画像に含まれる立体物のエッジを検出するために、視点変換部31により視点変換された鳥瞰視画像データに対して、輝度差の算出を行う。輝度差算出部36は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の2つの画素間の輝度差を算出する。輝度差算出部36は、実空間における鉛直方向に伸びる鉛直仮想線を1本だけ設定する手法と、鉛直仮想線を2本設定する手法との何れかによって輝度差を算出することができる。
ここでは、鉛直仮想線を2本設定する具体的な手法について説明する。輝度差算出部36は、視点変換された鳥瞰視画像に対して、実空間で鉛直方向に伸びる線分に該当する第1鉛直仮想線と、第1鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第2鉛直仮想線とを設定する。輝度差算出部36は、第1鉛直仮想線上の点と第2鉛直仮想線上の点との輝度差を、第1鉛直仮想線及び第2鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部36の動作について詳細に説明する。
輝度差算出部36は、図22(a)に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域A1を通過する第1鉛直仮想線La(以下、注目線Laという)を設定する。また、輝度差算出部36は、注目線Laと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域A1を通過する第2鉛直仮想線Lr(以下、参照線Lrという)を設定する。ここで参照線Lrは、実空間における所定距離だけ注目線Laから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰視画像においてはカメラ10の位置Psから放射状に広がる線となる。この放射状に広がる線は、鳥瞰視に変換した際に立体物が倒れ込む方向に沿う線である。
輝度差算出部36は、注目線La上に注目点Pa(第1鉛直仮想線上の点)を設定する。また、輝度差算出部36は、参照線Lr上に参照点Pr(第2鉛直板想線上の点)を設定する。これら注目線La、注目点Pa、参照線Lr、参照点Prは、実空間上において図22(b)に示す関係となる。図22(b)から明らかなように、注目線La及び参照線Lrは、実空間上において鉛直方向に伸びた線であり、注目点Paと参照点Prとは、実空間上において略同じ高さに設定される点である。なお、注目点Paと参照点Prとは必ずしも厳密に同じ高さである必要はなく、注目点Paと参照点Prとが同じ高さとみなせる程度の誤差は許容される。
輝度差算出部36は、注目点Paと参照点Prとの輝度差を求める。仮に、注目点Paと参照点Prとの輝度差が大きいと、注目点Paと参照点Prとの間にエッジが存在すると考えられる。特に、第2実施形態では、検出領域A1,A2に存在する立体物を検出するために、鳥瞰視画像に対して実空間において鉛直方向に伸びる線分として鉛直仮想線を設定しているため、注目線Laと参照線Lrとの輝度差が高い場合には、注目線Laの設定箇所に立体物のエッジがある可能性が高い。このため、図20に示すエッジ線検出部37は、注目点Paと参照点Prとの輝度差に基づいてエッジ線を検出する。
この点をより詳細に説明する。図23は、輝度差算出部36の詳細動作を示す図であり、図23(a)は鳥瞰視された状態の鳥瞰視画像を示し、図23(b)は、図23(a)に示した鳥瞰視画像の一部B1を拡大した図である。なお、図23についても検出領域A1のみを図示して説明するが、検出領域A2についても同様の手順で輝度差を算出する。
カメラ10が撮像した撮像画像内に隣接車両V2が映っていた場合に、図23(a)に示すように、鳥瞰視画像内の検出領域A1に隣接車両V2が現れる。図23(b)に図23(a)中の領域B1の拡大図を示すように、鳥瞰視画像上において、隣接車両V2のタイヤのゴム部分上に注目線Laが設定されていたとする。この状態において、輝度差算出部36は、先ず参照線Lrを設定する。参照線Lrは、注目線Laから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る立体物検出装置1aにおいて、参照線Lrは、注目線Laから実空間上において10cmだけ離れた位置に設定される。これにより、参照線Lrは、鳥瞰視画像上において、例えば隣接車両V2のタイヤのゴムから10cm相当だけ離れた隣接車両V2のタイヤのホイール上に設定される。
次に、輝度差算出部36は、注目線La上に複数の注目点Pa1〜PaNを設定する。図23(b)においては、説明の便宜上、6つの注目点Pa1〜Pa6(以下、任意の点を示す場合には単に注目点Paiという)を設定している。なお、注目線La上に設定する注目点Paの数は任意でよい。以下の説明では、N個の注目点Paが注目線La上に設定されたものとして説明する。
次に、輝度差算出部36は、実空間上において各注目点Pa1〜PaNと同じ高さとなるように各参照点Pr1〜PrNを設定する。そして、輝度差算出部36は、同じ高さ同士の注目点Paと参照点Prとの輝度差を算出する。これにより、輝度差算出部36は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置(1〜N)ごとに、2つの画素の輝度差を算出する。輝度差算出部36は、例えば第1注目点Pa1とは、第1参照点Pr1との間で輝度差を算出し、第2注目点Pa2とは、第2参照点Pr2との間で輝度差を算出することとなる。これにより、輝度差算出部36は、注目線La及び参照線Lrに沿って、連続的に輝度差を求める。すなわち、輝度差算出部36は、第3〜第N注目点Pa3〜PaNと第3〜第N参照点Pr3〜PrNとの輝度差を順次求めていくこととなる。
輝度差算出部36は、検出領域A1内において注目線Laをずらしながら、上記の参照線Lrの設定、注目点Pa及び参照点Prの設定、輝度差の算出といった処理を繰り返し実行する。すなわち、輝度差算出部36は、注目線La及び参照線Lrのそれぞれを、実空間上において接地線L1の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部36は、例えば、前回処理において参照線Lrとなっていた線を注目線Laに設定し、この注目線Laに対して参照線Lrを設定して、順次輝度差を求めていくことになる。
このように、第2実施形態では、実空間上で略同じ高さとなる注目線La上の注目点Paと参照線Lr上の参照点Prとから輝度差を求めることで、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。また、実空間において鉛直方向に伸びる鉛直仮想線同士の輝度比較を行うために、鳥瞰視画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはなく、立体物の検出精度を向上させることができる。
図20に戻り、エッジ線検出部37は、輝度差算出部36により算出された連続的な輝度差から、エッジ線を検出する。例えば、図23(b)に示す場合、第1注目点Pa1と第1参照点Pr1とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第2〜第6注目点Pa2〜Pa6はタイヤのゴム部分に位置し、第2〜第6参照点Pr2〜Pr6はタイヤのホイール部分に位置する。したがって、第2〜第6注目点Pa2〜Pa6と第2〜第6参照点Pr2〜Pr6との輝度差は大きくなる。このため、エッジ線検出部37は、輝度差が大きい第2〜第6注目点Pa2〜Pa6と第2〜第6参照点Pr2〜Pr6との間にエッジ線が存在することを検出することができる。
具体的には、エッジ線検出部37は、エッジ線を検出するにあたり、先ず下記の数式2に従って、i番目の注目点Pai(座標(xi,yi))とi番目の参照点Pri(座標(xi’,yi’))との輝度差から、i番目の注目点Paiに属性付けを行う。
[数2]
I(xi,yi)>I(xi’,yi’)+tのとき
s(xi,yi)=1
I(xi,yi)<I(xi’,yi’)−tのとき
s(xi,yi)=−1
上記以外のとき
s(xi,yi)=0
上記数式2において、tは所定の閾値を示し、I(xi,yi)はi番目の注目点Paiの輝度値を示し、I(xi’,yi’)はi番目の参照点Priの輝度値を示す。上記数式2によれば、注目点Paiの輝度値が、参照点Priに閾値tを加えた輝度値よりも高い場合には、当該注目点Paiの属性s(xi,yi)は‘1’となる。一方、注目点Paiの輝度値が、参照点Priから輝度閾値tを減じた輝度値よりも低い場合には、当該注目点Paiの属性s(xi,yi)は‘−1’となる。注目点Paiの輝度値と参照点Priの輝度値とがそれ以外の関係である場合には、注目点Paiの属性s(xi,yi)は‘0’となる。
次にエッジ線検出部37は、下記数式3に基づいて、注目線Laに沿った属性sの連続性c(xi,yi)から、注目線Laがエッジ線であるか否かを判定する。
[数3]
s(xi,yi)=s(xi+1,yi+1)のとき(且つ0=0を除く)、
c(xi,yi)=1
上記以外のとき、
c(xi,yi)=0
注目点Paiの属性s(xi,yi)と隣接する注目点Pai+1の属性s(xi+1,yi+1)とが同じである場合には、連続性c(xi,yi)は‘1’となる。注目点Paiの属性s(xi,yi)と隣接する注目点Pai+1の属性s(xi+1,yi+1)とが同じではない場合には、連続性c(xi,yi)は‘0’となる。
次に、エッジ線検出部37は、注目線La上の全ての注目点Paの連続性cについて総和を求める。エッジ線検出部37は、求めた連続性cの総和を注目点Paの数Nで割ることにより、連続性cを正規化する。そして、エッジ線検出部37は、正規化した値が閾値θを超えた場合に、注目線Laをエッジ線と判断する。なお、閾値θは、予め実験等によって設定された値である。
すなわち、エッジ線検出部37は、下記数式4に基づいて注目線Laがエッジ線であるか否かを判断する。そして、エッジ線検出部37は、検出領域A1上に描かれた注目線Laの全てについてエッジ線であるか否かを判断する。
[数4]
Σc(xi,yi)/N>θ
このように、第2実施形態では、注目線La上の注目点Paと参照線Lr上の参照点Prとの輝度差に基づいて注目点Paに属性付けを行い、注目線Laに沿った属性の連続性cに基づいて当該注目線Laがエッジ線であるかを判断するので、輝度の高い領域と輝度の低い領域との境界をエッジ線として検出し、人間の自然な感覚に沿ったエッジ検出を行うことができる。この効果について詳細に説明する。図24は、エッジ線検出部37の処理を説明する画像例を示す図である。この画像例は、輝度の高い領域と輝度の低い領域とが繰り返される縞模様を示す第1縞模様101と、輝度の低い領域と輝度の高い領域とが繰り返される縞模様を示す第2縞模様102とが隣接した画像である。また、この画像例は、第1縞模様101の輝度が高い領域と第2縞模様102の輝度の低い領域とが隣接すると共に、第1縞模様101の輝度が低い領域と第2縞模様102の輝度が高い領域とが隣接している。この第1縞模様101と第2縞模様102との境界に位置する部位103は、人間の感覚によってはエッジとは知覚されない傾向にある。
これに対し、輝度の低い領域と輝度が高い領域とが隣接しているために、輝度差のみでエッジを検出すると、当該部位103はエッジとして認識されてしまう。しかし、エッジ線検出部37は、部位103における輝度差に加えて、当該輝度差の属性に連続性がある場合にのみ部位103をエッジ線として判定するので、エッジ線検出部37は、人間の感覚としてエッジ線として認識しない部位103をエッジ線として認識してしまう誤判定を抑制でき、人間の感覚に沿ったエッジ検出を行うことができる。
図20に戻り、立体物検出部33aは、エッジ線検出部37により検出されたエッジ線の量に基づいて立体物を検出する。上述したように、本実施形態に係る立体物検出装置1aは、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域A1,A2に立体物が存在する可能性が高いということである。このため、立体物検出部33aは、エッジ線検出部37により検出されたエッジ線の量に基づいて立体物を検出する。具体的には、立体物検出部33aは、エッジ線検出部37により検出されたエッジ線の量が、所定の閾値β以上であるか否かを判断し、エッジ線の量が所定の閾値β以上である場合には、エッジ線検出部37により検出されたエッジ線は、立体物のエッジ線であるものと判断し、これにより、エッジ線に基づく立体物を隣接車両V2として検出する。
このように、エッジ線は、所定輝度差を示す画素の分布情報の一態様であり、本実施形態における「画素の分布情報」は、撮像画像を鳥瞰視画像に視点変換した際における立体物が倒れ込む方向に沿って検出される「輝度差が所定閾値以上の画素」の分布の状態を示す情報と位置付けることができる。つまり、立体物検出部33aは、視点変換部31により得られた鳥瞰視画像において、鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って輝度差が閾値t以上の画素の分布情報を検出し、立体物が倒れこむ方向における画素の分布の度合い(エッジ線の量)が所定閾値β以上である場合に、画素の分布情報(エッジ線)に基づいて、立体物を検出する。
なお、第2実施形態において、エッジ線に基づいて隣接車両を検出するための閾値βは、検出基準設定部35aにより設定される。第2実施形態において、検出基準設定部35aは、第1実施形態と同様に、図20に示す確信度判定部34により検出された確信度に基づいて、カメラ10からの後方距離に応じて設定した第3の閾値β、および、カメラ10と光源との位置関係に応じて設定された第4の閾値βのいずれか一方を、エッジ線に基づいて隣接車両を検出するための閾値βとして設定する。
すなわち、検出基準設定部35aは、確信度判定部34により判定された確信度が所定値以上であるか否かを判断し、確信度が所定値未満である場合には、カメラ10からの後方距離に応じて設定した第3の閾値βを、エッジ線に基づいて隣接車両を検出するための閾値βとして設定し、一方、確信度が所定値以上である場合には、カメラ10と光源との位置関係に応じて設定された第4の閾値βを、エッジ線に基づいて隣接車両を検出するための閾値βとして設定する。
なお、第2実施形態において、確信度判定部34は、第1実施形態と同様に、検出した光源の数、光源の位置、および光源の状態の時間変化に基づいて、検出した光源が隣隣接車両のヘッドライトである確信度を総合的に判定する。このように、光源の数、光源の位置、および光源の状態の時間変化を総合的に判断することで、検出した光源が隣隣接車両のヘッドライトに起因するものであるか否かを適切に判定することができる。さらに、確信度判定部34は、第1実施形態と同様に、確信度を判定する際に、検出した光源の大きさを加味する構成とすることができる。
ここで、第2実施形態において、検出基準部設定部35aは、第3の閾値βを、以下のように設定する。すなわち、検出基準設定部35aは、第1実施形態と同様に、図25に示すように、検出領域A1,A2内の検出位置(たとえば、検出領域A1,A2内の注目線Laに対応する位置)における輝度が高いほど、第3の閾値βを高い値に設定する。また、検出基準設定部35aは、図26に示すように、検出領域A1,A2のうち領域R1においては、領域R2よりも、第3の閾値βのゲインを大きくすることで、検出領域A1,A2内の領域R1において、検出領域A1,A2内の領域R2と比べて、輝度に応じて設定された第3の閾値βを高い値に変更する。さらに、検出基準設定部35aは、検出領域A1,A2内の領域R1において、カメラ10からの後方距離が小さいほど(自車両に近いほど)、第3の閾値βのゲインを大きくすることで、自車両に近いほど、輝度に応じて設定された第3の閾値βを高い値に変更する。
また同様に、検出基準設定部35aは、図22に示すように、検出領域A1,A2のうち領域R3においても、検出領域A1,A2内の領域R2よりも、第3の閾値βのゲインを大きくすることで、検出領域A1,A2内の領域R3において、検出領域A1,A2内の領域R2と比べて、輝度に応じて設定された第3の閾値βを高い値に変更する。さらに、検出基準設定部35aは,検出領域A1,A2内の領域R3においては、カメラ10からの後方距離が大きいほど(自車両から遠いほど)、第3の閾値βのゲインを大きくすることで、検出領域A1,A2内の領域R3においては、自車両から遠いほど、輝度に応じて設定された第3の閾値βを高い値に変更する。
これにより、第2実施形態でも、第1実施形態と同様に、たとえば夜間に、隣隣接車両V3のヘッドライトの光が隣接車線に照射される場面において、隣隣接車両V3から照射されるヘッドライトの光の輝度が高い領域R2であっても、あるいは、隣隣接車両V3から照射されるヘッドライトの光の輝度が低い領域R1、R3であっても、ヘッドライトの光の像を、隣接車両として誤検出してしまうことを有効に防止することができる。
また、第2実施形態において、検出基準部設定部35aは、第4の閾値βを、以下のように設定する。すなわち、検出基準設定部35aは、第1実施形態と同様に、図27に示すように、隣接車両の特徴的な部分であるタイヤホイールを検出しやすいように、検出領域A1,A2内の検出位置における輝度に応じて、所定の閾値β’が設定されている第3の閾値マップと、図28に示すように、ヘッドライト周辺において隣接車両の誤検出が生じないように、検出領域A1,A2内の検出位置における輝度に応じて、所定の閾値β”が設定されている第4の閾値マップとを有している。また、検出基準設定部35aは、第1実施形態と同様に、図29に示すように、第4の閾値マップから得られる閾値β”の重みwtを規定した制御マップを備えている。
そして、検出基準設定部35aは、第1実施形態と同様に、下記数式5に従って、第3の閾値マップにより得られた閾値β’と、第4の閾値マップにより得られた閾値β”とを、光源の位置に応じて、図29に示す制御マップで規定した閾値β”の重みwtで重み付けし、これにより、エッジ情報に基づいて隣接車両を検出するための第4の閾値βを算出する。なお、第2実施形態においても、第1実施形態と同様に、検出した光源の位置と、図29に示す制御マップの基準位置Pとを一致させて、図29の制御マップの調整が行われる。
[数5]
第4の閾値β={(1−wt)・第3の閾値マップから得られた閾値β’}+(wt・第4の閾値マップから得られた閾値β”)
このように、検出基準設定部35aは、カメラ10からの後方距離に応じて設定した第3の閾値βと、カメラ10と光源との位置関係に応じて設定された第4の閾値βとを設定可能となっている。そして、検出基準設定部35aは、確信度判定部34により判定された確信度が所定値以上であるか否かを判断し、確信度が所定値未満である場合には、第3の閾値βを、エッジ線に基づいて隣接車両を検出するための閾値βとして設定し、一方、確信度が所定値以上である場合には、第4の閾値βを、エッジ線に基づいて隣接車両を検出するための閾値βとして設定する。
また、立体物検出部33aは、立体物を検出するに先立って、エッジ線検出部37により検出されたエッジ線が正しいものであるか否かを判定する。立体物検出部33aは、エッジ線上の鳥瞰視画像のエッジ線に沿った輝度変化が所定の閾値tb以上であるか否かを判定する。エッジ線上の鳥瞰視画像の輝度変化が閾値tb以上である場合には、当該エッジ線が誤判定により検出されたものと判断する。一方、エッジ線上の鳥瞰視画像の輝度変化が閾値tb未満である場合には、当該エッジ線が正しいものと判定する。なお、この閾値tbは、実験等により予め設定された値である。
図30は、エッジ線の輝度分布を示す図であり、図30(a)は検出領域A1に立体物としての隣接車両V2が存在した場合のエッジ線及び輝度分布を示し、図30(b)は検出領域A1に立体物が存在しない場合のエッジ線及び輝度分布を示す。
図30(a)に示すように、鳥瞰視画像において隣接車両V2のタイヤゴム部分に設定された注目線Laがエッジ線であると判断されていたとする。この場合、注目線La上の鳥瞰視画像の輝度変化はなだらかなものとなる。これは、カメラ10により撮像された画像が鳥瞰視画像に視点変換されたことにより、隣接車両V2のタイヤが鳥瞰視画像内で引き延ばされたことによる。一方、図30(b)に示すように、鳥瞰視画像において路面に描かれた「50」という白色文字部分に設定された注目線Laがエッジ線であると誤判定されていたとする。この場合、注目線La上の鳥瞰視画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。
以上のような注目線La上の輝度分布の相違に基づいて、立体物検出部33aは、エッジ線が誤判定により検出されたものか否かを判定する。立体物検出部33aは、エッジ線に沿った輝度変化が所定の閾値tb以上である場合には、当該エッジ線が誤判定により検出されたものであり、当該エッジ線は、立体物に起因するものではないと判断する。これにより、路面上の「50」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい、立体物の検出精度が低下することを抑制する。一方、立体物検出部33aは、エッジ線に沿った輝度変化が所定の閾値tb未満である場合には、当該エッジ線は、立体物のエッジ線であると判断し、立体物が存在するものと判断する。
具体的には、立体物検出部33aは、下記数式6,7の何れかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記数式6は、注目線La上のi番目の輝度値I(xi,yi)と、隣接するi+1番目の輝度値I(xi+1,yi+1)との差分の二乗の合計値によって輝度分布を評価する。また、下記数式7は、注目線La上のi番目の輝度値I(xi,yi)と、隣接するi+1番目の輝度値I(xi+1,yi+1)との差分の絶対値の合計値よって輝度分布を評価する。
[数6]
鉛直相当方向の評価値=Σ[{I(xi,yi)−I(xi+1,yi+1)}
[数7]
鉛直相当方向の評価値=Σ|I(xi,yi)−I(xi+1,yi+1)|
なお、数式7に限らず、下記数式8のように、閾値t2を用いて隣接する輝度値の属性bを二値化して、当該二値化した属性bを全ての注目点Paについて総和してもよい。
[数8]
鉛直相当方向の評価値=Σb(xi,yi)
但し、|I(xi,yi)−I(xi+1,yi+1)|>t2のとき、
b(xi,yi)=1
上記以外のとき、
b(xi,yi)=0
注目点Paiの輝度値と参照点Priの輝度値との輝度差の絶対値が閾値t2よりも大きい場合、当該注目点Pa(xi,yi)の属性b(xi,yi)は‘1’となる。それ以外の関係である場合には、注目点Paiの属性b(xi,yi)は‘0’となる。この閾値t2は、注目線Laが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、立体物検出部33aは、注目線La上の全注目点Paについての属性bを総和して、鉛直相当方向の評価値を求めることで、エッジ線が立体物に起因するものであり、立体物が存在するか否かを判定する。
次に、第2実施形態に係る隣接車両検出方法について説明する。図31は、本実施形態に係る隣接車両検出方法の詳細を示すフローチャートである。なお、図31においては、便宜上、検出領域A1を対象とする処理について説明するが、検出領域A2についても同様の処理が実行される。
まず、ステップS301では、カメラ10により、画角a及び取付位置によって特定された所定領域の撮像が行われ、計算機30aにより、カメラ10により撮像された撮像画像Pの画像データが取得される。次に視点変換部31は、ステップS302において、取得した画像データについて視点変換を行い、鳥瞰視画像データを生成する。
次に、輝度差算出部36は、ステップS303において、検出領域A1上に注目線Laを設定する。このとき、輝度差算出部36は、実空間上において鉛直方向に伸びる線に相当する線を注目線Laとして設定する。次に、輝度差算出部36は、ステップS304において、検出領域A1上に参照線Lrを設定する。このとき、輝度差算出部36は、実空間上において鉛直方向に伸びる線分に該当し、且つ、注目線Laと実空間上において所定距離離れた線を参照線Lrとして設定する。
次に、輝度差算出部36は、ステップS305において、注目線La上に複数の注目点Paを設定する。この際に、輝度差算出部36は、エッジ線検出部37によるエッジ検出時に問題とならない程度の数の注目点Paを設定する。また、輝度差算出部36は、ステップS306において、実空間上において注目点Paと参照点Prとが略同じ高さとなるように、参照点Prを設定する。これにより、注目点Paと参照点Prとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。
次に、輝度差算出部36は、ステップS307において、実空間上において同じ高さとなる注目点Paと参照点Prとの輝度差を算出する。次に、エッジ線検出部37は、上記の数式2に従って、各注目点Paの属性sを算出する。次に、エッジ線検出部37は、ステップS308において、上記の数式3に従って、各注目点Paの属性sの連続性cを算出する。次に、エッジ線検出部37は、ステップS309において、上記数式4に従って、連続性cの総和を正規化した値が閾値θより大きいか否かを判定する。そして、正規化した値が閾値θよりも大きいと判断した場合(ステップS309=Yes)、エッジ線検出部37は、ステップS310において、当該注目線Laをエッジ線として検出する。そして、処理はステップS311に移行する。正規化した値が閾値θより大きくないと判断した場合(ステップS309=No)、エッジ線検出部37は、当該注目線Laをエッジ線として検出せず、処理はステップS311に移行する。
ステップS311において、計算機30aは、検出領域A1上に設定可能な注目線Laの全てについて上記のステップS303〜ステップS310の処理を実行したか否かを判断する。全ての注目線Laについて上記処理をしていないと判断した場合(ステップS311=No)、ステップS303に処理を戻して、新たに注目線Laを設定して、ステップS311までの処理を繰り返す。一方、全ての注目線Laについて上記処理をしたと判断した場合(ステップS311=Yes)、処理はステップS312に移行する。
ステップS312において、立体物検出部33aは、ステップS310において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。立体物検出部33aは、上記数式6,7,8の何れかの式に従って、エッジ線の輝度変化を算出する。次に立体物検出部33aは、ステップS313において、エッジ線のうち、輝度変化が所定の閾値tb以上であるエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域A1に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値tbとは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。一方、立体物検出部33aは、エッジ線のうち、輝度変化が所定の閾値tb未満であるエッジ線を、立体物のエッジ線と判断し、これにより、隣接車両に存在する立体物を検出する。
次いで、ステップS314では、検出基準設定部35aにより、ステップS313で検出した立体物が隣接車両であるか否かを判定するための閾値βの設定が行われる。具体的には、検出基準設定部35aは、第1実施形態のステップS105と同様に、自車両後側方の光源を検出し、検出された光源が、自車両後側方の隣隣接車両のヘッドライトであることの確からしさを示す確信度を判定する。そして、検出基準設定部35a、確信度が所定値以上である場合には、第3の閾値βを、エッジ線に基づいて隣接車両を検出するための閾値βとして設定し、一方、確信度が所定値未満である場合には、第4の閾値βを、エッジ線に基づいて隣接車両を検出するための閾値βとして設定する。
ステップS315では、立体物検出部33aにより、エッジ線の量が、ステップS314で設定した閾値β以上であるか否かの判断が行われる。エッジ線の量が閾値β以上であると判定された場合(ステップS315=Yes)は、立体物検出部33aは、ステップS316において、検出領域A1内に隣接車両が存在すると判定する。一方、エッジ線の量が閾値β以上ではないと判定された場合(ステップS315=No)、立体物検出部33aは、ステップS317において、検出領域A1内に隣接車両が存在しないと判定する。その後、図31に示す処理を終了する。
以上のように、第2実施形態では、立体物のエッジ情報を検出し、検出したエッジ情報に基づいて隣接車両の検出を行う。具体的には、鳥瞰視画像で検出したエッジ線の量が、カメラ10からの後方距離、あるいは、カメラ10と光源との位置関係に応じて設定された所定の閾値β以上であるか否かを判断し、検出したエッジ線の量が所定の閾値β以上である場合には、当該エッジ線を有する立体物を隣接車両と判断し、隣接車線に存在する隣接車両を検出する。また、第2実施形態では、エッジ情報に基づいて隣接車両を検出する際に、自車両後側方の光源を検出し、検出した光源が、隣隣接車両のヘッドライトであることの確信度を判定する。そして、確信度が所定値未満である場合には、カメラ10からの後方距離に基づいて得られる第3の閾値βを閾値βとして設定し、一方、確信度が所定値以上である場合には、カメラ10と光源との位置関係に基づいて得られる第4の閾値βを閾値βとして設定する。これにより、第2実施形態では、第1実施形態の効果に加えて、エッジ情報に基づいて隣接車両を検出する際においても、検出された光源が隣接車両のヘッドライトである場合であっても、あるいは、隣隣接車両のヘッドライトでない場合であっても、隣接車両を適切に検出することが可能となる。
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
たとえば、上述した第1実施形態では、上記式1に示すように、図10に示す第1の閾値マップから得られる閾値α’と、図11に示す第2の閾値マップから得られる閾値α”とを、図12に示す制御マップに規定された重みwtで重み付けし、第2の閾値αを算出する構成を例示したが、この構成に限定されるものではなく、たとえば、図11に示す第2の閾値マップを用いずに、下記数式9に示すように、図10に示す第1の閾値マップから得られる閾値α’を、図32に示す制御マップに規定された重みwtで重み付けして、第2の閾値αを算出する構成としてもよい。
[数9]
第2の閾値α=(wt・第1の閾値マップから得られた閾値α’)
なお、図32に示す制御マップでは、基準位置Pにおける重りwtがx(x>1)となっており、基準位置Pより後方においては、重りwtが1となるように設定されている。さらに、図32に示す制御マップでは、図12に示す制御マップと同様に、基準位置Pの前方においては、基準位置Pの後方よりも、重りwtが高い値で推移している。そのため、この場合でも、光源の位置と基準位置Pとを対応させた場合に、ヘッドライト周辺での隣接車両の誤検出を有効に防止しつつ、ヘッドライト(光源)より後方に存在する隣接車線のタイヤホイールを適切に検出することができ、その結果、隣接車線を走行する隣接車両を適切に検出することができる。
また、上述した第1実施形態においては、鳥瞰視画像PB,PBt−1の画素値の差を絶対値化し、当該絶対値が所定の閾値th以上であるときに、差分画像PDの画素値を「1」とし、絶対値が所定の閾値th未満であるときに、差分画像PDの画素値を「0」とする構成を例示したが、この閾値thを、カメラ10からの後方距離、あるいは、カメラ10と光源との位置関係に応じて変更する構成としてもよい。
具体的には、検出基準設定部35は、確信度が所定値未満である場合には、たとえば図8左図に示すように、検出領域A1,A2内の領域R1および領域R3において、検出領域A1,A2内の領域R2よりも、閾値thのゲインを大きくし、一方、確信度が所定値以上である場合には、たとえば図13(A)右図に示すように、検出領域A1,A2のうち、光源より前方の領域Rfにおいては、光源より後方の領域Rrよりも、閾値thのゲインを大きくする構成としてもよい。これにより、たとえば、隣隣接車両のヘッドライトが照射された場合に、隣隣接車両のヘッドライトの光が差分波形DWとして検出され難くなり、隣隣接車両のヘッドライトの光を、隣接車両として誤検出してしまうことを有効に防止することができる。
さらに、上述した第1実施形態では、位置合わせ部32により、差分画像PDの画素値を「0」または「1」で検出し、この差分画像PDに基づいて、立体物検出部33により、差分画像PDの画素値が「1」の画素を、差分画素DPとしてカウントすることで、立体物を検出する構成を例示したが、この構成に限定されるものではなく、たとえば、位置合わせ部32により、差分画像PDの画素値を、鳥瞰視画像PB,PBt−1の画素値の差を絶対値化した値で検出し、立体物検出部33により、所定の差分閾値を超える画素を、差分画素DPとしてカウントする構成としてもよい。
また、上述した第1実施形態では、撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像PDを生成し、生成した差分画像PDを倒れ込み方向(撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向)に沿って評価して差分波形DWを生成する構成を例示したが、これに限定されるものではなく、以下のような構成とすることもできる。たとえば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像した画像相当に変換し、この画像と現時刻の画像とで差分画像PDを生成し、生成した差分画像PDを倒れ込み方向に相当する方向(すなわち、倒れ込み方向を撮像画像上の方向に変換した方向)に沿って評価することによって差分波形DWを生成する構成としてもよい。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像PDを生成し、差分画像PDを鳥瞰図に変換した際の立体物の倒れ込み方向に沿って評価できれば、必ずしも明確に鳥瞰図を生成しなくともよい。
さらに、上述した第1実施形態では、自車両V1の車速を速度センサ20からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定する構成としてもよい。この場合、車速センサ20が不要となり、構成の簡素化を図ることができる。
加えて、上述した第1実施形態では、確信度が所定値以上である場合には、隣接車両のタイヤホイールを適切に検出するために、第1の閾値マップから得られる閾値α’、第2の閾値マップから得られる閾値α”を、図12に示す制御マップに規定されている重みwtで重み付けすることで、光源の位置よりも後方において閾値αを低くする構成を例示したが、この構成に加えて、たとえば、カメラ10の中心位置から光源の重心位置までの車幅方向における距離Lを算出し、当該距離Lに応じて、光源に対応する基準閾値Pよりも後方における閾値αを変更する構成としてもよい。たとえば、カメラ10の中心位置から光源の重心までの車幅方向における距離Lが大きいほど、検出した光源は、自車線から遠い隣隣接車線を走行する隣隣接車両のヘッドライトである可能性が高いものと判断して、光源の後方における閾値αを高くする構成としてもよい。これにより、ヘッドライト(光源)の後方においても、隣隣接車両のヘッドライトの光による隣接車両の誤検出を有効に防止することができる。
また、上述した第2実施形態においては、注目点Paiと参照点Priの輝度差が閾値t以上である場合に、注目点Paiの属性sを「1」または「−1」に設定し、注目点Paiの属性s(xi,yi)と隣接する注目点Pai+1の属性s(xi+1,yi+1)とが所定の閾値θ以上連続して「1」または「−1」である注目線Laを、エッジ線として検出する構成を例示したが、この構成に加えて、この閾値t、閾値θを、カメラ10からの後方距離、あるいは、あるいは、カメラ10と光源との位置関係に応じて変更する構成としてもよい。
具体的には、検出基準設定部35は、確信度が所定値未満である場合には、たとえば図8左図に示すように、検出領域A1,A2内の領域R1および領域R3において、検出領域A1,A2内の領域R2よりも、閾値t、閾値θのゲインを大きくし、一方、確信度が所定値以上である場合には、たとえば図13(A)右図に示すように、検出領域A1,A2のうち、光源より前方の領域Rfにおいては、光源より後方の領域Rrよりも、閾値t、閾値θのゲインを大きくする構成としてもよい。これにより、検出された光源が隣隣接車両のヘッドライトである場合に、隣隣接車両のヘッドライトの光がエッジ線として検出され難くなり、隣隣接車両のヘッドライトの光の像を隣接車両として誤検出してしまうことを有効に防止することができる。
加えて、上述した第2実施形態では、上記数式6,7,8の何れかの式に従って、エッジ線の輝度変化を算出し、エッジ線のうち、輝度変化が所定の閾値tb以上のエッジ線を除外する構成を例示しているが、この構成に加えて、この閾値tbを、検出された光源の位置に応じて変更する構成としてもよい。
具体的には、検出基準設定部35は、確信度が所定値未満である場合には、たとえば図8左図に示すように、検出領域A1,A2内の領域R1および領域R3において、検出領域A1,A2内の領域R2よりも、閾値tbのゲインを大きくし、一方、確信度が所定値以上である場合には、たとえば図13(A)右図に示すように、検出領域A1,A2のうち、光源より前方の領域Rfにおいては、光源より後方の領域Rrよりも、閾値tbのゲインを大きくする構成としてもよい。この場合も、検出された光源が隣隣接車両のヘッドライトである場合に、隣隣接車両のヘッドライトの光がエッジ線として検出され難くなり、隣隣接車両のヘッドライトの光の像を隣接車両として誤検出してしまうことを有効に防止することができる。
なお、上述した実施形態のカメラ10は本発明の撮像手段に相当し、視点変換部31は本発明の画像変換手段に相当し、位置合わせ部32、立体物検出部33,33a、および輝度差算出部36、エッジ線検出部37は本発明の立体物検出手段に相当し、検出基準設定部35,35aは本発明の光源検出部および立体物検出制御手段に相当し、確信度判定部34は本発明の確信度判定手段に相当する。
1,1a…立体物検出装置
10…カメラ
20…車速センサ
30,30a…計算機
31…視点変換部
32…位置合わせ部
33,33a…立体物検出部
34…確信度判定部
35,35a…検出基準設定部
36…輝度差算出部
37…エッジ線検出部
a…画角
A1,A2…検出領域
CP…交点
DP…差分画素
DW,DW’…差分波形
DWt1〜DW,DWm+k〜DWtn…小領域
L1,L2…接地線
La,Lb…立体物が倒れ込む方向上の線
P…撮像画像
PB…鳥瞰視画像
PD…差分画像
V1…自車両
V2…隣接車両
V3…隣隣接車両

Claims (12)

  1. 自車両後方の隣接車線を基準とする所定領域を撮像する撮像手段と、
    前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
    前記画像変換手段により得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上の、立体物が倒れこむ方向に沿った複数の線ごとに、当該線上において所定の第1閾値以上の差分を示す画素数をカウントし、前記各線と基準線との交点と前記各線上のカウント数とを対応付け、前記各交点の位置に応じて前記カウント数を座標面上にプロットすることで差分波形情報を生成し、前記所定領域内検出枠内において検出された前記差分波形情報のピーク値が所定の第2閾値以上である場合に、前記差分波形情報に基づいて隣接車線に存在する立体物を検出する立体物検出手段と、
    前記撮像手段により得られた画像に基づいて、自車両後方に存在する光源を検出する光源検出手段と、
    前記光源検出手段により検出された前記光源の態様に基づいて、前記光源が、隣接車線に隣接する隣隣接車線を走行する他車両のヘッドライトである確信度を判定する確信度判定手段と、
    前記確信度が所定値以上である場合には、前記検出枠内において前記光源と前記撮像手段とを結ぶ線よりも前方の前方領域において、前記光源と前記撮像手段とを結ぶ線よりも後方の後方領域に対して前記立体物が検出され難いように、前記第1閾値または前記第2閾値を設定し、前記確信度が所定値未満である場合には、前記検出枠内の中央側から前端あるいは後端に向かうにつれて前記立体物が検出され難いように、前記第1閾値または前記第2閾値を設定する制御手段と、を備えることを特徴とする立体物検出装置。
  2. 請求項1に記載の立体物検出装置であって、
    前記確信度判定手段は、前記光源検出手段により検出された前記光源の数を前記光源の態様として特定し、特定した前記光源の数に基づいて前記確信度を判定することを特徴とする立体物検出装置。
  3. 請求項1または2に記載の立体物検出装置であって、
    前記確信度判定手段は、前記光源検出手段により検出した前記光源の位置を前記光源の態様として特定し、特定した前記光源の位置に基づいて前記確信度を判定することを特徴とする立体物検出装置。
  4. 請求項1〜3のいずれかに記載の立体物検出装置であって、
    前記確信度判定手段は、前記光源検出手段により検出した前記光源の大きさを前記光源の態様として特定し、特定した前記光源の大きさに基づいて、前記確信度を判定することを特徴とする立体物検出装置。
  5. 請求項1〜4のいずれかに記載の立体物検出装置であって、
    前記確信度判定手段は、前記光源検出手段により検出した前記光源の状態の時間変化を前記光源の態様として特定し、特定した前記光源の状態の時間変化に基づいて、前記確信度を判定することを特徴とする立体物検出装置。
  6. 請求項1〜5のいずれかに記載の立体物検出装置であって、
    前記制御手段は、前記確信度が所定値未満である場合には、前記検出枠の前端を含み、前記撮像手段からの後方距離が所定の第1距離未満である前端部と、前記検出枠の後端を含み、前記撮像手段からの後方距離が前記第1距離よりも大きい第2距離以上である後端部と、前記前端部と前記後端部との間に位置し、前記撮像手段からの後方距離が前記第1距離以上かつ前記第2距離未満である中央部とを特定し、前記中央部よりも前記前端部および前記後端部において前記立体物が検出され難いように、前記第1閾値または前記第2閾値を設定することを特徴とする立体物検出装置。
  7. 自車両後方の隣接車線を含む所定領域を撮像する撮像手段と、
    前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
    前記画像変換手段により得られた鳥瞰視画像のうち実空間において水平方向の位置に対応する他の画素との輝度差が所定の第1閾値以上となる画素に関する情報をエッジ情報として検出し、前記所定領域内検出枠内において検出された前記エッジ情報のうち、立体物が倒れこむ方向に連続するエッジ情報の量所定の第2閾値以上である場合に、前記エッジ情報に基づいて隣接車線に存在する立体物を検出する立体物検出手段と、
    前記撮像手段により得られた画像に基づいて、自車両後方に存在する光源を検出する光源検出手段と、
    前記光源検出手段により検出された前記光源の態様に基づいて、前記光源が、隣接車線に隣接する隣隣接車線を走行する他車両のヘッドライトである確信度を判定する確信度判定手段と、
    前記確信度が所定値以上である場合には、前記検出枠内において前記光源と前記撮像手段とを結ぶ線よりも前方の前方領域において、前記光源と前記撮像手段とを結ぶ線よりも後方の後方領域に対して前記立体物が検出され難いように、前記第1閾値または前記第2閾値を設定し、前記確信度が所定値未満である場合には、前記検出枠内の中央側から前端あるいは後端に向かうにつれて前記立体物が検出され難いように、前記第1閾値または前記第2閾値を設定する制御手段と、を備えることを特徴とする立体物検出装置。
  8. 請求項7に記載の立体物検出装置であって、
    前記確信度判定手段は、前記光源検出手段により検出した前記光源の数を前記光源の態様として特定し、特定した前記光源の数に基づいて、前記確信度を判定することを特徴とする立体物検出装置。
  9. 請求項7または8に記載の立体物検出装置であって、
    前記確信度判定手段は、前記光源検出手段により検出した前記光源の位置を前記光源の態様として特定し、特定した前記光源の位置に基づいて、前記確信度を判定することを特徴とする立体物検出装置。
  10. 請求項7〜9のいずれかに記載の立体物検出装置であって、
    前記確信度判定手段は、前記光源検出手段により検出した前記光源の大きさを前記光源の態様として特定し、特定した前記光源の大きさに基づいて、前記確信度を判定することを特徴とする立体物検出装置。
  11. 請求項7〜10いずれかに記載の立体物検出装置であって、
    前記確信度判定手段は、前記光源検出手段により検出した前記光源の状態の時間変化を前記光源の態様として特定し、特定した前記光源の状態の時間変化に基づいて、前記確信度を判定することを特徴とする立体物検出装置。
  12. 請求項7〜11のいずれかに記載の立体物検出装置であって、
    前記制御手段は、前記確信度が所定値未満である場合には、前記検出枠の前端を含み、前記撮像手段からの後方距離が所定の第1距離未満である前端部と、前記検出枠の後端を含み、前記撮像手段からの後方距離が前記第1距離よりも大きい第2距離以上である後端部と、前記前端部と前記後端部との間に位置し、前記撮像手段からの後方距離が前記第1距離以上かつ前記第2距離未満である中央部とを特定し、前記中央部よりも前記前端部および前記後端部において前記立体物が検出され難いように、前記第1閾値または前記第2閾値を設定することを特徴とする立体物検出装置。
JP2014502225A 2012-03-01 2013-02-26 立体物検出装置 Active JP5804180B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014502225A JP5804180B2 (ja) 2012-03-01 2013-02-26 立体物検出装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012045356 2012-03-01
JP2012045356 2012-03-01
PCT/JP2013/054857 WO2013129356A1 (ja) 2012-03-01 2013-02-26 立体物検出装置
JP2014502225A JP5804180B2 (ja) 2012-03-01 2013-02-26 立体物検出装置

Publications (2)

Publication Number Publication Date
JPWO2013129356A1 JPWO2013129356A1 (ja) 2015-07-30
JP5804180B2 true JP5804180B2 (ja) 2015-11-04

Family

ID=49082553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014502225A Active JP5804180B2 (ja) 2012-03-01 2013-02-26 立体物検出装置

Country Status (8)

Country Link
US (1) US9135511B2 (ja)
EP (1) EP2821958A4 (ja)
JP (1) JP5804180B2 (ja)
CN (1) CN104115188B (ja)
BR (1) BR112014020404B1 (ja)
MX (1) MX350354B (ja)
RU (1) RU2616538C2 (ja)
WO (1) WO2013129356A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180045264A (ko) * 2016-10-25 2018-05-04 주식회사 와이즈오토모티브 차량과 인접 차로의 객체 간 거리 계산 장치 및 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2608149B1 (en) * 2010-08-19 2021-04-21 Nissan Motor Co., Ltd. Three-dimensional object detection device and three-dimensional object detection method
JP6177632B2 (ja) * 2013-09-11 2017-08-09 アルパイン株式会社 車両位置検出装置および車両後側方警報装置
JP6426455B2 (ja) * 2014-12-09 2018-11-21 クラリオン株式会社 接近車両検出装置
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
DE102015004330A1 (de) * 2015-04-09 2016-10-13 Eisenmann Se Lage- und Positionserkennung für eine Fördereinrichtung
MY188579A (en) * 2015-10-22 2021-12-22 Nissan Motor Parking space line detection method and device
WO2017184694A1 (en) * 2016-04-21 2017-10-26 Magic Leap, Inc. Visual aura around field of view
WO2018002932A1 (en) * 2016-06-30 2018-01-04 Ariel Scientific Innovations Ltd. Lane level accuracy using vision of roadway lights and particle filter
FR3056807B1 (fr) * 2016-09-28 2020-08-28 Valeo Schalter & Sensoren Gmbh Dispositif d'aide a la conduite d'un vehicule
US10288410B2 (en) * 2016-11-10 2019-05-14 The Boeing Company Method and system for identifying wire contact insertion holes of a connector
US11493914B2 (en) * 2020-06-26 2022-11-08 Intel Corporation Technology to handle ambiguity in automated control systems
WO2023133282A1 (en) * 2022-01-07 2023-07-13 Ouster, Inc. Logic for controlling histogramming of measurements of lidar sensors

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08193831A (ja) * 1995-01-13 1996-07-30 Nissan Motor Co Ltd 接近車両検出装置
DE10253509A1 (de) * 2002-11-16 2004-06-17 Robert Bosch Gmbh Verfahren und Vorrichtung zur Warnung des Fahrers eines Kraftfahrzeuges
JP4402400B2 (ja) * 2003-08-28 2010-01-20 オリンパス株式会社 物体認識装置
US7576767B2 (en) * 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
JP4906437B2 (ja) * 2006-08-22 2012-03-28 アルパイン株式会社 周辺監視システム
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2008227646A (ja) 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP5355209B2 (ja) * 2009-05-01 2013-11-27 アルパイン株式会社 ナビゲーション装置、自車の走行車線の判定方法および判定プログラム
JP5453048B2 (ja) * 2009-10-22 2014-03-26 富士重工業株式会社 車両の運転支援制御装置
RU2533645C2 (ru) * 2010-05-27 2014-11-20 Сергей Анатольевич Королев Интеллектуальная транспортная система и способ её использования
JP5251927B2 (ja) * 2010-06-21 2013-07-31 日産自動車株式会社 移動距離検出装置及び移動距離検出方法
JP5809785B2 (ja) 2010-07-30 2015-11-11 日立オートモティブシステムズ株式会社 車両用外界認識装置およびそれを用いた配光制御システム
US8888304B2 (en) * 2012-05-10 2014-11-18 Christopher V. Beckman Optical control techniques

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180045264A (ko) * 2016-10-25 2018-05-04 주식회사 와이즈오토모티브 차량과 인접 차로의 객체 간 거리 계산 장치 및 방법
KR101906999B1 (ko) * 2016-10-25 2018-12-05 주식회사 와이즈오토모티브 차량과 인접 차로의 객체 간 거리 계산 장치 및 방법

Also Published As

Publication number Publication date
US20140363050A1 (en) 2014-12-11
MX2014010245A (es) 2014-11-12
US9135511B2 (en) 2015-09-15
MX350354B (es) 2017-09-04
JPWO2013129356A1 (ja) 2015-07-30
CN104115188B (zh) 2017-03-08
BR112014020404B1 (pt) 2021-08-31
RU2616538C2 (ru) 2017-04-17
CN104115188A (zh) 2014-10-22
EP2821958A1 (en) 2015-01-07
WO2013129356A1 (ja) 2013-09-06
RU2014139609A (ru) 2016-04-20
BR112014020404A2 (pt) 2021-05-25
EP2821958A4 (en) 2015-06-03

Similar Documents

Publication Publication Date Title
JP5804180B2 (ja) 立体物検出装置
JP5743020B2 (ja) 立体物検出装置
JP5787024B2 (ja) 立体物検出装置
JP5981550B2 (ja) 立体物検出装置および立体物検出方法
JP5977827B2 (ja) 立体物検出装置および立体物検出方法
JP5682735B2 (ja) 立体物検出装置
WO2013094242A1 (ja) 立体物検出装置
JP5943077B2 (ja) 立体物検出装置および立体物検出方法
JP5874831B2 (ja) 立体物検出装置
JPWO2014017600A1 (ja) 立体物検出装置および立体物検出方法
JP5682734B2 (ja) 立体物検出装置
JP5835459B2 (ja) 立体物検出装置
JP5783319B2 (ja) 立体物検出装置及び立体物検出方法
JP5871069B2 (ja) 立体物検出装置及び立体物検出方法
JP5790867B2 (ja) 立体物検出装置
JP5999183B2 (ja) 立体物検出装置および立体物検出方法
JP5668891B2 (ja) 立体物検出装置
JP5768927B2 (ja) 立体物検出装置
JP2014027495A (ja) 立体物検出装置および立体物検出方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150817

R151 Written notification of patent or utility model registration

Ref document number: 5804180

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151