JPWO2013038818A1 - 立体物検出装置 - Google Patents
立体物検出装置 Download PDFInfo
- Publication number
- JPWO2013038818A1 JPWO2013038818A1 JP2013533564A JP2013533564A JPWO2013038818A1 JP WO2013038818 A1 JPWO2013038818 A1 JP WO2013038818A1 JP 2013533564 A JP2013533564 A JP 2013533564A JP 2013533564 A JP2013533564 A JP 2013533564A JP WO2013038818 A1 JPWO2013038818 A1 JP WO2013038818A1
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- image
- bird
- difference
- eye view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 490
- 238000011156 evaluation Methods 0.000 claims abstract description 102
- 239000007787 solid Substances 0.000 claims abstract description 40
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 183
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 167
- 244000025254 Cannabis sativa Species 0.000 claims description 133
- 238000012545 processing Methods 0.000 claims description 57
- 238000006243 chemical reaction Methods 0.000 claims description 55
- 238000003384 imaging method Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 139
- 230000008569 process Effects 0.000 abstract description 106
- 238000004364 calculation method Methods 0.000 description 53
- 230000001788 irregular Effects 0.000 description 45
- 230000008859 change Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 28
- 230000001629 suppression Effects 0.000 description 12
- 230000035945 sensitivity Effects 0.000 description 9
- 230000003247 decreasing effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 239000013256 coordination polymer Substances 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 241000196324 Embryophyta Species 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Mechanical Engineering (AREA)
Abstract
カメラ10の車両後方の画像情報に基づいて立体物を検出する立体物検出部33,37と、立体物が検出された差分画像上において第1所定の差分を示す第1画素の第1画素数と立体物に対応し、第1所定差分よりも大きい第2所定の差分を示す第2画素の第2画素数とに基づいて算出した不規則性評価値に基づいて検出された立体物が草又は雪を含む自然物Q1であると判断する自然物判断部38と、各処理の制御を行う制御部39とを備え、制御部39は、自然物判断部38により検出された立体物が自然物Q1であると判断された場合に、検出された立体物が他車両VXであると判断されることを抑制する。
Description
本発明は、立体物検出装置に関するものである。
本出願は、2011年9月12日に出願された日本国特許出願の特願2011―198007に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
本出願は、2011年9月12日に出願された日本国特許出願の特願2011―198007に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
車両側方を撮像するカメラを備え、カメラにより撮像された画像と予め記憶されたパターンとをマッチングすることにより、路外の植え込み等の立体物を検出する検出装置が知られている(特許文献1参照)。
しかしながら、従来の技術によれば、たとえば、草などの植え込みや泥がまだらに混ざった雪などの自然の立体物を検出するためには、各種の植え込みや雪の多様なパターンを作成及び記憶しておかなければならず、判断時においてはこれら多数の各パターンを撮像画像とマッチングしなければならならず、処理負担が大きいという問題がある。しかも、路肩及び路外の植え込みなどの自然物は形状が一定になりにくいので、パターンマッチングにより正確に判断することは難しいという問題がある。
本発明が解決しようとする課題は、路肩又は路外の草・雪を含む自然物などの自然の立体物の判断精度を向上させ、併せて目的とする他車両などの人工的な立体物(非自然物)の検出精度が高い立体物検出装置を提供するとともに、路肩又は路外の草・雪を含む自然物の像を、自車両の走行車線の隣の隣接車線を走行する他車両の像として誤検出することを防止して、隣接車線を走行する他車両を高い精度で検出することができる立体物検出装置を提供することである。
本発明は、撮像画像の差分波形情報又はエッジ情報に基づいて不規則性評価値を算出し、算出された不規則性評価値が予め設定された所定の不規則性評価閾値以上であり、自然物としての不規則性が観察された場合には、検出された立体物が自車両の走行路に沿って存在する草・雪を含む自然物の像であると判断することにより、上記課題を解決する。
本発明によれば、撮像画像から算出された差分波形情報又はエッジ情報から算出した不規則性評価値が所定の不規則性評価閾値以上である場合には、画像情報に不規則性を備える草・雪を含む自然物の像が含まれていることを検出できる。この検出結果を用いることにより、車両の走行路に沿って存在する草・雪を含む自然物の像を自車両の走行車線の隣の隣接車線を走行する他車両として誤検出することを防止することができる。この結果、自車両の走行車線の隣の隣接車線を走行する他車両を、高い精度で検出する立体物検出装置を提供することができる。
第1実施形態の立体物検出装置1について説明する。
図1は、本発明の立体物検出装置1を適用した一実施の形態に係る車両の概略構成図であり、本例の立体物検出装置1は、自車両Vの運転者が運転中に注意を払うべき他車両、例えば、自車両Vが車線変更する際に接触の可能性がある他車両を障害物として検出する装置である。特に、本例の立体物検出装置1は自車両が走行する車線の隣の隣接車線(以下、単に隣接車線ともいう)を走行する他車両を検出する。また、本例の立体物検出装置1は、検出した他車両の移動距離、移動速度を算出することができる。このため、以下説明する一例は、立体物検出装置1を自車両Vに搭載し、自車両周囲において検出される立体物のうち、自車両Vが走行する車線の隣の隣接車線を走行する他車両を検出する例を示すこととする。同図に示すように、本例の立体物検出装置1は、カメラ10と、車速センサ20と、計算機30とを備える。
図1は、本発明の立体物検出装置1を適用した一実施の形態に係る車両の概略構成図であり、本例の立体物検出装置1は、自車両Vの運転者が運転中に注意を払うべき他車両、例えば、自車両Vが車線変更する際に接触の可能性がある他車両を障害物として検出する装置である。特に、本例の立体物検出装置1は自車両が走行する車線の隣の隣接車線(以下、単に隣接車線ともいう)を走行する他車両を検出する。また、本例の立体物検出装置1は、検出した他車両の移動距離、移動速度を算出することができる。このため、以下説明する一例は、立体物検出装置1を自車両Vに搭載し、自車両周囲において検出される立体物のうち、自車両Vが走行する車線の隣の隣接車線を走行する他車両を検出する例を示すこととする。同図に示すように、本例の立体物検出装置1は、カメラ10と、車速センサ20と、計算機30とを備える。
カメラ10は、図1に示すように自車両Vの後方における高さhの箇所において、光軸が水平から下向きに角度θとなるように自車両Vに取り付けられている。カメラ10は、この位置から自車両Vの周囲環境のうちの所定領域を撮像する。本実施形態において自車両Vの後方の立体物を検出するために設けられるカメラ1は一つであるが、他の用途のため、例えば車両周囲の画像を取得するための他のカメラを設けることもできる。車速センサ20は、自車両Vの走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から車速度を算出する。計算機30は、車両後方の立体物を検出するとともに、本例ではその立体物について移動距離及び移動速度を算出する。
図2は、図1の自車両Vの走行状態を示す平面図である。同図に示すように、カメラ10は、所定の画角aで車両後方側を撮像する。このとき、カメラ10の画角aは、自車両Vが走行する車線に加えて、その左右の車線についても撮像可能な画角に設定されている。撮像可能な領域には、自車両Vの後方であり、自車両Vの走行車線の左右隣の隣接車線上の検出対象領域A1,A2を含む。
図3は、図1の計算機30の詳細を示すブロック図である。なお、図3においては、接続関係を明確とするためにカメラ10、車速センサ20についても図示する。
図3に示すように、計算機30は、視点変換部31と、位置合わせ部32と、立体物検出部33と、検出領域設定部34と、スミア検出部40とを備える。本実施形態の計算部30は、差分波形情報を利用した立体物の検出ブロックに関する構成である。本実施形態の計算部30は、エッジ情報を利用した立体物の検出ブロックに関する構成とすることもできる。この場合は、図3に示す構成のうち、位置合わせ部32と、立体物検出部33から構成されるブロック構成Aを、破線で囲んだ輝度差算出部35と、エッジ線検出部36と、立体物検出部37から構成されるブロック構成Bと置き換えて構成することができる。もちろん、ブロック構成A及びブロック構成Bの両方を備え、差分波形情報を利用した立体物の検出を行うとともに、エッジ情報を利用した立体物の検出も行うことができるようにすることができる。ブロック構成A及びブロック構成Bを備える場合には、例えば明るさなどの環境要因に応じてブロック構成A又はブロック構成Bのいずれかを動作させることができる。以下、各構成について説明する。
《差分波形情報による立体物の検出》
本実施形態の立体物検出装置1は、車両後方を撮像する単眼のカメラ1により得られた画像情報に基づいて車両後方の右側隣接車線の検出領域A1又は左側隣接車線の検出領域A2に存在する立体物を検出する。検出領域設定部34は、撮像された画像情報内であって、自車両Vの後方の右側及び左側のそれぞれに検出領域A1,A2を設定する。この検出領域A2,A2の位置は特に限定されず、また、処理条件に応じて適宜に設定することができる。
本実施形態の立体物検出装置1は、車両後方を撮像する単眼のカメラ1により得られた画像情報に基づいて車両後方の右側隣接車線の検出領域A1又は左側隣接車線の検出領域A2に存在する立体物を検出する。検出領域設定部34は、撮像された画像情報内であって、自車両Vの後方の右側及び左側のそれぞれに検出領域A1,A2を設定する。この検出領域A2,A2の位置は特に限定されず、また、処理条件に応じて適宜に設定することができる。
次に、視点変換部について説明する。視点変換部31は、カメラ10による撮像にて得られた所定領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰視画像データに視点変換する。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開2008−219063号公報に記載されるようにして実行することができる。撮像画像データを鳥瞰視画像データに視点変換するのは、立体物に特有の鉛直エッジは鳥瞰視画像データへの視点変換により特定の定点を通る直線群に変換されるという原理に基づき、これを利用すれば平面物と立体物とを識別できるからである。なお、視点変換部31による画像変換処理の結果は、後述するエッジ情報による立体物の検出においても利用される。
位置合わせ部32は、視点変換部31の視点変換により得られた鳥瞰視画像データを順次入力し、入力した異なる時刻の鳥瞰視画像データの位置を合わせる。図4は、位置合わせ部32の処理の概要を説明するための図であり、(a)は自車両Vの移動状態を示す平面図、(b)は位置合わせの概要を示す画像である。
図4(a)に示すように、現時刻の自車両VがV1に位置し、一時刻前の自車両VがV2に位置していたとする。また、自車両Vの後側方向に他車両VXが位置して自車両Vと並走状態にあり、現時刻の他車両VXがV3に位置し、一時刻前の他車両VXがV4に位置していたとする。さらに、自車両Vは、一時刻で距離d移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間(例えば1制御周期)だけ過去の時刻であってもよいし、任意の時間だけ過去の時刻であってもよい。
このような状態において、現時刻における鳥瞰視画像PBtは図4(b)に示すようになる。この鳥瞰視画像PBtでは、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、位置V3にある他車両VXの位置については倒れ込みが発生する。また、一時刻前における鳥瞰視画像PBt−1についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、位置V4にある他車両VXについては倒れ込みが発生する。既述したとおり、立体物の鉛直エッジ(厳密な意味の鉛直エッジ以外にも路面から三次元空間に立ち上がったエッジを含む)は、鳥瞰視画像データへの視点変換処理によって倒れ込み方向に沿った直線群として現れるのに対し、路面上の平面画像は鉛直エッジを含まないので、視点変換してもそのような倒れ込みが生じないからである。
位置合わせ部32は、上記のような鳥瞰視画像PBt,PBt−1の位置合わせをデータ上で実行する。この際、位置合わせ部32は、一時刻前における鳥瞰視画像PBt−1をオフセットさせ、現時刻における鳥瞰視画像PBtと位置を一致させる。図4(b)の左側の画像と中央の画像は、移動距離d’だけオフセットした状態を示す。このオフセット量d’は、図4(a)に示した自車両Vの実際の移動距離dに対応する鳥瞰視画像データ上の移動量であり、車速センサ20からの信号と一時刻前から現時刻までの時間に基づいて決定される。
また、位置合わせ後において位置合わせ部32は、鳥瞰視画像PBt,PBt−1の差分をとり、差分画像PDtのデータを生成する。ここで、差分画像PDtの画素値は、鳥瞰視画像PBt,PBt−1の画素値の差を絶対値化したものでもよいし、照度環境の変化に対応するために当該絶対値が所定の閾値pを超えたときに「1」とし、超えないときに「0」としてもよい。図4(b)の右側の画像が、差分画像PDtである。
図3に戻り、立体物検出部33は、図4(b)に示す差分画像PDtのデータに基づいて立体物を検出する。この際、本例の立体物検出部33は、実空間上における立体物の移動距離についても算出する。立体物の検出及び移動距離の算出にあたり、立体物検出部33は、まず差分波形を生成する。なお、立体物の時間あたりの移動距離は、立体物の移動速度の算出に用いられる。そして、立体物の移動速度は、立体物が車両であるか否かの判断に用いることができる。
差分波形の生成にあたって本実施形態の立体物検出部33は、差分画像PDtにおいて検出領域を設定する。本例の立体物検出装置1は、自車両Vの運転手が注意を払う他車両であり、特に、自車両Vが車線変更する際に接触の可能性がある自車両Vが走行する車線の隣の車線を走行する他車両を検出対象物として検出する。このため、画像情報に基づいて立体物を検出する本例では、カメラ1により得られた画像のうち、自車両Vの右側及び左側に二つの検出領域を設定する。具体的に、本実施形態では、図2に示すように自車両Vの後方の左側及び右側に矩形状の検出領域A1,A2を設定する。この検出領域A1,A2において検出された他車両は、自車両Vが走行する車線の隣の隣接車線を走行する障害物として検出される。なお、このような検出領域A1,A2は、自車両Vに対する相対位置から設定してもよいし、白線の位置を基準に設定してもよい。白線の位置を基準に設定する場合に、移動距離検出装置1は、例えば既存の白線認識技術等を利用するとよい。
また、立体物検出部33は、設定した検出領域A1,A2の自車両V側における辺(走行方向に沿う辺)を接地線L1,L2(図2)として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なおこの場合であっても、経験上、本実施形態に係る接地線と、本来の他車両VXの位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。
図5は、図3に示す立体物検出部33による差分波形の生成の様子を示す概略図である。図5に示すように、立体物検出部33は、位置合わせ部32で算出した差分画像PDt(図4(b)の右図)のうち検出領域A1,A2に相当する部分から、差分波形DWtを生成する。この際、立体物検出部33は、視点変換により立体物が倒れ込む方向に沿って、差分波形DWtを生成する。なお、図5に示す例では、便宜上検出領域A1のみを用いて説明するが、検出領域A2についても同様の手順で差分波形DWtを生成する。
具体的に説明すると、立体物検出部33は、差分画像DWtのデータ上において立体物が倒れ込む方向上の線Laを定義する。そして、立体物検出部33は、線La上において所定の差分を示す差分画素DPの数をカウントする。ここで、所定の差分を示す差分画素DPは、差分画像DWtの画素値が鳥瞰視画像PBt,PBt−1の画素値の差を絶対値化したものである場合は、所定の閾値を超える画素であり、差分画像DWtの画素値が「0」「1」で表現されている場合は、「1」を示す画素である。
立体物検出部33は、差分画素DPの数をカウントした後、線Laと接地線L1との交点CPを求める。そして、立体物検出部33は、交点CPとカウント数とを対応付け、交点CPの位置に基づいて横軸位置、すなわち図5右図の上下方向軸における位置を決定するとともに、カウント数から縦軸位置、すなわち図5右図の左右方向軸における位置を決定し、交点CPにおけるカウント数としてプロットする。
以下同様に、立体物検出部33は、立体物が倒れ込む方向上の線Lb,Lc…を定義して、差分画素DPの数をカウントし、各交点CPの位置に基づいて横軸位置を決定し、カウント数(差分画素DPの数)から縦軸位置を決定しプロットする。立体物検出部33は、上記を順次繰り返して度数分布化することで、図5右図に示すように差分波形DWtを生成する。
なお、図5左図に示すように、立体物が倒れ込む方向上の線Laと線Lbとは検出領域A1と重複する距離が異なっている。このため、検出領域A1が差分画素DPで満たされているとすると、線Lb上よりも線La上の方が差分画素DPの数が多くなる。このため、立体物検出部33は、差分画素DPのカウント数から縦軸位置を決定する場合に、立体物が倒れ込む方向上の線La,Lbと検出領域A1とが重複する距離に基づいて正規化する。具体例を挙げると、図5左図において線La上の差分画素DPは6つあり、線Lb上の差分画素DPは5つである。このため、図5においてカウント数から縦軸位置を決定するにあたり、立体物検出部33は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形DWtに示すように、立体物が倒れ込む方向上の線La,Lbに対応する差分波形DWtの値はほぼ同じとなっている。
差分波形DWtの生成後、立体物検出部33は一時刻前の差分波形DWt−1との対比により移動距離を算出する。すなわち、立体物検出部33は、差分波形DWt,DWt−1の時間変化から移動距離を算出する。
詳細に説明すると、立体物検出部33は、図6に示すように差分波形DWtを複数の小領域DWt1〜DWtn(nは2以上の任意の整数)に分割する。図6は、立体物検出部33によって分割される小領域DWt1〜DWtnを示す図である。小領域DWt1〜DWtnは、例えば図6に示すように、互いに重複するようにして分割される。例えば小領域DWt1と小領域DWt2とは重複し、小領域DWt2と小領域DWt3とは重複する。
次いで、立体物検出部33は、小領域DWt1〜DWtn毎にオフセット量(差分波形の横軸方向(図6の上下方向)の移動量)を求める。ここで、オフセット量は、一時刻前における差分波形DWt−1と現時刻における差分波形DWtとの差(横軸方向の距離)から求められる。この際、立体物検出部33は、小領域DWt1〜DWtn毎に、一時刻前における差分波形DWt−1を横軸方向に移動させた際に、現時刻における差分波形DWtとの誤差が最小となる位置(横軸方向の位置)を判定し、差分波形DWt−1の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、立体物検出部33は、小領域DWt1〜DWtn毎に求めたオフセット量をカウントしてヒストグラム化する。
図7は、立体物検出部33により得られるヒストグラムの一例を示す図である。図7に示すように、各小領域DWt1〜DWtnと一時刻前における差分波形DWt−1との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、立体物検出部33は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、立体物検出部33は、ヒストグラムの極大値から立体物の移動距離を算出する。すなわち、図7に示す例において立体物検出部33は、ヒストグラムの極大値を示すオフセット量を移動距離τ*と算出する。なおこの移動距離τ*は、自車両Vに対する他車両VXの相対移動距離である。このため、立体物検出部33は、絶対移動距離を算出する場合には、得られた移動距離τ*と車速センサ20からの信号とに基づいて、絶対移動距離を算出する。
なお、ヒストグラム化にあたり立体物検出部33は、複数の小領域DWt1〜DWtn毎に重み付けをし、小領域DWt1〜DWtn毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化してもよい。図8は、立体物検出部33による重み付けを示す図である。
図8に示すように、小領域DWm(mは1以上n−1以下の整数)は平坦となっている。すなわち、小領域DWmは所定の差分を示す画素数のカウントの最大値と最小値との差が小さくなっている。立体物検出部33は、このような小領域DWmについて重みを小さくする。平坦な小領域DWmについては、特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。
一方、小領域DWm+k(kはn−m以下の整数)は起伏に富んでいる。すなわち、小領域DWmは所定の差分を示す画素数のカウントの最大値と最小値との差が大きくなっている。立体物検出部33は、このような小領域DWmについて重みを大きくする。起伏に富む小領域DWm+kについては、特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。
なお、移動距離の算出精度を向上するために上記実施形態では差分波形DWtを複数の小領域DWt1〜DWtnに分割したが、移動距離の算出精度がさほど要求されない場合は小領域DWt1〜DWtnに分割しなくてもよい。この場合に、立体物検出部33は、差分波形DWtと差分波形DWt−1との誤差が最小となるときの差分波形DWtのオフセット量から移動距離を算出する。すなわち、一時刻前における差分波形DWt−1と現時刻における差分波形DWtとのオフセット量を求める方法は上記内容に限定されない。
図3に戻り、計算機30はスミア検出部40を備える。スミア検出部40は、カメラ10による撮像によって得られた撮像画像のデータからスミアの発生領域を検出する。なお、スミアはCCDイメージセンサ等に生じる白飛び現象であることから、こうしたスミアが生じないCMOSイメージセンサ等を用いたカメラ10を採用する場合にはスミア検出部40を省略してもよい。
図9は、スミア検出部40による処理及びそれによる差分波形DWtの算出処理を説明するための画像図である。まずスミア検出部40にスミアSが存在する撮像画像Pのデータが入力されたとする。このとき、スミア検出部40は、撮像画像PからスミアSを検出する。スミアSの検出方法は様々であるが、例えば一般的なCCD(Charge-Coupled Device)カメラの場合、光源から画像下方向にだけスミアSが発生する。このため、本実施形態では画像下側から画像上方に向かって所定値以上の輝度値を持ち、且つ、縦方向に連続した領域を検索し、これをスミアSの発生領域と特定する。
また、スミア検出部40は、スミアSの発生箇所について画素値を「1」とし、それ以外の箇所を「0」とするスミア画像SPのデータを生成する。生成後、スミア検出部40はスミア画像SPのデータを視点変換部31に送信する。また、スミア画像SPのデータを入力した視点変換部31は、このデータを鳥瞰視される状態に視点変換する。これにより、視点変換部31はスミア鳥瞰視画像SBtのデータを生成する。生成後、視点変換部31はスミア鳥瞰視画像SBtのデータを位置合わせ部33に送信する。また、視点変換部31は一時刻前のスミア鳥瞰視画像SBt−1のデータを位置合わせ部33に送信する。
位置合わせ部32は、スミア鳥瞰視画像SBt,SBt−1の位置合わせをデータ上で実行する。具体的な位置合わせについては、鳥瞰視画像PBt,PBt−1の位置合わせをデータ上で実行する場合と同様である。また、位置合わせ後、位置合わせ部32は、各スミア鳥瞰視画像SBt,SBt−1のスミアSの発生領域について論理和をとる。これにより、位置合わせ部32は、マスク画像MPのデータを生成する。生成後、位置合わせ部32は、マスク画像MPのデータを立体物検出部33に送信する。
立体物検出部33は、マスク画像MPのうちスミアSの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。すなわち、図9に示すような差分波形DWtが生成されていた場合に、立体物検出部33は、スミアSによるカウント数SCをゼロとし、補正された差分波形DWt’を生成する。
なお、本実施形態において立体物検出部33は、車両V(カメラ10)の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求める。静止物のオフセット量を求めた後、立体物検出部33は、ヒストグラムの極大値のうち静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する。
図10は、立体物検出部33により得られるヒストグラムの他例を示す図である。カメラ10の画角内に他車両VXの他に静止物が存在する場合に、得られるヒストグラムには2つの極大値τ1,τ2が現れる。この場合、2つの極大値τ1,τ2のうち、いずれか一方は静止物のオフセット量である。このため、立体物検出部33は、移動速度から静止物についてのオフセット量を求め、そのオフセット量に該当する極大値について無視し、残り一方の極大値を採用して立体物の移動距離を算出する。
なお、静止物に該当するオフセット量を無視したとしても、極大値が複数存在する場合、カメラ10の画角内に他車両VXが複数台存在すると想定される。しかし、検出領域A1,A2内に複数の他車両VXが存在することは極めて稀である。このため、立体物検出部33は、移動距離の算出を中止する。
次に差分波形情報による立体物検出手順を説明する。図11及び図12は、本実施形態の立体物検出手順を示すフローチャートである。図11に示すように、先ずステップS0において、計算機30は所定のルールに基づいて検出領域を設定する。この検出領域の設定手法については後に詳述する。そして、計算機30は、カメラ10による撮像画像Pのデータを入力し、スミア検出部40によりスミア画像SPを生成する(S1)。次いで、視点変換部31は、カメラ10からの撮像画像Pのデータから鳥瞰視画像PBtのデータを生成すると共に、スミア画像SPのデータからスミア鳥瞰視画像SBtのデータを生成する(S2)。
そして、位置合わせ部33は、鳥瞰視画像PBtのデータと、一時刻前の鳥瞰視画像PBt−1のデータとを位置合わせすると共に、スミア鳥瞰視画像SBtのデータと、一時刻前のスミア鳥瞰視画像SBt−1のデータとを位置合わせする(S3)。この位置合わせ後、位置合わせ部33は、差分画像PDtのデータを生成すると共に、マスク画像MPのデータを生成する(S4)。その後、立体物検出部33は、差分画像PDtのデータと、一時刻前の差分画像PDt−1のデータとから、差分波形DWtを生成する(S5)。差分波形DWtを生成後、立体物検出部33は、差分波形DWtのうち、スミアSの発生領域に該当するカウント数をゼロとし、スミアSによる影響を抑制する(S6)。
その後、立体物検出部33は、差分波形DWtのピークが第1閾値α以上であるか否かを判断する(S7)。ここで、差分波形DWtのピークが第1閾値α以上でない場合、すなわち差分が殆どない場合には、撮像画像P内には立体物が存在しないと考えられる。このため、差分波形DWtのピークが第1閾値α以上でないと判断した場合には(S7:NO)、立体物検出部33は、立体物が存在せず、障害物としての他車両が存在しないと判断する(図12:S16)。そして、図11及び図12に示す処理を終了する。
一方、差分波形DWtのピークが第1閾値α以上であると判断した場合には(S7:YES)、立体物検出部33は、立体物が存在すると判断し、差分波形DWtを複数の小領域DWt1〜DWtnに分割する(S8)。次いで、立体物検出部33は、小領域DWt1〜DWtn毎に重み付けを行う(S9)。その後、立体物検出部33は、小領域DWt1〜DWtn毎のオフセット量を算出し(S10)、重みを加味してヒストグラムを生成する(S11)。
そして、立体物検出部33は、ヒストグラムに基づいて自車両Vに対する立体物の移動距離である相対移動距離を算出する(S12)。次に、立体物検出部33は、相対移動距離から立体物の絶対移動速度を算出する(S13)。このとき、立体物検出部33は、相対移動距離を時間微分して相対移動速度を算出すると共に、車速センサ20で検出された自車速を加算して、絶対移動速度を算出する。
その後、立体物検出部33は、立体物の絶対移動速度が10km/h以上、且つ、立体物の自車両Vに対する相対移動速度が+60km/h以下であるか否かを判断する(S14)。双方を満たす場合には(S14:YES)、立体物検出部33は、立体物が他車両VXであると判断する(S15)。そして、図11及び図12に示す処理を終了する。一方、いずれか一方でも満たさない場合には(S14:NO)、立体物検出部33は、他車両が存在しないと判断する(S16)。そして、図11及び図12に示す処理を終了する。
なお、本実施形態では自車両Vの後側方を検出領域A1,A2とし、自車両Vが走行中に注意を払うべきである自車両の走行車線の隣を走行する隣接車線を走行する他車両VXを検出すること、特に、自車両Vが車線変更した場合に接触する可能性がある否かに重点を置いている。自車両Vが車線変更した場合に、自車両の走行車線の隣の隣接車線を走行する他車両VXと接触する可能性がある否かを判断するためである。このため、ステップS14の処理が実行されている。すなわち、本実施形態にけるシステムを高速道路で作動させることを前提とすると、立体物の速度が10km/h未満である場合、たとえ他車両VXが存在したとしても、車線変更する際には自車両Vの遠く後方に位置するため問題となることが少ない。同様に、立体物の自車両Vに対する相対移動速度が+60km/hを超える場合(すなわち、立体物が自車両Vの速度よりも60km/hより大きな速度で移動している場合)、車線変更する際には自車両Vの前方に移動しているため問題となることが少ない。このため、ステップS14では車線変更の際に問題となる他車両VXを判断しているともいえる。
また、ステップS14において立体物の絶対移動速度が10km/h以上、且つ、立体物の自車両Vに対する相対移動速度が+60km/h以下であるかを判断することにより、以下の効果がある。例えば、カメラ10の取り付け誤差によっては、静止物の絶対移動速度を数km/hであると検出してしまう場合があり得る。よって、10km/h以上であるかを判断することにより、静止物を他車両VXであると判断してしまう可能性を低減することができる。また、ノイズによっては立体物の自車両Vに対する相対速度を+60km/hを超える速度に検出してしまうことがあり得る。よって、相対速度が+60km/h以下であるかを判断することにより、ノイズによる誤検出の可能性を低減できる。
さらに、ステップS14の処理に代えて、絶対移動速度がマイナスでないことや、0km/hでないことを判断してもよい。また、本実施形態では自車両Vが車線変更した場合に接触する可能性がある否かに重点を置いているため、ステップS15において他車両VXが検出された場合に、自車両の運転者に警告音を発したり、所定の表示装置により警告相当の表示を行ったりしてもよい。
このように、本例の差分波形情報による立体物の検出手順によれば、視点変換により立体物が倒れ込む方向に沿って、差分画像PDtのデータ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形DWtを生成する。ここで、差分画像PDtのデータ上において所定の差分を示す画素とは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。このため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形DWtを生成する。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形DWtを生成する。そして、高さ方向の情報を含む差分波形DWtの時間変化から立体物の移動距離を算出する。このため、単に1点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とは高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。
また、差分波形DWtのうちスミアSの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。これにより、差分波形DWtのうちスミアSによって生じる波形部位を除去することとなり、スミアSを立体物と誤認してしまう事態を防止することができる。
また、異なる時刻に生成された差分波形DWtの誤差が最小となるときの差分波形DWtのオフセット量から立体物の移動距離を算出する。このため、波形という1次元の情報のオフセット量から移動距離を算出することとなり、移動距離の算出にあたり計算コストを抑制することができる。
また、異なる時刻に生成された差分波形DWtを複数の小領域DWt1〜DWtnに分割する。このように複数の小領域DWt1〜DWtnに分割することによって、立体物のそれぞれの箇所を表わした波形を複数得る。また、小領域DWt1〜DWtn毎にそれぞれの波形の誤差が最小となるときのオフセット量を求め、小領域DWt1〜DWtn毎に求めたオフセット量をカウントしてヒストグラム化することにより、立体物の移動距離を算出する。このため、立体物のそれぞれの箇所毎にオフセット量を求めることとなり、複数のオフセット量から移動距離を求めることとなり、移動距離の算出精度を向上させることができる。
また、複数の小領域DWt1〜DWtn毎に重み付けをし、小領域DWt1〜DWtn毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化する。このため、特徴的な領域については重みを大きくし、特徴的でない領域については重みを小さくすることにより、一層適切に移動距離を算出することができる。従って、移動距離の算出精度を一層向上させることができる。
また、差分波形DWtの各小領域DWt1〜DWtnについて、所定の差分を示す画素数のカウントの最大値と最小値との差が大きいほど、重みを大きくする。このため、最大値と最小値との差が大きい特徴的な起伏の領域ほど重みが大きくなり、起伏が小さい平坦な領域については重みが小さくなる。ここで、平坦な領域よりも起伏の大きい領域の方が形状的にオフセット量を正確に求めやすいため、最大値と最小値との差が大きい領域ほど重みを大きくすることにより、移動距離の算出精度を一層向上させることができる。
また、小領域DWt1〜DWtn毎に求めたオフセット量をカウントして得られたヒストグラムの極大値から、立体物の移動距離を算出する。このため、オフセット量にバラつきがあったとしても、その極大値から、より正確性の高い移動距離を算出することができる。
また、静止物についてのオフセット量を求め、このオフセット量を無視するため、静止物により立体物の移動距離の算出精度が低下してしまう事態を防止することができる。また、静止物に該当するオフセット量を無視したうえで、極大値が複数ある場合、立体物の移動距離の算出を中止する。このため、極大値が複数あるような誤った移動距離を算出してしまう事態を防止することができる。
なお上記実施形態において、自車両Vの車速を車速センサ20からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定するようにしてもよい。この場合、車速センサが不要となり、構成の簡素化を図ることができる。
また、上記実施形態においては撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像PDtを生成し、生成した差分画像PDtを倒れ込み方向(撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向)に沿って評価して差分波形DWtを生成しているが、これに限定されない。例えば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像した画像相当に変換し、この画像と現時刻の画像とで差分画像を生成し、生成した差分画像を倒れ込み方向に相当する方向(すなわち、倒れ込み方向を撮像画像上の方向に変換した方向)に沿って評価することによって差分波形DWtを生成してもよい。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像PDtを生成し、差分画像PDtを鳥瞰図に変換した際の立体物の倒れ込み方向に沿って評価できれば、必ずしも明確に鳥瞰図を生成しなくともよい。
《エッジ情報による立体物の検出》
次に、図3に示すブロックAに代えて動作させることが可能である、輝度差算出部35、エッジ線検出部36及び立体物検出部37で構成されるエッジ情報を利用した立体物の検出ブロックBについて説明する。図13は、図3のカメラ10の撮像範囲等を示す図であり、図13(a)は平面図、図13(b)は、自車両Vから後側方における実空間上の斜視図を示す。図13(a)に示すように、カメラ10は所定の画角aとされ、この所定の画角aに含まれる自車両Vから後側方を撮像する。カメラ10の画角aは、図2に示す場合と同様に、カメラ10の撮像範囲に自車両Vが走行する車線に加えて、隣接する車線も含まれるように設定されている。
次に、図3に示すブロックAに代えて動作させることが可能である、輝度差算出部35、エッジ線検出部36及び立体物検出部37で構成されるエッジ情報を利用した立体物の検出ブロックBについて説明する。図13は、図3のカメラ10の撮像範囲等を示す図であり、図13(a)は平面図、図13(b)は、自車両Vから後側方における実空間上の斜視図を示す。図13(a)に示すように、カメラ10は所定の画角aとされ、この所定の画角aに含まれる自車両Vから後側方を撮像する。カメラ10の画角aは、図2に示す場合と同様に、カメラ10の撮像範囲に自車両Vが走行する車線に加えて、隣接する車線も含まれるように設定されている。
本例の検出領域A1,A2は、平面視(鳥瞰視された状態)において台形状とされ、これら検出領域A1,A2の位置、大きさ及び形状は、距離d1〜d4に基づいて決定される。なお、同図に示す例の検出領域A1,A2は台形状に限らず、図2に示すように鳥瞰視された状態で矩形など他の形状であってもよい。なお、本実施形態における検出領域設定部34も、先述した手法により検出領域A1,A2を設定することができる。
ここで、距離d1は、自車両Vから接地線L1,L2までの距離である。接地線L1,L2は、自車両Vが走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施形態においては、自車両Vの後側方において自車両Vの車線に隣接する左右の車線を走行する他車両VX等(2輪車等を含む)を検出することが目的である。このため、自車両Vから白線Wまでの距離d11及び白線Wから他車両VXが走行すると予測される位置までの距離d12から、他車両VXの接地線L1,L2となる位置である距離d1を略固定的に決定しておくことができる。
また、距離d1については、固定的に決定されている場合に限らず、可変としてもよい。この場合に、計算機30は、白線認識等の技術により自車両Vに対する白線Wの位置を認識し、認識した白線Wの位置に基づいて距離d11を決定する。これにより、距離d1は、決定された距離d11を用いて可変的に設定される。以下の本実施形態においては、他車両VXが走行する位置(白線Wからの距離d12)及び自車両Vが走行する位置(白線Wからの距離d11)は大凡決まっていることから、距離d1は固定的に決定されているものとする。
距離d2は、自車両Vの後端部から車両進行方向に伸びる距離である。この距離d2は、検出領域A1,A2が少なくともカメラ10の画角a内に収まるように決定されている。特に本実施形態において、距離d2は、画角aに区分される範囲に接するよう設定されている。距離d3は、検出領域A1,A2の車両進行方向における長さを示す距離である。この距離d3は、検出対象となる立体物の大きさに基づいて決定される。本実施形態においては、検出対象が他車両VX等であるため、距離d3は、他車両VXを含む長さに設定される。
距離d4は、図13(b)に示すように、実空間において他車両VX等のタイヤを含むように設定された高さを示す距離である。距離d4は、鳥瞰視画像においては図13(a)に示す長さとされる。なお、距離d4は、鳥瞰視画像において左右の隣接車線よりも更に隣接する車線(すなわち2車線隣りの車線)を含まない長さとすることもできる。自車両Vの車線から2車線隣の車線を含んでしまうと、自車両Vが走行している車線である自車線の左右の隣接車線に他車両VXが存在するのか、2車線隣りの車線に他車両VXが存在するのかについて、区別が付かなくなってしまうためである。
以上のように、距離d1〜距離d4が決定され、これにより検出領域A1,A2の位置、大きさ及び形状が決定される。具体的に説明すると、距離d1により、台形をなす検出領域A1,A2の上辺b1の位置が決定される。距離d2により、上辺b1の始点位置C1が決定される。距離d3により、上辺b1の終点位置C2が決定される。カメラ10から始点位置C1に向かって伸びる直線L3により、台形をなす検出領域A1,A2の側辺b2が決定される。同様に、カメラ10から終点位置C2に向かって伸びる直線L4により、台形をなす検出領域A1,A2の側辺b3が決定される。距離d4により、台形をなす検出領域A1,A2の下辺b4の位置が決定される。このように、各辺b1〜b4により囲まれる領域が検出領域A1,A2とされる。この検出領域A1,A2は、図13(b)に示すように、自車両Vから後側方における実空間上では真四角(長方形)となる。
図3に戻り、視点変換部31は、カメラ10による撮像にて得られた所定領域の撮像画像データを入力する。視点変換部31は、入力した撮像画像データに対して、鳥瞰視される状態の鳥瞰視画像データに視点変換処理を行う。鳥瞰視される状態とは、上空から例えば鉛直下向き(又は、やや斜め下向き)に見下ろす仮想カメラの視点から見た状態である。この視点変換処理は、例えば特開2008−219063号公報に記載された技術によって実現することができる。
輝度差算出部35は、鳥瞰視画像に含まれる立体物のエッジを検出するために、視点変換部31により視点変換された鳥瞰視画像データに対して、輝度差の算出を行う。輝度差算出部35は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の2つの画素間の輝度差を算出する。輝度差算出部35は、実空間における鉛直方向に伸びる鉛直仮想線を1本だけ設定する手法と、鉛直仮想線を2本設定する手法との何れかによって輝度差を算出することができる。
鉛直仮想線を2本設定する具体的な手法について説明する。輝度差算出部35は、視点変換された鳥瞰視画像に対して、実空間で鉛直方向に伸びる線分に該当する第1鉛直仮想線と、第1鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第2鉛直仮想線とを設定する。輝度差算出部35は、第1鉛直仮想線上の点と第2鉛直仮想線上の点との輝度差を、第1鉛直仮想線及び第2鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部35の動作について詳細に説明する。
輝度差算出部35は、図14(a)に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域A1を通過する第1鉛直仮想線La(以下、注目線Laという)を設定する。また輝度差算出部35は、注目線Laと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域A1を通過する第2鉛直仮想線Lr(以下、参照線Lrという)を設定する。ここで参照線Lrは、実空間における所定距離だけ注目線Laから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰視画像においてはカメラ10の位置Psから放射状に広がる線となる。この放射状に広がる線は、鳥瞰視に変換した際に立体物が倒れ込む方向に沿う線である。
輝度差算出部35は、注目線La上に注目点Pa(第1鉛直仮想線上の点)を設定する。また輝度差算出部35は、参照線Lr上に参照点Pr(第2鉛直板想線上の点)を設定する。これら注目線La、注目点Pa、参照線Lr、参照点Prは、実空間上において図14(b)に示す関係となる。図14(b)から明らかなように、注目線La及び参照線Lrは、実空間上において鉛直方向に伸びた線であり、注目点Paと参照点Prとは、実空間上において略同じ高さに設定される点である。なお、注目点Paと参照点Prとは必ずしも厳密に同じ高さである必要はなく、注目点Paと参照点Prとが同じ高さとみなせる程度の誤差は許容される。
輝度差算出部35は、注目点Paと参照点Prとの輝度差を求める。仮に、注目点Paと参照点Prとの輝度差が大きいと、注目点Paと参照点Prとの間にエッジが存在すると考えられる。このため、図3に示したエッジ線検出部36は、注目点Paと参照点Prとの輝度差に基づいてエッジ線を検出する。
この点をより詳細に説明する。図15は、輝度差算出部35の詳細動作を示す図であり、図15(a)は鳥瞰視された状態の鳥瞰視画像を示し、図15(b)は、図15(a)に示した鳥瞰視画像の一部B1を拡大した図である。なお図15についても検出領域A1のみを図示して説明するが、検出領域A2についても同様の手順で輝度差を算出する。
カメラ10が撮像した撮像画像内に他車両VXが映っていた場合に、図15(a)に示すように、鳥瞰視画像内の検出領域A1に他車両VXが現れる。図15(b)に図15(a)中の領域B1の拡大図を示すように、鳥瞰視画像上において、他車両VXのタイヤのゴム部分上に注目線Laが設定されていたとする。この状態において、輝度差算出部35は、先ず参照線Lrを設定する。参照線Lrは、注目線Laから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る立体物検出装置1において、参照線Lrは、注目線Laから実空間上において10cmだけ離れた位置に設定される。これにより、参照線Lrは、鳥瞰視画像上において、例えば他車両VXのタイヤのゴムから10cm相当だけ離れた他車両VXのタイヤのホイール上に設定される。
次に、輝度差算出部35は、注目線La上に複数の注目点Pa1〜PaNを設定する。図15(b)においては、説明の便宜上、6つの注目点Pa1〜Pa6(以下、任意の点を示す場合には単に注目点Paiという)を設定している。なお、注目線La上に設定する注目点Paの数は任意でよい。以下の説明では、N個の注目点Paが注目線La上に設定されたものとして説明する。
次に、輝度差算出部35は、実空間上において各注目点Pa1〜PaNと同じ高さとなるように各参照点Pr1〜PrNを設定する。そして、輝度差算出部35は、同じ高さ同士の注目点Paと参照点Prとの輝度差を算出する。これにより、輝度差算出部35は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置(1〜N)ごとに、2つの画素の輝度差を算出する。輝度差算出部35は、例えば第1注目点Pa1とは、第1参照点Pr1との間で輝度差を算出し、第2注目点Pa2とは、第2参照点Pr2との間で輝度差を算出する。これにより、輝度差算出部35は、注目線La及び参照線Lrに沿って、連続的に輝度差を求める。すなわち、輝度差算出部35は、第3〜第N注目点Pa3〜PaNと第3〜第N参照点Pr3〜PrNとの輝度差を順次求める。
輝度差算出部35は、検出領域A1内において注目線Laをずらしながら、上記の参照線Lrの設定、注目点Pa及び参照点Prの設定、輝度差の算出といった処理を繰り返し実行する。すなわち、輝度差算出部35は、注目線La及び参照線Lrのそれぞれを、実空間上において接地線L1の存在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部35は、例えば、前回処理において参照線Lrとなっていた線を注目線Laに設定し、この注目線Laに対して参照線Lrを設定して、順次輝度差を求めていくことになる。
図3に戻り、エッジ線検出部36は、輝度差算出部35により算出された連続的な輝度差から、エッジ線を検出する。例えば、図15(b)に示す場合、第1注目点Pa1と第1参照点Pr1とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第2〜第6注目点Pa2〜Pa6はタイヤのゴム部分に位置し、第2〜第6参照点Pr2〜Pr6はタイヤのホイール部分に位置する。したがって、第2〜第6注目点Pa2〜Pa6と第2〜第6参照点Pr2〜Pr6との輝度差は大きくなる。このため、エッジ線検出部36は、輝度差が大きい第2〜第6注目点Pa2〜Pa6と第2〜第6参照点Pr2〜Pr6との間にエッジ線が存在することを検出することができる。
具体的には、エッジ線検出部36は、エッジ線を検出するにあたり、先ず下記の数式1に従って、i番目の注目点Pai(座標(xi,yi))とi番目の参照点Pri(座標(xi’,yi’))との輝度差から、i番目の注目点Paiに属性付けを行う。
[数1]
I(xi,yi)>I(xi’,yi’)+tのとき
s(xi,yi)=1
I(xi,yi)<I(xi’,yi’)−tのとき
s(xi,yi)=−1
上記以外のとき
s(xi,yi)=0
[数1]
I(xi,yi)>I(xi’,yi’)+tのとき
s(xi,yi)=1
I(xi,yi)<I(xi’,yi’)−tのとき
s(xi,yi)=−1
上記以外のとき
s(xi,yi)=0
上記数式1において、tは閾値を示し、I(xi,yi)はi番目の注目点Paiの輝度値を示し、I(xi’,yi’)はi番目の参照点Priの輝度値を示す。上記数式1によれば、注目点Paiの輝度値が、参照点Priに閾値tを加えた輝度値よりも高い場合には、当該注目点Paiの属性s(xi,yi)は‘1’となる。一方、注目点Paiの輝度値が、参照点Priから閾値tを減じた輝度値よりも低い場合には、当該注目点Paiの属性s(xi,yi)は‘−1’となる。注目点Paiの輝度値と参照点Priの輝度値とがそれ以外の関係である場合には、注目点Paiの属性s(xi,yi)は‘0’となる。
次にエッジ線検出部36は、下記数式2に基づいて、注目線Laに沿った属性sの連続性c(xi,yi)から、注目線Laがエッジ線であるか否かを判定する。
[数2]
s(xi,yi)=s(xi+1,yi+1)のとき(且つ0=0を除く)、
c(xi,yi)=1
上記以外のとき、
c(xi,yi)=0
[数2]
s(xi,yi)=s(xi+1,yi+1)のとき(且つ0=0を除く)、
c(xi,yi)=1
上記以外のとき、
c(xi,yi)=0
注目点Paiの属性s(xi,yi)と隣接する注目点Pai+1の属性s(xi+1,yi+1)とが同じである場合には、連続性c(xi,yi)は‘1’となる。注目点Paiの属性s(xi,yi)と隣接する注目点Pai+1の属性s(xi+1,yi+1)とが同じではない場合には、連続性c(xi,yi)は‘0’となる。
次にエッジ線検出部36は、注目線La上の全ての注目点Paの連続性cについて総和を求める。エッジ線検出部36は、求めた連続性cの総和を注目点Paの数Nで割ることにより、連続性cを正規化する。エッジ線検出部36は、正規化した値が閾値θを超えた場合に、注目線Laをエッジ線と判断する。なお、閾値θは、予め実験等によって設定された値である。
すなわち、エッジ線検出部36は、下記数式3に基づいて注目線Laがエッジ線であるか否かを判断する。そして、エッジ線検出部36は、検出領域A1上に描かれた注目線Laの全てについてエッジ線であるか否かを判断する。
[数3]
Σc(xi,yi)/N>θ
[数3]
Σc(xi,yi)/N>θ
図3に戻り、立体物検出部37は、エッジ線検出部36により検出されたエッジ線の量に基づいて立体物を検出する。上述したように、本実施形態に係る立体物検出装置1は、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域A1,A2に立体物が存在する可能性が高いということである。このため、立体物検出部37は、エッジ線検出部36により検出されたエッジ線の量に基づいて立体物を検出する。さらに、立体物検出部37は、立体物を検出するに先立って、エッジ線検出部36により検出されたエッジ線が正しいものであるか否かを判定する。立体物検出部37は、エッジ線上の鳥瞰視画像のエッジ線に沿った輝度変化が所定の閾値よりも大きいか否かを判定する。エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。一方、エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きくない場合には、当該エッジ線が正しいものと判定する。なお、この閾値は、実験等により予め設定された値である。
図16は、エッジ線の輝度分布を示す図であり、図16(a)は検出領域A1に立体物としての他車両VXが存在した場合のエッジ線及び輝度分布を示し、図16(b)は検出領域A1に立体物が存在しない場合のエッジ線及び輝度分布を示す。
図16(a)に示すように、鳥瞰視画像において他車両VXのタイヤゴム部分に設定された注目線Laがエッジ線であると判断されていたとする。この場合、注目線La上の鳥瞰視画像の輝度変化はなだらかなものとなる。これは、カメラ10により撮像された画像が鳥瞰視画像に視点変換されたことにより、他車両VXのタイヤが鳥瞰視画像内で引き延ばされたことによる。一方、図16(b)に示すように、鳥瞰視画像において路面に描かれた「50」という白色文字部分に設定された注目線Laがエッジ線であると誤判定されていたとする。この場合、注目線La上の鳥瞰視画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。
以上のような注目線La上の輝度分布の相違に基づいて、立体物検出部37は、エッジ線が誤判定により検出されたものか否かを判定する。立体物検出部37は、エッジ線に沿った輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものであると判定する。そして、当該エッジ線は、立体物の検出には使用しない。これにより、路面上の「50」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい、立体物の検出精度が低下することを抑制する。
具体的には、立体物検出部37は、下記数式4,5の何れかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記数式4は、注目線La上のi番目の輝度値I(xi,yi)と、隣接するi+1番目の輝度値I(xi+1,yi+1)との差分の二乗の合計値によって輝度分布を評価する。下記数式5は、注目線La上のi番目の輝度値I(xi,yi)と、隣接するi+1番目の輝度値I(xi+1,yi+1)との差分の絶対値の合計値よって輝度分布を評価する。
[数4]
鉛直相当方向の評価値=Σ[{I(xi,yi)−I(xi+1,yi+1)}2]
[数5]
鉛直相当方向の評価値=Σ|I(xi,yi)−I(xi+1,yi+1)|
[数4]
鉛直相当方向の評価値=Σ[{I(xi,yi)−I(xi+1,yi+1)}2]
[数5]
鉛直相当方向の評価値=Σ|I(xi,yi)−I(xi+1,yi+1)|
なお、数式5に限らず、下記数式6のように、閾値t2を用いて隣接する輝度値の属性bを二値化して、当該二値化した属性bを全ての注目点Paについて総和してもよい。
[数6]
鉛直相当方向の評価値=Σb(xi,yi)
但し、|I(xi,yi)−I(xi+1,yi+1)|>t2のとき、
b(xi,yi)=1
上記以外のとき、
b(xi,yi)=0
[数6]
鉛直相当方向の評価値=Σb(xi,yi)
但し、|I(xi,yi)−I(xi+1,yi+1)|>t2のとき、
b(xi,yi)=1
上記以外のとき、
b(xi,yi)=0
注目点Paiの輝度値と参照点Priの輝度値との輝度差の絶対値が閾値t2よりも大きい場合、当該注目点Pa(xi,yi)の属性b(xi,yi)は‘1’となる。それ以外の関係である場合には、注目点Paiの属性b(xi,yi)は‘0’となる。この閾値t2は、注目線Laが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、立体物検出部37は、注目線La上の全注目点Paについての属性bを総和して、鉛直相当方向の評価値を求めて、エッジ線が正しいものかを判定する。
次に、本実施形態に係るエッジ情報を利用した立体物検出方法について説明する。図17及び図18は、本実施形態に係る立体物検出方法の詳細を示すフローチャートである。なお、図17及び図18においては、便宜上、検出領域A1を対象とする処理について説明するが、検出領域A2についても同様の処理が実行される。
図17に示すように、まず、先ずステップS20において、計算機30は所定のルールに基づいて検出領域を設定する。この検出領域の設定手法については後に詳述する。そして、ステップS21において、カメラ10は、画角a及び取付位置によって特定された所定領域を撮像する。次に視点変換部31は、ステップS22において、ステップS21にてカメラ10により撮像された撮像画像データを入力し、視点変換を行って鳥瞰視画像データを生成する。
次に輝度差算出部35は、ステップS23において、検出領域A1上に注目線Laを設定する。このとき、輝度差算出部35は、実空間上において鉛直方向に伸びる線に相当する線を注目線Laとして設定する。次に輝度差算出部35は、ステップS24において、検出領域A1上に参照線Lrを設定する。このとき、輝度差算出部35は、実空間上において鉛直方向に伸びる線分に該当し、且つ、注目線Laと実空間上において所定距離離れた線を参照線Lrとして設定する。
次に輝度差算出部35は、ステップS25において、注目線La上に複数の注目点Paを設定する。この際に、輝度差算出部35は、エッジ線検出部36によるエッジ検出時に問題とならない程度の数の注目点Paを設定する。また、輝度差算出部35は、ステップS26において、実空間上において注目点Paと参照点Prとが略同じ高さとなるように、参照点Prを設定する。これにより、注目点Paと参照点Prとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。
次に輝度差算出部35は、ステップS27において、実空間上において同じ高さとなる注目点Paと参照点Prとの輝度差を算出する。次にエッジ線検出部36は、上記の数式1に従って、各注目点Paの属性sを算出する。次にエッジ線検出部36は、ステップS28において、上記の数式2に従って、各注目点Paの属性sの連続性cを算出する。次にエッジ線検出部36は、ステップS29において、上記数式3に従って、連続性cの総和を正規化した値が閾値θより大きいか否かを判定する。正規化した値が閾値θよりも大きいと判断した場合(S29:YES)、エッジ線検出部36は、ステップS30において、当該注目線Laをエッジ線として検出する。そして、処理はステップS31に移行する。正規化した値が閾値θより大きくないと判断した場合(S29:NO)、エッジ線検出部36は、当該注目線Laをエッジ線として検出せず、処理はステップS31に移行する。
ステップS31において、計算機30は、検出領域A1上に設定可能な注目線Laの全てについて上記のステップS23〜ステップS30の処理を実行したか否かを判断する。全ての注目線Laについて上記処理をしていないと判断した場合(S31:NO)、ステップS23に処理を戻して、新たに注目線Laを設定して、ステップS31までの処理を繰り返す。一方、全ての注目線Laについて上記処理をしたと判断した場合(S31:YES)、処理は図18のステップS32に移行する。
図18のステップS32において、立体物検出部37は、図17のステップS30において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。立体物検出部37は、上記数式4,5,6の何れかの式に従って、エッジ線の輝度変化を算出する。次に立体物検出部37は、ステップS33において、エッジ線のうち、輝度変化が所定の閾値よりも大きいエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域A1に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値とは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。
次に立体物検出部37は、ステップS34において、エッジ線の量が第2閾値β以上であるか否かを判断する。例えば、検出対象の立体物として四輪車を設定した場合、当該第2閾値βは、予め実験等によって検出領域A1内において出現した四輪車のエッジ線の数に基づいて設定される。エッジ線の量が第2閾値β以上であると判定した場合(S34:YES)、立体物検出部37は、ステップS35において、検出領域A1内に立体物が存在すると検出する。一方、エッジ線の量が第2閾値β以上ではないと判定した場合(S34:NO)、立体物検出部37は、検出領域A1内に立体物が存在しないと判断する。その後、図17及び図18に示す処理は終了する。検出された立体物は、自車両Vが走行する車線の隣の隣接車線を走行する他車両VXであると判断してもよいし、検出した立体物の自車両Vに対する相対速度を考慮して隣接車線を走行する他車両VXであるか否かを判断してもよい。
以上のように、本実施形態のエッジ情報を利用した立体物の検出方法によれば、検出領域A1,A2に存在する立体物を検出するために、鳥瞰視画像に対して実空間において鉛直方向に伸びる線分としての鉛直仮想線を設定する。そして、鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の2つの画素の輝度差を算出し、当該輝度差の連続性に基づいて立体物の有無を判定することができる。
具体的には、鳥瞰視画像における検出領域A1,A2に対して、実空間において鉛直方向に伸びる線分に該当する注目線Laと、注目線Laとは異なる参照線Lrとを設定する。そして、注目線La上の注目点Paと参照線Lr上の参照点Prとの輝度差を注目線La及び参照線Laに沿って連続的に求める。このように、点同士の輝度差を連続的に求めることにより、注目線Laと参照線Lrとの輝度差を求める。注目線Laと参照線Lrとの輝度差が高い場合には、注目線Laの設定箇所に立体物のエッジがある可能性が高い。これによって、連続的な輝度差に基づいて立体物を検出することができる。特に、実空間において鉛直方向に伸びる鉛直仮想線同士との輝度比較を行うために、鳥瞰視画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはない。したがって、本例の方法によれば、立体物の検出精度を向上させることができる。
また、本例では、鉛直仮想線付近の略同じ高さの2つの点の輝度差を求める。具体的には、実空間上で略同じ高さとなる注目線La上の注目点Paと参照線Lr上の参照点Prとから輝度差を求めるので、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。
更に、本例では、注目線La上の注目点Paと参照線Lr上の参照点Prとの輝度差に基づいて注目点Paに属性付けを行い、注目線Laに沿った属性の連続性cに基づいて当該注目線Laがエッジ線であるかを判断するので、輝度の高い領域と輝度の低い領域との境界をエッジ線として検出し、人間の自然な感覚に沿ったエッジ検出を行うことができる。この効果について詳細に説明する。図19は、エッジ線検出部36の処理を説明する画像例を示す図である。この画像例は、輝度の高い領域と輝度の低い領域とが繰り返される縞模様を示す第1縞模様101と、輝度の低い領域と輝度の高い領域とが繰り返される縞模様を示す第2縞模様102とが隣接した画像である。また、この画像例は、第1縞模様101の輝度が高い領域と第2縞模様102の輝度の低い領域とが隣接すると共に、第1縞模様101の輝度が低い領域と第2縞模様102の輝度が高い領域とが隣接している。この第1縞模様101と第2縞模様102との境界に位置する部位103は、人間の感覚によってはエッジとは知覚されない傾向にある。
これに対し、輝度の低い領域と輝度が高い領域とが隣接しているために、輝度差のみでエッジを検出すると、当該部位103はエッジとして認識されてしまう。しかし、エッジ線検出部36は、部位103における輝度差に加えて、当該輝度差の属性に連続性がある場合にのみ部位103をエッジ線として判定するので、エッジ線検出部36は、人間の感覚としてエッジ線として認識しない部位103をエッジ線として認識してしまう誤判定を抑制でき、人間の感覚に沿ったエッジ検出を行うことができる。
さらに、本例では、エッジ線検出部36により検出されたエッジ線の輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。カメラ10により取得された撮像画像を鳥瞰視画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で鳥瞰視画像に現れる傾向がある。例えば、上述したように他車両VXのタイヤが引き伸ばされた場合に、タイヤという1つの部位が引き伸ばされるため、引き伸ばされた方向における鳥瞰視画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合に、鳥瞰視画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合に、鳥瞰視画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。したがって、本例のようにエッジ線に沿った鳥瞰視画像の輝度変化を判定することによって、誤判定により検出されたエッジ線を認識することができ、立体物の検出精度を高めることができる。
さらに、本例では、エッジ線検出部36により検出されたエッジ線の輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。カメラ10により取得された撮像画像を鳥瞰視画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で鳥瞰視画像に現れる傾向がある。例えば、上述したように他車両VXのタイヤが引き伸ばされた場合に、タイヤという1つの部位が引き伸ばされるため、引き伸ばされた方向における鳥瞰視画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合に、鳥瞰視画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合に、鳥瞰視画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。したがって、本例のようにエッジ線に沿った鳥瞰視画像の輝度変化を判定することによって、誤判定により検出されたエッジ線を認識することができ、立体物の検出精度を高めることができる。立体物検出部33,37は、さらに乗員への報知や車両制御のため、検出結果を外部の車両コントローラへ送出することもできる。
《立体物の最終判断》
図3に戻り、本例の立体物検出装置1は、上述した2つの立体物検出部33(又は立体物検出部37)と、立体物判断部34と、自然物判断部38と、制御部39とを備える。立体物判断部34は、立体物検出部33(又は立体物検出部37)による検出結果に基づいて、検出された立体物が検出領域A1,A2に存在する他車両VXであるか否かを最終的に判断する。立体物検出部33(又は立体物検出部37)は、自然物判断部38の判断結果を反映させた立体物の検出を行う。自然物判断部38は、立体物検出部33(又は立体物検出部37)により検出された立体物が自車両Vの走行路に沿って存在する草・雪を含む自然物であるか否かを判断する。
図3に戻り、本例の立体物検出装置1は、上述した2つの立体物検出部33(又は立体物検出部37)と、立体物判断部34と、自然物判断部38と、制御部39とを備える。立体物判断部34は、立体物検出部33(又は立体物検出部37)による検出結果に基づいて、検出された立体物が検出領域A1,A2に存在する他車両VXであるか否かを最終的に判断する。立体物検出部33(又は立体物検出部37)は、自然物判断部38の判断結果を反映させた立体物の検出を行う。自然物判断部38は、立体物検出部33(又は立体物検出部37)により検出された立体物が自車両Vの走行路に沿って存在する草・雪を含む自然物であるか否かを判断する。
本実施形態の自然物判断部38は、道路の分離帯や路肩に植栽された草木などの植え込みや、道路脇の草原や森林に自生する草木、又は道路の分離帯や路肩に積もった雪若しくは雪と泥が混ざった雪の壁、その他の道路脇に静止して存在する自然物(静止物体)を検出する。ところで、草木は風に吹かれると搖動するので、静止物体であるにもかかわらず、その像の位置は不規則に変動する。同じ静止物体であっても、人工的な構造物(ガードレール)などは、風が吹いても静止状態を保つので、自然物の像と人工的な構造物の像は、同じ環境下において異なる挙動を示す。また、雪が降り積もり、道路の除雪がされた後などには、道路の路肩に雪の壁が形成されるが、除雪時に泥や草木の堆積物が雪に混ざるので、雪の壁には不規則な斑の模様が形成される。同じ静止物体であっても、人工的な構造物(ガードレール)などは、無模様又は一定の模様が付されているので、移動する自車両Vから経時的に観察すると、自然物の像と人工的な構造物の像は、同じ環境下において異なる挙動を示す。草や雪壁の撮像画像を分析すると、人工的な構造物に比べて不規則的な特徴が表れる傾向がある。このため、発明者らは、撮像画像から不規則な動きに対応する特徴を抽出し、抽出された特徴に基づいて静止立体物のうち、草や雪などの自然物を検出する手法を提案する。なお、本明細書における雪や草などの自然物は、自ら移動をすることのない静止物体である。
図20に示すように、走行路の路肩に沿って生えている草などの自然物Q1は、自ら動くことはないが、全体が不定形であり、経時的に同じ形状を保つことは無いため、その撮像画像から抽出される特徴にバラつきが見られるので不規則性が高い(規則性が低い)。なお、路肩に形成された雪の壁は斑模様となる場合が多く、移動する自車両Vから継続的に観察すると、その画像情報は草の画像情報と同じ特徴を示す傾向がある。
ちなみに、走行路の路肩に一定間隔で設けられたガードレールなどの構造物(静止した人工物)は、その形状が一定かつ全体が不動であり、経時的に同じ形状を保つため、その撮像画像から抽出される特徴にはバラつきがないので、草・雪を含む自然物の像よりも不規則性が低い(規則性が高い)。
さらに、本実施形態の立体物検出装置1が最終的に検出する対象である他車両VXの基本的構造は共通し、経時的に同じ形状を保つため、その撮像画像から抽出される特徴にはバラつきがないので、草・雪を含む自然物の像よりも不規則性が低い(規則性が高い)。
このように、画像を構成する画素の不規則性に着目すると、草・雪などの自然的な静止物体を、ガードレールなどの人工的な静止物体及び他車両VXなどの移動物体から識別することができる。
ところで、本実施形態の立体物検出装置1は他車両VXを検出することが目的であるから、草、雪を含む自然物Q1やガードレールなどの構造物をそれぞれ識別することなく、「他車両VX以外の静止物体」として識別すればよいと考えることもできる。
しかしながら、自車両Vの走行に影響を与える「他車両VX」を高い精度で検出するためには、他車両VX以外の物体が移動物体であるか静止物体であるか、立体物であるか平面物であるか、さらには、物体が草・雪を含む自然物であるかによって、その検出対象の画像の特性に応じた画像処理、物体検出処理を設計することが必要である。たとえば、ガードレール形状は予測可能であるので、ガードレールが映り込む画像領域を予測して画像処理にフィードバック処理をかける処理や、草Q1の高さには上限があると考えられるので、これを利用して草Q1が映り込む画像領域を予測して画像処理にフィードバックをかける処理を行うことができる。このように、検出対象である他車両VXの検出精度を向上させるためには、検出対象以外の物体(非検出対象物)の属性(性状)を正確に識別することが求められている。
本実施形態の立体物検出装置1では、画像情報から抽出される不規則性に基づいて他車両VX特性、草・雪を含む自然物Q1の特性、及びガードレールの特性などの物体のそれぞれの特性を分析し、撮像画像に含まれる種々の物体の像から草・雪を含む自然物Q1を正確に識別し、結果的に検出対象である他車両VXを高い精度で検出する。
自然物判断部38は、差分波形情報に基づく草・雪を含む自然物の像を判断する処理、又はエッジ情報に基づく草・雪を含む自然物の像を判断する処理を行う。
自然物判断部38は、立体物検出部33により生成された差分波形情報に基づいて、この差分波形情報の不規則性を評価するための不規則性評価値を算出する。差分波形情報に基づく不規則性評価値の算出手法は特に限定されず、差分波形情報から抽出された特徴のばらつき程度に基づいて判断することができる。たとえば、差分波形情報から抽出される所定値以上のピークの値のばらつきが所定値以上である場合に、不規則性が高いと判断することができる。
具体的に、自然物判断部38は、立体物が検出された差分画像上において第1所定の差分を示す第1画素の第1画素数と、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って抽出され、かつ、差分画像上において第1所定の差分よりも大きい第2所定の差分を示す第2画素の第2画素数とに基づいて、差分波形情報の不規則性を評価するための不規則性評価値を算出し、算出された不規則性評価値が予め設定された所定の不規則性評価閾値以上である場合には、立体物検出部33により検出された立体物が自車両VXの走行路に沿って存在する草又は雪を含む自然物であると判断する。ここで第2の画素を抽出するために用いられる第2所定の差分は、立体物を検出する際に用いる「所定の差分」に相当し、物体のエッジの抽出が可能であることを指標に設定される相対的に高い閾値である。他方、第1画素を抽出するために用いられる第1所定の差分は、差分画像上に現れる何かしらの像(実像及び虚像を含む)のエッジの抽出が可能であることを指標に設定される相対的に低い閾値である。
同様に、自然物判断部38は、立体物検出部37により生成されたエッジ情報に基づいて、このエッジ情報の不規則性を評価するための不規則性評価値を算出する。たとえば、エッジ情報から抽出されるエッジ線の総和やエッジ線量のピーク値のばらつきが所定値以上である場合に、不規則性が高いと判断することができる。
具体的に、自然物判断部38は、立体物が検出された鳥瞰視画像上において互いに隣接する画像領域の輝度差が第1所定閾値以上である第1画素の第1画素数と、鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って抽出され、かつ、鳥瞰視画像上において互いに隣接する画像領域の輝度差が第1所定閾値よりも大きい第2所定閾値以上である第2画素の第2画素数とに基づいて、エッジ情報の不規則性を評価するための不規則性評価値を算出し、算出された不規則性評価値が予め設定された所定の不規則性評価閾値以上である場合には、立体物検出部37により検出された立体物が自車両の走行路に沿って存在する草又は雪を含む自然物であると判断する。ここで第2の画素を抽出するために用いられる第2所定閾値は、立体物を検出する際に用いる「所定閾値」に相当し、物体のエッジの抽出が可能であることを指標に設定される相対的に高い閾値である。他方、第1画素を抽出するために用いられる第1所定閾値は、鳥瞰視画像上に現れる何かしらの像(実像及び虚像を含む)のエッジの抽出が可能であることを指標に設定される相対的に低い閾値である。
本実施形態の自然物判断部38は、差分波形情報を利用できる場合には、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って抽出され、かつ、差分画像上において第2所定の差分を示す画素のうち、画素が所定密度以上又は所定量以上並ぶ画素群を構成する画素を第2画素とし、この第2画素の数を、第2画素数として求める。また、自然物判断部38は、エッジ情報を利用できる場合には、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って抽出され、かつ、鳥瞰視画像上において互いに隣接する画像領域の輝度差が第2所定閾値以上である画素のうち、画素が所定密度以上又は所定量以上並ぶ画素群を構成する画素を第2画素とし、この第2画素の数を第2画素数として求める。
本実施形態では、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って所定密度以上で観察される第2画素を、人工的な立体物の像の特徴として判断するので、物体を含むすべての像に対応する第1画素のうち、人工的な立体物に対応する第2画素と、人工的ではない自然の立体物に対応する画素(第3画素)とを高い精度で識別することができる。
他方、第2画素以外の画素は、人工的立体物に対応しない不規則に検出される画素として分類し、これらの不規則性に基づいて、検出された立体物が自然物であるか否かを判断する。
自然物判断部38は、第1画素数と第2画素数とから不規則性評価値を算出する。自然物判断部38は、「不規則性評価値」として第1画素数に対する第2画素数の割合を算出し、第1画素数に対する第2画素数の割合が所定割合以下である場合には、規則的な第2画素数ではない不規則に点在する画素数が多く、「不規則性評価値」が所定の不規則性評価閾値以上であると判断してもよいし、「不規則性評価値」として第1画素数に対する第2画素数を算出し、第1画素数に対する第2画素数が所定割合以上である場合には、規則的な第2画素数ではない、不規則に点在する画素数が少なく、「不規則性評価値」が所定の不規則性評価閾値以上であると判断してもよい。算出された不規則性評価値が予め設定した所定の不規則性評価閾値以上である場合には、立体物検出部33により検出された立体物が自車両Vの走行路に沿って存在する草・雪を含む自然物の像であると判断する。
このように、本実施形態に係る不規則性の判断に基づく草・雪を含む自然物の検出手法によれば、予め定められた人工的立体物の条件を満たさず不規則に並ぶ不規則エッジ点P1を検出すると共に、不規則エッジ点P1の数Lに基づいて草及び雪が存在するかを判断する。ここで、検出領域A1、A2内に車両などの人工物が入っている場合、人工物であるがゆえにエッジ点Pは倒れ込み方向に沿って規則的に並びやすい傾向にある。これに対して、草及び雪の場合、人工物でないためエッジ点Pは不規則に点在する。よって、不規則エッジ点P1の数Lから、前者と後者とを識別することができる。従って、草や雪の判断精度を向上させることができる。
自然物判断部38の具体的な判断手法を説明する。
上述した「第1画素」は、検出対象領域全体に存在する画素値又は輝度差が所定値以上の画素であり、あらゆる物体(平面物、立体物、移動物体、静止物体を含む)のエッジとなりうる候補点である。また、「第2画素」は、「第1画素」のうち、鳥瞰視画像に始点変換した際に立体物が倒れ込む方向に沿って抽出される画素であり、立体物のエッジとなりうる候補点である。ここで、「第1画素」から「第2画素」を除いた「第3画素」は、倒れ込み方向に沿わないで存在する画素であり、規則的に並んでいない画素、つまり不規則に存在する画素である。
上述した「第1画素」は、検出対象領域全体に存在する画素値又は輝度差が所定値以上の画素であり、あらゆる物体(平面物、立体物、移動物体、静止物体を含む)のエッジとなりうる候補点である。また、「第2画素」は、「第1画素」のうち、鳥瞰視画像に始点変換した際に立体物が倒れ込む方向に沿って抽出される画素であり、立体物のエッジとなりうる候補点である。ここで、「第1画素」から「第2画素」を除いた「第3画素」は、倒れ込み方向に沿わないで存在する画素であり、規則的に並んでいない画素、つまり不規則に存在する画素である。
自然物判断部38は、第1画素数から第2画素数を差し引いた第3画素数を算出し、第2画素数と第3画素数とに基づいて不規則性評価値を算出する。この場合において、自然物判断部38は、第2画素数が第1所定値未満であり、かつ、第3画素数が第2所定値以上である場合に、不規則性評価値が所定の不規則性評価閾値以上であると判断する。特に限定されないが、第2画素数を評価するための第1所定値は、第3画素数を評価するための第2所定値よりも低い値とすることができる。もちろん、第1所定値と第2所定値を同じ値としてもよい。本処理において、自然物判断部38は、規則的に並ぶ第2画素数が相対的に少なく、不規則に所在する第3画素数が相対的に多い場合には、不規則性が高いと評価するので、定量的に撮像画像の不規則性を判断し、高い精度で草又は雪を含む自然物の存在を検出することができる。
自然物判断部38は、第1画素数から第2画素数を差し引いた第3画素数と第2画素数とを比較し、第3画素数から第2画素数を差し引いた値が第3所定値以上である場合に、不規則性評価値が所定の不規則性評価閾値以上であると判断する。本処理において、自然物判断部38は、不規則な第3画素数の方が規則的な第2画素数よりも相対的に多い場合には、不規則性が高いと評価するので、定量的に撮像画像の不規則性を判断し、高い精度で草又は雪を含む自然物の存在を検出することができる。
自然物判断部38は、第1画素数又は第2画素数に対する第3画素数の存在比率を算出し、第1画素数に対する第3画素数の存在比率、又は第2画素数に対する第3画素数の存在比率が、所定比率以上である場合に、不規則性評価値が所定の不規則性評価閾値以上であると判断する。本処理において、自然物判断部38は、不規則な第3画素数の方が規則的な第2画素数や画素全体の第1画素数に対して高い比率で存在する場合には、不規則性が高いと評価するので、定量的に撮像画像の不規則性を判断し、高い精度で草又は雪を含む自然物の存在を検出することができる。
不規則性評価値が不規則性評価値閾値以上である場合には、立体物検出部33により検出された立体物が自車両Vの走行路に沿って存在する草又は雪Q1であると判断することができ、不規則性評価値が不規則性評価閾値未満である場合には、立体物検出部33により検出された立体物が自車両Vの走行路に沿って存在するガードレールなどの人工的な静止物体であると判断することができる。この不規則性評価閾値は、実験的に、草・雪を含む自然物Q1の不規則性に基づいて設定することができる。
次に、立体物判断部34について説明する。本実施形態の立体物判断部34は、立体物検出部33、37において検出された立体物が検出領域A1,A2に存在する他車両VXであるか否かを最終的に判断する。具体的に、立体物判断部34は、立体物検出部33、37による立体物の検出結果が所定時間Tの間に渡って継続する場合には、立体物は検出領域A1,A2に存在する他車両VXであると判断する。特に限定されないが、立体物判断部34は、差分波形情報から抽出される差分波形のピークの数、ピーク値、移動速度などが所定値域であり、その状態が所定時間以上継続した場合には、立体物が検出領域A1,A2に存在する他車両VXであるか否かを最終的に判断してもよいし、エッジ情報から抽出されるエッジの連続性、総和の正規化した値、エッジ線の量などが所定値域であり、その状態が所定時間以上に渡って継続した場合には、立体物が検出領域A1,A2に存在する他車両VXであるか否かを最終的に判断してもよい。
本実施形態の立体物判断部34は、立体物検出部33,37により検出された立体物が所定時間以上に渡って継続して検出される場合には、この立体物を右側検出領域又は左側検出領域に存在する他車両VXであると判断する。
ちなみに、立体物判断部34が、検出された立体物は検出領域A1,A2に存在する他車両VXであると判断した場合には、乗員への報知などの処理が実行される。この立体物判断部34は、制御部39の制御命令に従い、検出された立体物が他車両VXであると判断することを抑制することができる。
なお、以下においては、不規則性の評価手法について、自然物判断部38を処理の主体として説明するが、自然物判断部38は、位置合わせ部32若しくは立体物検出部33、又は輝度差算出部35、エッジ線検出部36若しくは立体物検出部37に処理の一部を行わせて、その処理結果を取得し、最終的に不規則性を判断することができる。
自然物判断部38は、視点変換部331により視点変換された検出領域A1,A2の鳥瞰視画像データから、予め定められた人工的立体物の条件を満たさず不規則に並ぶ不規則エッジ点を検出する。ここで、予め定められた人工的立体物の条件とは、検出領域A1,A2の鳥瞰視画像データ上において、略直線的に所定密度以上でエッジ点が並んでいることである。
なお、不規則性の判断処理において、自然物判断部38は、エッジ情報の処理を、エッジ線検出部36、立体物検出部37に実行させ、その処理結果を利用することができる。また、不規則性の判断処理において、自然物判断部38は、以下に説明するエッジ情報の処理を、画素値に基づいて差分波形情報を生成する位置合わせ部32、立体物検出部33に実行させその処理結果を利用することができる。本実施形態では、立体物を差分波形情報又はエッジ情報に基づいて検出するが、差分波形情報及びエッジ情報は、元々は撮像画像を構成する各画素の画素値又は輝度差という共通の情報に基づいて生成されるものであるので、この不規則性判断は、いずれの手法においても適用することができる。また、差分波形情報に基づいて立体物を検出しつつ、エッジ情報に基づいて不規則性を判断してもよいし、エッジ情報に基づいて立体物を検出しつつ、差分波形情報に基づいて不規則性を判断してもよい。
図21は、検出領域A1の鳥瞰視画像データ上におけるエッジ点P(画素を含む以下同じ)を示す図である。図21に示すように、検出領域A1の鳥瞰視画像データ上には複数のエッジ点Pが存在する。このうち、領域R1,R2内に位置するエッジ点Pについては、略直線的に所定密度以上で並んでおり、予め定められた人工的立体物の条件を満たしている。しかし、領域R1,R2外に位置するエッジ点Pについては、略直線的に所定密度以上で並んでおらず、予め定められた人工的立体物の条件を満たしていない。自然物判断部38は、上記複数のエッジ点Pのうち領域R1,R2外に位置するエッジ点Pを、不規則エッジ点P1として検出する。この人工的立体物の条件であるエッジ点が所定密度以上で並ぶ方向は、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿う方向である。
自然物判断部38は、検出領域A1,A2の鳥瞰視画像データからエッジ点Pを検出する。このエッジ点検出処理は、例えば鳥瞰視画像データにラプラシアンフィルタをかけて2値化処理を行うことにより、エッジ点Pを検出する。
自然物判断部38は、検出されたエッジ点Pのうち、予め定められた人工的立体物の条件を満たす規則的に並んだ規則的エッジ点P2を検出する。自然物判断部38は、検出領域A1,A2の鳥瞰視画像データにおいて、カメラ10から放射方向に所定密度以上でエッジ点Pが並んでいることを条件として、規則的エッジ点P2を検出する。一例を挙げると、自然物判断部38は、カメラ10から放射方向に伸びる直線を定義し、この直線から所定画素(例えば10画素)以内に収まる領域を決定する。自然物判断部38は、この領域内のエッジ点Pを略直線的に並ぶものと判断し、領域内のエッジ点Pが互いに所定距離(所定画素)以内に位置しているか否かを判断することで、所定密度以上で並んでいるか否かを判断する。
エッジ点Pと規則的エッジ点P2が検出されると、自然物判断部38は、検出されたエッジ点Pの数から規則的エッジ点P2の数を減算した数を、不規則エッジ点P1の数として検出する。自然物判断部38は、検出領域A1,A2内に草及び泥や士をまだらに含む雪の少なくとも一方が存在するか否かを判断するものである。判断にあたり、自然物判断部38は、検出された不規則エッジ点P1の数を参照する。
図22は、検出領域A1の鳥瞰視画像データにおけるエッジ点Pを示す図であり、(a)は車両(タイヤ部分)のエッジ点Pを示し、(b)は草のエッジ点Pを示し、(c)は雪のエッジ点Pを示している。まず、車両(タイヤ)は人工物である。このため、エッジ点Pは規則的に並び易い傾向にある。よって、図22(a)に示すように、車両については不規則エッジ点P1の数が少なくなり、規則的エッジ点P2が多くなる傾向にある。一方、草や雪は人工的立体物でないことから、図22(b)及び図22(c)に示すように、略直線的に所定密度で並ぶエッジ点P(すなわち規則的エッジ点P2)が少なく、不規則エッジ点P1の数が多くなる。自然物判断部38は、不規則エッジ点P1の数と所定の閾値とを比較することで、草や雪を判断することができる。ここで、不規則エッジ点P1の値は不規則性評価値の一態様であり、比較される所定の閾値は不規則性評価閾値の一態様である。所定の閾値は、上述した草・雪を含む自然物Q1を識別する観点から設定される不規則性評価閾値としての閾値を少なくとも含む。
自然物判断部38は、エッジ点Pの数又は規則的エッジ点P2の数に対する不規則エッジ点P1の数の比率に基づいて、草や雪を検出すること。エッジ点Pの数は、画像撮像時における光環境の影響を受けて増減する場合がある。このため、自然物判断部38は、単に不規則エッジ点P1の数と所定の閾値とを比較するよりも、上記比率と所定の閾値とを比較する方が光環境の影響を受け難く草や雪を正確に判断することができる。ここで、エッジ点Pの数又は規則的エッジ点P2の数に対する、不規則エッジ点P1の数の比率は不規則性評価値の一態様であり、比較される比率に関する所定の閾値は不規則性評価閾値の一態様である。所定の閾値は、上述した草・雪を含む自然物Q1を識別する観点から設定される不規則性評価閾値としての閾値を少なくとも含む。
次に、本実施形態に係る不規則性の評価方法、具体的には不規則性の高い草・雪を含む自然物の検出方法について説明する。図23は、本実施形態に係る雪・草のなどの自然物の検出方法を示すフローチャートである。図23に示すように、まず自然物判断部38は視点変換部31の視点変換により得られた鳥瞰視画像データにラプラシアンフィルタを掛ける(S51)。これにより、エッジ点Pに相当する画素の画素値は大きくなり、その他の画素については画素値が小さくなる。
その後、自然物判断部38は、ラプラシアンフィルタを掛けた画像に対して、 2値化処理を施し(S52)、エッジ点Pを明確にする。そして、自然物判断部38は、エッジ点Pの数Nをカウントする(S53)。自然物判断部38は、ステップS54,S55の処理において、カメラ10から放射方向に、所定密度以上でエッジ点Pが並んでいることを人工的立体物の条件として規則的エッジ点P2を検出し、規則的エッジ点P2の数Mをカウントする。すなわち、自然物判断部38は、まず鉛直エッジを検出し(S54)、鉛直エッジ周辺(例えば鉛直エッジから10画素以内)のエッジ点Pの数Mをカウントする(S55)。
次に、自然物判断部38は、ステップS3においてカウントし、算出したエッジ点Pの数NからステップS5において算出した規則的エッジ点P2の数Mを減じることで、不規則エッジ点P1の数Lを算出する(S56)。自然物判断部38は、比率を算出する(S57)。このとき、自然物判断部38は、エッジ点Pの数N又は規則的エッジ点P2の数Mに対する不規則エッジ点P1の数Lの比率を、L/N又はL/Mなる式から算出する。なお、この比率は、L/N又はL/Mを含んでいれば、他の数が加減算されてもよいし乗除算されてもよい。
次に、自然物判断部38は、ステップS57にて算出された比率が所定の閾値以上であるか否かを判断する(S58)。比率が所定の閧値以上であると判断した場合(S58:YES)、不規則エッジ点P1の数が多いことから検出領域A1,A2内に草や雪が存在する可能性が高い。よって、自然物判断部38は、検出領域A1,A2内に草又は雪が存在すると判断する(S59)。制御部39は、立体物検出部37、立体物判断部34に対して立体物が検出され又は判断されることを抑制する旨の制御命令を送信する(S60)。これにより、立体物検出部33,37、立体物判断部34は、検出領域A1,A2内に草又は雪に由来する像が存在すると認識し、草又は雪を他車両VXとして誤検出しないようにすることができる。
自然物判断部38は、一方、比率が所定の閾値値以上でないと判断した場合(S58:No)、検出領域A1、A2内に草又は雪の像が存在しないと判断する。
また、検出領域A1、A2内の画像データからエッジ点Pを検出すると共に、予め定められた人工的立体物の条件を満たす規則的に並んだ規則的エッジ点P2を検出し、前者から後者を減算する。このため、全体のエッジ点Pを把握したうえで規則的なエッジ点P2を減じることで、不規則に並ぶ不規則エッジ点P1を検出することができる。
また、エッジ点Pの数N又は規則的エッジ点P2の数Mと、不規則エッジ点P1の数Lとの比率に基づいて、検出領域A1、A2内に草及び雪の少なくとも一方が存在するかを判断する。このため、光環境の相違によりエッジ点Pが多く検出されたり少なく検出されたりするような場合であっても、エッジ点Pの数N又は規則的エッジ点P2の数Mと、不規則エッジ点P1の数Lとは、それぞれ同様に多く検出されたり少なく検出される。よって、比率自体は光環境に影響され難いといえる。従って、光環境の変化によっても影響を受け難く草や雪を検出することができる。
また、検出領域A1,A2の画像データを鳥瞰視した状態で略直線的に所定密度以上でエッジ点が並んでいることを条件として、規則的エッジ点P1を抽出する。このため、人工物などのように直線成分が多いものについては、規則的エッジ点P1が検出され易くなり、草や雪については規則的エッジ点P1が検出され難くなる。よって、一層正確に草や雪を検出することができる。
また、検出領域A1,A2の画像データを鳥瞰視した状態で、カメラ10から放射方向に、所定密度以上でエッジ点Pが並んでいることを条件として、規則的エッジ点P2を検出する。このため、実空間上において鉛直方向に伸びる成分を規則的エッジ点P2として検出することとなり、立体物である車両がもつ鉛直方向のエッジ点Pを捉えることができるため、車両と草や雪との相違を明確とすることができる。
次に、不規則性判断に係る他の処理例を説明する。本処理は、図3に示す自然物判断部38が実行する。本例の自然物判断部38は、直線成分検出機能を備える。直線成分検出機能は、検出領域A1,A2内の鳥瞰画像データから直線成分を検出する。
自然物判断部38は、直線成分検出機能により検出された直線成分の近傍領域(例えば10画素以内の領域)を除いた領域を対象にして、エッジ点Pを検出する。このエッジ点Pが図21に示す不規則エッジ点P1を検出する。
図24は、本処理の制御手順を示すフローチャートである。図24に示すように、自然物判断部38は、視点変換部31の視点変換により得られた鳥瞰画像データを取得すると、これに対してHOUGH変換して直線成分を検出する(S61)。
その後、自然物判断部38は、検出された直線成分を含む周辺領域(例えば直線成分を10画素以内の領域)を決定する(S62)。その後、自然物判断部38は、ステップS62において決定した領域を除いた領域に対してラプラシアンフィルタを掛ける(S63)。これにより、エッジ点P(具体的には不規則エッジ点P1に相当する画素の画素値は大きくなり、その他の画素については画素値が小さくなる。
その後、自然物判断部38は、ラプラシアンフィルタを掛けた画像に対して、2値化処理を施す(S64)。これにより、自然物判断部38は、不規則エッジ点P1を抽出し、不規則エッジ点P1の数Lをカウントして算出する(S65)。
次に、自然物判断部38は、ステップS65にて算出された数Lが所定の閥値以上であるか否かを判断する(S66)。数Lが所定の閾値以上であると判断した場合(S66:YES)、不規則エッジ点P1の数が多いことから検出領域A1,A2内に草や雪が存在する可能性が高い。よって、自然物判断部38は、検出領域A1,A2内に草又は雪が存在すると判断する(S67)。
後述する制御部39は、立体物検出部33,37又は立体物判断部34に対して処理を中止すべき旨の信号を送信する(S68)。これにより、立体物検出部33,37又は立体物判断部34は、検出領域A1,A2内に草又は雪が存在すると認識し、草又は雪の像が立体物、移動物体である他車両VXの像であると誤認識されないようにすることができる。そして、図24に示す処理は終了する。
一方、数Lが所定の閾値以上でないと判断した場合(S66:NO)、自然物判断部38は、検出領域A1,S2内に草又は雪が存在しないと判断し、図24に示す処理は終了する。
この自然物の検出方法によれば、先述した処理手法と同様に、高い精度で草や雪などの自然物を検出することができる。
この自然物の検出方法によれば、検出領域A1,A2内の画像データから直線成分を検出し、直線成分の近傍領域を除いた領域を対象にして、エッジ点Pを検出する。よって、まず直線成分が除去されることとなり、除去された状態でエッジ点Pが検出されるため、不規則に並ぶ不規則エッジ点P1を検出することができきる。
本実施形態の静止物体の判断処理においては以下の改変が可能である。例えば、本例では、自車両Vの車速を速度センサ20からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定するようにしてもよい。この場合、車速センサが不要となり、構成の簡素化を図ることができる。
また、本例において自然物判断部38は、不規則エッジ点を検出する際に、撮像により得られた画像データを鳥瞰画像に変換したうえで、不規則エッジ点P1を検出しているが、これに限らず、必ずしも撮像により得られた画像データを鳥瞰画像に変換しなくともよい。
また、本例において自然物判断部38は、不規則エッジ点P1の数Lと所定の閾値とを比較して、検出領域A1,A2内に草又は雪が存在するか否かを判断しているが、これに限らず、全体のエッジ点Pの数Nを検出して比率を求め、この比率と所定の閥値とを比較してもよい。また、規則的エッジ点P2の数Mを検出して同様に比率を所定の閾値と比較してもよい。
また、本実施形態においてカメラ10は、自車両Vの後側方領域を検出領域A1,A2として撮像しているが、これに限らず、側方領域を検出領域A1,A2としてもよいし、前側方領域を検出領域A1,A2 としてもよい。
上述したエッジの不規則性は、本発明のエッジ情報の特徴のみならず、差分画像情報の特徴として把握することができる。つまり、差分画像情報を生成する際に、位置合わせされた鳥瞰視画像の差分画像上において、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、差分画像上において所定の差分を示す画素の画素数をカウントして度数分布化するが、この差分画像上で所定の差分(又は第2所定の差分)を示す画素を本不規則性処理におけるエッジとして扱い、この画素の度数分布に基づいて上記手法を適用して不規則性を判断することができる。
続いて、制御部39について説明する。本実施形態の制御部39は、前回の処理において、撮像画像に草・雪などの自然物が含まれており、検出領域A1,A2に草・雪を含む自然物の像Q1が映り込んでいることが自然物判断部38により判断された場合には、次回の処理において立体物検出部33,37、立体物判断部34、自然物判断部38、又は自身である制御部39の何れか一つ以上の各部において実行される制御命令を生成することができる。
本実施形態の制御命令は、検出される立体物が他車両VXであると判断されることが抑制されるように各部の動作を制御するための命令である。検出領域A1,A2に草・雪を含む自然物の像が映り込んでいる場合に、検出された立体物は草・雪を含む自然物の像である可能性が高いため、それを誤って他車両VXと判断することを防止するためである。本実施形態の計算機30はコンピュータであるため、立体物検出処理、立体物判断処理、自然物判断処理に対する制御命令は各処理のプログラムに予め組み込んでもよいし、実行時に送出してもよい。本実施形態の制御命令は、差分波形情報に基づいて立体物を検出する際の感度を低下させる命令、エッジ情報に基づいて立体物を検出する際の感度を低下させる命令であってもよい。また、立体物が他車両VXであると判断されることを抑制する場合には、制御命令は、検出された立体物を他車両として判断する処理を中止させたり、検出された立体物を他車両ではないと判断させたりする結果に対する命令であってもよい。
本実施形態の制御部39は、自然物判断部38により検出された立体物は草・雪を含む自然物の像である可能性が高いと判断された場合には、立体物が検出され、この検出された立体物が他車両VXであると判断されることを抑制する制御命令を立体物検出部33,37又は立体物判断部34に送出する。これにより、立体物検出部33,37は立体物を検出し難くなる。また、立体物判断部34は検出された立体物が検出領域Aに存在する他車両VXであると判断し難くなる。
また、制御部39は、自然物判断部38により検出された立体物は草・雪を含む自然物の像である可能性が高いと判断された場合には、立体物の検出処理を中止する内容の制御命令を生成して立体物検出部33,37に出力してもよいし、立体物の判断処理を中止する内容の制御命令又は検出された立体物が他車両ではないと判断する内容の制御命令を生成し、立体物判断部34に出力してもよい。これにより、上述と同様の作用効果を得ることができる。
以下、制御部39が出力する具体的な各制御命令について説明する。
制御部39は、前回の処理で、自然物判断部38により検出された立体物は草・雪を含む自然物(静止物体)である可能性が高いと判断された場合には、検出領域A1,A2に自然物の像が映り込んでおり、画像情報に基づく処理に誤りが発生する可能性が高いと判断する。このまま、通常と同じ手法で立体物を検出すると、検出領域A1,A2に映り込んだ草・雪を含む自然物Q1の像に基づいて検出された立体物を誤って他車両VXと判断する場合がある。このため、本実施形態の制御部39は、次回の処理においては、草・雪を含む自然物Q1の像に基づいて検出された立体物が誤って他車両VXと判断されることを抑制するために、差分波形情報を生成する際の画素値の差分に関する閾値を高く変更する。このように、検出領域A1,A2に草・雪を含む自然物Q1が映り込んでいる場合には、判断の閾値を高く変更することにより、立体物の検出又は他車両VXであるとの判断が抑制されるので、草・雪を含む自然物Q1の像に起因する誤検出することを防止することができる。
制御部39は、前回の処理で、自然物判断部38により検出された立体物は草・雪を含む自然物(静止物体)である可能性が高いと判断された場合には、検出領域A1,A2に自然物の像が映り込んでおり、画像情報に基づく処理に誤りが発生する可能性が高いと判断する。このまま、通常と同じ手法で立体物を検出すると、検出領域A1,A2に映り込んだ草・雪を含む自然物Q1の像に基づいて検出された立体物を誤って他車両VXと判断する場合がある。このため、本実施形態の制御部39は、次回の処理においては、草・雪を含む自然物Q1の像に基づいて検出された立体物が誤って他車両VXと判断されることを抑制するために、差分波形情報を生成する際の画素値の差分に関する閾値を高く変更する。このように、検出領域A1,A2に草・雪を含む自然物Q1が映り込んでいる場合には、判断の閾値を高く変更することにより、立体物の検出又は他車両VXであるとの判断が抑制されるので、草・雪を含む自然物Q1の像に起因する誤検出することを防止することができる。
まず、差分波形情報に基づいて立体物を検出する場合の制御命令について説明する。先述したように、立体物検出部33は、差分波形情報と第1閾値αとに基づいて立体物を検出する。そして、本実施形態の制御部39は、自然物判断部38により検出された立体物は草・雪を含む自然物の像である可能性が高いと判断された場合には、立体物が検出され難くなるように、第1閾値αを高くする制御命令を生成し、立体物検出部33に出力する。第1閾値αとは、図11のステップS7において、差分波形DWtのピークを判断するための第1閾値αである(図5参照)。また、制御部39は、差分波形情報における画素値の差分に関する閾値pを高く又は低くする制御命令を立体物検出部33に出力することができる。
また、本実施形態の制御部39は、自然物判断部38により検出された立体物は草・雪を含む自然物の像である可能性が高いと判断された場合には、鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低く出力する制御命令を立体物検出部33に出力することができる。鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値とは、図11のステップS5において生成される差分波形DWtの縦軸の値である。制御部39は、前回の処理で検出された立体物は草・雪を含む自然物の像である可能性が高いと判断された場合には、検出領域A1,A2に映り込んだ草・雪を含む自然物Q1に基づいて他車両VXを誤検出する可能性が高いと判断する。このため、次回の処理においては検出領域A1,A2において立体物又は他車両VXが検出され難くなるように、差分波形DWtの度数分布化された値を低く変更して出力する。このように、検出された立体物は草・雪を含む自然物の像である可能性が高いと判断された場合に、出力値を低くすることにより、自車両Vの走行車線の隣を走行する他車両VXの検出感度が調整されるため、検出領域A1,A2に映り込んだ草・雪を含む自然物Q1に起因する他車両VXの誤検出を防止することができる。
次に、エッジ情報に基づいて立体物を検出する場合の制御命令について説明する。先述した差分波形情報に基づく処理と同様に、制御部39は、前回の処理で検出された立体物は草・雪を含む自然物の像である可能性が高いと判断された場合には、検出領域A1,A2に映り込んだ草・雪を含む自然物Q1に基づいて他車両VXを誤検出する可能性が高いと判断する。このため、本実施形態の制御部39は、検出された立体物は草・雪を含む自然物の像である可能性が高いと判断された場合には、エッジ情報を検出する際に用いられる輝度に関する所定閾値を高くする制御命令を立体物検出部37に出力する。エッジ情報を検出する際に用いられる輝度に関する所定閾値とは、図17のステップS29における各注目点Paの属性の連続性cの総和を正規化した値を判断する閾値θ、又は図18のステップ34におけるエッジ線の量を評価する第2閾値βである。つまり、本実施形態の制御部39は、検出された立体物は草・雪を含む自然物の像である可能性が高いと判断された場合には、立体物が検出され難くなるように、エッジ線を検出する際に用いられる閾値θ又はエッジ線の量を評価する第2閾値βを高くする制御命令を生成し、立体物検出部37へ出力する。このように、検出された立体物は草・雪を含む自然物の像である可能性が高いと判断された場合に、判断の閾値を高く変更することにより、立体物の検出又は他車両VXであるとの判断がされることを抑制するので、検出領域A1,A2に映り込んだ草・雪を含む自然物Q1に起因する誤検出することを防止することができる。
また、本実施形態の制御部39は、自然物判断部38により検出された立体物は草・雪を含む自然物の像である可能性が高いと判断された場合には、検出したエッジ情報の量を低く又は高く出力する制御命令を立体物検出部37に出力する。検出したエッジ情報の量とは、図17のステップS29における各注目点Paの属性の連続性cの総和を正規化した値、又は図18のステップ34におけるエッジ線の量である。制御部39は、前回の処理で検出された立体物は草・雪を含む自然物の像である可能性が高いと判断された場合には、検出領域A1,A2に映り込んだ草・雪を含む自然物Q1に基づいて他車両VXを誤検出する可能性が高いと判断する。このため、次回の処理においては、立体物が検出され、その立体物が他車両VXであると判断されることが抑制されるように、各注目点Paの属性の連続性cの総和を正規化した値又はエッジ線の量を低く変更して出力する。
具体的に、検出された立体物は草・雪を含む自然物の像である可能性が高い場合には、差分波形DWtの度数分布化された値を低く変更して出力する。このように、検出された立体物は草・雪を含む自然物の像である可能性が高い場合には、出力値を低くすることにより、立体物の検出又は他車両VXであるとの判断が抑制されるように制御することができるので、検出領域A1,A2に映り込んだ草・雪を含む自然物Q1に起因する誤検出することを防止することができる。
以下、図25に基づいて、本実施形態の立体物検出装置1の動作、特に、制御部39及び制御命令を取得した立体物判断部34、立体物検出部33,37の動作を説明する。図25に示す処理は、前回の立体物検出処理の後に、前回処理の結果を利用して行われる今回の立体物検出処理である。
まず、図25に示すステップS41において、自然物判断部38は、差分波形情報又はエッジ情報に基づいて不規則性を判断する。不規則性評価値は、差分波形情報又はエッジ情報から抽出された特徴のばらつき程度に基づいて判断することができる。たとえば、差分波形情報又はエッジ情報から抽出されるピークの数が所定値未満であり、ピーク間のばらつきが所定値以上であり、かつ自車両Vの車速分に応じる差分波形情報のピーク部分の面積差分(ピークに対する面積差分の比)又はエッジ情報のピーク部分のエッジ量の差分(ピークのエッジ量に対するエッジ差分の比)が大きいほど不規則性が高いと判断することができる。
ステップS42において、自然物判断部38は、算出された不規則性評価値が不規則性評価閾値以上であるか否かを判断する。算出された不規則性評価値が不規則性評価閾値未満である場合には、ステップS45へ進む。算出された不規則性評価値が不規則性評価閾値以上である場合にはステップS43へ進み、検出された立体物は草・雪を含む自然物の像Q1であると判断する。
続くステップS44において、制御部39は、自然物判断部38により、前回の処理で検出された立体物が草・雪を含む自然物の像Q1であると判断された場合には、検出領域A1,A2に映り込んだ草・雪を含む自然物の像Q1に基づいて他車両VXを誤検出する可能性が高いと判断し、次回の処理において立体物が検出され、その立体物が他車両VXであると判断されることが抑制されるように、立体物検出処理、立体物判断処理において用いられる閾値を高く設定するか、閾値と比較される出力値を低く出力する制御を行う。
立体物検出部33、37により立体物が検出されること又は立体物判断部37により立体物が他車両であると判断されることを抑制するために、制御部39は各処理に用いられる各閾値を初期値、標準値その他の設定値よりも高く(検出がされ難くなるように)変更し、又は各閾値と比較される出力値を低く(検出がされ難くなるように)変更する。なお、制御部39が促進処理を行う場合には、促進処理は抑制処理と判断の制御となる。
具体的な処理の内容は、以下のとおりである。
差分波形情報を用いて立体物を検出する立体物検出部33が、差分波形情報が所定の第1閾値α以上であるときに立体物を検出する場合において、制御部39は、前回の処理で検出された立体物が草・雪を含む自然物の像Q1であると判断された場合には、立体物が検出され難いように第1閾値αを高く変更する制御命令を生成し、この制御命令を立体物検出部33に出力する。
同じく、立体物検出部33が、差分波形情報が所定の第1閾値α以上であるときに立体物を検出する場合において、制御部39は、前回の処理で検出された立体物が草・雪を含む自然物の像Q1であると判断された場合には、鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低く変更して出力させる制御命令を生成し、この制御命令を立体物検出部38に出力する。
また、差分波形情報を用いて立体物を検出する立体物検出部33が閾値p以上の画素値を示す画素数を所定の差分を示す画素数として抽出する場合において、制御部39は、前回の処理で検出された立体物が草・雪を含む自然物の像Q1であると判断された場合には、立体物が検出され難いように閾値pを高く変更する制御命令を生成し、この制御命令を立体物検出手部38に出力する。
同じく、立体物検出部33が閾値p以上の画素値を示す画素数を所定の差分を示す画素数として抽出する場合において、制御部39は、前回の処理で検出された立体物が草・雪を含む自然物の像Q1であると判断された場合には、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、差分画像上において抽出される画素数を低く変更して出力する制御命令を生成し、この制御命令を立体物検出部38に出力する。たとえば、制御部39は、立体物検出部33(又は立体物検出部37)による立体物が存在するという検出結果、又は立体物判断部34による立体物が最終的に他車両VXであるという判断結果が出ることを抑制するために、検出領域A1,A2を部分的にマスクし、又は検出や判断に用いられる閾値や出力値を調整する。
エッジ情報を用いて立体物を検出する立体物検出部37が所定閾値t以上の輝度差を示す画素に基づいてエッジ線を抽出する場合において、制御部39は、前回の処理で検出された立体物が草・雪を含む自然物の像Q1であると判断された場合には、立体物が検出され難いように所定閾値tを高く変更する制御命令を生成し、この制御命令を立体物検出部37に出力する。
同じく、エッジ情報を用いて立体物を検出する立体物検出部37が所定閾値t以上の輝度差を示す画素に基づいてエッジ線を抽出する場合において、制御部39は、前回の処理で検出された立体物が草・雪を含む自然物の像Q1であると判断された場合には、画素の輝度値を低く変更して出力する制御命令を生成し、この制御命令を立体物検出部37に出力する。
エッジ情報を用いて立体物を検出する立体物検出部37がエッジ情報に含まれる閾値θ以上の長さを有するエッジ線に基づいて立体物を検出する場合において、制御部39は、前回の処理で検出された立体物が草・雪を含む自然物の像Q1であると判断された場合には、立体物が検出され難いように閾値θを高く変更する制御命令を生成し、この制御命令を立体物検出部37に出力する。
同じく、エッジ情報を用いて立体物を検出する立体物検出部37がエッジ情報に含まれる閾値θ以上の長さを有するエッジ線に基づいて立体物を検出する場合において、制御部39は、前回の処理で検出された立体物が草・雪を含む自然物の像Q1であると判断された場合には、検出したエッジ情報のエッジ線の長さの値を低く変更して出力させる制御命令を生成し、この制御命令を立体物検出部37に出力する。
エッジ情報を用いて立体物を検出する立体物検出部37がエッジ情報に含まれる所定長さ以上のエッジ線、例えば閾値θ以上の長さを有するエッジ線の本数が第2閾値β以上であるか否かの判断に基づいて立体物を検出する場合において、制御部39は、前回の処理で検出された立体物が草・雪を含む自然物の像Q1であると判断された場合には、立体物が検出され難いように第2閾値βを高く変更する制御命令を生成し、この制御命令を立体物検出部37に出力する。
エッジ情報を用いて立体物を検出する立体物検出部37がエッジ情報に含まれる所定長さ以上のエッジ線、例えば閾値θ以上の長さを有するエッジ線の本数が第2閾値β以上であるか否かの判断に基づいて立体物を検出する場合において、制御部39は、前回の処理で検出された立体物が草・雪を含む自然物の像Q1であると判断された場合には、検出した所定長さ以上のエッジ線の本数を低く出力する制御命令を生成し、この制御命令を立体物検出部37に出力する。
また、立体物判断部34は、検出された立体物の移動速度が予め設定された所定速度以上であるときに、この立体物を他車両であると判断する場合において、制御部39は、前回の処理で検出された立体物が草・雪を含む自然物の像Q1であると判断された場合には、立体物が検出され難いように立体物を他車両であると判断する際の下限となる所定速度を高く変更する制御命令を生成し、この制御命令を立体物判断部34に出力する。
同じく、立体物判断部34は、検出された立体物の移動速度が予め設定された所定速度以上であるときに、この立体物を他車両であると判断する場合において、制御部39は、前回の処理で検出された立体物が草・雪を含む自然物の像Q1であると判断された場合には、立体物を他車両であると判断する際の下限となる所定速度と比較される立体物の移動速度を低く変更して出力する制御命令を生成し、当該制御命令を立体物判断部34に出力する。
また、立体物判断部34が、検出された立体物の移動速度が予め設定された所定速度未満であるときに、この立体物を他車両であると判断する場合において、制御部39は、前回の処理で検出された立体物が草・雪を含む自然物の像Q1であると判断された場合には、立体物を他車両であると判断する際の上限となる所定速度を低く変更する制御命令を生成し、この制御命令を立体物判断部34に出力する。
同じく、立体物判断部34検出された立体物の移動速度が予め設定された所定速度未満であるときに、この立体物を他車両であると判断する場合において、制御部39は、前回の処理で検出された立体物が草・雪を含む自然物の像Q1であると判断された場合には、立体物を他車両であると判断する際の上限となる所定速度と比較される立体物の移動速度を高く変更する制御命令を生成し、この制御命令を立体物判断部34に出力する。
なお、ここで「移動速度」は、立体物の絶対速度、および自車両に対する立体物の相対速度を含む。立体物の絶対速度は立体物の相対速度から算出してもよいし、立体物の相対速度は立体物の絶対速度から算出してもよい。
ちなみに、第1閾値αは、図11のステップS7において、差分波形DWtのピークを判断するためのである。閾値pは所定の画素値を有する画素を抽出するための閾値である。所定閾値tは所定の輝度差を有する画素又はエッジ成分を抽出するための閾値である。閾値θは、図17のステップS29における各注目点Paの属性の連続性cの総和を正規化した値(エッジの長さ)を判断する閾値であり、第2閾値βは、図18のステップ34におけるエッジ線の量(本数)を評価する閾値である。このように、判断の閾値を高く変更することにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度が調整されるため、自然物を他車両VXとして誤検出することを防止することができる。
本実施形態の制御部39は、鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低く出力する制御命令を立体物検出部33に出力する。鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値とは、図11のステップS5において生成される差分波形DWtの縦軸の値である。
また、本実施形態の制御部39は、検出したエッジ情報を低く出力する制御命令を立体物検出部37に出力する。検出したエッジ情報とは、図17のステップS29における各注目点Paの属性の連続性cの総和を正規化した値であるエッジ線の長さのほか、図18のステップ34におけるエッジ線の量である。制御部39は、立体物が自然物であると判断されると、これを立体物として検出しないように、次回の処理においては立体物が検出されにくいように、各注目点Paの属性の連続性cの総和を正規化した値又はエッジ線の量を低く変更する。このように、出力値を低くすることにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度を調整できるため、自然物を隣の車線を走行する他車両VXとして誤検出することを防止することができる。
制御部39は、立体物の検出が抑制されるように、差分波形情報を生成する際の画素値の差分に関する閾値p、差分波形情報から立体物を判断する際に用いる第1閾値α、エッジ情報を生成する際の閾値θ、エッジ情報から立体物を判断する際に用いる第2閾値βの何れか一つ以上を高く変更する旨の制御命令を立体物検出部33,37へ送出する。なお、制御部39は、閾値を上げる代わりに、閾値によって評価される出力値を低くする制御命令を生成し、立体物検出部33、37に出力してもよい。
なお出力値を低くする場合には、制御部39は、鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低く出力する制御命令を立体物検出部33に出力する。鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値とは、図11のステップS5において生成される差分波形DWtの縦軸の値である。同様に、制御部39は、検出したエッジ情報の量を低く出力する制御命令を立体物検出部37に出力することができる。検出したエッジ情報の量とは、図17のステップS29における各注目点Paの属性の連続性cの総和を正規化した値、又は図18のステップ34におけるエッジ線の量である。制御部39は、前回の処理で検出された立体物が自然物であると判断された場合には、次回の処理においては立体物が検出されにくいように、各注目点Paの属性の連続性cの総和を正規化した値又はエッジ線の量を低く変更する制御命令を立体物検出部37に出力することができる。
各閾値又は各出力値を変化させたのち、ステップS45に進み、差分波形情報又はエッジ情報に基づいて立体物が検出されし、検出された立体物が他車両VXであるか否かを判断する。
ステップS46において、立体物が検出され、立体物が他車両VXである場合には、ステップS47において他車両が存在する旨の判断結果を出力し、立体物が他車両VXでない場合には、ステップS48において他車両は存在しない旨の判断結果を出力する。ステップS45及びステップS46における処理は、先に図11及び12において説明した差分波形情報に基づく他車両VXの検出処理、同じく図17及び図18において説明したエッジ情報に基づく他車両VXの検出処理と共通する。
他方、ステップS46において、立体物・他車両VXが非検出である場合には、ステップS48に進み、検出された立体物は他車両VXではなく、他車両VXは存在しないと判断してもよいし、ステップS49に進み、立体物の検出処理を中止してもよい。
以下、上述したように行われる立体物検出の抑制処理の解除手法の一例を説明する。本実施形態では、草・雪を含む自然物の像Q1が検出された場合に、立体物検出の抑制を行うが、この立体物検出の抑制処理が行われた後に、立体物判断部34が検出された立体物を移動物体であると判断した場合には、立体物検出の抑制処理を解除する。
立体物検出の抑制解除処理の制御手順を図26に示す。図26に示す処理は、図25に示す立体物検出の抑制処理と並行して行われる、図26に示すように、ステップS71において、立体物判断部34は立体物検出部33,37により検出された立体物が移動物体であるか又は静止物体であるかを判断する。この判断手法は後述する。ステップS72において、抑制処理(図25のS44)がすでに実行されている場合であって、続くステップS73において立体物が移動物体であると判断された場合には、ステップS74に進んで、その抑制処理を解除する。すなわち、変更させた閾値を元の値に戻し、変更させた出力値を元の値に戻す。ステップS72において抑制処理(図25のS44)が行われていない、及びステップ73において検出された立体物が静止物体である場合には、ステップS45に進み、すでに行われた抑制処理(図25のS44)の下で他車両検出処理を行う。ステップS45以降の処理は、図25に説明したステップS45以降の処理と共通するので、その説明を援用して記載を省略する。
以下、立体物が移動物体であるか又は静止物体であるかを判断する手法を説明する。本実施形態の立体物検出装置1の立体物判断部34は、異なる時間において撮像された画像における移動物体の像と異なる時間において撮像された画像における静止物体の像の特徴の相違に基づいて、撮像画像から検出される立体物が移動物体であるか又は静止物体であるかを判断する。
具体的に、立体物判断部34は、立体物が検出された第1の時刻において得られた第1鳥瞰視画像の位置と、第1の時刻の後の第2の時刻において得られた第2鳥瞰視画像の位置とを自車両Vの移動距離(移動速度)に応じて鳥瞰視上で位置合わせをして、この位置合わせされた鳥瞰視画像の差分画像上において、所定の差分を示す画素数をカウントして度数分布化して生成した第1差分波形情報の第1積算値を求める。つまり、自然物判断部38は、自車両Vの移動量を考慮して、オフセットした差分画像を生成する。オフセットする量d’は、図4(a)に示した自車両Vの実際の移動距離に対応する鳥瞰視画像データ上の移動量に対応し、車速センサ20からの信号と一時刻前から現時刻までの時間に基づいて決定される。第1積算値は、第1差分波形情報としてプロットされた値の全部又は所定領域の合計値である。
立体物判断部34は、第1の時刻において得られた第1鳥瞰視画像と、第1の時刻の後の第2の時刻において得られた第2鳥瞰視画像との差分画像上において所定の差分を示す画素数をカウントして度数分布化して生成した第2差分波形情報の第2積算値を求める。つまり、自然物判断部38は、画像をオフセットさせない差分画像を取得する。第2積算値は、第2差分波形情報としてプロットされた値の全部又は所定領域の合計値である。
そして、立体物判断部34は、第1積算値が第2積算値よりも大きいと判断された回数に応じた評価値が所定の評価閾値以上である場合には、立体物検出部33により検出された立体物が移動物体であると判断する。
発明者らは、異なるタイミングにおける撮像画像をオフセットさせた差分画像では移動物体の特徴点に対応する画素量が大きく現れ、異なるタイミングにおける撮像画像をオフセットさせない差分画像では自然物などの静止物体の特徴点に対応する画素量が大きく現れる点に着目し、本発明では、オフセットした(位置合せをした)タイミングの異なる撮像画像の差分画像の画素値(エッジ量)と、オフセットしない(位置合せをしない)タイミングの異なる撮像画像の差分画像の画素値(エッジ量)とを比較して、その大小関係により立体物が静止物体であるか移動物体であるかを判断する。
図27(a)に示すように、過去のタイミングT0において、検出領域A1,A2内に立体物の像Q(T0)が検出され、T0のタイミングの後の現在のタイミングT1において、検出領域A1,A2内に立体物の像Q(T1)が検出された場合には、検出主体である自車両Vは方向Bに沿って移動するので、過去のタイミングT0において検出された立体物の像Q(T0)は、検出領域A1,A2の図中上側の立体物の像Q(T1)の位置へ移動する。
そして、図27(b)に示すように、立体物判断部34は、現在のタイミングT1において検出された立体物の像Q(T1)の画素またはエッジ成分の分布と、過去のタイミングT0において検出された立体物の像Q(T0)の像であって、所定量だけオフセットさせた(位置合せをした)立体物の像Q(T0A)の画素またはエッジ成分の分布と、同じく過去のタイミングT0において検出された立体物の像Q(T0)の像であって、オフセットをさせない(位置合せをしない)立体物の像Q(T0B)の画素またはエッジ成分の分布を得ることができる。
図27(b)に示すように、画像T1とオフセットされた画像T0Aとを比較すると、画像T1における立体物の像Q(T1)と画像T0Aにおける立体物の像Q(T0A)との位置(自車両Vの移動方向Bに沿う位置)はほぼ共通する。他方、同図に示すように、画像T1とオフセットしない画像T0Bとを比較すると、画像T1における立体物の像Q(T1)と画像T0Bにおける立体物の像Q(T0B)との位置(自車両Vの移動方向Bに沿う位置)は異なる。つまり、T1とT0Aとの差分画像を求めると、共通する部分については差し引かれて残らないので、特徴として抽出される画素の数は少なくなる。これに対して、T1とT0Bとの差分画像を求めると、異なる部分が残るので、特徴として抽出される画素の数は相対的に多くなる。
次に、立体物が移動物体であるか静止物体であるかを考慮して、図27に示す着目点を説明する。図28に基づいて立体物が移動物体である場合を説明し、図29に基づいて立体物が静止物体である場合を説明する。
図28(a)に示すように、検出される立体物が移動する他車両VXである場合には、自車両Vと他車両VXの両方が移動するので、自車両Vと他車両VXとは所定の位置関係を保つ傾向がある。つまり、撮像画像をオフセットすると(位置合せをすると)他車両VXの位置は、かえってずれる傾向があり、差分画像PDtには特徴となりうる画素(エッジ)が多く検出される。他方、図28(b)に示すように、撮像画像をオフセットしない場合には、自車両Vと他車両VXの位置は接近する傾向があり、差分画像PDtには特徴となりうる画素(エッジ)が少なく検出される。差分画像PDtにおける画素(エッジ)が多ければ差分波形情報における積算値は高くなり、差分画像PDtにおける画素(エッジ)が少なければ差分波形情報における積算値は低くなる傾向がある。
また、図29(a)に示すように、検出される立体物が静止した静止物体Q1である場合には、自車両Vが移動する一方で静止物体Q1は静止しているので、自車両Vと静止物体Q1とは離隔する傾向がある。つまり、撮像画像をオフセットすると位置合せをすると)自車両Vと静止物体Q1の位置は接近する傾向があり、差分画像PDtには特徴となりうる画素(エッジ)は少なく検出される。他方、図29(b)に示すように、撮像画像をオフセットしないと、自車両Vの移動に伴い静止物体Q1の位置が前回の撮像画像とは異なる傾向があり、差分画像PDtには特徴となりうる画素(エッジ)が多く検出される。差分画像PDtにおける画素(エッジ)が多ければ輝度分布情報における積算値は高くなり、差分画像PDtにおける画素(エッジ)が少なければ輝度分布情報における積算値は低くなる傾向がある。
上述した考え方は、エッジ情報を用いる場合も同様に適用することができる。
つまり、立体物判断部34は、立体物が検出された第1の時刻T0において得られた第1鳥瞰視画像の位置と、第1の時刻の後の第2の時刻T1において得られた第2鳥瞰視画像の位置とを鳥瞰視上で位置合わせし、この位置合わせされた鳥瞰視画像の差分画像上において、互いに隣接する画像領域の輝度差が所定閾値以上である画素数をカウントして度数分布化して生成した第1輝度分布情報の第1積算値を求める。つまり、自車両Vの移動量を考慮して、オフセットした差分画像を生成する。オフセットする量d’は、図4(a)に示した自車両Vの実際の移動距離に対応する鳥瞰視画像データ上の移動量であり、車速センサ20からの信号と一時刻前から現時刻までの時間に基づいて決定される。第1積算値は、第1輝度分布情報としてプロットされた値の全部又は所定領域の合計値である。
つまり、立体物判断部34は、立体物が検出された第1の時刻T0において得られた第1鳥瞰視画像の位置と、第1の時刻の後の第2の時刻T1において得られた第2鳥瞰視画像の位置とを鳥瞰視上で位置合わせし、この位置合わせされた鳥瞰視画像の差分画像上において、互いに隣接する画像領域の輝度差が所定閾値以上である画素数をカウントして度数分布化して生成した第1輝度分布情報の第1積算値を求める。つまり、自車両Vの移動量を考慮して、オフセットした差分画像を生成する。オフセットする量d’は、図4(a)に示した自車両Vの実際の移動距離に対応する鳥瞰視画像データ上の移動量であり、車速センサ20からの信号と一時刻前から現時刻までの時間に基づいて決定される。第1積算値は、第1輝度分布情報としてプロットされた値の全部又は所定領域の合計値である。
続いて、立体物判断部34は、第1の時刻T0において得られた第1鳥瞰視画像と、第1の時刻T0の後の第2の時刻T1において得られた第2鳥瞰視画像との差分画像上において、互いに隣接する画像領域の輝度差が所定閾値以上である画素数をカウントして度数分布化して生成した第2輝度分布情報の第2積算値を求める。つまり、オフセットさせない差分画像を生成し、その積算値(第2積算値)を算出する。第2積算値は、第2輝度分布情報としてプロットされた値の全部又は所定領域の合計値である。
そして、立体物判断部34は、第1積算値が第2積算値よりも大きいと判断された回数に応じた評価値が所定の評価閾値以上である場合には、立体物検出部33により検出された立体物が「移動物体」であると判断する。評価値の算出手法は限定されないが、本実施形態では、所定周期で繰り返し実行される処理において、第1積算値が第2積算値よりも大きいと判断される度に、評価ポイントをカウントアップし、その合計値を「評価値」として求める。
このように、異なる時刻の撮像画像に基づいて、オフセットさせた(位置合せをした)過去の撮像画像と現在の撮像画像との差分画像から抽出される画素量(エッジ量)と、オフセットさせない(位置合せをしない)過去の撮像画像と現在の撮像画像との差分画像から抽出される画素量(エッジ量)との大小関係に基づいて、移動物体の画像遷移の特徴と(自然物)静止物体の画像遷移の特徴とを識別し、立体物が移動物体であるか自然物などの静止物体であるかを高い精度で判断することができる。
本実施形態の立体物判断部34は、オフセットしていない(位置合せをしていない)画像との差分画像において所定差分を示す画素(エッジ量)の第1積算値が、オフセットした(位置合せをした)画像との差分画像において所定差分を示す画素(エッジ量)の第2積算値よりも大きいと判断された場合には、第1カウント値を加算して評価値を算出する。つまり、第1積算値が第2積算値よりも大きいという判断が積み重なるにつれて、評価値を増加させる。そして、評価値が所定の評価閾値以上である場合には、立体物検出部33,37により検出された立体物が他車両VXなどの移動物体であると判断する。
この処理において、立体物判断部34は、第1積算値が第2積算値よりも大きいという内容の判断が連続する場合には、この判断の連続回数が増えるにつれて、第1カウント値を高く設定する。このように、第1積算値が第2積算値よりも高いという判断が連続する場合には、検出された立体物が移動物体であるという判断の正確性が高まっていると判断し、評価値がより大きくなるように第1カウント値を大きくするので、継時的な観察結果に基づいて、立体物が移動物体であるか否かを高い精度で判断することができる。
立体物判断部34は、第1積算値が第2積算値よりも大きいと判断された場合には第1カウント値を加算するとともに、第1積算値が第2積算値よりも小さいと判断された場合には、第2カウント値を減算して評価値を算出してもよい。この場合において、立体物判断部34は、第1積算値が第2積算値よりも大きいという内容の判断がされた後に、第1積算値が第2積算値よりも小さいという内容の判断がされ、さらにその後に、第1積算値が第2積算値よりも大きいという内容の判断がされた場合には、第2カウント値を高く設定する。
このように、第1積算値が第2積算値よりも大きいという判断と、第2積算値が第1積算値よりも大きいという判断とが入れ替わり生じる場合は、検出された立体物は不規則性を有する自然物などの静止物体である可能性が大きいと判断し、移動物を判断するための評価値が小さくなるように第2カウント値を大きくするので、継時的な観察結果に基づいて、自然物などの自然物、ひいては移動物体を高い精度で判断することができる。この判断結果を、上述した草・雪を含む自然物の判断結果として用いることもできる。ちなみに、移動物体の特徴の検出状態は安定的に観察できる傾向が高い。立体物が自然物であるという判断結果が離散的に検出され、検出結果が不安定な場合には、検出された立体物は自然物などの静止物体である可能性が高いと判断することができるからである。
立体物判断部34は、第1積算値が第2積算値よりも小さいと判断された場合には、第2カウント値を減算して評価値を算出する。この場合において、立体物判断部34は、第1積算値が第2積算値よりも小さいという内容の判断が所定回数以上連続した場合には、第2カウント値を高く設定する。
このように、第1積算値が第2積算値よりも小さいと判断した場合には、検出された立体物が静止物体である可能性が高いと判断し、移動物体を判断するための評価値が小さくなるように、減算に係る第2カウント値を大きくするので、継時的な観察結果に基づいて、移動物体を高い精度で判断することができる。
図30は、本実施形態の移動物体の判断処理の制御手順を示すフローチャート図である。
図30に示すように、まず、ステップS81において、立体物判断部34は、過去のタイミングT0の画像を取得する。次に、ステップS82において、立体物判断部34は、過去のタイミングT0におけるオフセット画像T0Aと、過去のタイミングT0における非オフセット画像T0Bとを求める。各画像は、撮像画像であってもよいし、視点変換された鳥瞰視画像であってもよい。
ステップS83において、立体物判断部34は、現在のタイミングT1における画像T1を取得する。続くステップS84において、立体物判断部34は、現在のタイミングT1における画像T1と、過去のタイミングT0におけるオフセット画像T0Aとの差分画像PDtAを取得するとともに、現在のタイミングT1における画像T1と、過去のタイミングT0における非オフセット画像T0Bとの差分画像PDtBを取得する。
ステップS85において、立体物判断部34は、差分画像PDtAにおいて、画素値が所定差分以上の画素、輝度差が所定値以上の画素を抽出し、位置ごとに画素の分布を求める。同様に、立体物判断部34は、差分画像PDtBにおいて、画素値が所定差分以上の画素、輝度差が所定値以上の画素を抽出し、位置ごとに画素の分布を求める。続くステップS86において、立体物判断部34は、差分画像PDtAにおける画素量の積算値PAを求めるとともに、差分画像PDtBにおける画素量の積算値PBを求める。積算値PA,PBに代えて、全体の画素量を求めてもよい。
ステップS87において、立体物判断部34は、第1積算値PAと第2積算値PBとを比較し、第1積算値PAが第2積算値PBよりも大きい場合、つまり、オフセットした過去画像T0Aと現在画像T1との差分画像の画素量又は第1積算値PAの方が、オフセットしない過去画像T0Bと現在画像T1との差分画像の画素量又は第2積算値PBよりも大きい場合には、ステップS88に進み、検出された立体物は他車両VXなどの移動物体であると判断し、図26のステップS74へ移行して、他車両の検出抑制処理を解除する。他方、ステップS87において、第1積算値PAが第2積算値PB以上である場合には、図25のステップS45へ進む。
以上のとおり構成され、動作する本発明の本実施形態に係る立体物検出装置1によれば、以下の効果を奏する。
(1)本実施形態の立体物検出装置1によれば、予め定められた人工的立体物の条件を満たさず不規則に並ぶ不規則エッジ点P1を検出すると共に、不規則エッジ点P1の数Lに基づいて草及び雪が存在するかを判断する。ここで、検出領域A1、A2内に車両などの人工物が入っている場合、人工物であるがゆえにエッジ点Pは倒れ込み方向に沿って規則的に並びやすい傾向にある。これに対して、草及び雪の場合、人工物でないためエッジ点Pは不規則に点在する。よって、不規則エッジ点P1の数Lから、前者と後者とを識別することができる。従って、草や雪の判断精度を向上させることができる。
差分波形情報に基づく処理であっても、エッジ情報に基づく処理であっても同様の作用及び効果を奏する。
(1)本実施形態の立体物検出装置1によれば、予め定められた人工的立体物の条件を満たさず不規則に並ぶ不規則エッジ点P1を検出すると共に、不規則エッジ点P1の数Lに基づいて草及び雪が存在するかを判断する。ここで、検出領域A1、A2内に車両などの人工物が入っている場合、人工物であるがゆえにエッジ点Pは倒れ込み方向に沿って規則的に並びやすい傾向にある。これに対して、草及び雪の場合、人工物でないためエッジ点Pは不規則に点在する。よって、不規則エッジ点P1の数Lから、前者と後者とを識別することができる。従って、草や雪の判断精度を向上させることができる。
差分波形情報に基づく処理であっても、エッジ情報に基づく処理であっても同様の作用及び効果を奏する。
(2)本実施形態の立体物検出装置1によれば、規則的な第2画素数が相対的に少なく、不規則な第3画素数が相対的に多い場合には、不規則性が高いと評価するので、定量的に撮像画像の不規則性を判断し、高い精度で草又は雪を含む自然物の存在を検出することができる。
(3)本実施形態の立体物検出装置1によれば、不規則な第3画素数の方が規則的な第2画素数よりも相対的に多い場合には、不規則性が高いと評価するので、定量的に撮像画像の不規則性を判断し、高い精度で草又は雪を含む自然物の存在を検出することができる。
(4)本実施形態の立体物検出装置1によれば、不規則な第3画素数の方が規則的な第2画素数や画素全体の第1画素数に対して高い比率で存在する場合には、不規則性が高いと評価するので、定量的に撮像画像の不規則性を判断し、高い精度で草又は雪を含む自然物の存在を検出することができる。
(5)本実施形態の立体物検出装置1によれば、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って所定密度以上で観察される第2画素を、人工的な立体物の像の特徴として判断するので、すべての物体に対応する第1画素のうち、人工的な立体物に対応する第2画素と、人工的ではない自然の立体物に対応する画素(第3画素)とを高い精度で識別することができる。
(6)本実施形態の立体物検出装置1によれば、前回の処理において検出された立体物が自車両Vの走行路に沿って存在する草・雪を含む自然物(自然の静止物体)Q1の像であると判断された場合には、第1閾値αを高く変更することにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度を調整できるため、草・雪を含む自然物(自然の静止物体)Q1の像を隣の車線を走行する他車両VXとして誤検出することを防止することができる。
(7)前回の処理において検出された立体物が自車両Vの走行路に沿って存在する草・雪を含む自然物(自然の静止物体)の像であると判断された場合には、差分波形情報を生成する際の出力値を低くすることにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度を調整できるため、草・雪を含む自然物(自然の静止物体)Q1の像を隣の車線を走行する他車両VXとして誤検出することを防止することができる。
(8)前回の処理において検出された立体物が自車両Vの走行路に沿って存在する草・雪を含む自然物(自然の静止物体)の像であると判断された場合には、エッジ情報を生成する際の判断の閾値を高く変更することにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度を調整できるため、草・雪を含む自然物を含む静止物体Q1の像を隣の車線を走行する他車両VXとして誤検出することを防止することができる。
(9)前回の処理において検出された立体物が自車両Vの走行路に沿って存在する草・雪を含む自然物(自然の静止物体)の像であると判断された場合には、エッジ情報を生成する際の出力値を低くすることにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度を調整できるため、草・雪を含む自然物(自然の静止物体)Q1の像を隣の車線を走行する他車両VXとして誤検出することを防止することができる。
(10)本実施形態の立体物検出装置1によれば、異なる時刻の撮像画像に基づいて、オフセットさせた過去の撮像画像と現在の撮像画像との差分画像から抽出される画素量(エッジ量)と、オフセットさせない過去の撮像画像と現在の撮像画像との差分画像から抽出される画素量(エッジ量)との大小関係に基づいて、移動物体の画像遷移の特徴と静止物体の画像遷移の特徴とを識別し、立体物が移動物体である場合には、立体物の抑制処理を解除するので、精度の高い立体物検出処理を行うことができる。
(11)本実施形態の立体物検出装置1によれば、第1積算値が第2積算値よりも大きいという判断が連続する場合には、検出された立体物が移動物体である可能性が高まっていると判断し、移動物体を評価するための評価値がより大きくなるように第1カウント値を大きくするので、継時的な観察結果に基づいて、移動物体を高い精度で判断することができる。
(12)本実施形態の立体物検出装置1によれば、第1積算値が第2積算値よりも大きいという判断と、第2積算値が第1積算値よりも大きいという判断とが入れ替わり生じる場合は、検出された立体物は静止物体(自然物を含む)である可能性が高いと判断し、移動物体を評価するための評価値が低くなるように減算する第2カウント値を大きくするので、継時的な観察結果に基づいて、移動物体を高い精度で判断することができる。
(13)本実施形態の立体物検出装置1によれば、第1積算値が第2積算値よりも小さいと判断した場合には、検出された立体物が静止物体である可能性が高いと判断し、評価値が小さくなるように減算に係る第2カウント値を大きくするので、継時的な観察結果に基づいて、静止物体を高い精度で判断することができる。
(14)本実施形態の立体物検出装置1は、差分波形情報に基づく処理により他車両VXを検出する場合であっても、エッジ情報に基づく処理により他車両VXを検出する場合であっても同様の作用及び効果を奏する。
上記カメラ10は本発明に係る撮像手段に相当し、上記視点変換部31は本発明に係る画像変換手段に相当し、上記位置合わせ部32及び立体物検出部33は本発明に係る立体物検出手段に相当し、上記輝度差算出部35,エッジ線検出部36及び立体物検出部37は本発明に係る立体物検出手段に相当し、上記立体物判断部34は立体物判断手段に相当し、上記自然物判断部38は自然物判断手段に相当し、制御部39は制御手段に相当し、上記車速センサ20は車速センサに相当する。
本実施形態における位置合わせ部21は、異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、その位置合わせされた鳥瞰視画像を得るが、この「位置合わせ」処理は、検出対象の種別や要求される検出精度に応じた精度で行うことができる。同一時刻及び同一位置を基準に位置を合わせるといった厳密な位置合わせ処理であってもよいし、各鳥瞰視画像の座標を把握するという程度の緩い位置合わせ処理であってもよい。
1…立体物検出装置
10…カメラ
20…車速センサ
30…計算機
31…視点変換部
32…位置合わせ部
33,37…立体物検出部
34…立体物判断部
35…輝度差算出部
36…エッジ検出部
38…自然物判断部
40…スミア検出部
A1,A2…検出領域
CP…交点
DP…差分画素
DWt,DWt’…差分波形
DWt1〜DWm,DWm+k〜DWtn…小領域
L1,L2…接地線
La,Lb…立体物が倒れ込む方向上の線
P…撮像画像
PBt…鳥瞰視画像
PDt…差分画像
MP…マスク画像
S…スミア
SP…スミア画像
SBt…スミア鳥瞰視画像
V…自車両
VX…他車両
10…カメラ
20…車速センサ
30…計算機
31…視点変換部
32…位置合わせ部
33,37…立体物検出部
34…立体物判断部
35…輝度差算出部
36…エッジ検出部
38…自然物判断部
40…スミア検出部
A1,A2…検出領域
CP…交点
DP…差分画素
DWt,DWt’…差分波形
DWt1〜DWm,DWm+k〜DWtn…小領域
L1,L2…接地線
La,Lb…立体物が倒れ込む方向上の線
P…撮像画像
PBt…鳥瞰視画像
PDt…差分画像
MP…マスク画像
S…スミア
SP…スミア画像
SBt…スミア鳥瞰視画像
V…自車両
VX…他車両
Claims (19)
- 車両に搭載され、車両後方を撮像する撮像手段と、
前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
前記画像変換手段により得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成する差分波形情報生成手段と、
前記差分波形情報に含まれ、前記鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像上において所定の差分を示す画素数であるとしてカウントされた度数に基づいて、前記車両後方の右側及び左側のそれぞれに設定された検出領域に存在する立体物を検出する立体物検出手段と、
前記立体物が検出された前記差分画像上において第1所定の差分を示す第1画素の第1画素数と、前記鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って抽出され、かつ、前記差分画像上において前記第1所定の差分よりも大きい第2所定の差分を示す第2画素の第2画素数とに基づいて、前記差分波形情報の不規則性を評価するための不規則性評価値を算出し、前記算出された不規則性評価値が予め設定された所定の不規則性評価閾値以上である場合には、前記立体物検出手段により検出された立体物が前記自車両の走行路に沿って存在する草又は雪を含む自然物であると判断する自然物判断手段と、を備えることを特徴とする立体物検出装置。 - 車両に搭載され、車両後方を撮像する撮像手段と、
前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
前記画像変換手段により得られた鳥瞰視画像において、互いに隣接する画像領域の輝度差が所定閾値以上である画素を抽出し、当該画素に基づいてエッジ情報を生成するエッジ情報生成手段と、
前記エッジ情報に含まれ、前記鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って抽出され、かつ、互いに隣接する画像領域の輝度差が所定閾値以上である画素を含むエッジ情報に基づいて前記車両後方の右側及び左側のそれぞれに設定された検出領域に存在する立体物を検出する立体物検出手段と、を備え、
前記立体物が検出された前記鳥瞰視画像上において互いに隣接する画像領域の輝度差が第1所定閾値以上である第1画素の第1画素数と、前記鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って抽出され、かつ、前記鳥瞰視画像上において互いに隣接する画像領域の輝度差が前記第1所定閾値よりも大きい第2所定閾値以上である第2画素の第2画素数とに基づいて、前記エッジ情報の不規則性を評価するための不規則性評価値を算出し、前記算出された不規則性評価値が予め設定された所定の不規則性評価閾値以上である場合には、前記立体物検出手段により検出された立体物が前記自車両の走行路に沿って存在する草又は雪を含む自然物であると判断する自然物判断手段と、を備えることを特徴とする立体物検出装置。 - 前記自然物判断手段は、
前記第1画素数から第2画素数を差し引いた第3画素数を算出し、
前記第2画素数が第1所定値未満であり、かつ、第3画素数が第2所定値以上である場合に、前記不規則性評価値が所定の不規則性評価閾値以上であると判断することを特徴とする請求項1又は2に記載の立体物検出装置。 - 前記自然物判断手段は、
前記第1画素数から第2画素数を差し引いた第3画素数を算出し、
前記第3画素数から前記第2画素数を差し引いた値が第3所定値以上である場合に、前記不規則性評価値が所定の不規則性評価閾値以上であると判断することを特徴とする請求項1又は2に記載の立体物検出装置。 - 前記自然物判断手段は、
前記第1画素数から第2画素数を差し引いた第3画素数を算出し、
前記第1画素数又は前記第2画素数に対する第3画素数の存在比率を算出し、
前記第1画素数又は前記第2画素数に対する第3画素数の存在比率が、所定比率以上である場合に、前記不規則性評価値が所定の不規則性評価閾値以上であると判断することを特徴とする請求項1又は2に記載の立体物検出装置。 - 前記自然物判断手段は、
前記鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って抽出され、かつ、前記第2所定の差分を示す画素のうち、所定密度以上で並ぶ画素群を構成する画素を第2画素とし、当該第2画素の数を、前記第2画素数として求めることを特徴とする請求項1又は請求項1に従属する3〜5の何れか一項に記載の立体物検出装置。 - 前記自然物判断手段は、
前記鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って抽出され、かつ、鳥瞰視画像上において互いに隣接する画像領域の輝度差が第2所定閾値以上である画素のうち、所定密度以上で並ぶ画素群を構成する画素を第2画素とし、当該第2画素の数を、前記第2画素数として求めることを特徴とする請求項2又は請求項2に従属する3〜5の何れか一項に記載の立体物検出装置。 - 前記立体物検出手段により検出された立体物が前記検出領域に存在する他車両であるか否かを判断する立体物判断手段と、
前記自然物判断手段により、前記検出された立体物が前記自車両の走行路に沿って存在する草又は雪を含む自然物であると判断された場合には、前記立体物判断手段により前記検出された立体物が他車両であると判断されることを抑制する制御を行う制御手段と、をさらに備えることを特徴とする請求項1〜7の何れか一項に記載の立体物検出装置。 - 前記立体物検出手段は、前記差分波形情報と第1閾値αとに基づいて立体物を検出し、
前記制御手段は、前記自然物判断手段により前記検出された立体物が前記自車両の走行路に沿って存在する草又は雪を含む自然物であると判断された場合には、前記第1閾値αを前記立体物が検出され難いように高く変更する制御命令を前記立体物検出手段に出力することを特徴とする請求項1を引用する請求項8に記載の立体物検出装置。 - 前記立体物検出手段は、前記差分波形情報の画素数と第1閾値αとに基づいて立体物を検出し、
前記制御手段は、前記自然物判断手段により前記検出された立体物が前記自車両の走行路に沿って存在する草又は雪を含む自然物であると判断された場合には、前記鳥瞰視画像の差分画像上において所定の差分を示す画素数の値を低くする制御命令を生成し、当該制御命令を前記立体物検出手段に出力することを特徴とする請求項1を引用する請求項8に記載の立体物検出装置。 - 前記立体物検出手段は、前記エッジ情報と第2閾値βとに基づいて立体物を検出し、
前記制御手段は、前記自然物判断手段により前記検出された立体物が前記自車両の走行路に沿って存在する草又は雪を含む自然物であると判断された場合には、前記第2閾値βを前記立体物が検出され難いように高く変更する制御命令を前記立体物検出手段に出力することを特徴とする請求項2を引用する請求項8に記載の立体物検出装置。 - 前記立体物検出手段は、前記エッジ情報の量と第2閾値βとに基づいて立体物を検出し、
前記制御手段は、前記自然物判断手段により前記検出された立体物が前記自車両の走行路に沿って存在する草又は雪を含む自然物であると判断された場合には、前記検出したエッジ情報の量を低く出力する制御命令を前記立体物検出手段に出力することを特徴とする請求項2を引用する請求項8に記載の立体物検出装置。 - 前記立体物判断手段は、前記立体物が検出された第1の時刻において得られた前記第1鳥瞰視画像の位置と、前記第1の時刻の後の第2の時刻において得られた第2鳥瞰視画像の位置とを鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において、所定の差分を示す画素数をカウントして度数分布化して生成した第1差分波形情報の第1積算値を求めるとともに、前記第1の時刻において得られた第1鳥瞰視画像と、前記第1の時刻の後の第2の時刻において得られた第2鳥瞰視画像との差分画像上において所定の差分を示す画素数をカウントして度数分布化して生成した第2差分波形情報の第2積算値を求め、前記第1積算値が前記第2積算値よりも大きいと判断された回数に応じた評価値が所定の評価閾値以上である場合には、前記立体物検出手段により検出された立体物が移動物体であると判断し、
前記制御手段は、前記立体物判断手段により前記立体物が移動物体であると判断された場合には、前記検出された立体物が他車両であると判断されることを抑制する処理を中止することを特徴とする、請求項1を引用する請求項8〜10の何れか一項に記載の立体物検出装置。 - 前記立体物判断手段は、前記立体物が検出された第1の時刻において得られた第1鳥瞰視画像の位置と、前記第1の時刻の後の第2の時刻において得られた第2鳥瞰視画像の位置とを鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において、互いに隣接する画像領域の輝度差が所定閾値以上である画素数をカウントして度数分布化して生成した第1輝度分布情報の第1積算値を求めるとともに、前記第1の時刻において得られた第1鳥瞰視画像と、前記第1の時刻の後の第2の時刻において得られた第2鳥瞰視画像との差分画像上において、互いに隣接する画像領域の輝度差が所定閾値以上である画素数をカウントして度数分布化して生成した第2輝度分布情報の第2積算値を求め、前記第1積算値が前記第2積算値よりも大きいと判断された回数に応じた評価値が所定の評価閾値以上である場合には、前記立体物検出手段により検出された立体物が移動物体であると判断する自然物判断手段を備えることを特徴とする、請求項2を引用する請求項8、11又は12に記載の立体物検出装置。
- 前記立体物判断手段は、前記第1積算値が前記第2積算値よりも大きいと判断された場合には、第1カウント値を加算して前記評価値を算出し、
前記第1積算値が前記第2積算値よりも大きいという内容の判断が連続する場合には、前記判断の連続回数が増えるにつれて、前記第1カウント値を高く設定することを特徴とする請求項13又は14に記載の立体物検出装置。 - 前記立体物判断手段は、前記第1積算値が前記第2積算値よりも大きいと判断された場合には第1カウント値を加算するとともに、前記第1積算値が前記第2積算値よりも小さいと判断された場合には、第2カウント値を減算して前記評価値を算出し、
前記第1積算値が前記第2積算値よりも大きいという内容の判断がされた後に、前記第1積算値が前記第2積算値よりも小さいという内容の判断がされ、さらにその後に、前記第1積算値が前記第2積算値よりも大きいという内容の判断がされた場合には、前記第2カウント値を高く設定することを特徴とする請求項13又は14に記載の立体物検出装置。 - 前記立体物判断手段は、
前記第1積算値が前記第2積算値よりも小さいと判断された場合には、第2カウント値を減算して前記評価値を算出し、
前記第1積算値が前記第2積算値よりも小さいという内容の判断が所定回数以上連続した場合には、前記第2カウント値を高く設定することを特徴とする請求項13又は14に記載の立体物検出装置。 - 車両に搭載され、車両後方を撮像する撮像手段により得られた画像を鳥瞰視画像に視点変換するステップと、
前記得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成するステップと、
前記差分波形情報に含まれ、前記鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像上において所定の差分を示す画素数であるとしてカウントされた度数に基づいて、前記車両後方の右側及び左側のそれぞれに設定された検出領域に存在する立体物を検出するステップと、
前記立体物が検出された前記差分画像上において第1所定の差分を示す第1画素の第1画素数と、前記鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って抽出され、かつ、前記差分画像上において前記第1所定の差分よりも大きい第2所定の差分を示す第2画素の第2画素数とに基づいて、前記差分波形情報の不規則性を評価するための不規則性評価値を算出し、前記算出された不規則性評価値が予め設定された所定の不規則性評価閾値以上である場合には、前記検出された立体物が前記自車両の走行路に沿って存在する草又は雪を含む自然物であると判断するステップと、を有する立体物検出方法。 - 車両に搭載され、車両後方を撮像する撮像手段により得られた画像を鳥瞰視画像に視点変換するステップと、
前記得られた鳥瞰視画像において、互いに隣接する画像領域の輝度差が所定閾値以上である画素を抽出し、当該画素に基づいてエッジ情報を生成するステップと、
前記エッジ情報に含まれ、前記鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って抽出され、かつ、互いに隣接する画像領域の輝度差が所定閾値以上である画素を含むエッジ情報に基づいて前記車両後方の右側及び左側のそれぞれに設定された検出領域に存在する立体物を検出するステップと、を備え、
前記立体物が検出された前記鳥瞰視画像上において互いに隣接する画像領域の輝度差が第1所定閾値以上である第1画素の第1画素数と、前記鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って抽出され、かつ、前記鳥瞰視画像上において互いに隣接する画像領域の輝度差が前記第1所定閾値よりも大きい第2所定閾値以上である第2画素の第2画素数とに基づいて、前記エッジ情報の不規則性を評価するための不規則性評価値を算出し、前記算出された不規則性評価値が予め設定された所定の不規則性評価閾値以上である場合には、前記検出された立体物が前記自車両の走行路に沿って存在する草又は雪を含む自然物であると判断するステップと、を有する立体物検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013533564A JP5614504B2 (ja) | 2011-09-12 | 2012-07-27 | 立体物検出装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011198007 | 2011-09-12 | ||
JP2011198007 | 2011-09-12 | ||
PCT/JP2012/069091 WO2013038818A1 (ja) | 2011-09-12 | 2012-07-27 | 立体物検出装置 |
JP2013533564A JP5614504B2 (ja) | 2011-09-12 | 2012-07-27 | 立体物検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5614504B2 JP5614504B2 (ja) | 2014-10-29 |
JPWO2013038818A1 true JPWO2013038818A1 (ja) | 2015-03-26 |
Family
ID=47883057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013533564A Active JP5614504B2 (ja) | 2011-09-12 | 2012-07-27 | 立体物検出装置 |
Country Status (9)
Country | Link |
---|---|
US (1) | US9349057B2 (ja) |
EP (1) | EP2757541B1 (ja) |
JP (1) | JP5614504B2 (ja) |
CN (1) | CN103797529B (ja) |
BR (1) | BR112014002366B1 (ja) |
MX (1) | MX2014001500A (ja) |
MY (1) | MY171030A (ja) |
RU (1) | RU2544775C1 (ja) |
WO (1) | WO2013038818A1 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2608149B1 (en) * | 2010-08-19 | 2021-04-21 | Nissan Motor Co., Ltd. | Three-dimensional object detection device and three-dimensional object detection method |
US9141870B2 (en) | 2012-04-16 | 2015-09-22 | Nissan Motor Co., Ltd. | Three-dimensional object detection device and three-dimensional object detection method |
US10678259B1 (en) * | 2012-09-13 | 2020-06-09 | Waymo Llc | Use of a reference image to detect a road obstacle |
CN104718562B (zh) * | 2012-10-17 | 2018-07-06 | 富士通株式会社 | 图像处理装置以及图像处理方法 |
JP6150164B2 (ja) * | 2013-07-01 | 2017-06-21 | 株式会社リコー | 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム |
IL227860B (en) | 2013-08-08 | 2019-05-30 | Israel Aerospace Ind Ltd | Classification of objects in a scanned environment |
KR101491305B1 (ko) * | 2013-08-27 | 2015-02-06 | 현대자동차주식회사 | 장애물 검출 장치 및 방법 |
KR101439052B1 (ko) * | 2013-09-05 | 2014-09-05 | 현대자동차주식회사 | 장애물 검출 장치 및 방법 |
JP6334734B2 (ja) * | 2014-01-27 | 2018-05-30 | ザイロン デー.オー.オー.XYLON d.o.o. | 車両サラウンドビューシステムの較正用データ処理システムおよび方法 |
DE102014110663A1 (de) * | 2014-07-29 | 2016-02-04 | Connaught Electronics Ltd. | Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug |
CN104299244B (zh) * | 2014-09-26 | 2017-07-25 | 东软集团股份有限公司 | 基于单目相机的障碍物检测方法及装置 |
JP6532229B2 (ja) * | 2014-12-18 | 2019-06-19 | 株式会社デンソーテン | 物体検出装置、物体検出システム、物体検出方法及びプログラム |
JP6456405B2 (ja) * | 2015-01-16 | 2019-01-23 | 株式会社日立製作所 | 3次元情報算出装置、3次元情報算出方法、および自律移動装置 |
JP6623729B2 (ja) * | 2015-12-04 | 2019-12-25 | 株式会社ソシオネクスト | 測距システム、移動体及び部品 |
JP6625446B2 (ja) * | 2016-03-02 | 2019-12-25 | 株式会社神戸製鋼所 | 外乱除去装置 |
KR20180122691A (ko) * | 2016-03-24 | 2018-11-13 | 닛산 지도우샤 가부시키가이샤 | 주로 검출 방법 및 주로 검출 장치 |
KR102201290B1 (ko) * | 2016-05-30 | 2021-01-08 | 엘지전자 주식회사 | 차량용 디스플레이 장치 및 차량 |
JP2018022343A (ja) * | 2016-08-03 | 2018-02-08 | 株式会社東芝 | 画像処理装置、および画像処理方法 |
US10183677B2 (en) * | 2016-09-20 | 2019-01-22 | Ford Global Technologies, Llc | Ice and snow detection systems and methods |
US10163015B2 (en) | 2016-11-16 | 2018-12-25 | Ford Global Technologies, Llc | Detecting foliage using range data |
JP7122806B2 (ja) * | 2017-02-24 | 2022-08-22 | コニカミノルタ株式会社 | 物体接近検知装置および物体接近検知方法 |
US20190039515A1 (en) * | 2017-08-01 | 2019-02-07 | Nanning Fugui Precision Industrial Co., Ltd. | System and method for warning against vehicular collisions when driving |
JP7315303B2 (ja) * | 2018-01-26 | 2023-07-26 | 株式会社アイシン | 画像処理装置 |
WO2019202627A1 (ja) * | 2018-04-16 | 2019-10-24 | 三菱電機株式会社 | 障害物検出装置、障害物検出装置を利用した自動ブレーキ装置、障害物検出方法、および障害物検出方法を利用した自動ブレーキ方法 |
CN109064445B (zh) * | 2018-06-28 | 2022-01-04 | 中国农业科学院特产研究所 | 一种动物的数量统计方法和系统、存储介质 |
CN109785352B (zh) * | 2018-12-21 | 2022-11-22 | 广东工业大学 | 一种智能高效机载雷达点云分析方法 |
CN112017239B (zh) * | 2019-05-31 | 2022-12-20 | 北京市商汤科技开发有限公司 | 确定目标对象朝向方法、智能驾驶控制方法和装置及设备 |
JP7325296B2 (ja) * | 2019-10-25 | 2023-08-14 | 日産自動車株式会社 | 物体認識方法及び物体認識システム |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19921449C1 (de) * | 1999-05-08 | 2001-01-25 | Daimler Chrysler Ag | Leithilfe bei einem Fahrspurwechsel eines Kraftfahrzeuges |
US6801244B2 (en) * | 2000-02-29 | 2004-10-05 | Kabushiki Kaisha Toshiba | Obstacle detection apparatus and method |
JP4156214B2 (ja) * | 2001-06-13 | 2008-09-24 | 株式会社デンソー | 車両周辺画像処理装置及び記録媒体 |
JP3871614B2 (ja) * | 2002-06-12 | 2007-01-24 | 松下電器産業株式会社 | 運転支援装置 |
JP4259368B2 (ja) * | 2004-03-26 | 2009-04-30 | 三菱自動車工業株式会社 | ノーズビューモニタ装置 |
JP2006072830A (ja) * | 2004-09-03 | 2006-03-16 | Aisin Aw Co Ltd | 運転支援システム及び運転支援モジュール |
JP4596978B2 (ja) * | 2005-03-09 | 2010-12-15 | 三洋電機株式会社 | 運転支援システム |
JP4661339B2 (ja) | 2005-05-11 | 2011-03-30 | マツダ株式会社 | 車両用移動物体検出装置 |
JP4934308B2 (ja) | 2005-10-17 | 2012-05-16 | 三洋電機株式会社 | 運転支援システム |
JP2007221199A (ja) * | 2006-02-14 | 2007-08-30 | Auto Network Gijutsu Kenkyusho:Kk | 車載カメラ表示装置及び画像処理装置 |
JP4930046B2 (ja) * | 2006-12-26 | 2012-05-09 | 日産自動車株式会社 | 路面判別方法および路面判別装置 |
JP2008219063A (ja) | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
JP4924896B2 (ja) * | 2007-07-05 | 2012-04-25 | アイシン精機株式会社 | 車両の周辺監視装置 |
RU2352480C1 (ru) | 2007-07-24 | 2009-04-20 | Открытое акционерное общество "Горизонт" | Наземный транспортный комплекс для обнаружения и распознавания объектов |
JP5108605B2 (ja) * | 2008-04-23 | 2012-12-26 | 三洋電機株式会社 | 運転支援システム及び車両 |
JP5054612B2 (ja) * | 2008-05-15 | 2012-10-24 | 株式会社日立製作所 | 接近物検出装置および接近物検出方法 |
JP5068779B2 (ja) * | 2009-02-27 | 2012-11-07 | 現代自動車株式会社 | 車両周囲俯瞰画像表示装置及び方法 |
US20110001819A1 (en) * | 2009-07-02 | 2011-01-06 | Sanyo Electric Co., Ltd. | Image Processing Apparatus |
DE102010015079A1 (de) * | 2010-04-15 | 2011-10-20 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Anzeigen eines Bildes auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzsystem und Fahrzeug |
RU97092U1 (ru) * | 2010-04-21 | 2010-08-27 | Руслан Владимирович Ситников | Система мониторинга пространства, окружающего транспортное средство |
DE102010040803A1 (de) * | 2010-09-15 | 2012-03-15 | Continental Teves Ag & Co. Ohg | Visuelles Fahrerinformations- und Warnsystem für einen Fahrer eines Kraftfahrzeugs |
BR112013007085B1 (pt) * | 2011-02-21 | 2021-02-23 | Nissan Motor Co., Ltd | Sistema e método de detecção de objeto fixo repetitivo |
US9290204B2 (en) * | 2011-04-19 | 2016-03-22 | Ford Global Technologies, Llc | Hitch angle monitoring system and method |
WO2013018672A1 (ja) * | 2011-08-02 | 2013-02-07 | 日産自動車株式会社 | 移動体検出装置及び移動体検出方法 |
MX343201B (es) * | 2012-02-23 | 2016-10-28 | Nissan Motor | Dispositivo de deteccion de objetos tridimensionales. |
CN104094311B (zh) * | 2012-03-02 | 2017-05-31 | 日产自动车株式会社 | 立体物检测装置 |
US9141870B2 (en) * | 2012-04-16 | 2015-09-22 | Nissan Motor Co., Ltd. | Three-dimensional object detection device and three-dimensional object detection method |
WO2014017625A1 (ja) * | 2012-07-27 | 2014-01-30 | 日産自動車株式会社 | 立体物検出装置および立体物検出方法 |
RU2571368C1 (ru) * | 2012-07-27 | 2015-12-20 | Ниссан Мотор Ко., Лтд. | Устройство обнаружения трехмерных объектов, способ обнаружения трехмерных объектов |
JP5997276B2 (ja) * | 2012-07-27 | 2016-09-28 | 日産自動車株式会社 | 立体物検出装置及び異物検出装置 |
US9286800B2 (en) * | 2012-12-30 | 2016-03-15 | Robert Gordon | Guidance assist vehicle module |
US9129528B2 (en) * | 2013-02-04 | 2015-09-08 | Ford Global Technologies | Trailer active back-up assist with lane width HMI |
-
2012
- 2012-07-27 MY MYPI2014000275A patent/MY171030A/en unknown
- 2012-07-27 MX MX2014001500A patent/MX2014001500A/es active IP Right Grant
- 2012-07-27 EP EP12832527.1A patent/EP2757541B1/en active Active
- 2012-07-27 US US14/235,132 patent/US9349057B2/en active Active
- 2012-07-27 RU RU2014114574/08A patent/RU2544775C1/ru active
- 2012-07-27 BR BR112014002366-2A patent/BR112014002366B1/pt active IP Right Grant
- 2012-07-27 JP JP2013533564A patent/JP5614504B2/ja active Active
- 2012-07-27 WO PCT/JP2012/069091 patent/WO2013038818A1/ja active Application Filing
- 2012-07-27 CN CN201280043306.4A patent/CN103797529B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
JP5614504B2 (ja) | 2014-10-29 |
BR112014002366A2 (ja) | 2019-12-17 |
RU2544775C1 (ru) | 2015-03-20 |
MX2014001500A (es) | 2014-05-12 |
BR112014002366B1 (pt) | 2021-10-05 |
MY171030A (en) | 2019-09-23 |
CN103797529B (zh) | 2016-11-09 |
US9349057B2 (en) | 2016-05-24 |
WO2013038818A1 (ja) | 2013-03-21 |
US20140168440A1 (en) | 2014-06-19 |
EP2757541A1 (en) | 2014-07-23 |
CN103797529A (zh) | 2014-05-14 |
EP2757541B1 (en) | 2020-09-09 |
EP2757541A4 (en) | 2015-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5614504B2 (ja) | 立体物検出装置 | |
JP5867596B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5997276B2 (ja) | 立体物検出装置及び異物検出装置 | |
JP5776795B2 (ja) | 立体物検出装置 | |
JP5896027B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5874831B2 (ja) | 立体物検出装置 | |
JP5733467B2 (ja) | 立体物検出装置 | |
JP5682735B2 (ja) | 立体物検出装置 | |
JP6003986B2 (ja) | 立体物検出装置、立体物検出方法及び異物検出装置 | |
JP5794378B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5794379B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5871069B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP6003987B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5783319B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5768927B2 (ja) | 立体物検出装置 | |
JP5817913B2 (ja) | 立体物検出装置及び立体物検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140812 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5614504 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |