JPWO2013125403A1 - 立体物検出装置 - Google Patents
立体物検出装置 Download PDFInfo
- Publication number
- JPWO2013125403A1 JPWO2013125403A1 JP2014500665A JP2014500665A JPWO2013125403A1 JP WO2013125403 A1 JPWO2013125403 A1 JP WO2013125403A1 JP 2014500665 A JP2014500665 A JP 2014500665A JP 2014500665 A JP2014500665 A JP 2014500665A JP WO2013125403 A1 JPWO2013125403 A1 JP WO2013125403A1
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- vehicle
- detection
- width direction
- bird
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
- B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
- B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Abstract
撮像手段10により得られた画像を鳥瞰視画像に視点変換する画像変換手段31と、異なる時刻の鳥瞰視画像の位置を位置合わせした差分画像上において、所定の差分を示す画素数を、車幅方向に沿ってカウントして度数分布化することで、車幅方向波形情報を生成し、当該車幅方向波形情報に基づいて、検出領域内に存在する立体物を検出する車幅方向検出処理を行う立体物検出手段33と、検出された立体物が検出領域に存在する他車両であるか判定する立体物判定手段34と、車幅方向検出処理において所定値以上のカウント数が得られた検出位置を特定し、特定した検出位置が、検出領域内を自車両進行方向の前方から後方へと移動し、検出領域内の所定位置まで到達した場合に、立体物を検出対象の他車両であると判定することを抑制する制御手段34と、を備える。
Description
本発明は、立体物検出装置に関するものである。
本出願は、2012年2月23日に出願された日本国特許出願の特願2012−037472に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
本出願は、2012年2月23日に出願された日本国特許出願の特願2012−037472に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
従来より、異なる時刻に撮像された2枚の撮像画像を鳥瞰視画像に変換し、変換した2枚の鳥瞰視画像の差分に基づいて、障害物を検出する技術が知られている(特許文献1参照)。
自車両後方を撮像した撮像画像に基づいて、自車両後方の隣接車線に存在する他車両を検出した場合に、自車両が追い越した他車両を、検出対象の他車両として検出してしまうという問題があった。
本発明が解決しようとする課題は、自車両が追い越した他車両を検出対象の他車両として検出してしまうことを有効に防止し、検出対象の他車両を高い精度で検出できる立体物検出装置を提供することである。
本発明は、異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において所定の差分を示す画素数を、車幅方向に沿ってカウントするとともに、所定値以上のカウント数が得られた検出位置を特定し、特定した検出位置が、検出領域内を自車両進行方向の前方から後方へと移動して、検出領域内の所定位置まで到達した場合に、検出した立体物を検出対象の他車両であると判定することを抑制することで、上記課題を解決する。
本発明によれば、所定の画像情報を示す画素数を車幅方向に沿ってカウントすることで、検出領域内における他車両のフロントバンパーの位置を検出し、他車両のフロントバンパーの位置に応じて、自車両が他車両を追い越したか否かを適切に判定することができるため、自車両が追い越した他車両を、検出対象の他車両として検出してしまうことを有効に防止することができ、検出対象である他車両を高い精度で検出することができる。
≪第1実施形態≫
図1は、本実施形態に係る立体物検出装置1を搭載した車両の概略構成図である。本実施形態に係る立体物検出装置1は、自車両V1が車線変更する際に接触の可能性がある隣接車線に存在する他車両(以下、隣接車両ともいう)を検出することを目的とする。本実施形態に係る立体物検出装置1は、図1に示すように、カメラ10と、車速センサ20と、計算機30と、警報装置40とを備える。
図1は、本実施形態に係る立体物検出装置1を搭載した車両の概略構成図である。本実施形態に係る立体物検出装置1は、自車両V1が車線変更する際に接触の可能性がある隣接車線に存在する他車両(以下、隣接車両ともいう)を検出することを目的とする。本実施形態に係る立体物検出装置1は、図1に示すように、カメラ10と、車速センサ20と、計算機30と、警報装置40とを備える。
カメラ10は、図1に示すように、自車両V1の後方における高さhの箇所において、光軸が水平から下向きに角度θとなるように車両V1に取り付けられている。カメラ10は、この位置から自車両V1の周囲環境のうちの所定領域を撮像する。車速センサ20は、自車両V1の走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から車速度を算出する。計算機30は、自車両後方の隣接車線に存在する隣接車両の検出を行う。警報装置40は、計算機30により検出された隣接車両が自車両V1に接触する可能性がある場合などに、自車両V1の運転者に警報するものである。
図2は、図1の自車両V1の走行状態を示す平面図である。同図に示すように、カメラ10は、所定の画角aで車両後方側を撮像する。このとき、カメラ10の画角aは、自車両V1が走行する車線に加えて、その左右の車線(隣接車線)についても撮像可能な画角に設定されている。
図3は、図1の計算機30の詳細を示すブロック図である。なお、図3においては、接続関係を明確とするためにカメラ10、車速センサ20、および警報装置40についても図示する。
図3に示すように、計算機30は、視点変換部31と、位置合わせ部32と、立体物検出部33と、立体物検出部33と、立体物判定部34とを備える。以下に、それぞれの構成について説明する。
視点変換部31は、カメラ10による撮像にて得られた所定領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換する。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開2008−219063号公報に記載されるようにして実行することができる。撮像画像データを鳥瞰視画像データに視点変換するのは、立体物に特有の鉛直エッジは鳥瞰視画像データへの視点変換により特定の定点を通る直線群に変換されるという原理に基づき、これを利用すれば平面物と立体物とを識別できるからである。
位置合わせ部32は、視点変換部31の視点変換により得られた鳥瞰視画像データを順次入力し、入力した異なる時刻の鳥瞰視画像データの位置を合わせる。図4は、位置合わせ部32の処理の概要を説明するための図であり、(a)は自車両V1の移動状態を示す平面図、(b)は位置合わせの概要を示す画像である。
図4(a)に示すように、現時刻の自車両V1がP1に位置し、一時刻前の自車両V1がP1’に位置していたとする。また、自車両V1の後側方向に隣接車両V2が位置して自車両V1と並走状態にあり、現時刻の隣接車両V2がP2に位置し、一時刻前の隣接車両V2がP2’に位置していたとする。さらに、自車両V1は、一時刻で距離d移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間(例えば1制御周期)だけ過去の時刻であってもよいし、任意の時間だけ過去の時刻であってもよい。
このような状態において、現時刻における鳥瞰視画像PBtは図4(b)に示すようになる。この鳥瞰視画像PBtでは、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、隣接車両V2(位置P2)については倒れ込みが発生する。また、一時刻前における鳥瞰視画像PBt−1についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、隣接車両V2(位置P2’)については倒れ込みが発生する。既述したとおり、立体物の鉛直エッジ(厳密な意味の鉛直エッジ以外にも路面から三次元空間に立ち上がったエッジを含む)は、鳥瞰視画像データへの視点変換処理によって倒れ込み方向に沿った直線群として現れるのに対し、路面上の平面画像は鉛直エッジを含まないので、視点変換してもそのような倒れ込みが生じないからである。
位置合わせ部32は、上記のような鳥瞰視画像PBt,PBt−1の位置合わせをデータ上で実行する。この際、位置合わせ部32は、一時刻前における鳥瞰画像PBt−1をオフセットさせ、現時刻における鳥瞰視画像PBtと位置を一致させる。図4(b)の左側の画像と中央の画像は、移動距離d’だけオフセットした状態を示す。このオフセット量d’は、図4(a)に示した自車両V1の実際の移動距離dに対応する鳥瞰視画像データ上の移動量であり、車速センサ20からの信号と一時刻前から現時刻までの時間に基づいて決定される。
また、位置合わせ後において位置合わせ部32は、鳥瞰視画像PBt,PBt−1の差分をとり、差分画像PDtのデータを生成する。ここで、本実施形態において、位置合わせ部32は、照度環境の変化に対応するために、鳥瞰視画像PBt,PBt−1の画素値の差を絶対値化し、当該絶対値が所定の閾値th以上であるときに、差分画像PDtの画素値を「1」とし、絶対値が所定の閾値th未満であるときに、差分画像PDtの画素値を「0」とすることで、図4(b)の右側に示すような差分画像PDtのデータを生成することができる。
図3に戻り、立体物検出部33は、図4(b)に示す差分画像PDtのデータに基づいて立体物を検出する。この際、立体物検出部33は、実空間上における立体物の移動距離についても算出する。立体物の検出および移動距離の算出にあたり、立体物検出部33は、まず第1差分波形DW1tを生成する。
第1差分波形DW1tの生成にあたって、立体物検出部33は、差分画像PDtにおいて検出領域を設定する。本例の立体物検出装置1は、自車両V1が車線変更する際に接触の可能性がある隣接車両について移動距離を算出することを目的とするものである。このため、本例では、図2に示すように自車両V1の後側方に矩形状の検出領域A1,A2を設定する。なお、このような検出領域A1,A2は、自車両V1に対する相対位置から設定してもよいし、白線の位置を基準に設定してもよい。白線の位置を基準に設定する場合に、立体物検出装置1は、例えば既存の白線認識技術等を利用するとよい。
また、立体物検出部33は、図2に示すように、設定した検出領域A1,A2の自車両V1側における辺(走行方向に沿う辺)を接地線L1,L2として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なおこの場合であっても、経験上、本実施形態に係る接地線と、本来の隣接車両V2の位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。
図5は、立体物検出部33による第1差分波形DW1tの生成の様子を示す概略図である。図5に示すように、立体物検出部33は、位置合わせ部32で算出した差分画像PDt(図4(b)の右図)のうち検出領域A1,A2に相当する部分から、第1差分波形DW1tを生成する。この際、立体物検出部33は、視点変換により立体物が倒れ込む方向に沿って、第1差分波形DW1tを生成する。なお、図5に示す例では、便宜上、検出領域A1のみを用いて説明するが、検出領域A2についても同様の手順で第1差分波形DW1tを生成する。
具体的に説明すると、まず立体物検出部33は、差分画像PDtのデータ上において立体物が倒れ込む方向上の線Laを定義する。そして、立体物検出部33は、線La上において所定の差分を示す差分画素DPの数をカウントする。本実施形態では、所定の差分を示す差分画素DPは、差分画像PDtの画素値が「0」「1」で表現されており、「1」を示す画素が、差分画素DPとしてカウントされる。
立体物検出部33は、差分画素DPの数をカウントした後、線Laと接地線L1との交点CPを求める。そして、立体物検出部33は、交点CPとカウント数とを対応付け、交点CPの位置に基づいて横軸位置、すなわち図5右図の上下方向軸における位置を決定するとともに、カウント数から縦軸位置、すなわち図5右図の左右方向軸における位置を決定し、交点CPにおけるカウント数としてプロットする。
以下同様に、立体物検出部33は、立体物が倒れ込む方向上の線Lb,Lc…を定義して、差分画素DPの数をカウントし、各交点CPの位置に基づいて横軸位置を決定し、カウント数(差分画素DPの数)から縦軸位置を決定しプロットする。立体物検出部33は、上記を順次繰り返して度数分布化することで、図5右図に示すように第1差分波形DW1tを生成する。
ここで、差分画像PDtのデータ上における差分画素PDは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。このため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで第1差分波形DW1tを生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から第1差分波形DW1tを生成することとなる。
なお、図5左図に示すように、立体物が倒れ込む方向上の線Laと線Lbとは検出領域A1と重複する距離が異なっている。このため、検出領域A1が差分画素DPで満たされているとすると、線Lb上よりも線La上の方が差分画素DPの数が多くなる。このため、立体物検出部33は、差分画素DPのカウント数から縦軸位置を決定する場合に、立体物が倒れ込む方向上の線La,Lbと検出領域A1とが重複する距離に基づいて正規化する。具体例を挙げると、図5左図において線La上の差分画素DPは6つあり、線Lb上の差分画素DPは5つである。このため、図5においてカウント数から縦軸位置を決定するにあたり、立体物検出部33は、カウント数を重複距離で除算するなどして正規化する。これにより、立体物が倒れ込む方向上の線La,Lbに対応する第1差分波形DW1tの値はほぼ同じとなっている。
また、第1差分波形DW1tの生成後、立体物検出部33は、現時刻における第1差分波形DW1tと一時刻前の第1差分波形DW1t−1との対比により移動距離を算出する。すなわち、立体物検出部33は、第1差分波形DW1t,DW1t−1の時間変化から移動距離を算出する。
詳細に説明すると、立体物検出部33は、図6に示すように第1差分波形DW1tを複数の小領域DW1t1〜DW1tn(nは2以上の任意の整数)に分割する。図6は、立体物検出部33によって分割される小領域DW1t1〜DW1tnを示す図である。小領域DW1t1〜DW1tnは、例えば図6に示すように、互いに重複するようにして分割される。例えば小領域DW1t1と小領域DW1t2とは重複し、小領域DW1t2と小領域DW1t3とは重複する。
次いで、立体物検出部33は、小領域DW1t1〜DW1tn毎にオフセット量(差分波形の横軸方向(図6の上下方向)の移動量)を求める。ここで、オフセット量は、一時刻前における第1差分波形DW1t−1と現時刻における第1差分波形DW1tとの差(横軸方向の距離)から求められる。この際、立体物検出部33は、小領域DW1t1〜DW1tn毎に、一時刻前における第1差分波形DW1t−1を横軸方向に移動させた際に、現時刻における第1差分波形DW1tとの誤差が最小となる位置(横軸方向の位置)を判定し、第1差分波形DW1t−1の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、立体物検出部33は、小領域DW1t1〜DW1tn毎に求めたオフセット量をカウントしてヒストグラム化する。
図7は、立体物検出部33により得られるヒストグラムの一例を示す図である。図7に示すように、各小領域DW1t1〜DW1tnと一時刻前における第1差分波形DW1t−1との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、立体物検出部33は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、立体物検出部33は、ヒストグラムの極大値から立体物の移動距離を算出する。すなわち、図7に示す例において、立体物検出部33は、ヒストグラムの極大値を示すオフセット量を移動距離τ*と算出する。このように、本実施形では、オフセット量にバラつきがあったとしても、その極大値から、より正確性の高い移動距離を算出することが可能となる。なお、移動距離τ*は、自車両に対する立体物の相対移動距離である。このため、立体物検出部33は、絶対移動距離を算出する場合には、得られた移動距離τ*と車速センサ20からの信号とに基づいて、絶対移動距離を算出することとなる。
このように、本実施形態では、異なる時刻に生成された第1差分波形DW1tの誤差が最小となるときの第1差分波形DW1tのオフセット量から立体物の移動距離を算出することで、波形という1次元の情報のオフセット量から移動距離を算出することとなり、移動距離の算出にあたり計算コストを抑制することができる。また、異なる時刻に生成された第1差分波形DW1tを複数の小領域DW1t1〜DW1tnに分割することで、立体物のそれぞれの箇所を表わした波形を複数得ることができ、これにより、立体物のそれぞれの箇所毎にオフセット量を求めることができ、複数のオフセット量から移動距離を求めることができるため、移動距離の算出精度を向上させることができる。また、本実施形態では、高さ方向の情報を含む第1差分波形DW1tの時間変化から立体物の移動距離を算出することで、単に1点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とが高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。
なお、ヒストグラム化にあたり立体物検出部33は、複数の小領域DW1t1〜DW1tn毎に重み付けをし、小領域DW1t1〜DW1tn毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化してもよい。図8は、立体物検出部33による重み付けを示す図である。
図8に示すように、小領域DW1m(mは1以上n−1以下の整数)は平坦となっている。すなわち、小領域DW1mは所定の差分を示す画素数のカウントの最大値と最小値との差が小さくなっている。立体物検出部33は、このような小領域DW1mについて重みを小さくする。平坦な小領域DW1mについては、特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。
一方、小領域DW1m+k(kはn−m以下の整数)は起伏に富んでいる。すなわち、小領域DW1mは所定の差分を示す画素数のカウントの最大値と最小値との差が大きくなっている。立体物検出部33は、このような小領域DW1mについて重みを大きくする。起伏に富む小領域DW1m+kについては、特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。
なお、移動距離の算出精度を向上するために上記実施形態では第1差分波形DW1tを複数の小領域DW1t1〜DW1tnに分割したが、移動距離の算出精度がさほど要求されない場合は小領域DW1t1〜DW1tnに分割しなくてもよい。この場合に、立体物検出部33は、第1差分波形DW1tと第1差分波形DW1t−1との誤差が最小となるときの第1差分波形DW1tのオフセット量から移動距離を算出することとなる。すなわち、一時刻前における第1差分波形DW1t−1と現時刻における第1差分波形DW1tとのオフセット量を求める方法は上記内容に限定されない。
なお、本実施形態において立体物検出部33は、自車両V1(カメラ10)の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求める。静止物のオフセット量を求めた後、立体物検出部33は、ヒストグラムの極大値のうち静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する。
図9は、立体物検出部33により得られるヒストグラムの他の例を示す図である。カメラ10の画角内に立体物の他に静止物が存在する場合に、得られるヒストグラムには2つの極大値τ1,τ2が現れる。この場合、2つの極大値τ1,τ2のうち、いずれか一方は静止物のオフセット量である。このため、立体物検出部33は、移動速度から静止物についてのオフセット量を求め、そのオフセット量に該当する極大値について無視し、残り一方の極大値を採用して立体物の移動距離を算出する。これにより、静止物により立体物の移動距離の算出精度が低下してしまう事態を防止することができる。
なお、静止物に該当するオフセット量を無視したとしても、極大値が複数存在する場合、カメラ10の画角内に立体物が複数台存在すると想定される。しかし、検出領域A1,A2内に複数の立体物が存在することは極めて稀である。このため、立体物検出部33は、移動距離の算出を中止する。これにより、本実施形態では、極大値が複数あるような誤った移動距離を算出してしまう事態を防止することができる。
また、立体物検出部33は、位置合わせ部32で算出した差分画像PDt(図4(b)の右図)のうち検出領域A1,A2に相当する部分から、車幅方向に沿って、第2差分波形DW2tを生成する。ここで、図10は、立体物検出部33による第2差分波形DW2tの生成の様子を示す概略図である。図10に示すように、立体物検出部33は、車幅方向に沿って、第2差分波形DW2tを生成する。なお、図10に示す例では、便宜上、検出領域A1のみを用いて説明するが、検出領域A2についても同様の手順で第2差分波形DW2tを生成する。
具体的に説明すると、立体物検出部33は、まず、差分画像PDtのデータ上において、車幅方向上の線La’を定義する。そして、立体物検出部33は、線La’上において所定の差分を示す差分画素DPの数をカウントする。
立体物検出部33は、差分画素DPの数をカウントした後、線La’と接地線L1との交点CPを求める。そして、立体物検出部33は、交点CPとカウント数とを対応付け、交点CPの位置に基づいて横軸位置、すなわち図10右図の上下方向軸における位置を決定するとともに、カウント数から縦軸位置、すなわち図10右図の左右方向軸における位置を決定し、交点CPにおけるカウント数としてプロットする。
以下同様に、立体物検出部33は、車軸方向上の線Lb’,Lc’…を定義して、差分画素DPの数をカウントし、各交点CPの位置に基づいて横軸位置を決定し、カウント数(差分画素DPの数)から縦軸位置を決定しプロットする。立体物検出部33は、上記を順次繰り返して度数分布化することで、図10右図に示すように第2差分波形DW2tを生成する。このように、本実施形態では、車幅方向に差分画素DPをカウントすることで、実空間に同じ高さ位置に存在する隣接車両のフロントバンパーを検出することができる。
このように、第2差分波形DW2tは、所定輝度差を示す画素の分布情報の一態様であり、本実施形態における「画素の分布情報」とは、車幅方向に沿って検出される「輝度差が所定閾値以上の画素」の分布の状態を示す情報と位置付けることができる。つまり、立体物検出部33は、視点変換部31により得られた鳥瞰視画像において、車幅方向に沿って輝度差が所定閾値以上の画素の分布情報に基づいて、立体物を検出するものである。
図3に示す立体物判定部34は、立体物検出部33により生成された第2差分波形DW2tに基づいて、自車両が隣接車線を走行する隣接車両を追い越したか否かの判断を行う。自車両が隣接車両を追い越したか否かを判断する際に、まず、立体物判定部34は、第2差分波形DW2tに基づいて、隣接車線に隣接車両が存在するか否かの判断を行う。具体的には、立体物判定部34は、第2差分波形DW2tに基づいて、差分画素DPのカウント数が閾値s以上である検出位置の数を検出し、カウント数が閾値s以上である検出位置が、所定数以上連続して検出された場合に、隣接車線に隣接車両が存在すると判断する。なお、上記所定数は、特に限定されず、検出位置の数に基づいて隣接車両を判断することができるように、実験等により適宜設定することができる。なお、上記構成に限定されず、たとえば、カウント数が閾値s以上である検出位置が、隣接車両と判定できる所定幅以上連続して検出された場合に、隣接車線に隣接車両が存在すると判断する構成としてもよい。
そして、立体物判定部34は、差分画素DPのカウント数が閾値s以上である検出位置のうち、自車両から最も近い検出位置が、検出領域A1内の所定位置P0まで到達したか否かを判断することで、自車両が隣接車両を追い越したか否かを判断する。ここで、上述したように、車幅方向に差分画素DPをカウントすることで、検出領域A1,A2内に存在する隣接車両のフロントバンパーを検出することができ、これにより、検出領域A1,A2内における隣接車両のフロントバンパーの位置を検出することができる。そのため、立体物判定部34は、カウント数が閾値s以上である検出位置のうち、自車両から最も近い検出位置が、検出領域A1内の所定位置P0まで到達した場合には、隣接車両(隣接車両のフロントバンパーの位置)が自車両から遠く後方に位置しており、自車両が隣接車両を追い越したものと判断し、自車両が車線変更した際に接触する可能性がある隣接車両は存在しないもの判断し、検出対象の隣接車両、すなわち、自車両が車線変更した際に接触する可能性がある隣接車両は隣接車線に存在しないものと判定する。
たとえば、図11(A)に示す例において、立体物判定部34は、カウント数が閾値s以上である検出位置のうち、自車両から最も近い検出位置P1が、検出領域内の所定位P0まで到達していないため、自車両が車線変更した際に接触する可能性がある隣接車両が隣接車線に存在する判断し、検出対象の隣接車両が隣接車線に存在するものと判定する。一方、図11(B)に示す例において、立体物判定部34は、カウント数が閾値s以上である検出位置のうち、自車両から最も近い検出位置P1が、検出領域内の所定位置P0まで到達しているため、自車両が車線変更したときに接触する可能性がある隣接車両が存在すると判断し、検出対象の隣接車両が隣接車線に存在するものと判定する。
なお、図11(A)、図11(B)に示す所定位置P0の位置は、特に限定されるものではなく、たとえば、所定位置P0の位置を、図11(A)、図11(B)に示す所定位置P0よりも自車両に近い位置としてもよいし、あるいは、所定位置P0の位置を、図11(A)、図11(B)に示す所定位置P0よりも自車両から遠い位置としてもよい。
次に、本実施形態に係る隣接車両検出処理について説明する。図12、図13は、本実施形態の隣接車両検出処理を示すフローチャートである。図12に示すように、まず、計算機30により、カメラ10から撮像画像Pのデータの取得が行われ(ステップS101)、視点変換部31により、取得した撮像画像Pのデータに基づいて、鳥瞰視画像PBtのデータが生成される(ステップS102)。
そして、位置合わせ部33は、鳥瞰視画像PBtのデータと、一時刻前の鳥瞰視画像PBt−1のデータとを位置合わせをし、差分画像PDtのデータを生成する(ステップS103)。その後、立体物検出部33は、差分画像PDtのデータから、視点変換により立体物が倒れ込む方向に沿って、画素値が「1」の差分画素DPの数をカウントすることで、第1差分波形DW1tを生成する(ステップS104)。
第1差分波形DW1tが生成されると、立体物判定部34は、第1差分波形DW1tのピークが所定の閾値α以上であるか否かを判断する(ステップS105)。第1差分波形DW1tのピークが閾値α以上でない場合、すなわち差分が殆どない場合には、撮像画像P内には立体物が存在しないと考えられる。このため、第1差分波形DW1tのピークが閾値α以上でないと判断した場合には(ステップS105=No)、立体物判定部34は、立体物が存在せず他車両が存在しないと判断し(ステップS115)、警告が報知されている場合には警告を解除した後に(ステップS116)、ステップS101に戻り、上述した処理を繰り返す。
一方、第1差分波形DW1tのピークが閾値α以上であると判断した場合には(ステップS105=Yes)、立体物判定部34は、隣接車線に立体物が存在すると判断し、ステップS106に進む。
ステップS106では、立体物検出部33により、第1差分波形DW1tが、複数の小領域DW1t1〜DW1tnに分割される。次いで、立体物検出部33は、小領域DW1t1〜DW1tn毎に重み付けを行い、小領域DW1t1〜DW1tn毎のオフセット量を算出し(ステップS107)、重みを加味してヒストグラムを生成する(ステップS108)。
そして、立体物検出部33は、ヒストグラムに基づいて自車両に対する隣接車両の移動距離である相対移動距離を算出し、算出した相対移動距離を時間微分することで、相対移動速度を算出する(ステップS109)。さらに、立体物検出部33は、車速センサ20で検出された自車速を加算して、隣接車両の絶対移動速度を算出する(ステップS110)。
ステップS111では、立体物判定部34により、ステップS109で検出した隣接車両の相対移動速度がマイナスの値であるか否かの判断が行われる。隣接車両の相対移動速度がマイナスの値である場合、すなわち、自車両の移動速度に対して隣接車両の移動速度が遅い場合には、自車両が隣接車両を追い越そうとしているものと判断し、図13に示すステップS201に進む。一方、隣接車両の相対移動速度がマイナスの値ではない場合には、ステップS112に進む。
自車両が隣接車両を追い越そうとしているものと判断された場合(ステップS111=No)、立体物検出部33は、図10に示すように、車幅方向に沿って、画素値が「1」の差分画素DPの数をカウントすることで、第2差分波形DW2tを生成する(図13のステップS201)。
そして、立体物判定部34は、生成された第2差分波形DW2tに基づいて、差分画素DPのカウント数が閾値s以上である検出位置の数を検出し、カウント数が閾値s以上である検出位置が所定数以上連続して検出されたか否かを判断する(ステップS202)。たとえば、所定数が「3」に設定されている場合には、図11(A)、図11(B)に示す例では、いずれの場合も、カウント数が閾値s以上である検出位置が所定数以上連続して検出されることとなる。カウント数が閾値s以上である検出位置が所定数以上連続している場合には(ステップS202=Yes)、検出領域A1,A2内に隣接車両が存在するものと判断し、ステップS203に進む。一方、カウント数が閾値s以上である検出位置が所定数以上連続して検出されていない場合には(ステップS202=No)、立体物判定部34は、検出領域A1,A2内に隣接車両が存在しないものと判断し、図12に示すステップS115に進み、検出対象の隣接車両が隣接車線に存在しないと判定する(ステップS115)。
そして、立体物判定部34は、差分画素DPのカウント数が閾値s以上である検出位置のうち、自車両から最も近い検出位置P1が、検出領域A1,A2内の所定位置P0まで到達したか否かの判断を行う(ステップS203)。自車両から最も近い検出位置P1が所定位置P0まで到達していない場合(ステップS203=No)には、自車両が隣接車両を追い越していないものと判断し、図12に示すステップS112に進む。一方、自車両から最も近い検出位置P1が所定位置P0まで到達した場合(ステップS203=Yes)には、立体物判定部34は、自車両は隣接車両を追い越しており、自車両が車線変更をした際に隣接車両に接触する可能性はないものと判断し、図12に示すステップS115に進み、検出対象の隣接車両は隣接車線に存在しないと判定する(ステップS115)。
一方、自車両が隣接車両を追い越そうとしていないものと判断された場合には(ステップS111=No)、立体物判定部34は、隣接車両の絶対移動速度が10km/h以上、且つ、隣接車両の自車両に対する相対移動速度が+60km/h以下であるか否かを判断する(ステップS112)。双方を満たす場合には(ステップS112=Yes)、立体物判定部34は、検出対象の隣接車両が隣接車線に存在すると判断し(ステップS113)、自車両が車線変更した場合に隣接車両に接触しないように、警報装置40に、自車両の運転者に対して警告を報知させる(ステップS114)。そして、警告を報知させたまま、ステップS101に戻り、上述した処理を繰り返す。一方、いずれか一方でも満たさない場合には(ステップS112=No)、立体物判定部34は、検出対象の隣接車両が隣接車線に存在しないと判断し(ステップS115)、警告が報知されている場合には警告を解除した後に(ステップS116)、ステップS101に戻り、上述した処理を繰り返す。
このように、本実施形態では、自車両が隣接車線を走行する隣接車両を追い越す際に警告が報知された場合でも、差分画素DPのカウント数が閾値s以上である検出位置のうち、自車両から最も近い検出位置P1が、検出領域A1,A2内の所定位置P0まで到達し、自車両が隣接車両を追い越したと判断された場合には(ステップS203=Yes)、検出対象の隣接車両が隣接車線に存在しないものと判定し(ステップS115)、たとえ検出領域内A1,A2内に隣接車両が存在している場合でも、警告を解除する(ステップS116)。これにより、本実施形態では、自車両が隣接車両を追い越す際に、警告により、自車両の運転者に与える煩わしさを軽減することができる。なお、ステップS114において、警告を報知する方法は、特に限定されず、たとえば、警告装置40により運転者に対して警告音を出力し、あるいは警告表示を提示すればよい。
なお、本実施形態では自車両の後側方を検出領域A1,A2とし、自車両が車線変更した場合に接触する可能性があるか否かに重点を置いている。このため、ステップS112の処理が実行されている。すなわち、本実施形態にけるシステムを高速道路で作動させることを前提とすると、隣接車両の速度が10km/h未満である場合、たとえ隣接車両が存在したとしても、車線変更する際には自車両の遠く後方に位置するため問題となることが少ない。同様に、隣接車両の自車両に対する相対移動速度が+60km/hを超える場合(すなわち、隣接車両が自車両の速度よりも60km/hより大きな速度で移動している場合)、車線変更する際には自車両の前方に移動しているため問題となることが少ない。
また、ステップS112において隣接車両の絶対移動速度が10km/h以上、且つ、隣接車両の自車両に対する相対移動速度が+60km/h以下であるかを判断することにより、以下の効果がある。例えば、カメラ10の取り付け誤差によっては、静止物の絶対移動速度を数km/hであると検出してしまう場合があり得る。よって、10km/h以上であるかを判断することにより、静止物を隣接車両であると判断してしまう可能性を低減することができる。また、ノイズによっては隣接車両の自車両に対する相対速度を+60km/hを超える速度に検出してしまうことがあり得る。よって、相対速度が+60km/h以下であるかを判断することにより、ノイズによる誤検出の可能性を低減できる。
以上のように、第1実施形態では、異なる時刻に得られた2枚の画像を鳥瞰視画像に変換し、2枚の鳥瞰視画像の差分に基づいて差分画像PDtを生成する。そして、視点変換により立体物が倒れ込む方向に沿って、差分画像PDtのデータ上において所定の差分を示す画素数をカウントして度数分布化することで、差分画像PDtのデータから第1差分波形DW1tを生成する。さらに、第1実施形態では、車幅方向に沿って、差分画像PDtのデータ上において所定の差分を示す画素数をカウントして度数分布化することで、第2差分波形DW2tを生成する。ここで、差分画像PDtのデータ上において所定の差分を示す画素数を、車幅方向に沿ってカウントすることで、検出領域A1,A2内に存在する隣接車両のフロントバンパーを検出することができ、検出領域A1,A2内における隣接車両のフロントバンパーの位置を検出することができる。そして、本実施形態では、図11(B)に示すように、カウント数が閾値s以上である検出位置のうち、自車両から最も近い検出位置P1が、検出領域A1,A2内の所定位置P0まで到達した場合に、隣接車両(隣接車両のフロントバンパーの位置)は自車両から遠く離れており、自車両が隣接車両を追い越したものと判断することで、自車両が車線変更したときに接触する可能性がある隣接車両は存在しないもの判断し、検出対象の隣接車両は隣接車線に存在しないものと判定する。これにより、第1実施形態では、たとえば、自車両が隣接車両を追い越す際に警告が報知されている場面において、カウント数が閾値s以上である検出位置のうち自車両から最も近い検出位置P1が、検出領域A1,A2内の所定位置P0まで到達したことで、自車両が隣接車両を追い越したものと判定された場合には、たとえ検出領域A1,A2内に隣接車両が存在している場合であっても、検出対象の隣接車両が隣接車線に存在しないものと判定され、警告が解除される。これにより、自車両が隣接車両を追い越す際に、警告により、自車両の運転者に与える煩わしさを軽減することができる。
《第2実施形態》
続いて、第2実施形態に係る立体物検出装置1aについて説明する。第2実施形態に係る立体物検出装置1aは、図14に示すように、第1実施形態の計算機30に代えて、計算機30aを備えており、以下に説明するように動作すること以外は、第1実施形態と同様である。ここで、図14は、第2実施形態に係る計算機30aの詳細を示すブロック図である。
続いて、第2実施形態に係る立体物検出装置1aについて説明する。第2実施形態に係る立体物検出装置1aは、図14に示すように、第1実施形態の計算機30に代えて、計算機30aを備えており、以下に説明するように動作すること以外は、第1実施形態と同様である。ここで、図14は、第2実施形態に係る計算機30aの詳細を示すブロック図である。
第2実施形態にかかる立体物検出装置1aは、図14に示すように、カメラ10と、計算機30aと、警告装置40とを備えており、計算機30aは、視点変換部31、輝度差算出部35、エッジ線検出部36、立体物検出部33a、立体物判定部34aから構成されている。以下に、第2実施形態に係る立体物検出装置1aの各構成について説明する。
図15は、図14のカメラ10の撮像範囲等を示す図であり、図15(a)は平面図、図15(b)は、自車両V1から後側方における実空間上の斜視図を示す。図15(a)に示すように、カメラ10は所定の画角aとされ、この所定の画角aに含まれる自車両V1から後側方を撮像する。カメラ10の画角aは、図2に示す場合と同様に、カメラ10の撮像範囲に自車両V1が走行する車線に加えて、隣接する車線も含まれるように設定されている。
本例の検出領域A1,A2は、平面視(鳥瞰視された状態)において台形状とされ、これら検出領域A1,A2の位置、大きさ及び形状は、距離d1〜d4に基づいて決定される。なお、同図に示す例の検出領域A1,A2は台形状に限らず、図2に示すように鳥瞰視された状態で矩形など他の形状であってもよい。
ここで、距離d1は、自車両V1から接地線L1,L2までの距離である。接地線L1,L2は、自車両V1が走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施形態においては、自車両V1の後側方において自車両V1の車線に隣接する左右の車線を走行する隣接車両V2等(2輪車等を含む)を検出することが目的である。このため、自車両V1から白線Wまでの距離d11及び白線Wから隣接車両V2が走行すると予測される位置までの距離d12から、隣接車両V2の接地線L1,L2となる位置である距離d1を略固定的に決定しておくことができる。
また、距離d1については、固定的に決定されている場合に限らず、可変としてもよい。この場合に、計算機30aは、白線認識等の技術により自車両V1に対する白線Wの位置を認識し、認識した白線Wの位置に基づいて距離d11を決定する。これにより、距離d1は、決定された距離d11を用いて可変的に設定される。以下の本実施形態においては、隣接車両V2が走行する位置(白線Wからの距離d12)及び自車両V1が走行する位置(白線Wからの距離d11)は大凡決まっていることから、距離d1は固定的に決定されているものとする。
距離d2は、自車両V1の後端部から車両進行方向に伸びる距離である。この距離d2は、検出領域A1,A2が少なくともカメラ10の画角a内に収まるように決定されている。特に本実施形態において、距離d2は、画角aに区分される範囲に接するよう設定されている。距離d3は、検出領域A1,A2の車両進行方向における長さを示す距離である。この距離d3は、検出対象となる立体物の大きさに基づいて決定される。本実施形態においては、検出対象が隣接車両V2等であるため、距離d3は、隣接車両V2を含む長さに設定される。
距離d4は、図15(b)に示すように、実空間において隣接車両V2等のタイヤを含むように設定された高さを示す距離である。距離d4は、鳥瞰視画像においては図15(a)に示す長さとされる。なお、距離d4は、鳥瞰視画像において左右の隣接車線よりも更に隣接する車線(すなわち2車線隣りの隣隣接車線)を含まない長さとすることもできる。自車両V1の車線から2車線隣の車線を含んでしまうと、自車両V1が走行している車線である自車線の左右の隣接車線に隣接車両V2が存在するのか、2車線隣りの隣隣接車線に隣隣接車両が存在するのかについて、区別が付かなくなってしまうためである。
以上のように、距離d1〜距離d4が決定され、これにより検出領域A1,A2の位置、大きさ及び形状が決定される。具体的に説明すると、距離d1により、台形をなす検出領域A1,A2の上辺b1の位置が決定される。距離d2により、上辺b1の始点位置C1が決定される。距離d3により、上辺b1の終点位置C2が決定される。カメラ10から始点位置C1に向かって伸びる直線L3により、台形をなす検出領域A1,A2の側辺b2が決定される。同様に、カメラ10から終点位置C2に向かって伸びる直線L4により、台形をなす検出領域A1,A2の側辺b3が決定される。距離d4により、台形をなす検出領域A1,A2の下辺b4の位置が決定される。このように、各辺b1〜b4により囲まれる領域が検出領域A1,A2とされる。この検出領域A1,A2は、図15(b)に示すように、自車両V1から後側方における実空間上では真四角(長方形)となる。
図14に戻り、視点変換部31は、カメラ10による撮像にて得られた所定領域の撮像画像データを入力する。視点変換部31は、入力した撮像画像データに対して、鳥瞰視される状態の鳥瞰画像データに視点変換処理を行う。鳥瞰視される状態とは、上空から例えば鉛直下向き(又は、やや斜め下向き)に見下ろす仮想カメラの視点から見た状態である。この視点変換処理は、例えば特開2008−219063号公報に記載された技術によって実現することができる。
輝度差算出部35は、鳥瞰視画像に含まれる立体物のエッジを検出するために、視点変換部31により視点変換された鳥瞰視画像データに対して、輝度差の算出を行う。輝度差算出部35は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の2つの画素間の輝度差を算出する。輝度差算出部35は、実空間における鉛直方向に伸びる鉛直仮想線を1本だけ設定する手法と、鉛直仮想線を2本設定する手法との何れかによって輝度差を算出することができる。
ここでは、鉛直仮想線を2本設定する具体的な手法について説明する。輝度差算出部35は、視点変換された鳥瞰視画像に対して、実空間で鉛直方向に伸びる線分に該当する第1鉛直仮想線と、第1鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第2鉛直仮想線とを設定する。輝度差算出部35は、第1鉛直仮想線上の点と第2鉛直仮想線上の点との輝度差を、第1鉛直仮想線及び第2鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部35の動作について詳細に説明する。
輝度差算出部35は、図16(a)に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域A1を通過する第1鉛直仮想線La(以下、注目線Laという)を設定する。また輝度差算出部35は、注目線Laと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域A1を通過する第2鉛直仮想線Lr(以下、参照線Lrという)を設定する。ここで参照線Lrは、実空間における所定距離だけ注目線Laから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰視画像においてはカメラ10の位置Psから放射状に広がる線となる。この放射状に広がる線は、鳥瞰視に変換した際に立体物が倒れ込む方向に沿う線である。
輝度差算出部35は、注目線La上に注目点Pa(第1鉛直仮想線上の点)を設定する。また、輝度差算出部35は、参照線Lr上に参照点Pr(第2鉛直板想線上の点)を設定する。これら注目線La、注目点Pa、参照線Lr、参照点Prは、実空間上において図16(b)に示す関係となる。図16(b)から明らかなように、注目線La及び参照線Lrは、実空間上において鉛直方向に伸びた線であり、注目点Paと参照点Prとは、実空間上において略同じ高さに設定される点である。なお、注目点Paと参照点Prとは必ずしも厳密に同じ高さである必要はなく、注目点Paと参照点Prとが同じ高さとみなせる程度の誤差は許容される。
輝度差算出部35は、注目点Paと参照点Prとの輝度差を求める。仮に、注目点Paと参照点Prとの輝度差が大きいと、注目点Paと参照点Prとの間にエッジが存在すると考えられる。特に、第2実施形態では、検出領域A1,A2に存在する立体物を検出するために、鳥瞰視画像に対して実空間において鉛直方向に伸びる線分として鉛直仮想線を設定しているため、注目線Laと参照線Lrとの輝度差が高い場合には、注目線Laの設定箇所に立体物のエッジがある可能性が高い。このため、図14に示すエッジ線検出部36は、注目点Paと参照点Prとの輝度差に基づいてエッジ線を検出する。
この点をより詳細に説明する。図17は、輝度差算出部35の詳細動作を示す図であり、図17(a)は鳥瞰視された状態の鳥瞰視画像を示し、図17(b)は、図17(a)に示した鳥瞰視画像の一部B1を拡大した図である。なお図17についても検出領域A1のみを図示して説明するが、検出領域A2についても同様の手順で輝度差を算出する。
カメラ10が撮像した撮像画像内に隣接車両V2が映っていた場合に、図17(a)に示すように、鳥瞰視画像内の検出領域A1に隣接車両V2が現れる。図17(b)に図17(a)中の領域B1の拡大図を示すように、鳥瞰視画像上において、隣接車両V2のタイヤのゴム部分上に注目線Laが設定されていたとする。この状態において、輝度差算出部35は、先ず参照線Lrを設定する。参照線Lrは、注目線Laから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る立体物検出装置1aにおいて、参照線Lrは、注目線Laから実空間上において10cmだけ離れた位置に設定される。これにより、参照線Lrは、鳥瞰視画像上において、例えば隣接車両V2のタイヤのゴムから10cm相当だけ離れた隣接車両V2のタイヤのホイール上に設定される。
次に、輝度差算出部35は、注目線La上に複数の注目点Pa1〜PaNを設定する。図17(b)においては、説明の便宜上、6つの注目点Pa1〜Pa6(以下、任意の点を示す場合には単に注目点Paiという)を設定している。なお、注目線La上に設定する注目点Paの数は任意でよい。以下の説明では、N個の注目点Paが注目線La上に設定されたものとして説明する。
次に、輝度差算出部35は、実空間上において各注目点Pa1〜PaNと同じ高さとなるように各参照点Pr1〜PrNを設定する。そして、輝度差算出部35は、同じ高さ同士の注目点Paと参照点Prとの輝度差を算出する。これにより、輝度差算出部35は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置(1〜N)ごとに、2つの画素の輝度差を算出する。輝度差算出部35は、例えば第1注目点Pa1とは、第1参照点Pr1との間で輝度差を算出し、第2注目点Pa2とは、第2参照点Pr2との間で輝度差を算出することとなる。これにより、輝度差算出部35は、注目線La及び参照線Lrに沿って、連続的に輝度差を求める。すなわち、輝度差算出部35は、第3〜第N注目点Pa3〜PaNと第3〜第N参照点Pr3〜PrNとの輝度差を順次求めていくこととなる。
輝度差算出部35は、検出領域A1内において注目線Laをずらしながら、上記の参照線Lrの設定、注目点Pa及び参照点Prの設定、輝度差の算出といった処理を繰り返し実行する。すなわち、輝度差算出部35は、注目線La及び参照線Lrのそれぞれを、実空間上において接地線L1の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部35は、例えば、前回処理において参照線Lrとなっていた線を注目線Laに設定し、この注目線Laに対して参照線Lrを設定して、順次輝度差を求めていくことになる。
このように、第2実施形態では、実空間上で略同じ高さとなる注目線La上の注目点Paと参照線Lr上の参照点Prとから輝度差を求めることで、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。また、実空間において鉛直方向に伸びる鉛直仮想線同士の輝度比較を行うために、鳥瞰視画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはなく、立体物の検出精度を向上させることができる。
図14に戻り、エッジ線検出部36は、輝度差算出部35により算出された連続的な輝度差から、エッジ線を検出する。例えば、図17(b)に示す場合、第1注目点Pa1と第1参照点Pr1とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第2〜第6注目点Pa2〜Pa6はタイヤのゴム部分に位置し、第2〜第6参照点Pr2〜Pr6はタイヤのホイール部分に位置する。したがって、第2〜第6注目点Pa2〜Pa6と第2〜第6参照点Pr2〜Pr6との輝度差は大きくなる。このため、エッジ線検出部36は、輝度差が大きい第2〜第6注目点Pa2〜Pa6と第2〜第6参照点Pr2〜Pr6との間にエッジ線が存在することを検出することができる。
具体的には、エッジ線検出部36は、エッジ線を検出するにあたり、先ず下記の数式1に従って、i番目の注目点Pai(座標(xi,yi))とi番目の参照点Pri(座標(xi’,yi’))との輝度差から、i番目の注目点Paiに属性付けを行う。
[数1]
I(xi,yi)>I(xi’,yi’)+tのとき
s(xi,yi)=1
I(xi,yi)<I(xi’,yi’)−tのとき
s(xi,yi)=−1
上記以外のとき
s(xi,yi)=0
[数1]
I(xi,yi)>I(xi’,yi’)+tのとき
s(xi,yi)=1
I(xi,yi)<I(xi’,yi’)−tのとき
s(xi,yi)=−1
上記以外のとき
s(xi,yi)=0
上記数式1において、tは所定の閾値を示し、I(xi,yi)はi番目の注目点Paiの輝度値を示し、I(xi’,yi’)はi番目の参照点Priの輝度値を示す。上記数式1によれば、注目点Paiの輝度値が、参照点Priに閾値tを加えた輝度値よりも高い場合には、当該注目点Paiの属性s(xi,yi)は‘1’となる。一方、注目点Paiの輝度値が、参照点Priから輝度閾値tを減じた輝度値よりも低い場合には、当該注目点Paiの属性s(xi,yi)は‘−1’となる。注目点Paiの輝度値と参照点Priの輝度値とがそれ以外の関係である場合には、注目点Paiの属性s(xi,yi)は‘0’となる。
次にエッジ線検出部36は、下記数式2に基づいて、注目線Laに沿った属性sの連続性c(xi,yi)から、注目線Laがエッジ線であるか否かを判定する。
[数2]
s(xi,yi)=s(xi+1,yi+1)のとき(且つ0=0を除く)、
c(xi,yi)=1
上記以外のとき、
c(xi,yi)=0
[数2]
s(xi,yi)=s(xi+1,yi+1)のとき(且つ0=0を除く)、
c(xi,yi)=1
上記以外のとき、
c(xi,yi)=0
注目点Paiの属性s(xi,yi)と隣接する注目点Pai+1の属性s(xi+1,yi+1)とが同じである場合には、連続性c(xi,yi)は‘1’となる。注目点Paiの属性s(xi,yi)と隣接する注目点Pai+1の属性s(xi+1,yi+1)とが同じではない場合には、連続性c(xi,yi)は‘0’となる。
次にエッジ線検出部36は、注目線La上の全ての注目点Paの連続性cについて総和を求める。エッジ線検出部36は、求めた連続性cの総和を注目点Paの数Nで割ることにより、連続性cを正規化する。そして、エッジ線検出部36は、正規化した値が閾値θを超えた場合に、注目線Laをエッジ線と判断する。なお、閾値θは、予め実験等によって設定された値である。
すなわち、エッジ線検出部36は、下記数式3に基づいて注目線Laがエッジ線であるか否かを判断する。そして、エッジ線検出部36は、検出領域A1上に描かれた注目線Laの全てについてエッジ線であるか否かを判断する。
[数3]
Σc(xi,yi)/N>θ
[数3]
Σc(xi,yi)/N>θ
このように、第2実施形態では、注目線La上の注目点Paと参照線Lr上の参照点Prとの輝度差に基づいて注目点Paに属性付けを行い、注目線Laに沿った属性の連続性cに基づいて当該注目線Laがエッジ線であるかを判断するので、輝度の高い領域と輝度の低い領域との境界をエッジ線として検出し、人間の自然な感覚に沿ったエッジ検出を行うことができる。この効果について詳細に説明する。図18は、エッジ線検出部36の処理を説明する画像例を示す図である。この画像例は、輝度の高い領域と輝度の低い領域とが繰り返される縞模様を示す第1縞模様101と、輝度の低い領域と輝度の高い領域とが繰り返される縞模様を示す第2縞模様102とが隣接した画像である。また、この画像例は、第1縞模様101の輝度が高い領域と第2縞模様102の輝度の低い領域とが隣接すると共に、第1縞模様101の輝度が低い領域と第2縞模様102の輝度が高い領域とが隣接している。この第1縞模様101と第2縞模様102との境界に位置する部位103は、人間の感覚によってはエッジとは知覚されない傾向にある。
これに対し、輝度の低い領域と輝度が高い領域とが隣接しているために、輝度差のみでエッジを検出すると、当該部位103はエッジとして認識されてしまう。しかし、エッジ線検出部36は、部位103における輝度差に加えて、当該輝度差の属性に連続性がある場合にのみ部位103をエッジ線として判定するので、エッジ線検出部36は、人間の感覚としてエッジ線として認識しない部位103をエッジ線として認識してしまう誤判定を抑制でき、人間の感覚に沿ったエッジ検出を行うことができる。
図14に戻り、立体物検出部33aは、エッジ線検出部36により検出されたエッジ線の量に基づいて立体物を検出する。上述したように、本実施形態に係る立体物検出装置1aは、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域A1,A2に立体物が存在する可能性が高いということである。このため、立体物検出部33aは、エッジ線検出部36により検出されたエッジ線の量に基づいて立体物を検出する。具体的には、立体物検出部33aは、エッジ線検出部36により検出されたエッジ線の量が、所定の閾値β以上であるか否かを判断し、エッジ線の量が所定の閾値β以上である場合には、エッジ線検出部36により検出されたエッジ線は、立体物のエッジ線であるものと判断し、これにより、エッジ線に基づく立体物を隣接車両V2として検出する。
さらに、立体物検出部33aは、立体物を検出するに先立って、エッジ線検出部36により検出されたエッジ線が正しいものであるか否かを判定する。立体物検出部33aは、エッジ線上の鳥瞰視画像のエッジ線に沿った輝度変化が所定の閾値tb以上である否かを判定する。エッジ線上の鳥瞰視画像の輝度変化が閾値tb以上である場合には、当該エッジ線が誤判定により検出されたものと判断する。一方、エッジ線上の鳥瞰視画像の輝度変化が閾値tb未満である場合には、当該エッジ線が正しいものと判定する。なお、この閾値tbは、実験等により予め設定された値である。
図19は、エッジ線の輝度分布を示す図であり、図19(a)は検出領域A1に立体物としての隣接車両V2が存在した場合のエッジ線及び輝度分布を示し、図19(b)は検出領域A1に立体物が存在しない場合のエッジ線及び輝度分布を示す。
図19(a)に示すように、鳥瞰視画像において隣接車両V2のタイヤゴム部分に設定された注目線Laがエッジ線であると判断されていたとする。この場合、注目線La上の鳥瞰視画像の輝度変化はなだらかなものとなる。これは、カメラ10により撮像された画像が鳥瞰視画像に視点変換されたことにより、隣接車両のタイヤが鳥瞰視画像内で引き延ばされたことによる。一方、図19(b)に示すように、鳥瞰視画像において路面に描かれた「50」という白色文字部分に設定された注目線Laがエッジ線であると誤判定されていたとする。この場合、注目線La上の鳥瞰視画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。
以上のような注目線La上の輝度分布の相違に基づいて、立体物検出部33aは、エッジ線が誤判定により検出されたものか否かを判定する。たとえば、カメラ10により取得された撮像画像を鳥瞰視画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で鳥瞰視画像に現れる傾向がある。上述したように、隣接車両のタイヤが引き伸ばされた場合に、タイヤという1つの部位が引き伸ばされるため、引き伸ばされた方向における鳥瞰視画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合に、鳥瞰視画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合に、鳥瞰視画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。そのため、立体物検出部33aは、エッジ線に沿った輝度変化が所定の閾値tb以上である場合には、当該エッジ線が誤判定により検出されたものであり、当該エッジ線は、立体物に起因するものではないと判断する。これにより、路面上の「50」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい、立体物の検出精度が低下することを抑制する。一方、立体物検出部33aは、エッジ線に沿った輝度変化が所定の閾値tb未満である場合には、当該エッジ線は、立体物のエッジ線であると判断し、立体物が存在するものと判断する。
具体的には、立体物検出部33aは、下記数式4,5の何れかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記数式4は、注目線La上のi番目の輝度値I(xi,yi)と、隣接するi+1番目の輝度値I(xi+1,yi+1)との差分の二乗の合計値によって輝度分布を評価する。下記数式5は、注目線La上のi番目の輝度値I(xi,yi)と、隣接するi+1番目の輝度値I(xi+1,yi+1)との差分の絶対値の合計値よって輝度分布を評価する。
[数4]
鉛直相当方向の評価値=Σ[{I(xi,yi)−I(xi+1,yi+1)}2]
[数5]
鉛直相当方向の評価値=Σ|I(xi,yi)−I(xi+1,yi+1)|
[数4]
鉛直相当方向の評価値=Σ[{I(xi,yi)−I(xi+1,yi+1)}2]
[数5]
鉛直相当方向の評価値=Σ|I(xi,yi)−I(xi+1,yi+1)|
なお、数式5に限らず、下記数式6のように、閾値t2を用いて隣接する輝度値の属性bを二値化して、当該二値化した属性bを全ての注目点Paについて総和してもよい。
[数6]
鉛直相当方向の評価値=Σb(xi,yi)
但し、|I(xi,yi)−I(xi+1,yi+1)|>t2のとき、
b(xi,yi)=1
上記以外のとき、
b(xi,yi)=0
[数6]
鉛直相当方向の評価値=Σb(xi,yi)
但し、|I(xi,yi)−I(xi+1,yi+1)|>t2のとき、
b(xi,yi)=1
上記以外のとき、
b(xi,yi)=0
注目点Paiの輝度値と参照点Priの輝度値との輝度差の絶対値が閾値t2よりも大きい場合、当該注目点Pa(xi,yi)の属性b(xi,yi)は‘1’となる。それ以外の関係である場合には、注目点Paiの属性b(xi,yi)は‘0’となる。この閾値t2は、注目線Laが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、立体物検出部33aは、注目線La上の全注目点Paについての属性bを総和して、鉛直相当方向の評価値を求めることで、エッジ線が立体物に起因するものであり、立体物が存在するか否かを判定する。
また、立体物検出部33aは、検出領域A1,A2に相当する部分から、車幅方向に伸びるエッジ線を検出し、一次元のエッジ波形EDtを生成する。たとえば、立体物検出部33aは、たとえば図10に示すように、車幅方向に伸びるエッジ線に対応する画素数を、車幅方向に沿ってカウントして度数分布化することで、一次元のエッジ波形EDtを生成する。立体物判定部34aは、立体物検出部33aにより生成されたエッジ波形EDtに基づいて、自車両が隣接車両を追い越したか否かを判定することで、自車両が車線変更した際に接触する可能性がある隣接車両を判定する。
このように、エッジ波形EDtは、所定輝度差を示す画素の分布情報の一態様であり、本実施形態における「画素の分布情報」は、車幅方向に沿って検出される「輝度差が所定閾値以上の画素」の分布の状態を示す情報と位置付けることができる。つまり、立体物検出部33aは、視点変換部31により得られた鳥瞰視画像において、車幅方向に沿って輝度差が所定閾値以上の画素の分布情報に基づいて、立体物を検出するものである。
次に、第2実施形態に係る隣接車両検出方法について説明する。図20は、第2実施形態に係る隣接車両検出方法の詳細を示すフローチャートである。なお、図20においては、便宜上、検出領域A1を対象とする処理について説明するが、検出領域A2についても同様の処理が実行される。
まず、ステップS301では、カメラ10により、画角a及び取付位置によって特定された所定領域の撮像が行われ、計算機30aにより、カメラ10により撮像された撮像画像Pの画像データが取得される。次に視点変換部31は、ステップS302において、取得した画像データについて視点変換を行い、鳥瞰視画像データを生成する。
次に、輝度差算出部35は、ステップS303において、検出領域A1上に注目線Laを設定する。このとき、輝度差算出部35は、実空間上において鉛直方向に伸びる線に相当する線を注目線Laとして設定する。また、ステップS303において、輝度差算出部35は、検出領域A1上に参照線Lrの設定も行う。なお、輝度差算出部35は、実空間上において鉛直方向に伸びる線分に該当し、且つ、注目線Laと実空間上において所定距離離れた線を参照線Lrとして設定する。
次に、輝度差算出部35は、ステップS304において、注目線La上に複数の注目点Paを設定するとともに、実空間上において注目点Paと参照点Prとが略同じ高さとなるように、参照線Lr上に参照点Prを設定する。これにより、注目点Paと参照点Prとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。また、この際、輝度差算出部35は、エッジ線検出部36によるエッジ検出時に問題とならない程度の数の注目点Paを設定する。
次に、輝度差算出部35は、ステップS305において、実空間上において同じ高さとなる注目点Paと参照点Prとの輝度差を算出する。また、エッジ線検出部36は、上記の数式1に従って、各注目点Paの属性sを算出する。そして、エッジ線検出部36は、ステップS306において、上記の数式2に従って、各注目点Paの属性sの連続性cを算出する。さらに、エッジ線検出部36は、ステップS307において、上記数式3に従って、連続性cの総和を正規化した値が閾値θより大きいか否かを判定する。そして、正規化した値が閾値θよりも大きいと判断した場合(ステップS307=Yes)、エッジ線検出部36は、ステップS308において、当該注目線Laをエッジ線として検出する。そして、処理はステップS309に移行する。正規化した値が閾値θより大きくないと判断した場合(ステップS307=No)、エッジ線検出部36は、当該注目線Laをエッジ線として検出せず、処理はステップS309に移行する。
ステップS309において、計算機30aは、検出領域A1上に設定可能な注目線Laの全てについて上記のステップS303〜ステップS308の処理を実行したか否かを判断する。全ての注目線Laについて上記処理をしていないと判断した場合(ステップS309=No)、ステップS303に処理を戻して、新たに注目線Laを設定して、ステップS309までの処理を繰り返す。一方、全ての注目線Laについて上記処理をしたと判断した場合(ステップS309=Yes)、処理はステップS310に移行する。
ステップS310において、立体物検出部33aは、ステップS308において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。立体物検出部33aは、上記数式4,5,6の何れかの式に従って、エッジ線の輝度変化を算出する。次に立体物検出部33aは、ステップS311において、エッジ線のうち、輝度変化が所定の閾値tb以上のエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域A1に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値tbとは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。一方、立体物検出部33aは、エッジ線のうち、輝度変化が所定の閾値tb未満であるエッジ線を、立体物のエッジ線と判断し、これにより、隣接車両に存在する立体物を検出する。
次いで、ステップS312では、立体物判定部34aにより、エッジ線の量が、閾値β以上であるか否かの判断が行われる。ここで、閾値βは、エッジ線の数に基づいて、検出領域A1,A2内において出現する四輪車であると判定できる値に予め設定されている。エッジ線の量が閾値β以上ではないと判定された場合(ステップS312=No)には、立体物判定部34aは、ステップS316において、検出対象である隣接車両が隣接車線に存在しないと判定し、警告が報知されている場合には警告を解除した後に(ステップS317)、ステップS301に戻り、上述した処理を繰り返す。一方、エッジ線の量が閾値β以上であると判定された場合(ステップS312=Yes)には、ステップS313に進む。
ステップS313では、立体物判定部34aにより、隣接車両の相対移動速度がマイナスの値であるか否かの判断が行われる。たとえば、立体物判定部34aは、エッジ線の時間変化に基づいて、隣接車両の相対移動速度し、隣接車両の相対移動速度がマイナスの値である場合、すなわち、自車両の移動速度に対して隣接車両の移動速度が遅い場合には、自車両が隣接車両を追い越そうとしているものと判断し、図21に示すステップS401に進む。一方、隣接車両の相対移動速度がマイナスの値ではない場合は、検出対象の隣接車両が隣接車線に存在するものと判定し(ステップS314)、自車両の運転者に対して警告を報知した後(ステップS315)、ステップS301に戻り、上述した処理を繰り返す。
そして、自車両が隣接車両を追い越そうとしているものと判断された場合(ステップS313=Yes)、立体物検出部33aは、第1実施形態の図10に示すように、車幅方向に伸びるエッジ線を検出し、検出した車幅方向に伸びるエッジ線に基づいて、一次元のエッジ波形EWtを生成する(ステップS401)。たとえば、立体物検出部33aは、図10に示すように、車幅方向に伸びるエッジ線に対応する画素数を、車幅方向に沿ってカウントして度数分布化することで、一次元のエッジ波形EWtを生成することができる。そして、立体物判定部34aは、第1実施形態のステップS202と同様に、カウント数が閾値s’以上である検出位置の数を検出し、カウント数が閾値s’以上である検出位置が所定数以上連続している場合に(ステップS402=Yes)、検出領域A1,A2に隣接車両が存在するものと判断して、ステップS403に進む。一方、カウント数が閾値s’以上である検出位置が所定数以上連続して検出されていない場合には(ステップS402=No)、検出領域A1,A2に隣接車両が存在しないものと判断し、研修対象の隣接車両が隣接車線に存在しないと判定する(図20のステップS316)。そして、警告が報知されている場合には警告を解除し(ステップS317)、ステップS301に戻り、上述した処理を繰り返す。
次に、立体物判定部34aは、第1実施形態のステップS203と同様に、カウント数が閾値s’以上である検出位置のうち、自車両から最も近い検出位置P1が、検出領域A1,A2内の所定位置P0まで到達したか否か判断する。自車両から最も近い検出位置P1が所定位置P0まで到達した場合には(ステップS403=Yes)、自車両は隣接車両を追い越しており、自車両が車線変更をした際に隣接車両に接触する可能性はないものと判断し、検出対象の隣接車両が隣接車線に存在しないと判定する(図20のステップS316)。そして、警告が報知されている場合には警告を解除し(ステップS317)、ステップS301に戻り、上述した処理を繰り返す。一方、自車両から最も近い検出位置P1が所定位置P0まで到達していない場合(ステップS403=No)には、自車両が隣接車両を追い越していないものと判断し、検出対象の隣接車両が隣接車線に存在するものと判定する(図20のステップS314)。そして、自車両の運転者に対して警告を報知した後(ステップS315)、ステップS301に戻り、上述した処理を繰り返す。
以上のように、第2実施形態では、撮像画像を鳥瞰視画像に変換し、変換した鳥瞰視画像から立体物のエッジ情報を検出する。そして、車幅方向に伸びるエッジ線を検出し、検出した車幅方向に伸びるエッジ線に基づいて、一次元のエッジ波形EWtを生成する。そして、生成したエッジ波形EWtに基づいて、自車両が隣接車両を追い越したか否かを判定する。これにより、第2実施形態では、第1実施形態の効果に加えて、エッジ情報に基づいて、自車両が隣接車両を追い越したか否かを適切に判定することができるため、自車両が追い越した隣接車両を、検出対象の隣接車両として検出することを有効に防止することができ、検出対象の隣接車両の検出精度を高めることができる。
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
たとえば、上述した実施形態では、自車両が隣接車線を走行する隣接車両を追い越したと判定された場合に、検出対象の隣接車両が隣接車線に存在しないものと判定する構成を例示したが、この構成に限定されず、たとえば、車両が隣接車線を走行する隣接車両を追い越したと判定された場合に、検出対象の隣接車両であると判定する確信度を小さくするような構成としてもよい。
また、述した実施形態に加えて、複数の隣接車両が存在し、自車両がこれら複数の隣接車両を追い越す場面において、一の隣接車両に対応する検出位置が、検出領域A1,A2内の所定位置P0まで到達する前に、他の隣接車両が検出領域A1,A2の前方で検出された場合には、新たに検出領域A1,A2の前方で検出された隣接車両を、新たな判断対象とする構成としてもよい。
さらに、上述した第1実施形態では、図12のステップS111に示すように、第1差分波形DW1tの時間変化に基づいて、自車両が隣接車両を追い越そうとしている否かを判定する構成を例示しているが、この構成に限定されず、たとえば、第2差分波形DW2tの時間変化に基づいて、自車両が隣接車両を追い越しているか否かを判定する構成としてもよい。たとえば、現時刻における第2差分波形DW2tと一時刻前の第2差分波形DW2t−1とに基づいて、隣接車両の相対移動速度を算出し、隣接車両の相対移動速度がマイナスの値となる場合には、自車両が隣接車両を追い越そうとしているものと判定する構成とすることができる。
さらに、上述した実施形態では、撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像PDtを生成し、生成した差分画像PDtを倒れ込み方向(撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向)に沿って評価して第1差分波形DW1tを生成しているが、これに限定されない。例えば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像した画像相当に変換し、この画像と現時刻の画像とで差分画像を生成し、生成した差分画像を倒れ込み方向に相当する方向(すなわち、倒れ込み方向を撮像画像上の方向に変換した方向)に沿って評価することによって第1差分波形DW1tを生成する構成としてもよい。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像PDtを生成し、差分画像PDtを鳥瞰図に変換した際の立体物の倒れ込み方向に沿って評価できれば、必ずしも明確に鳥瞰図を生成しなくともよい。
また、上述した実施形態では、自車両V1の車速を速度センサ20からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定する構成としてもよい。この場合、車速センサ20が不要となり、構成の簡素化を図ることができる。
なお、上述した実施形態のカメラ10は本発明の撮像手段に相当し、視点変換部31は本発明の画像変換手段に相当し、位置合わせ部32、立体物検出部33、輝度差検出部35、およびエッジ線検出部36は本発明の立体物検出手段に相当し、立体物判定部34は本発明の立体物判定手段および制御手段に相当する。
1,1a…立体物検出装置
10…カメラ
20…車速センサ
30,30a…計算機
31…視点変換部
32…位置合わせ部
33,33a…立体物検出部
34,34a…立体物判定部
35…輝度差算出部
36…エッジ線検出部
a…画角
A1,A2…検出領域
CP…交点
DP…差分画素
DW1t,DW1t−1…第1差分波形
DW2t,DW2t−1…第2差分波形
DW1t1〜DW1m,DW1m+k〜DW1tn…小領域
L1,L2…接地線
La,Lb…立体物が倒れ込む方向上の線
La’,Lb’…車幅方向上の線
P…撮像画像
PBt…鳥瞰視画像
PDt…差分画像
V1…自車両
V2…隣接車両
V3…隣隣接車両
10…カメラ
20…車速センサ
30,30a…計算機
31…視点変換部
32…位置合わせ部
33,33a…立体物検出部
34,34a…立体物判定部
35…輝度差算出部
36…エッジ線検出部
a…画角
A1,A2…検出領域
CP…交点
DP…差分画素
DW1t,DW1t−1…第1差分波形
DW2t,DW2t−1…第2差分波形
DW1t1〜DW1m,DW1m+k〜DW1tn…小領域
L1,L2…接地線
La,Lb…立体物が倒れ込む方向上の線
La’,Lb’…車幅方向上の線
P…撮像画像
PBt…鳥瞰視画像
PDt…差分画像
V1…自車両
V2…隣接車両
V3…隣隣接車両
Claims (9)
- 所定の検出領域を撮像する撮像手段と、
前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
前記画像変換手段により得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において所定の差分を示す画素数を、車幅方向に沿ってカウントして度数分布化することで、車幅方向波形情報を生成し、当該車幅方向波形情報に基づいて、前記検出領域内に存在する立体物を検出する車幅方向検出処理を行う立体物検出手段と、
前記立体物検出手段により検出された前記立体物が、前記検出領域に存在する検出対象の他車両であるか否かを判定する立体物判定手段と、
前記立体物検出手段による前記車幅方向検出処理において所定値以上のカウント数が得られた検出位置を特定し、特定した前記検出位置が、前記検出領域内を自車両進行方向の前方から後方へと移動し、前記検出領域内の自車両進行方向における所定位置まで到達した場合に、前記立体物判定手段が前記立体物を検出対象の他車両であると判定することを抑制する制御手段と、を備えることを特徴とする立体物検出装置。 - 請求項1に記載の立体物検出装置であって、
前記立体物検出手段は、前記車幅方向検出処理を行う際に、前記検出領域内の自車両進行方向に沿った異なる複数の位置で、前記所定の差分を示す画素数を車幅方向に沿ってカウントして度数分布化することで、前記車幅方向差分波形情報を生成し、
前記制御手段は、前記立体物検出手段による前記車幅方向検出処理において所定値以上のカウント数が得られた複数の検出位置を特定し、特定した複数の検出位置のうち、自車両から最も近い検出位置が、前記検出領域内を自車両進行方向の前方から後方へと移動し、前記検出領域内の自車両進行方向における所定位置まで到達した場合に、前記立体物判定手段が前記立体物を検出対象の他車両であると判定すること抑制することを特徴とする立体物検出装置。 - 請求項1または2に記載の立体物検出装置であって、
前記立体物検出手段は、前記画像変換手段により得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において所定の差分を示す画素数を、鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿ってカウントして度数分布化することで、倒れ込み方向波形情報を生成し、当該倒れ込み方向波形情報に基づいて、前記立体物を検出する倒れ込み方向検出処理も行うことを特徴とする立体物検出装置。 - 請求項3に記載の立体物検出装置であって、
前記立体物検出手段は、前記車幅方向波形情報または前記倒れ込み方向波形情報の時間変化に基づいて、前記立体物の相対移動速度を算出し、
前記制御手段は、前記立体物の相対移動速度が、自車両が前記立体物を追い越し可能な追い越し車速であるか否かを判断し、当該判断の結果、前記相対移動速度が前記追い越し車速である場合には、前記立体物検出手段に前記車幅方向検出処理を行わせ、前記相対移動速度が前記追い越し車速ではない場合には、前記立体物検出手段に前記倒れ込み方向検出処理を行わせることを特徴とする立体物検出装置。 - 所定の検出領域を撮像する撮像手段と、
前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
前記画像変換手段により得られた鳥瞰視画像からエッジ情報を検出し、車幅方向に沿って前記エッジ情報を検出することで、前記検出領域内に存在する立体物を検出する車幅方向検出処理を行う立体物検出手段と、
前記立体物検出手段により検出された前記立体物が、前記検出領域に存在する検出対象の他車両であるか否かを判定する立体物判定手段と、
前記立体物検出手段による前記車幅方向検出処理において所定値以上のカウント数が得られた検出位置を特定し、特定した前記検出位置が、前記検出領域内を自車両進行方向の前方から後方へと移動し、前記検出領域内の自車両進行方向における所定位置まで到達した場合に、前記立体物判定手段が前記立体物を検出対象の他車両であると判定することを抑制する制御手段と、を備えることを特徴とする立体物検出装置。 - 請求項5に記載の立体物検出装置であって、
前記立体物検出手段は、前記車幅方向検出処理を行う際に、前記検出領域内の自車両進行方向に沿った異なる複数の位置で、車幅方向に沿って前記エッジ情報を検出し、
前記制御手段は、前記立体物検出手段による前記車幅方向検出処理において所定値以上のカウント数が得られた複数の検出位置を特定し、特定した複数の検出位置のうち、自車両から最も近い検出位置が、前記検出領域内を自車両進行方向の前方から後方へと移動し、前記検出領域内の自車両進行方向における所定位置まで到達した場合に、前記立体物判定手段が前記立体物を検出対象の他車両であると判定すること抑制することを特徴とする立体物検出装置。 - 請求項5または6に記載の立体物検出装置であって、
前記立体物検出手段は、前記鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って前記エッジ情報を検出することで、前記立体物を検出する倒れ込み方向検出処理も行うことを特徴とする立体物検出装置。 - 請求項7に記載の立体物検出装置であって、
前記立体物検出手段は、前記エッジ情報の時間変化に基づいて、前記立体物の相対移動速度を算出し、
前記制御手段は、前記立体物の相対移動速度が、自車両が前記立体物を追い越し可能な追い越し車速であるか否かを判断し、当該判断の結果、前記相対移動速度が前記追い越し車速である場合には、前記立体物検出手段に前記車幅方向検出処理を行わせ、前記相対移動速度が前記追い越し車速ではない場合には、前記立体物検出手段に前記倒れ込み方向検出処理を行わせることを特徴とする立体物検出装置。 - 所定の検出領域を撮像する撮像手段と、
前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
前記画像変換手段により得られた前記鳥瞰視画像において、車幅方向に沿って輝度差が所定閾値以上である画素の分布情報を検出し、検出した前記画素の分布情報に基づいて、前記検出領域内に存在する立体物を検出する車幅方向検出処理を行う立体物検出手段と、
前記立体物検出手段により検出された前記立体物が、前記検出領域に存在する検出対象の他車両であるか否かを判定する立体物判定手段と、
前記立体物検出手段による前記車幅方向検出処理において所定値以上のカウント数が得られた検出位置を特定し、特定した前記検出位置が、前記検出領域内を自車両進行方向の前方から後方へと移動し、前記検出領域内の自車両進行方向における所定位置まで到達した場合に、前記立体物判定手段が前記立体物を検出対象の他車両であると判定することを抑制する制御手段と、を備えることを特徴とする立体物検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014500665A JP5682734B2 (ja) | 2012-02-23 | 2013-02-13 | 立体物検出装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012037472 | 2012-02-23 | ||
JP2012037472 | 2012-02-23 | ||
JP2014500665A JP5682734B2 (ja) | 2012-02-23 | 2013-02-13 | 立体物検出装置 |
PCT/JP2013/053327 WO2013125403A1 (ja) | 2012-02-23 | 2013-02-13 | 立体物検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5682734B2 JP5682734B2 (ja) | 2015-03-11 |
JPWO2013125403A1 true JPWO2013125403A1 (ja) | 2015-07-30 |
Family
ID=49005590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014500665A Active JP5682734B2 (ja) | 2012-02-23 | 2013-02-13 | 立体物検出装置 |
Country Status (9)
Country | Link |
---|---|
US (1) | US9783127B2 (ja) |
EP (1) | EP2819115B1 (ja) |
JP (1) | JP5682734B2 (ja) |
CN (1) | CN104115201B (ja) |
BR (1) | BR112014020410B1 (ja) |
MX (1) | MX343201B (ja) |
MY (1) | MY172967A (ja) |
RU (1) | RU2619724C2 (ja) |
WO (1) | WO2013125403A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101448411B1 (ko) * | 2010-08-19 | 2014-10-07 | 닛산 지도우샤 가부시키가이샤 | 입체물 검출 장치 및 입체물 검출 방법 |
MY171030A (en) * | 2011-09-12 | 2019-09-23 | Nissan Motor | Three-dimensional object detection device |
JP6462629B2 (ja) * | 2016-05-19 | 2019-01-30 | 株式会社Soken | 運転支援装置及び運転支援プログラム |
CN106809159B (zh) * | 2016-10-26 | 2020-06-16 | 蔚来汽车有限公司 | 车辆超越动作自动提醒方法和装置 |
CN111899515B (zh) * | 2020-09-29 | 2021-01-19 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种基于智慧道路边缘计算网关的车辆检测系统 |
CN113658424B (zh) * | 2021-07-23 | 2022-07-12 | 南昌工程学院 | 基于稀疏卫星定位数据的车辆频繁变道识别方法及装置 |
CN116665204B (zh) * | 2023-07-21 | 2023-10-20 | 山东兴诺工贸股份有限公司 | 一种基于数据分析的玻璃杯破损检测系统 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3063481B2 (ja) * | 1993-09-21 | 2000-07-12 | 日産自動車株式会社 | 車両用物体検出装置 |
JP2002298299A (ja) * | 2001-03-30 | 2002-10-11 | Toshiba Corp | 車両の運転支援装置 |
JP2003306102A (ja) * | 2002-04-11 | 2003-10-28 | Toshiba Corp | 追越車両検出装置と運転支援システムの後側方警報装置 |
JP2006079346A (ja) * | 2004-09-09 | 2006-03-23 | Nissan Motor Co Ltd | 車両周囲物体検出装置 |
JP2007249722A (ja) * | 2006-03-17 | 2007-09-27 | Hitachi Ltd | 物体検知装置 |
JP2008219063A (ja) | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
JP2008227646A (ja) | 2007-03-09 | 2008-09-25 | Clarion Co Ltd | 障害物検知装置 |
WO2009036176A1 (en) * | 2007-09-11 | 2009-03-19 | Magna Electronics | Imaging system for vehicle |
JP2009126270A (ja) * | 2007-11-21 | 2009-06-11 | Sanyo Electric Co Ltd | 画像処理装置及び方法、運転支援システム、車両 |
JP2010141836A (ja) * | 2008-12-15 | 2010-06-24 | Sanyo Electric Co Ltd | 障害物検知装置 |
US9126525B2 (en) * | 2009-02-27 | 2015-09-08 | Magna Electronics Inc. | Alert system for vehicle |
JP5464885B2 (ja) * | 2009-03-31 | 2014-04-09 | 日野自動車株式会社 | 並走警報装置、車両およびプログラム |
JP5251927B2 (ja) | 2010-06-21 | 2013-07-31 | 日産自動車株式会社 | 移動距離検出装置及び移動距離検出方法 |
RU2432276C1 (ru) * | 2010-07-07 | 2011-10-27 | Осман Мирзаевич Мирза | Способ наблюдения за дорожной ситуацией с движущегося транспортного средства (варианты) |
-
2013
- 2013-02-13 EP EP13752061.5A patent/EP2819115B1/en active Active
- 2013-02-13 WO PCT/JP2013/053327 patent/WO2013125403A1/ja active Application Filing
- 2013-02-13 RU RU2014138324A patent/RU2619724C2/ru active
- 2013-02-13 JP JP2014500665A patent/JP5682734B2/ja active Active
- 2013-02-13 MX MX2014009942A patent/MX343201B/es active IP Right Grant
- 2013-02-13 MY MYPI2014702303A patent/MY172967A/en unknown
- 2013-02-13 BR BR112014020410-1A patent/BR112014020410B1/pt active IP Right Grant
- 2013-02-13 CN CN201380009060.3A patent/CN104115201B/zh active Active
- 2013-02-13 US US14/373,041 patent/US9783127B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
BR112014020410B1 (pt) | 2021-10-05 |
CN104115201B (zh) | 2017-03-29 |
MX343201B (es) | 2016-10-28 |
US20150054920A1 (en) | 2015-02-26 |
MX2014009942A (es) | 2014-11-12 |
RU2014138324A (ru) | 2016-04-10 |
MY172967A (en) | 2019-12-16 |
RU2619724C2 (ru) | 2017-05-17 |
EP2819115A4 (en) | 2015-06-03 |
CN104115201A (zh) | 2014-10-22 |
BR112014020410A2 (pt) | 2021-05-25 |
EP2819115B1 (en) | 2022-08-24 |
EP2819115A1 (en) | 2014-12-31 |
US9783127B2 (en) | 2017-10-10 |
WO2013125403A1 (ja) | 2013-08-29 |
JP5682734B2 (ja) | 2015-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5924399B2 (ja) | 立体物検出装置 | |
JP5804180B2 (ja) | 立体物検出装置 | |
JP5682734B2 (ja) | 立体物検出装置 | |
JP5682735B2 (ja) | 立体物検出装置 | |
JP5943077B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP5733467B2 (ja) | 立体物検出装置 | |
JP6020567B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP5743020B2 (ja) | 立体物検出装置 | |
JP5794378B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5794379B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5783319B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5835459B2 (ja) | 立体物検出装置 | |
JP5790867B2 (ja) | 立体物検出装置 | |
JP5999183B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP5915728B2 (ja) | 立体物検出装置 | |
JP5768927B2 (ja) | 立体物検出装置 | |
JP5668891B2 (ja) | 立体物検出装置 | |
JP5817913B2 (ja) | 立体物検出装置及び立体物検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141229 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5682734 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |