JP4100250B2 - 障害物検出装置および障害物検出方法 - Google Patents
障害物検出装置および障害物検出方法 Download PDFInfo
- Publication number
- JP4100250B2 JP4100250B2 JP2003139988A JP2003139988A JP4100250B2 JP 4100250 B2 JP4100250 B2 JP 4100250B2 JP 2003139988 A JP2003139988 A JP 2003139988A JP 2003139988 A JP2003139988 A JP 2003139988A JP 4100250 B2 JP4100250 B2 JP 4100250B2
- Authority
- JP
- Japan
- Prior art keywords
- white line
- vehicle
- measurement range
- obstacle
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は車載カメラによって撮像した画像から、車両周辺に移動してきた障害物を検出する障害物検出装置に関する。
【0002】
【従来の技術】
近年、自車両に搭載したカメラで撮像した自車両周辺の画像から、周辺車両を検出し、その位置関係をドライバーに提示するシステムや、車間距離により警報するシステム等が開発されている。撮像した自車両周辺画像から周辺車両を検出する従来の手法としては、例えば特許文献1に示した技術がある。この方法は、前方車両の後部を撮影した画像の画像データにもとづき、水平エッジ線分および垂直エッジ線分を抽出し、それらの各エッジ線分の中から一定の基準条件を満たすものを抽出し、車両判断に用いる評価値を算出する。この評価値と基準値を比較し車両の各部を表す線分であるか否かを判定し車両を検出する。
【0003】
【特許文献1】
特開2000-113201号公開公報
【0004】
【発明が解決しようとする課題】
上記従来手法においては、車両検出時に、車両画像を構成するエッジ成分の特徴を使用している。このため、対象車両の種類や車両の走行環境が異なると、前方車両の検出を正確に出来なくなる場合や、画角や距離等の関係で、エッジ構造が特定されず前方車両の検出がされない場合がある、という問題がある。本発明は従来技術のように、車両の詳細な構造情報を用いた画像処理を要することから発生する移動物体の誤検出等を解消することのできる障害物検出装置を提供することを目的とする。
【0005】
【課題を解決するための手段】
車両に搭載され、車両周囲の画像情報を入力する手段と
前記撮像部で求めた画像情報より各地点の特徴量を計測する手段と
自車両の速度を検出する手段と
上記画像情報を入力する手段において取得された画像情報を用いて路面上の計測領域を設定する手段と
設定された上記計測領域内であって、移動障害物がない場合には一定の時間差をおいて特徴量の変化が同様となる各地点について、時間経過ごとに上記特徴量の変化が同様であるか否かを検知する手段と
上記特徴量の変化を検知する手段により移動障害物の有無を判断する手段と
を備えたことを特徴とする。
【0006】
【発明の効果】
本発明によれば、移動障害物の検出において対象のエッジ構成の詳細な情報を必要としないので、対象との位置関係によりエッジ構成が異なる場合や対象の種類が異なる場合、さらに、画角と距離の関係で対象が低解像度で撮影され、エッジ構造が特定されない場合でも、移動障害物を検出することができる。
【0007】
【発明の実施の形態】
以下、本発明で走行中の車両が前方の障害物の存在を検出する実施形態について図面を参照しながら説明する。
【0008】
図1から6は第一の実施の形態を示し、図1は本発明による障害物検出装置の構成を示すブロック図である。本実施形態における障害物検出装置は、画像情報入力部100と、比較領域設定部200と、障害物検出部300と、障害物位置表示部400から構成される。
【0009】
画像情報入力部100は、車両周辺情報となる車両前方の画像を一定時間経過毎に入力する車載カメラであり、比較領域設定部200は、画像情報入力部100から一定時間経過毎に入力される画像上に、ブロック分割した比較領域を設定する。
【0010】
ここで比較領域設定部200は、計測範囲設定部201、計測範囲分割部202、白線検出部210、車速取得部211から構成される。白線検出部210は画像情報入力部100が入力した画像から白線モデルとのマッチングなどにより道路上の白線を検出し、車速取得部211は、車輪速センサなどを用いて自車両の速度を取得する。計測範囲設定部201は、画像情報入力部100が入力した画像上に、特徴量を計測する領域の外縁を計測範囲として設定する。具体的には、まず図3に示すように車両進行方向をy軸、当該y軸に垂直な方向をx軸と規定し(以下同様とする。)、白線検出部210が検出した白線情報に基づいてx軸の外縁を、車速取得部が取得した車速情報に基づいてy軸の外縁を設定する。計測範囲分割部202は、計測範囲内を分割する。このとき、x軸方向については白線検出部210が検出した白線情報に基づいて、また、y軸方向については車速取得部211が取得した車速情報に基づいてブロック状に分割する。このように分割された各ブロックが比較領域であり、特徴量比較時の一単位となる。
【0011】
障害物検出部300は、比較領域設定部200によって設定された比較領域の特徴量を画像入力毎に比較し、画像毎に特徴量の差分値を検知することにより障害物の発生を検出する。障害物検出部300は、特徴量計測部301、差分値算出部302、障害物検知部303から構成される。
【0012】
特徴量計測部301は、分割された各比較領域における特徴量を計測する。また、特徴量計測部301には図示しないメモリ部を有しており、一定時間ごとに計測する特徴量の値を比較領域毎に記憶する機能をも有する。差分値算出部302は、入力時間が異なり実空間で同じ地点を表す比較領域毎の特徴量差分値を算出する。障害物検知部303は算出された差分値が所定の閾値を超えているか否かを判断し、超えている場合には障害物が有るものとして障害物の存在を検知する。ここで、閾値は、ある比較領域において異なる物が現れた時に、障害物の出現が認識可能な値を設定する。また、このように検知された障害物の位置を図示しないメモリ部に記憶する。
【0013】
障害物位置表示部400は、障害物検出部300から取得した障害物検出位置を車載のモニターに表示する。
【0014】
続いて本実施形態における障害物検出装置の動作について説明する。
【0015】
まず画像情報入力部100によって走行している車両前方画像が一定時間毎に入力され、入力された画像は比較領域設定部200によってブロック分割される。以下、図3を用いて比較領域の分割の過程について具体的に説明する。図3(a)は画像情報入力部100が入力した画像に比較領域、及びその比較領域を設定したイメージを示し、図3(b)は、(a)を真上から見たイメージを示す。
【0016】
最初に白線検出部210によって入力画像から白線位置を検出する。取得した白線の位置情報を用いて図3(b)と同じ上方から見て白線と平行な仮想線を作成する事により、比較領域のx軸方向の外縁を設定し、次いでx軸方向の分割を行う仮想線を設定する。図3の例では比較領域の外縁を白線の外側に設定し、x軸方向をm個に分割した例を示している。
【0017】
また、車速取得部211によって車速情報を取得する。取得した車速から得られる比較領域のブロック間の距離dを基に車両進行方向に水平に計測範囲の仮想線を作成する事により外縁を設定し、次いで、このy軸方向の分割を行う仮想線を設定する。1ブロック間の距離dについては、入力された画像の時間間隔をt、車速取得部が取得する車速をvとした場合、d = v × t の関係式で求める。y軸方向の外縁の、実空間での距離はnd(nは任意の整数)と定められる。実際には比較領域は画像上に設定することから、自車両から遠方に進むに従い、1ブロックに相当する領域は小さくなる。よって、計測範囲の外縁は、画像上でブロック毎に特徴量の計測を行った際に、障害物の存在が検出可能な範囲内の値に設定することとなる。このように設定されたnの値に基づいて、計測範囲内の分割を行う。
【0018】
y軸方向について、このようにブロック分割することにより、障害物を検出するT時に入力された画像に設定した比較領域は、t時間前の入力画像に設定された比較領域からy軸方向に1ブロック分移動した領域となるので、直前(t時前)に取得した画像との特徴量の比較が容易となり、より正確な障害物検出をすることが可能となる。図3の例ではy軸方向をn個に分割した例を示している。
【0019】
比較領域は、画像取得毎に取得した入力画像の路面上に設定されるのでカーブ路においても、図4に示すようにx軸方向は真上からみて白線と平行に、また、y軸方向の1ブロックあたりの大きさはd = v × tを保ったブロック分割がなされることになり、カーブ路においても本発明は適用可能となる。
【0020】
次に、図2に示すフローチャートを用いて、障害物検出部300における障害物検出処理について説明する。
【0021】
特徴量計測部301で、前記比較領域設定部200において図3に示すようなm× nブロックに設定された各比較領域の特徴量を計測し(ST100)、差分値算出部302で、各比較領域における、t時前に取得された特徴量と現在の特徴量との差分値を算出する(ST103)。この後、障害物検知部303において障害物の有無を検知する(ST104)。具体的には、算出した当該差分値が、障害物有無を検知する閾値(R)より大きいか否かによって障害物の有無の判断を行う。
【0022】
差分値が所定の閾値より小さい場合は比較領域には障害物無しと判断し、y軸方向の次の領域の障害物検出を行う(ST106,ST107)。差分値が閾値より大きい場合は障害物有りと判断してその位置を記憶(ST120)後、当該y軸の障害物検出を終了し、次のx軸の障害物検出処理を行う(ST108,ST109)。
【0023】
上述したフローについて図5を用いて具体的に説明する。図5は障害物の存在を判断する現在の時間をTとおき、図5(a)は現在の時間Tよりもt時間前のT−t時に設定された比較領域を示し、(b)は現在の時間Tに設定された比較領域を示す。
【0024】
まず、各比較領域における特徴量の比較方法について説明する。検出処理の順序としては、最初に図5(b)に図示したm×nブロックにおける特徴量の計測を行う(ST100)。ここで特徴量としては、各ブロックの平均画素値、平均エッジ強度値、画素値の分散値などが挙げられる。次いで、ブロックT(1,1)の特徴量WT(1,1)と、特徴量計測部301の中のメモリ部に記憶されているT−t時におけるブロックT-t(1,2)での特徴量WT-t(1,2)を比較する(ST103)。 ブロックT(1,1)の比較により算出された差分値が所定の閾値以下の場合には続いてWT-t(1,2)の特徴量の比較が行われ、順次y軸方向に比較を行い、x=1のブロックにおける比較が終了したら、xを一ブロックづつ右に移行して比較を行う。
【0025】
前述したようにT時に取得した画像に設定される比較領域は、T-t時に取得した画像に設定した比較領域に対して、y方向に1ブロック分移動した状態となっている。よって、図5中、ブロックT(x,y)とt時間前に取得した画像中のブロックT-t(x,y+1)、は実空間上において同位置を示している。ここで、差分値を算出する方法としては、特徴量そのものの値を単独に比較する方法の他、平均画素値、平均エッジ強度値、画素値の分散値等の複数の特徴量をベクトルの各要素として、ベクトルの大きさの差分値を算出する方法であってもよい。
【0026】
次に障害物をT(x、y)座標にて検出した場合について説明する。
【0027】
現在の時間TにおけるブロックT(x、y)での特徴量WT(x、y)は、T−t時におけるブロックT(x、y+1)での特徴量WT-t(x、y+1)と比較される。T−t時には存在しなかった障害物3が、現在の時間T時で存在するようになった場合、各々の特徴量の差分値に所定値以上の値が算出されることになる。この場合には、現在の時間Tにおいて、ブロックT(x、y)に障害物が存在するようになった、と判断する。その後、y軸方向についてはこれ以上比較を行うことなく、x軸方向の次のブロック列T(x+1、1)からT(x+1、m)について比較を行う。図5(b)に示す様に、x軸方向に平行な面を有する障害物であれば、ブロックT(x+1、y)において更に障害物が検出される。このようにブロック毎に障害物検出を行う事により、障害物3の輪郭を把握することができる。
【0028】
障害物を検出したブロックより先は、当該障害物により視界が遮られるため検出できないが、自車両にとっては、接触等の可能性がある最近の車両位置が重要であり、その位置が検出されるだけでも十分価値がある。よって、本実施形態では、あるブロックで障害物が検出された場合は、そのx軸方向位置での検出を終了し、次のx軸方向位置での障害物検出を行っている。
【0029】
全ての比較領域についての障害物検出が終了したら、障害物位置表示部400によって、図6に示すように検出された障害物3の位置を障害物エリア9のように表示する(ST121)。
【0030】
このように本実施例では、障害物の検出において従来のようにエッジ構成の詳細な情報を必要とせずに、自車両周辺の特徴量を計測し、時間経過毎の特徴量の変化から障害物の有無を判定する。従って、対象物が低解像度で撮影された場合や対象物がエッジ情報を有しないこと等を理由にエッジ構成が特定できなくなることはなく、自車両周辺の障害物を正確に判定できる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る障害物検出装置のブロック図である。
【図2】図1に示した障害物検出装置の動作の一例を示すフローチャートである。
【図3】直線道路における特徴量の計測範囲の設定例を示す図である。
【図4】カーブ状道路における特徴量の計測範囲の設定例を示す図である。
【図5】特徴量計測範囲での比較対象ブロックの位置および処理方向を示す図である。
【図6】検出された障害物の表示例を示す図である。
【符号の説明】
1・・・・自車両位置、2・・・・特徴量計測範囲、3・・・・進入車両(障害物)、4・・・・矢印1(x軸方向の移動)、5・・・・矢印2(y軸方向の移動)、6・・・・矢印3(比較対象ブロック)、7・・・・自車位置表示、8・・・・白線表示、9・・・・障害物領域、100・・・・画像情報入力部、200・・・・比較領域設定部、201・・・・計測範囲設定部、202・・・・領域分割部、210・・・・白線検出部、211・・・・車速取得部、
300・・・・障害物検出部、301・・・・特徴量計測部、302・・・・差分値算出部、303・・・・障害物検知部、400・・・・障害物位置表示部
Claims (4)
- 車両に搭載され、所定時間間隔毎に車両周囲の画像情報をXY2次元画像データとして入力する画像情報入力手段と、
前記画像情報入力手段において取得された前記画像情報を用いて、路面に描かれた白線の情報を検出する白線情報検出手段と、
車両の走行速度情報を取得する車速取得手段と、
前記XY2次元画像データ上に、前記白線情報検出手段により検出された白線の情報、および前記車速取得手段により取得された走行速度情報に基づいて計測範囲をXY計測範囲データにより設定する計測範囲設定手段と、
前記白線情報検出手段により検出された白線の情報、および前記車速取得手段により取得された走行速度情報に基づいて、前記XY計測範囲データにより設定された計測範囲を分割して複数の比較領域をXY比較領域データにより設定する計測範囲分割手段と、
前記計測範囲分割手段が設定した前記比較領域ごとの画像情報の特徴量を計測する特徴量計測手段と、
異なる時間に入力された画像情報の差分を算出するにあたり、前記複数の比較領域について実空間上で同位置を示す比較領域を抽出し、抽出した比較領域ごとの前記特徴量間の差分値を算出する差分値算出手段と、
前記差分値が所定の閾値を超えている場合には、障害物の出現を検知する障害物検知手段と、
を備えることを特徴とする障害物検出装置。 - 前記特徴量は、前記画像情報から得られる平均画素値、平均エッジ強度値、画素値の分散値の少なくとも一つを有することを特徴とする請求項1に記載の障害物検出装置。
- 前記差分値算出部は、複数種類の前記特徴量を成分とするベクトルを用いて、前記ベクトルの大きさの差分値を算出することを特徴とする請求項1または2に記載の障害物検出装置。
- 車両に搭載され、所定時間間隔毎に車両周囲の画像情報をXY2次元画像データとして入力する画像情報入力ステップと、
前記画像情報入力ステップにおいて取得された前記画像情報を用いて、路面に描かれた白線の情報を検出する白線情報検出ステップと、
車両の走行速度情報を取得する車速取得ステップと、
前記XY2次元画像データ上に、前記白線情報検出ステップにより検出された白線の情報、および前記車速取得ステップにより取得された走行速度情報に基づいて計測範囲をXY計測範囲データにより設定する計測範囲設定ステップと、
前記白線情報検出ステップにより検出された白線の情報、および前記車速取得ステップにより取得された走行速度情報に基づいて、前記2次元計測範囲データにより設定された計測範囲を分割して複数の比較領域をXY比較領域データにより設定する計測範囲分割ステップと、
前記計測範囲分割ステップが設定した前記比較領域ごとの画像情報の特徴量を計測する特徴量計測ステップと、
異なる時間に入力された画像情報の差分を算出するにあたり、前記複数の比較領域について実空間上で同位置を示す比較領域を抽出し、抽出した比較領域ごとの前記特徴量間の差分値を算出する差分値算出ステップと、
前記差分値が所定の閾値を超えている場合、障害物の出現を検知する障害物検知ステップと、
を備えることを特徴とする障害物検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003139988A JP4100250B2 (ja) | 2003-05-19 | 2003-05-19 | 障害物検出装置および障害物検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003139988A JP4100250B2 (ja) | 2003-05-19 | 2003-05-19 | 障害物検出装置および障害物検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004341979A JP2004341979A (ja) | 2004-12-02 |
JP4100250B2 true JP4100250B2 (ja) | 2008-06-11 |
Family
ID=33528845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003139988A Expired - Fee Related JP4100250B2 (ja) | 2003-05-19 | 2003-05-19 | 障害物検出装置および障害物検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4100250B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4687244B2 (ja) * | 2005-05-27 | 2011-05-25 | アイシン・エィ・ダブリュ株式会社 | 画像処理システム及び画像処理方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1091795A (ja) * | 1996-09-12 | 1998-04-10 | Toshiba Corp | 移動物体検出装置及び移動物体検出方法 |
JP3516127B2 (ja) * | 1997-12-09 | 2004-04-05 | オムロン株式会社 | 画像処理方法およびその装置 |
JP4377474B2 (ja) * | 1999-03-31 | 2009-12-02 | 株式会社東芝 | 移動体の衝突防止装置、衝突防止方法、および記録媒体 |
JP3565087B2 (ja) * | 1999-05-11 | 2004-09-15 | 日本電信電話株式会社 | 時系列画像予測方法及び装置及び時系列画像予測プログラムを格納した記憶媒体 |
JP4028135B2 (ja) * | 1999-05-27 | 2007-12-26 | 本田技研工業株式会社 | 物体検出装置 |
-
2003
- 2003-05-19 JP JP2003139988A patent/JP4100250B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004341979A (ja) | 2004-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4556798B2 (ja) | 画像処理装置 | |
US8406472B2 (en) | Method and system for processing image data | |
JP2002123818A (ja) | 車両用周辺障害物検出装置 | |
EP2928178B1 (en) | On-board control device | |
EP2541465A2 (en) | Vehicle periphery monitoring system | |
JP2005300315A (ja) | 物体検出装置 | |
JP6722084B2 (ja) | 物体検出装置 | |
EP3364336B1 (en) | A method and apparatus for estimating a range of a moving object | |
CN107004250B (zh) | 图像生成装置及图像生成方法 | |
CN113165653A (zh) | 跟随车辆 | |
JP2015225546A (ja) | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム | |
EP3029602A1 (en) | Method and apparatus for detecting a free driving space | |
JP2020060899A (ja) | 車載カメラのキャリブレーション装置 | |
EP1236126B1 (en) | System for detecting obstacles to vehicle motion | |
JP4798576B2 (ja) | 付着物検出装置 | |
JP4020071B2 (ja) | 周囲状況表示装置 | |
JP6833259B2 (ja) | 物体検知支援装置 | |
CN111989541A (zh) | 立体摄像机装置 | |
JP4100250B2 (ja) | 障害物検出装置および障害物検出方法 | |
JP2008003696A (ja) | 画像処理装置及び画像処理方法 | |
JP2012256159A (ja) | 接近物検知装置および接近物検知方法 | |
JP7134780B2 (ja) | ステレオカメラ装置 | |
JP2004038760A (ja) | 車両用走行路認識装置 | |
JP3732108B2 (ja) | 車線認識のための画像処理装置並びに画像処理法 | |
CN115943287A (zh) | 车辆姿态推断系统及车辆姿态推断方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060403 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070619 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070808 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071225 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080310 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120328 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |