JP4985306B2 - 障害物判定装置および方法、並びに障害物判定装置を備えた車両 - Google Patents

障害物判定装置および方法、並びに障害物判定装置を備えた車両 Download PDF

Info

Publication number
JP4985306B2
JP4985306B2 JP2007272771A JP2007272771A JP4985306B2 JP 4985306 B2 JP4985306 B2 JP 4985306B2 JP 2007272771 A JP2007272771 A JP 2007272771A JP 2007272771 A JP2007272771 A JP 2007272771A JP 4985306 B2 JP4985306 B2 JP 4985306B2
Authority
JP
Japan
Prior art keywords
vehicle
edge image
obstacle determination
determination device
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007272771A
Other languages
English (en)
Other versions
JP2009104226A (ja
Inventor
和巳 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2007272771A priority Critical patent/JP4985306B2/ja
Publication of JP2009104226A publication Critical patent/JP2009104226A/ja
Application granted granted Critical
Publication of JP4985306B2 publication Critical patent/JP4985306B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両の周辺に障害物があるか否かを判定する障害物判定技術、および、この障害物判定技術を用いる乗用車等の車両に関するものである。
大型動物などの物体との衝突は車両走行に影響を与えるので、予め衝突するおそれがある物体を検出して、衝突回避を行うことが望ましい。従来、衝突するおそれがある物体を検出するために、車載ステレオカメラの撮像画像から車両周辺の対象物の実空間上の位置を検出し、車両の車幅に応じた条件を用いて、車両と対象物との距離と、車両前方を横切る方向の対象物の位置との比の値がほぼ一定であるとき、その対象物が衝突する可能性があると判定する車両の周辺監視装置が知られている(特許文献1)。
特開2004−103018号公報
上記の従来技術では、所定の期間内に得られた対象物の実空間上の位置データから、対象物と自車両との相対移動ベクトルに対応する近似直線を算出し、その近似直線と自車両の先端部に対応する直線(車両の進行方向に垂直な直線)との交点を求め、その交点が車幅内に存在すれば、衝突の可能性があると判定している。
その結果として、車両側面に衝突するような対象物については、交点が車幅の外側に存在することから、衝突しないと判定する可能性があった。
本発明は、車両の周辺部に衝突する対象物を予測検知する障害物判定装置を提供する。この障害物判定装置は、前記車両から前記対象物までの距離を測定する距離測定手段と、前記車両の特定位置から前記対象物を捕捉したときの方位を検出する方位検出手段と、前記距離測定手段から得られた距離情報および前記方位検出手段から得られた方位情報に基づき、前記車両の先端部もしくは側面における所定の仮想的位置から前記対象物を見たときの方位を算出する演算手段と、前記演算手段により算出された方位の時間的な変化量が、予め決められた範囲内にあるとき、前記対象物が前記所定の仮想的位置に衝突する可能性が大であると判定する判定手段とを具備している。
本発明によれば、対象物が車両の先端部もしくは側面に衝突する可能性があるか否かを判定することができる。
[第1の実施形態]
図1〜図8を参照して、本発明の第1の実施形態について説明する。本実施形態は、乗用車等の車両に備えられた障害物判定装置に本発明を適用したものである。
図1は、本実施形態における車両に備えられた障害物判定装置10を示すブロック図である。この図1において、障害物判定装置10は、車両前方を撮像する撮像部であるカメラ101と、車両前方の物体までの距離を計測する距離計測部であるレーダ102と、カメラ101およびレーダ102で得られる情報を処理するコンピュータよりなる制御部100と、衝突回避部30とを備えている。衝突回避部30は、制御部100で後述のように得られる障害物としての自車両に衝突する可能性のある対象物または物体(以下、衝突物体ともいう。)の情報に基づいて、衝突物体に対する回避(衝突回避)を行うために車両の操舵方向および制動力を制御する。
制御部100は、カメラ101で撮像した画像を一時的に記憶する画像一時記憶部103と、画像一時記憶部103に記憶された画像を画像処理することで特徴点を抽出する特徴点抽出部104と、特徴点抽出部104により抽出された特徴点の位置座標をレーダ102で計測された距離情報を用いて、後述のように仮想的に移動したカメラで取得した場合の特徴点の位置座標に変換する座標変換部105と、特徴点抽出部104により抽出された特徴点および座標変換部105で位置変換された特徴点の画像上における滞留時間を計測する滞留時間計測部106と、衝突判定部107とを有している。衝突判定部107には、滞留時間計測部106からの滞留時間の情報およびレーダ102で計測される距離情報が供給されており、衝突判定部107は、滞留時間計測部106により計測された滞留時間が所定の時間を超える場合には、当該物体が自車両に衝突する可能性が高いと判定すると共に、当該物体の衝突部位と自車両の衝突位置とを判定する。なお、制御部100中の特徴抽出部104〜衝突判定部107は、コンピュータで実行されるソフトウェア上の機能であるが、これらをハードウェアで構成することも可能である。
図2(a)は、図1に示した障害物判定装置10が搭載された車両20を示す側面図、図2(b)は図2(a)の平面図である。図2(a)に示すように、車両20の車室内上部前方にカメラ101が設置され、車両20のフロントバンパーの中央部近傍にレーダ102が設置されている。カメラ101は、例えばCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子と対物レンズとを有し、連続的に車両前方を撮像する。カメラ101の光軸LS(以下、Z軸とする)は車両前方(正面)方向に向き、カメラ101の撮像面の中心の水平軸(以下、X軸とする。図2(b)参照)は路面と平行となるように、またその撮像面の中心の垂直軸(以下、Y軸とする)は路面と垂直になるように設定されている。
レーダ102は、一例として図3に示すように、例えば路面にほぼ垂直な方向に細長いスリット状のレーザ光PL1を路面に平行な方向に回転するようにスキャンする投光部1と、レーザ光による反射(散乱)光を受光する撮像部2(光軸をZ1とする)とを備えたスキャニング機構を有したレーザレーダである。レーダ102はスキャン範囲に存在する物体にレーザ光PL1を照射し、照射されたレーザ光PL1が前方に存在する物体P1に反射(散乱)された反射レーザ光(反射波)LB1を検出することにより、反射レーザ光LB1の光強度に基づいた反射信号を取得する。投光部1からのスキャン角度の情報と取得した反射信号とに基づいて、物体P1に対するレーザ光LP1の投光角αと、反射レーザ光LB1の撮像角γとを特定する。そして、一例として、それらの情報と投光部1と撮像部2との間隔eを用いることによって、三角測量の原理から物体P1までの撮像部2からの距離d1を求めることができる。
図2(b)に戻り、レーダ102は、車両前方の物体までの距離情報を生成し、これを図1に示した制御部100の座標変換部105に出力する。また、レーダ102の光軸LS1(図3のZ1軸に相当する)は、カメラ101の光軸LS(Z軸)と平行であり、車両前方(正面)方向に向くように設定されている。本実施形態において、レーダ102の撮像部2(図3参照)で得られる画像と、図2(a)のカメラ101で得られる画像との関係(物体までの距離に応じた関係)は、制御部100内の記憶部(不図示)に記憶されている。一例として、レーダ102によって計測される距離情報は、カメラ101の画像内の各画素毎の距離情報に変換されて座標変換部105に供給される。
次に、本実施形態において、車両前方の物体(対象物)が、自車両に対して衝突する可能性のある衝突物体(障害物)であるか否かの判定を行う動作について説明する。
図4は、図1のカメラ101で撮像した画面(自車両前方の画像)40Aの例を示す。図4において、カメラ101による撮像画像は、画像左上を原点として左から右へx軸を、上から下へy軸をとったxy座標系によって表される。なお、図4の画面40Aにおいては、一例として右から左へ移動する歩行者が含まれている。この画面40Aを含む一連のフレーム画像が、図1の画像一時記憶部103に順次記憶される。
図1の特徴点抽出部104は、カメラ101で撮像された画像を画像一時記憶部103から読み込み、読み込んだ画像を所定のフィルタに通してから、所定の閾値を用いて2値化することによって、画面内に存在する物体の輪郭をエッジ画像として抽出する。エッジ画像の抽出には、一例として、Sobel フィルタやPewittフィルタなどのエッジ検出フィルタを用い、濃淡画像のうち、複雑な部分や急激に輝度が変化する部分をエッジ(輪郭部)として抽出する。別の例として、SUSAN オペレータのようなコーナーエッジ検出フィルタを用いて、注目画素(輪郭が折れ曲がる角部等)の濃度値に近い濃度を有する画素を検出し、当該検出した画像が所定領域に占める割合に基づいて、物体のコーナーエッジを検出してもよい。
図5(a)に、抽出した垂直方向のエッジ画像の一例を示す。次に、抽出したエッジ画像に対して、細線化処理を行ってエッジ画像幅を絞り、エッジの中心を正確に設定する(図5(b)参照)。さらに、細線化されたエッジ画像のエッジ画像幅が一定の幅となるように、例えば3画素分の幅となるように、エッジ画像を水平方向に拡張する膨張処理を行う(図5(c)参照)。この処理により、抽出したエッジ画像が正規化され、均一の幅を持つエッジ画像を得ることができる。図5(a)〜(c)の処理については後に詳細に説明する。このエッジ画像を表すデータは、図1の座標変換部105および滞留時間計測部106に供給される。
座標変換部105は、特徴点抽出部104で抽出したエッジ画像位置に該当する物体の距離情報(図3の距離d1等)をレーダ102から取得する。
さらに、座標変換部105は、図6に示すように、車両20上でカメラ101の位置20Aを仮想的にZ方向およびX方向に(−Zm1,Xm1)だけ移動した位置20Vに、実際には存在しない仮想的なカメラである仮想カメラ101Vを設置し、仮想カメラ101Vから見た画像40V上におけるエッジ画像のx座標xm1を算出する。図6の例では、仮想カメラ101Vは車両20の右側後方に設定してある。また、物体50のエッジ画像については、カメラ101から見た画像40A上で抽出したエッジ画像50Aの位置をxとし、画像40Aの横サイズをIw、横方向の1画素あたりの角度分解能をPXr(rad)、レーダ102で計測した物体50までのZ方向の距離をZ、カメラ101とレーダ102との取付位置のZ方向のオフセット量をZcとする。この場合、カメラ101から横方向(X方向)にXm1、後方(−Z方向)にZm1だけシフトした仮想カメラ101Vから物体50のエッジ画像を撮像して得られる画像40V上でのエッジ画像50Vのx座標xm1は、次式のように計算することができる。
θ=(x−Iw/2)×PXr …(1)
X=(Z+Zc)×tan θ) …(2)
θm1=arc tan((X−Xm1)/(Z+Zc+Zm1)) …(3)
xm1=(θm1/PXr)+(Iw/2) …(4)
ここで、角度θはカメラ101の光軸(Z軸)と物体50(またはこの物体を通り路面に垂直な直線)とが路面に平行な平面内でなす角度である方位、Xは自車両20と物体50との横方向の距離、角度θm1は仮想カメラ101Vの光軸(Z軸に平行な軸)と物体50(またはこの物体を通り路面に垂直な直線)とが路面に平行な平面内でなす角度である方位を示す。図1の座標変換部105で得られた仮想カメラ101Vから見たエッジ画像のデータは、滞留時間計測部106に供給される。
滞留時間計測部106は、カメラ101および仮想的に移動した仮想カメラ101V毎に、エッジ画像に該当する画素に割り当てられたメモリアドレスのカウンタ(以下、画素カウンタという)のカウント値(投票値)を更新するカウントアップ処理を行う。ここで、画素カウンタとは、1つの画像内の各画素毎に設定されたカウンタであり、一連の画像内のi番目(i=1,2,…)の画素がエッジ画像に該当する場合にi番目の画素カウンタのカウント値が+1加算され、i番目の画素がエッジ画像に該当しない場合は、i番目の画素カウンタのカウント値が0となって初期化される。このカウント値の更新処理を、カメラ101で連続的に撮像されるフレーム毎に行う。さらに、その各フレームのエッジ画像を仮想カメラ101Vによる画像に変換したエッジ画像についても、画素カウンタのカウント値の更新処理が行われる。この処理により、エッジ画像に該当する時間が長い画素は画素カウンタのカウント値が大きくなり、エッジ画像に該当する時間が短い画素は画素カウンタのカウント値が小さくなる。
この画素カウンタのカウント値の変化は、エッジ画像の移動方向と移動量とを表していることになるので、このカウント値から、撮像画像上におけるエッジ画像の移動方向と移動速度とを算出することができる。すなわち、画像のx座標はエッジ画像の方位を表しているので、エッジ画像の移動方向と移動速度とを求めることで、物体に対応したエッジ画像の方位の時間的変化を計測することができる。以下、エッジ画像の移動方向と速度とを算出する方法について詳細に説明する。
図5は、上述のように抽出したエッジ画像を正規化して正規化エッジ画像を取得し、正規化エッジ画像の滞留時間を算出するために行う処理の具体例を示す。既述の通り、まず、撮像した画像に対して2値化処理を施す。2値化処理とはエッジが検出された位置の画素を1とし、エッジが検出されなかった位置の画素を0とする処理である。2値化処理によって図5(a)に示すような2値化画像(細線化する前のエッジ画像)を生成する。
次に、生成された2値化画像に対して、細線化処理を施す。細線化処理とは、検出されたエッジ画像(細線化する前のエッジ画像)のエッジ画像幅を所定画素幅になるまで縮小する処理である。図5(b)では所定画素幅として1画素になるまでエッジ画像幅を細線化している。このように、エッジ画像の幅が所定の画素幅になるまで細線化することによって、エッジ画像の中心位置を特定している。ここでは一例として1画素に細線化する場合について説明しているが、その他の画素数に細線化してもよい。
次に、細線化されたエッジ画像のエッジ画像幅を膨張させる膨張処理を行う。膨張処理とは、細線化によって設定された中心位置からエッジ画像の移動方向に向かってエッジ画像幅を膨張させると共に、中心位置からエッジ画像の移動方向と反対方向にもエッジ画像幅を膨張させる処理である。例えば、図5(c)では、エッジ画像の中心位置x0 からエッジ画像の移動方向(ここではx軸の正方向とする)に1画素膨張させると共に、エッジ画像の中心位置X0 からエッジ画像の移動方向と反対方向(x軸の負方向)に1画素膨張させて、エッジ画像幅を3画素に膨張させている。
このように細線化処理と膨張処理とを行うことによって、抽出したエッジ画像のエッジ画像幅を、エッジ画像の移動方向に向かって所定の幅に統一して規格化している。エッジ画像幅の規格化処理は、図1の特徴点抽出部104において実行される。次に、滞留時間計測部106において、エッジ画像幅が規格化されたエッジ画像に対して上述のカウントアップ処理を行う。
以下、図5(c)〜(f)を参照して画像上におけるエッジ画像のカウントアップ処理について説明する。ここでは簡単のために、エッジ画像はx軸の正方向に移動するものとして説明する。なお、エッジ画像がx軸の負方向もしくはy軸方向、あるいは2次元的に移動する場合も同様に説明することができる。
図5(c)に示すように、エッジ画像はあるフレームにおいて位置x0 に中心位置があり、その中心位置からエッジ画像の移動方向に1画素の位置x0+1 と、中心位置からエッジ画像の移動方向と反対方向に1画素の位置x0-1 とに膨張されている。このような場合に、エッジ画像が検出された位置x0-1 ,x0 ,x0+1 に対応する画素カウンタのカウント値(投票値)が1ずつカウントアップされ、エッジ画像が検出されなかった位置のカウント値がリセットされる。
例えば、図5(d)では、時刻tにおいて位置x0-1 ,x0 ,x0+1 にエッジ画像が検出されているので、それぞれの位置で1ずつカウントアップされて、位置x0+1 のカウント値が1、位置x0 のカウント値が3、位置x0-1 のカウント値が5になっている。そして、図5(e)に示すように時刻t+1でもエッジ画像が移動していないので、位置x0-1 ,x0 ,x0+1 の各位置でエッジ画像が検出され、位置x0-1 ,x0 ,x0+1 のカウント値をさらに1ずつカウントアップして、位置x0-1 のカウント値を2、位置x0 のカウント値を4、位置x0+1 のカウント値を6としている。
さらに、図5(f)に示すように時刻t+2では、エッジ画像がx軸の正方向に1画素だけシフトして位置x0 ,x0+1 ,x0+2 の位置でエッジ画像が検出されている。したがって、エッジ画像が検出された位置x0 ,x0+1 ,x0+2 のカウント値がカウントアップされ、エッジ画像が検出されなかった位置x0-1 のカウント値がリセットされる。この結果、図5(f)に示すように位置x0+2 のカウント値が1、位置x0+1 のカウント値が3、位置X0 のカウント値が5となっている。さらに、エッジ画像が検出されなかった位置x0-1 のカウント値はリセットされて0になっている。
このようにして、エッジ画像が検出された位置における画素のカウント値をカウントアップし、エッジ画像が検出されなかった位置における画素のカウント値をリセットしている。図5では、カウント値を検出する位置として、エッジ画像の中心位置(x0 )と、この中心位置からエッジ画像の移動方向へ1画素の位置(x0+1 )と、中心位置からエッジ画像の移動方向と反対方向に1画素の位置(x0-1 )との3箇所を設定しているが、後述するカウント値の傾きが求められれば、エッジ画像の移動方向に対して2箇所以上であれば何箇所のカウント値を検出してもよい。
さらに、物体が自車両に対して一定角度(一定の方位)で近づく場合には、連続するフレーム間において、エッジ画像は同じ位置で複数回検出される。
例えば、図5の例では、位置x0 において時刻tと時刻t+1との2回エッジ画像が検出されている。したがって、エッジ画像が検出された位置のカウント値をカウントアップしていくと、そのカウント値はその位置においてエッジ画像が検出されている時間(フレーム数)と等しくなる。
次に、エッジ画像の移動速度、移動方向、および位置を算出する。まず、カウント値の移動方向への傾きを算出し、この傾きに基づいて、エッジ画像の移動方向、移動速度、および位置を算出する。例えば、図5(e)の場合では、位置x0-1 ,x0 ,x0+1 のカウント値がそれぞれ6,4,2となっている。したがって、位置x0-1 のカウント値6から位置x0+1 のカウント値2を引くことによって、カウント値の傾きHを次のように算出することができる。
H=(6−2)/2=2
これは、傾きHが次式から計算されることを意味する。
H={(エッジ画像が位置x0-1 に移動してから現在までの時間)−(エッジ画像が位置x0+1 に移動してしまった後の時間)}/(2画素)
このことから、傾きHは、エッジ画像が位置x0 にある1画素を通過するのに要した時間(フレーム数)を表している。したがって、カウント値の傾きHはエッジ画像が1画素移動するために何フレームを要したかを表すことになり、このカウント値の傾きHに基づいてエッジ画像の移動速度(=1/H)を算出することができる。図5(e)では1画素移動するのに2フレームを要したことになるので、エッジ画像の移動速度は1/2(画素/フレーム)と算出することができる。
また、エッジ画像の移動方向は、カウント値の大小によって判定することができる。エッジ画像が移動して新たにエッジ画像が検出された位置の画素カウンタのカウント値は1であり、各位置のカウント値の中では最も小さな値となる。したがって、エッジ画像が移動する方向のカウント値は小さく、エッジ画像が移動する方向と反対方向のカウント値は大きくなるので、これによってエッジ画像の移動方向を判定することができる。
以上から、エッジ画像が検出された位置のカウント値をカウントアップし、カウントアップされたカウント値の傾きHに基づいてエッジ画像の移動速度および移動方向を算出することができる。すなわち、エッジ画像の移動速度および移動方向が算出できれば、その移動速度および移動方向がそのエッジ画像の方位(図6に示したカメラ101の光軸または仮想カメラ101Vの光軸に対するX方向の角度)の時間的な変化を示している。また、図5(g)に示すように、カウント値が所定の閾値CTH以上tなる場合には、後述のように当該エッジ画像の移動速度がゼロである、すなわちエッジ画像が同じ方位に存在し続けていると判定できる。
なお、本例では、図5(c)に示すように、膨張処理によってエッジ画像の幅を3画素分に広げているので、図5(h)に示すように、そのエッジ画像の位置がx方向に±1画素分だけ振動するように変化しても、その中心の位置x0 におけるエッジ画像のカウント値は閾値CTH以上の状態を継続する。従って、膨張処理によって付加する画素の幅が多くなるほど、x方向の位置が僅かに変化しても、同じ方位に存在し続けると認識されるエッジ画像の範囲が広くなる。
滞留時間計測部106によって求められるカメラ101(図6参照)の画像内におけるエッジ画像、およびそのエッジ画像を仮想カメラ101Vによる画像に変換して得られるエッジ画像の移動速度および移動方向の情報は、図1の衝突判定部107に供給される。
衝突判定部107は、滞留時間計測部106で算出したエッジ画像の移動速度および移動方向の情報に基づき、物体(対象物)の衝突判定を行う。
図7に示すように、カメラ101による画像40A内からで特徴抽出されたエッジ画像50Aの位置は時刻tと時刻t+nとで異なり、時刻t+nで1画素右の位置50A1に移動していることから、図1の滞留時間計測部106では右方向への速度が算出される。したがって、時刻tで物体50のエッジ画像と車両20のカメラ101の設置位置20Aとを結ぶ直線を直線60Aとすると、時刻t+nでは物体50はその直線60Aから外れている。言い換えると、画像40A内におけるエッジ画像50Aのx座標から算出される時刻tの物体50の方位θ(t)に対して、時刻t+nにける物体50の方位θ(t+n)は大きくなっている。このように、カメラ101の設置位置20Aと物体50が存在する位置とがなす角度(方位)は一定にならないので、その位置同士は衝突しないと判定できる。
一方、自車両20の右側面後方の位置20Vに移動した仮想カメラ101Vの画像40Vにおけるエッジ画像50Vの位置は、時刻tと時刻t+nとで位置が同じである。言い換えると、画像40V内におけるエッジ50Vのx座標xm1から算出される時刻tの物体50の方位θm1(t)に対して、時刻t+nにける物体50の方位θm1(t+n)は同じである。したがって、仮想カメラ101Vに対しては、物体50は同じ直線60B上に位置しており、nフレームの間、その位置に滞留し続けているので、滞留時間計測部106では、エッジ50Vの速度(X軸方向の速度)がゼロと算出される。
ここで、速度ゼロと判定する条件は、エッジ画像の滞留フレーム数が所定値T(例えば10フレーム(フレーム周波数は、例えば30fps))を超えることとする。したがって、車両20の右側面後方の位置20Vに仮想的に設置した仮想カメラ101Vと物体50が存在する位置とがなす角度(方位)は一定となるので、衝突判定部107では、物体50が観測された部位(すなわち、エッジ画像に相当する位置)と、仮想カメラ101Vの設置位置20Vの衝突可能性が大であると判定する。すなわち、設置位置20Vに衝突する可能性が高い衝突候補物体であると判定する。
しかし、衝突しない場合であっても、一定の時間にわたって、物体50とカメラ101または101Vとがなす角度(方位)が一定となるシーンが存在する。例えば、相対速度が等しい、すなわち自車両と先行車両とが同じ速度で走行している場合には、先行車両のカメラに対する方位は一定なる。また、遠方消失点付近や自車両から遠く離れている物体においても、物体のカメラに対する方位は一定となる。このような場合においても、正確に衝突判定を行うために、一例として、衝突判定部107では、図1のレーダ102によって計測される距離情報を用いてエッジ画像が観測された物体の距離変化を計測する。そして、エッジ画像が観測された物体までの距離が短くなり続ける場合には、その物体の自車両(カメラ101または101V)に対する方位が一定であり、かつその物体が自車両に接近していることから、その物体(衝突候補物体)を衝突可能性がより高い衝突物体であると判定する。
次に、図8(a)および(b)のフローチャートを参照して、本実施形態の障害物判定装置10による処理例を説明する。この処理は車両のイグニションスイッチ(図示省略)がオンされると、図1の制御部100において起動されるプログラムにしたがって実行される。
まず、図8(a)のステップS101では、図1のカメラ101で撮像された後、画像一時記憶部103に記憶された自車両前方の画像が所定周期で特徴点抽出部104に出力される。次のステップS102において、レーダ102で計測される自車両前方に存在する物体の距離情報が座標変換部105へ出力される。次のステップS103では、図5(a)〜(c)に示したように、特徴点抽出部104がエッジ抽出処理を行い、撮像画像内に存在する物体の輪郭をエッジ画像として抽出すると共に、エッジ画像の正規化を行い、得られた正規化エッジ画像を座標変換部105および滞留時間計測部106に供給する。
次のステップS104では、座標変換部105がレーダ102で取得した距離情報に基づき、特徴点抽出部104で得られたエッジ画像位置を車両前面および左右側面の複数位置に移動した仮想カメラで当該エッジの像を撮像した場合のエッジ位置に変換し、変換結果を滞留時間計測部106に供給する。これは、図6に示した仮想カメラ101Vを車両20の車両前面および左右側面の複数位置に移動して、それぞれ画像40V内におけるエッジ画像50Vのx座標(ひいては方位)を求めることを意味する。
次のステップS105では、滞留時間計測部106が、図6のカメラ101および車両20の複数の位置に仮想設置された仮想カメラ101Vの画像におけるエッジ画像の移動速度および移動方向を算出し、それら算出結果を衝突判定部107に供給する。
なお図8の手順とは異なるが、本実施形態の変形例として、滞留時間計測部106によりX軸方向の移動速度がゼロもしくは殆どゼロのエッジ画像が存在すると判明したとき、そのエッジ画像に相当する物体に対して、ステップS102のレーダ102による距離情報の計測を行わせることも可能である。
次のステップS106では、衝突判定部107が、エッジ画像の移動速度(方位の変化)がゼロとなる位置が存在するか否かを判定する。存在する場合にはそのエッジ画像領域を含む物体を衝突候補物体(障害物)として抽出し、ステップS107へ移行し、存在しない場合にはステップS108に移行する。
ステップS106とステップS107との間には、実際には図8(b)に示すように、図1のレーダ102で計測される距離情報を用いて、その衝突候補物体と自車両との距離が例えば単調に短くなっているか否かを判定するステップS120を設けるのが好適である。そして、その衝突候補物体と自車両との距離が短くなり続ける場合には、ステップS107に移行して、その物体を衝突物体と判定する。この後に、動作は図8(a)のステップS108へ移行する。また、ステップS120において、その衝突候補物体と自車両との距離が単調に短くならない場合(または所定距離以下にはならない場合でもよい)には、その衝突候補物体は、自車両と衝突する可能性のない物体であると判定して図8(a)のステップS108に移行する。
ステップS108では、全てのカメラ(カメラ101および複数位置に仮想的に配置した仮想カメラ101V)において、衝突物体の検出動作が行われたか否かを判定する。全てのカメラにおいて衝突物体の検出動作が行われた場合には、動作はステップS109へ移行する。一方、全てのカメラにおいて衝突物体の検出動作が終わっていない場合には、ステップS106に戻る。
ステップS109では、自車両のイグニションスイッチがオフされたか否かを判定する。イグニションスイッチがオフにされていない場合には、ステップS101に戻り、衝突物体の判定処理を繰り返す。一方、イグニションスイッチがオフにされた場合には、動作はステップS110へ移行して本処理を終了する。
以上説明した第1の実施形態によれば、以下に列挙する作用効果(1)〜(6)を得ることができる。
(1)障害物判定装置10は、車両20に搭載され、車両20の前方にある物体の方位を計測するためにその物体の像を撮像するカメラ101と、車両20に搭載され、その物体までの距離情報を計測するレーダ102と、レーダ102によって計測された距離情報を用い、仮想的に移動した仮想カメラ101V(図6参照)によりその物体を撮像した場合のその物体の方位を算出する座標変換部105と、カメラ101および座標変換部105により計測された方位の時間的な変化量を求める滞留時間計測部106と、滞留時間計測部106により求められた方位の時間的な変化量が所定範囲内である(小さい)場合に、その物体が車両20に対する衝突候補物体(障害物)である可能性があると判定する衝突判定部107とを備えている。
また、図8(a)および(b)に示した衝突物体判定動作は、車両20(図6参照)上の位置20Aにおいて、車両20の前方の物体の方位を計測するためにその像を撮像するステップS101と、その物体までの距離情報を計測するステップS102と、その計測された距離情報を用い、仮想的に移動した位置20Vにおいてその物体の方位を計算するステップS104と、その位置20Aおよび20Vにおいて計測されたその物体の方位(θ,θm1)の時間的な変化量を計測するステップS105と、その物体の方位の時間的な変化量が所定範囲内である場合に、その物体が車両20の進路上に存在する衝突候補物体である可能性があると判定するステップS106とを有する。
したがって、物体までの距離情報および車両上の方位計測位置の移動量の情報から、車両上の任意の位置に設置可能な仮想カメラ101Vから見た物体の方位を計算(再計測)することが可能となる。そのため、物体が車両の側面等の任意の位置に対する障害物となる可能性があるか否か、すなわち対象物体が車両の任意の位置に衝突する可能性があるか否かかを判定できる。このように、カメラ101を実際に複数台配置することなく、簡単な装置構成で、車両の前面および側面等に衝突する可能性のある物体を正確に判定することが可能となる。
なお、その対象物体の方位の時間的な変化量が所定範囲内であるか否かに関して、図5(c)に示すように、対象物体に対応するエッジ画像を移動方向に(2n+1)画素に膨張させる場合には(nは1以上の整数で、図5(c)ではn=1)、そのエッジ画像が所定時間(例えば上記のTフレーム)内に±n画素振動してもその中心の画像の方位は一定であると判定される。したがって、この場合の所定範囲とは、その所定時間内の±n画素分の方位の変動であり、その所定時間内で、その±n画素分の範囲内で物体の方位の変動があっても、その物体の方位の時間的な変化量は所定範囲内である(小さい)とみなされる。
(2)カメラ101の撮像画像に基づいて物体50(図6参照)の特定部位の方位を計測し、レーダ102は、その物体50までの距離を計測し、衝突判定部107は、座標変換部105により変換されたエッジ画像の方位の時間的な変化量が所定範囲内であると判定した場合に、その物体50は、対応するカメラ101,101Vが存在する車両20上の位置20A,20Vに対する障害物になる可能性があると判定している。したがって、物体50のどの部位が、自車両上のどの位置に衝突する可能性が大であるかを判定できる。
(3)衝突判定部107は、滞留時間計測部106により求められた対象物体の方位の時間的な変化量が所定範囲内であると判定した場合に、レーダ102からの計測情報によって求められるその物体までの距離が順次短くなるときに、その物体が車両に衝突する可能性があると判定している(ステップS120)。この構成によれば、物体の方位に加え、物体の距離変化を計測することで、衝突物体であるか否かの判定を行うことができる。一般に、自車両と物体との相対速度がゼロの場合、または消失点付近や遠方に物体が存在する場合にその物体の方位が一定となるが、その物体が自車両に衝突する可能性は低い。そこで、対象物体の距離が短くなる場合のみに衝突物体と判定することで、誤検出が防止され、正確な衝突判定が可能となる。
(4)図1において、カメラ101の画像から特徴点(本実施形態ではエッジ画像)を抽出する特徴点抽出部104が設けられ、座標変換部105は、レーダ102によって計測された距離情報を用いて、特徴点抽出部104によって抽出された特徴点を仮想カメラ101Vの画像によって抽出される特徴点に変換し、滞留時間計測部106は、特徴点抽出部104および座標変換部105で取得した特徴点の位置がそれぞれ一定位置に滞留し続ける時間を計測し、衝突判定部107は、滞留時間計測部106で計測された滞留時間が所定時間を超える場合に、その特徴点を含む物体が自車両に対する衝突候補物体(障害物)である可能性があると判定している。
この構成によれば、カメラ101で撮像した画像から抽出した特徴点を、距離情報を用いて車両上の任意の位置に設置可能な仮想カメラ101Vで撮像した場合の特徴点に変換し、各カメラ101,101Vの画像内で特徴点の位置が一定となる滞留時間を計測するのみで、物体の進路予測等の複雑な演算を行うことなく、容易に衝突可能性の有無を判定できる。
また、この構成によれば、特徴点の滞留時間を計測することで、衝突判定を行ている。滞留時間が所定時間を超えることは、特徴点が存在する対象物体のカメラ設置位置に対する方位が一定であることを示しているので、衝突可能性が高いと判定できる。すなわち、対象物体における特徴点が存在する位置が衝突部位となり、カメラの仮想的設置位置が自車両の衝突位置と判定できる。したがって、対象物体のどの位置が自車両のどの位置に衝突するかを、自車両の速度、対象物の速度、大きさを考慮せずに計測することが可能となる。
また、この構成によれば、撮像画像から特徴点を抽出しているので、対象物体自体を特定する必要がなく、単に特徴点が一定位置に滞留し続ければ衝突可能性があると判定することができる。従って、フレーム間の移動量を1画素以下に制限し、対象物体を特定するために必要なフレーム間の対応付け処理を排除することで、高速な演算処理が可能となる。さらに、繰り返し演算(再帰処理)を行うことなく、ピクセル単位の逐次処理により、高速な演算処理が可能となる。このことにより、衝突物体の高速判定が可能となる。
(5)特徴点としては物体のエッジ画像を用いているので、対象物体のエッジ画像と自車両との衝突可能性を判定することによって、高速な演算処理で、その物体と自車両との衝突可能性が判定できる。
(6)本実施形態による車両は、障害物判定装置10を備え、カメラ101は、その車両の前方の物体の像を撮像し、その撮像画像から対象物体の方位を求めている。したがって、その車両の通常の走行時に、車両の側面を含む任意の位置に衝突する可能性のある物体があるか否かを判定でき、この判定結果に基づいて衝突回避を行うことができる。
[第2の実施形態]
図9および図10を参照して、本発明の第2の実施形態を説明する。本実施形態においても、図2(a)の車両20に搭載された図1の障害物判定装置10を用いて、基本的に図8(a)および(b)のフローチャートと同様の動作によって衝突物体の判定(検出)を行う。本実施形態では、さらに図1の制御部100内の衝突判定部107で判定された衝突位置情報に基づいて、衝突回避部30が最適な衝突回避方法を選択し、自車両の制動力および操舵方向を制御して衝突回避を行う。以下、図9および図10において、図7および図8(a)に対応する部分には同一符号を付してその詳細な説明を省略すると共に、本実施形態において、対象物体の衝突部位および自車両の衝突位置の情報に基づいて衝突回避を行う方法について説明する。
まず、図9に示すように、車両20に対して物体60の相対位置が時刻tから時刻t+nにかけて近づいている場合を想定する。本実施形態では、物体60上に存在するエッジ60A,60B,60等が検出対象となる。一例として、車両20の右側面後方20F内の位置20Vに仮想的に設置された仮想カメラ101Vによる画像40V中では、図1の特徴点抽出部104および座標変換部105によって、複数のエッジ画像60AV〜60EVが得られる。
このとき、エッジ画像60AV〜60EVのうちの一つのエッジ画像(例えば左側のエッジ画像60AV)が、図1の衝突判定部107によって仮想カメラ101Vの設置位置20Vに衝突する可能性がある、すなわち画像40V中で画面内横方向の位置(方位)が一定位置に所定時間以上滞留している(=画面内横方向(X軸方向)の移動速度がゼロもしくは殆どゼロである)と判定された場合に、当該エッジ画像が衝突物体(本実施形態では物体60)内のどの位置に含まれているかを判定する。この判定を行うために、画面内移動速度がゼロもしくは殆どゼロとなるエッジ画像60AVの周囲に、車両20に対して移動速度を持つと共に、図1のレーダ102によって計測される距離がエッジ60AVの距離とほぼ等しくなるエッジ画像が存在するか否かを判定する。存在していれば、ほぼ等距離にあるそれらエッジ画像(本実施形態ではエッジ画像60AV〜60EV)をグルーピングし、一つの物体60として検出する。すなわち、エッジ画像60AV〜60EVは、一つの物体60に含まれている複数のエッジ画像であると判定する。
次に、検出した物体60内のどの位置で、エッジ画像の画面内移動速度がゼロもしくは殆どゼロとなるかを判定する。本実施形態では、例えば物体60(対象物体)の進行方向から見て、物体60の先端部、中央部、後方部のいずれかに衝突するものと判定する。図9において、画面内横方向への移動速度がゼロで衝突可能性があるエッジ画像60AVは、物体60の先端部に対応したエッジ画像である。したがって、図9の例では、物体60の先端部が、衝突部位であると判定する。
物体60の衝突部位と車両20の衝突位置(画面内移動速度がゼロもしくは殆どゼロとなるエッジ画像が観測されたカメラ101,101Vの位置20A,20V)とから、図1の衝突回避部30が最適な回避方法(制動および操舵)を時系列で更新する。本実施形態では、例えば、図9に示した車両20の衝突位置を車両先端部・右側領域20C、車両先端部・左側領域20B、左側面・先端領域20I、左側面・中央領域20H、左側面・後方領域20G、右側面・先端領域20D、右側面・中央領域20E、右側面・後方領域20Fに領域分割し、各領域に対して仮想カメラ101Vを仮想的に移動してそれぞれエッジ画像の画面内移動速度を計算する。そして、物体60の先端部、中央部、後方部のうちどの領域が、車両20のどの領域に衝突するかに応じて、制動力と旋回方向を設定することにより回避支援を行う。
図10は、本実施形態における障害物判定装置10(図1参照)の処理手順を示すフローチャートである。図10に示したステップS101〜S110の処理は図8(a)に示す第1の実施形態における処理と同一であるので、以下相違点を説明する。
ステップS107で判定した衝突物体において、画面内移動速度がゼロもしくは殆どゼロとなるエッジ画像の周囲に画面内移動速度を持ち、且つほぼ距離が等しいエッジ画像が存在する場合に、ステップS111では、同一物体としてグルーピングを行う。
ステップS112では、画面内移動速度がゼロもしくは殆どゼロとなる位置が物体内のどの領域(衝突領域)に存在するかを判定する。次のステップS113では、画面内移動速度がゼロもしくは殆どゼロとなるエッジ画像が観測された仮想カメラ101V(図9参照)が、車両20のどの領域(20B〜20I)(衝突領域)に存在するかを判定する。衝突物体の衝突領域情報および車両の衝突領域情報は、図1の衝突回避部30に供給される。
ステップS114において、衝突回避部30では、衝突物体の衝突領域と車両の衝突領域との組み合わせから、最適な回避方法を選択し、回避支援を行う。この後、動作はステップS108へ移行し、第1の実施形態と同様な処理を行う。
以上説明した第2の実施形態によれば、第1の実施形態の作用効果に加えて、以下に述べる作用効果(1),(2)を得ることができる。
(1)衝突判定部107(図1参照)は、各時刻における画面内移動速度がゼロもしくは殆どゼロとなるエッジ画像の周囲にあるエッジ画像から、対象物体の全体像を把握し、画面内移動速度がゼロもしくは殆どゼロとなる領域が対象物体のどの領域に該当するかを判定し、その領域が車両のどの領域と衝突するかを判定することにより、衝突を回避する最適な回避支援を選択することができる。
(2)上記の構成を有する本実施形態によれば、衝突物体の検出後においても、逐次物体の衝突部位と車両の衝突位置とを更新することが可能になるので、回避支援動作をリアルタイムに更新することが可能となる。その結果、リアルタイムで最適な回避支援を行うことが可能となる。
以上、本発明の実施形態を図面により詳述したが、実施形態は本発明の例示にしか過ぎず、本発明は実施形態の構成にのみ限定されるものではない。したがって、本発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれることは勿論である。
例えば、障害物判定装置10の構成は、図1に示した構成に限定されるものではなく、同等の機能を備えた構成であれば良い。
また、図2(a)に示したカメラ101の取り付け位置は実施形態で述べた位置に限定されるものではなく、カメラ101の光軸が車両前方(正面)方向(Z方向)に向き、撮像面の水平軸および垂直軸がそれぞれ路面と平行および垂直となるように設定されていれば良い。
検出したエッジ画像の幅を正規化するにあたっては、図5(c)に示した3画素に限定されるものではなく、任意の画素数を設定することができる。この場合、その後の処理でエッジ画像の中央部の画素を利用することから、エッジ画像幅の画素数は奇数個であることが望ましい。
上記の実施形態では、対象物体の方位計測用にカメラ101の画像を用いているが、これに限定されず、例えば2つの受信器を持ち、2つの受信器の信号の強度比から物体の方位を検出する電波レーダ(電磁波放射型レーダ)など、物体の方位を計測できるものであれば使用することができる。
図1に示したレーダ102はスキャニング機構を持つレーザレーダとして説明したが、これに限定されず、例えばミリ波レーダなどの電磁波放射型レーダやステレオカメラなど、前方の物体の距離を計測できるものであれば使用することができる。
さらに、仮想的に移動するカメラは、車両上に限らず、車両外の領域に設置することが可能である。例えば、車両の外側の領域に仮想カメラを配置すれば、仮想的なバリアを設置することが可能となる。
上述した各実施形態では、車両前方の対象物体が衝突物体であるか否かの判定を行っているが、車両の側面または後方等(周囲)の物体が衝突物体であるか否かの判定を行う場合にも、本発明を適用できることは勿論である。
特許請求の範囲の構成要素と上述した実施形態との対応関係は次の通りである。すなわち、距離測定手段はレーダ102に、方位検出手段はカメラ101に、演算手段は特徴点抽出部104および座標変換部105に、判定手段は滞留時間計測部106および衝突判定部107に、それぞれ対応する。
なお、以上の説明はあくまで一例であり、発明を解釈する際、上記の実施の形態の記載事項と特許請求の範囲の記載事項との対応関係になんら限定も拘束もされない。
第1の実施形態における障害物判定装置の構成を示すブロック図である。 (a)は図1のカメラ101およびレーダ102が搭載された車両を示す側面図、(b)は図2(a)の平面図である。 レーダ102の構成例を示す図である。 カメラ101で撮像した画像の例を示す図である。 カメラ101で撮像された画像から抽出したエッジ画像を正規化し、エッジ画像の滞留時間を得るために行う一連の処理を説明する図である。 カメラ101で取得したエッジ画像の位置を、仮想的に移動した仮想カメラ101Vで取得されるエッジ位置へ座標変換する場合の説明図である。 カメラ101および仮想カメラ101Vで取得したエッジの滞留時間を算出する際における、対象物体と車両の位置関係の変化を示す図である。 第1の実施形態による処理手順を示すフローチャートである。 第2の実施形態において、対象物体の衝突部位と車両の衝突位置を示した説明図である。 第2の実施形態による処理手順を示すフローチャートである。
符号の説明
10 障害物判定装置
20 車両
30 衝突回避部
100 制御部
101 カメラ
101V 仮想カメラ
102 レーダ
104 特徴点抽出部
105 座標変換部
106 滞留時間計測部
107 衝突判定部

Claims (12)

  1. 車両の周辺部に衝突する対象物を予測検知する障害物判定装置であって、
    前記車両から前記対象物までの距離を測定する距離測定手段と、
    前記車両の特定位置から前記対象物を捕捉したときの方位を検出する方位検出手段と、
    前記距離測定手段から得られた距離情報および前記方位検出手段から得られた方位情報に基づき、前記車両の先端部もしくは側面における所定の仮想的位置から前記対象物を見たときの方位を算出する演算手段と、
    前記演算手段により算出された方位の時間的な変化量が、予め決められた範囲内にあるとき、前記対象物が前記所定の仮想的位置に衝突する可能性があると判定する判定手段と、
    を備えることを特徴とする障害物判定装置。
  2. 請求項に記載の障害物判定装置において、
    前記判定手段は、前記演算手段により算出された方位の時間的な変化量が予め決められた範囲内であって、且つ、前記距離測定手段により測定された前記対象物までの距離が順次短くなっていくとき、前記対象物が前記所定の仮想的位置に衝突する可能性があると判定することを特徴とする障害物判定装置。
  3. 請求項1または2に記載の障害物判定装置において、
    前記距離測定手段としてレーザレーダもしくは電磁波放射型レーダまたはステレオカメラを用いることを特徴とする障害物判定装置。
  4. 請求項1〜のいずれか一項に記載の障害物判定装置において、
    前記方位検出手段は、
    前記車両に固定配置した撮像手段と、
    前記撮像手段により撮像された前記対象物の画像から特徴点を抽出する特徴点抽出手段とを備え、
    前記特徴点の撮像画面内位置に基づいて、前記対象物に対する方位を検出することを特徴とする障害物判定装置。
  5. 請求項に記載の障害物判定装置において、さらに加えて、
    前記特徴点抽出手段により抽出された特徴点の撮像画面内位置を、前記撮像手段が前記仮想的位置に移動したと想定したときに得られる撮像画面内位置に変換する特徴点変換手段を備え、
    前記演算手段は、前記距離測定手段から得られた距離情報、および、前記特徴点変換手段により得られた特徴点の撮像画面内位置情報に基づいて、前記車両の先端部もしくは側面における所定の仮想的位置から前記対象物を見たときの方位を算出することを特徴とする障害物判定装置。
  6. 請求項に記載の障害物判定装置において、さらに加えて、
    前記特徴点変換手段により変換された特徴点の撮像画面内位置が一定位置に滞留し続ける時間を計測する滞留時間計測手段を備え、
    前記判定手段は、前記滞留時間計測手段で計測された滞留時間が所定時間を超える場合には、当該特徴点を含む前記対象物が前記所定の仮想的位置に衝突する可能性があると判定することを特徴とする障害物判定装置。
  7. 請求項のいずれか一項に記載の障害物判定装置において、
    前記特徴点は前記対象物の輪郭部を抽出して細線化したエッジ画像、または該エッジ画像を正規化した正規化エッジ画像であることを特徴とする障害物判定装置。
  8. 請求項またはに記載の障害物判定装置において、さらに加えて、
    前記滞留時間計測手段で計測された滞留時間が最大となる特徴点と、該特徴点の周辺に存在する領域との位置関係を検出することにより、前記対象物のどの部位が前記所定の仮想的位置に衝突するかを判定する衝突部位判定手段を備えることを特徴とする障害物判定装置。
  9. 請求項に記載の障害物判定装置において、
    前記衝突部位判定手段は、前記滞留時間計測手段で計測された滞留時間が最大となる特徴点と、該特徴点の周辺に複数存在する他の特徴点とをグループ化することにより一つの対象物体として認識し、該一つの対象物体が占める領域中で前記滞留時間が最大となる特徴点の位置が、前記所定の仮想的位置に衝突する部位であると判定することを特徴とする障害物判定装置。
  10. 請求項またはに記載の障害物判定装置において、さらに加えて、
    前記衝突部位判定手段により判定された前記対象物の衝突部位と、前記車両の先端部もしくは側面における所定の仮想的位置との位置関係に応じて、前記車両の制動力および/または旋回方向を制御する衝突回避手段を備えることを特徴とする障害物判定装置。
  11. 請求項1〜10のいずれか一項に記載の障害物判定装置を備えたことを特徴とする車両。
  12. 車両から対象物までの距離を測定する距離測定工程と、
    前記車両の特定位置から前記対象物を捕捉したときの方位を検出する方位検出工程と、
    前記距離測定工程により得られた距離情報および前記方位検出工程により得られた方位情報に基づいて、前記車両の先端部もしくは側面における所定の仮想的位置から前記対象物を見たときの方位を算出する演算工程と、
    前記演算工程により算出された方位の時間的な変化量が、予め決めた範囲内にあるとき、前記対象物が前記所定の仮想的位置に衝突する可能性があると判する判定工程と、
    を備えることを特徴とする障害物判定方法。
JP2007272771A 2007-10-19 2007-10-19 障害物判定装置および方法、並びに障害物判定装置を備えた車両 Active JP4985306B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007272771A JP4985306B2 (ja) 2007-10-19 2007-10-19 障害物判定装置および方法、並びに障害物判定装置を備えた車両

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007272771A JP4985306B2 (ja) 2007-10-19 2007-10-19 障害物判定装置および方法、並びに障害物判定装置を備えた車両

Publications (2)

Publication Number Publication Date
JP2009104226A JP2009104226A (ja) 2009-05-14
JP4985306B2 true JP4985306B2 (ja) 2012-07-25

Family

ID=40705868

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007272771A Active JP4985306B2 (ja) 2007-10-19 2007-10-19 障害物判定装置および方法、並びに障害物判定装置を備えた車両

Country Status (1)

Country Link
JP (1) JP4985306B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101397732B1 (ko) 2011-04-20 2014-05-20 도요타 지도샤(주) 차량용 주변 경계 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5330063B2 (ja) * 2009-04-08 2013-10-30 本田技研工業株式会社 車両用衝突回避装置
JP5676151B2 (ja) * 2010-06-15 2015-02-25 株式会社横須賀テレコムリサーチパーク 測位装置及び測位方法
JP5942343B2 (ja) * 2011-05-25 2016-06-29 株式会社リコー 撮像装置
JP5742596B2 (ja) * 2011-08-30 2015-07-01 日産自動車株式会社 動き検出装置
JP5742595B2 (ja) * 2011-08-30 2015-07-01 日産自動車株式会社 動き検出装置
US10023230B2 (en) 2012-11-29 2018-07-17 Toyota Jidosha Kabushiki Kaisha Drive assist device, and drive assist method
JP5884794B2 (ja) 2013-08-29 2016-03-15 株式会社デンソー 衝突可能性判定装置およびプログラム
JP2016012264A (ja) * 2014-06-30 2016-01-21 本田技研工業株式会社 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
CN115179970B (zh) * 2022-09-14 2022-11-29 毫末智行科技有限公司 一种路径规划的方法、装置、电子设备及存储介质
CN117325846A (zh) * 2023-09-01 2024-01-02 广州优保爱驾科技有限公司 基于毫米波雷达和图像采集的泊车智能辅助系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2728174B2 (ja) * 1989-05-29 1998-03-18 マツダ株式会社 移動車の前方車認識装置
JP2004302621A (ja) * 2003-03-28 2004-10-28 Calsonic Kansei Corp 車両衝突防止装置
JP3941770B2 (ja) * 2003-10-28 2007-07-04 株式会社デンソー 衝突可能性判定装置
JP4744995B2 (ja) * 2005-09-08 2011-08-10 クラリオン株式会社 車両用障害物検出装置
JP5058491B2 (ja) * 2006-02-09 2012-10-24 日産自動車株式会社 車両用表示装置および車両用映像表示制御方法
JP2007249257A (ja) * 2006-03-13 2007-09-27 Nissan Motor Co Ltd 移動体検出装置および移動体検出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101397732B1 (ko) 2011-04-20 2014-05-20 도요타 지도샤(주) 차량용 주변 경계 장치

Also Published As

Publication number Publication date
JP2009104226A (ja) 2009-05-14

Similar Documents

Publication Publication Date Title
JP4985306B2 (ja) 障害物判定装置および方法、並びに障害物判定装置を備えた車両
JP5145986B2 (ja) 物体検出装置及び測距方法
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
JP5407898B2 (ja) 対象物検出装置及びプログラム
JP6459659B2 (ja) 画像処理装置、画像処理方法、運転支援システム、プログラム
JP6458651B2 (ja) 路面標示検出装置及び路面標示検出方法
WO2002050568A1 (fr) Procede de detection d'un objet stationnaire sur une route
JPH07332966A (ja) 車両用距離計測装置
US10853963B2 (en) Object detection device, device control system, and medium
KR101180621B1 (ko) 차량 검출 방법 및 장치
CN107950023B (zh) 车辆用显示装置以及车辆用显示方法
JP2009174900A (ja) 物体検出装置、物体検出方法および物体検出システム
JP2006258497A (ja) 車両用物体認識装置
EP2936386B1 (en) Method for detecting a target object based on a camera image by clustering from multiple adjacent image cells, camera device and motor vehicle
JP2011099683A (ja) 物体検出装置
JP2010256995A (ja) 物体認識装置
KR20130020151A (ko) 차량 검출 장치 및 방법
JP2012064026A (ja) 車両用対象物検出装置、およびその方法
JP5369921B2 (ja) 物体検出装置及び物体検出方法
JP2011145166A (ja) 車両検出装置
JP2005156199A (ja) 車両検知方法及び車両検知装置
KR101704635B1 (ko) 레이더 및 영상 래스터 데이터를 이용한 목표물 탐지 방법 및 장치
JP2007199932A (ja) 画像処理装置及びその方法
JP2006047091A (ja) 移動体検出装置
JP5141603B2 (ja) 移動物体検出装置及び移動物体検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120416

R150 Certificate of patent or registration of utility model

Ref document number: 4985306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3