JP4985306B2 - 障害物判定装置および方法、並びに障害物判定装置を備えた車両 - Google Patents
障害物判定装置および方法、並びに障害物判定装置を備えた車両 Download PDFInfo
- Publication number
- JP4985306B2 JP4985306B2 JP2007272771A JP2007272771A JP4985306B2 JP 4985306 B2 JP4985306 B2 JP 4985306B2 JP 2007272771 A JP2007272771 A JP 2007272771A JP 2007272771 A JP2007272771 A JP 2007272771A JP 4985306 B2 JP4985306 B2 JP 4985306B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- edge image
- obstacle determination
- determination device
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
図1〜図8を参照して、本発明の第1の実施形態について説明する。本実施形態は、乗用車等の車両に備えられた障害物判定装置に本発明を適用したものである。
図4は、図1のカメラ101で撮像した画面(自車両前方の画像)40Aの例を示す。図4において、カメラ101による撮像画像は、画像左上を原点として左から右へx軸を、上から下へy軸をとったxy座標系によって表される。なお、図4の画面40Aにおいては、一例として右から左へ移動する歩行者が含まれている。この画面40Aを含む一連のフレーム画像が、図1の画像一時記憶部103に順次記憶される。
さらに、座標変換部105は、図6に示すように、車両20上でカメラ101の位置20Aを仮想的にZ方向およびX方向に(−Zm1,Xm1)だけ移動した位置20Vに、実際には存在しない仮想的なカメラである仮想カメラ101Vを設置し、仮想カメラ101Vから見た画像40V上におけるエッジ画像のx座標xm1を算出する。図6の例では、仮想カメラ101Vは車両20の右側後方に設定してある。また、物体50のエッジ画像については、カメラ101から見た画像40A上で抽出したエッジ画像50Aの位置をxとし、画像40Aの横サイズをIw、横方向の1画素あたりの角度分解能をPXr(rad)、レーダ102で計測した物体50までのZ方向の距離をZ、カメラ101とレーダ102との取付位置のZ方向のオフセット量をZcとする。この場合、カメラ101から横方向(X方向)にXm1、後方(−Z方向)にZm1だけシフトした仮想カメラ101Vから物体50のエッジ画像を撮像して得られる画像40V上でのエッジ画像50Vのx座標xm1は、次式のように計算することができる。
X=(Z+Zc)×tan θ) …(2)
θm1=arc tan((X−Xm1)/(Z+Zc+Zm1)) …(3)
xm1=(θm1/PXr)+(Iw/2) …(4)
ここで、角度θはカメラ101の光軸(Z軸)と物体50(またはこの物体を通り路面に垂直な直線)とが路面に平行な平面内でなす角度である方位、Xは自車両20と物体50との横方向の距離、角度θm1は仮想カメラ101Vの光軸(Z軸に平行な軸)と物体50(またはこの物体を通り路面に垂直な直線)とが路面に平行な平面内でなす角度である方位を示す。図1の座標変換部105で得られた仮想カメラ101Vから見たエッジ画像のデータは、滞留時間計測部106に供給される。
以下、図5(c)〜(f)を参照して画像上におけるエッジ画像のカウントアップ処理について説明する。ここでは簡単のために、エッジ画像はx軸の正方向に移動するものとして説明する。なお、エッジ画像がx軸の負方向もしくはy軸方向、あるいは2次元的に移動する場合も同様に説明することができる。
例えば、図5の例では、位置x0 において時刻tと時刻t+1との2回エッジ画像が検出されている。したがって、エッジ画像が検出された位置のカウント値をカウントアップしていくと、そのカウント値はその位置においてエッジ画像が検出されている時間(フレーム数)と等しくなる。
これは、傾きHが次式から計算されることを意味する。
H={(エッジ画像が位置x0-1 に移動してから現在までの時間)−(エッジ画像が位置x0+1 に移動してしまった後の時間)}/(2画素)
このことから、傾きHは、エッジ画像が位置x0 にある1画素を通過するのに要した時間(フレーム数)を表している。したがって、カウント値の傾きHはエッジ画像が1画素移動するために何フレームを要したかを表すことになり、このカウント値の傾きHに基づいてエッジ画像の移動速度(=1/H)を算出することができる。図5(e)では1画素移動するのに2フレームを要したことになるので、エッジ画像の移動速度は1/2(画素/フレーム)と算出することができる。
衝突判定部107は、滞留時間計測部106で算出したエッジ画像の移動速度および移動方向の情報に基づき、物体(対象物)の衝突判定を行う。
まず、図8(a)のステップS101では、図1のカメラ101で撮像された後、画像一時記憶部103に記憶された自車両前方の画像が所定周期で特徴点抽出部104に出力される。次のステップS102において、レーダ102で計測される自車両前方に存在する物体の距離情報が座標変換部105へ出力される。次のステップS103では、図5(a)〜(c)に示したように、特徴点抽出部104がエッジ抽出処理を行い、撮像画像内に存在する物体の輪郭をエッジ画像として抽出すると共に、エッジ画像の正規化を行い、得られた正規化エッジ画像を座標変換部105および滞留時間計測部106に供給する。
なお図8の手順とは異なるが、本実施形態の変形例として、滞留時間計測部106によりX軸方向の移動速度がゼロもしくは殆どゼロのエッジ画像が存在すると判明したとき、そのエッジ画像に相当する物体に対して、ステップS102のレーダ102による距離情報の計測を行わせることも可能である。
次のステップS106では、衝突判定部107が、エッジ画像の移動速度(方位の変化)がゼロとなる位置が存在するか否かを判定する。存在する場合にはそのエッジ画像領域を含む物体を衝突候補物体(障害物)として抽出し、ステップS107へ移行し、存在しない場合にはステップS108に移行する。
以上説明した第1の実施形態によれば、以下に列挙する作用効果(1)〜(6)を得ることができる。
(6)本実施形態による車両は、障害物判定装置10を備え、カメラ101は、その車両の前方の物体の像を撮像し、その撮像画像から対象物体の方位を求めている。したがって、その車両の通常の走行時に、車両の側面を含む任意の位置に衝突する可能性のある物体があるか否かを判定でき、この判定結果に基づいて衝突回避を行うことができる。
図9および図10を参照して、本発明の第2の実施形態を説明する。本実施形態においても、図2(a)の車両20に搭載された図1の障害物判定装置10を用いて、基本的に図8(a)および(b)のフローチャートと同様の動作によって衝突物体の判定(検出)を行う。本実施形態では、さらに図1の制御部100内の衝突判定部107で判定された衝突位置情報に基づいて、衝突回避部30が最適な衝突回避方法を選択し、自車両の制動力および操舵方向を制御して衝突回避を行う。以下、図9および図10において、図7および図8(a)に対応する部分には同一符号を付してその詳細な説明を省略すると共に、本実施形態において、対象物体の衝突部位および自車両の衝突位置の情報に基づいて衝突回避を行う方法について説明する。
物体60の衝突部位と車両20の衝突位置(画面内移動速度がゼロもしくは殆どゼロとなるエッジ画像が観測されたカメラ101,101Vの位置20A,20V)とから、図1の衝突回避部30が最適な回避方法(制動および操舵)を時系列で更新する。本実施形態では、例えば、図9に示した車両20の衝突位置を車両先端部・右側領域20C、車両先端部・左側領域20B、左側面・先端領域20I、左側面・中央領域20H、左側面・後方領域20G、右側面・先端領域20D、右側面・中央領域20E、右側面・後方領域20Fに領域分割し、各領域に対して仮想カメラ101Vを仮想的に移動してそれぞれエッジ画像の画面内移動速度を計算する。そして、物体60の先端部、中央部、後方部のうちどの領域が、車両20のどの領域に衝突するかに応じて、制動力と旋回方向を設定することにより回避支援を行う。
ステップS107で判定した衝突物体において、画面内移動速度がゼロもしくは殆どゼロとなるエッジ画像の周囲に画面内移動速度を持ち、且つほぼ距離が等しいエッジ画像が存在する場合に、ステップS111では、同一物体としてグルーピングを行う。
以上説明した第2の実施形態によれば、第1の実施形態の作用効果に加えて、以下に述べる作用効果(1),(2)を得ることができる。
(2)上記の構成を有する本実施形態によれば、衝突物体の検出後においても、逐次物体の衝突部位と車両の衝突位置とを更新することが可能になるので、回避支援動作をリアルタイムに更新することが可能となる。その結果、リアルタイムで最適な回避支援を行うことが可能となる。
例えば、障害物判定装置10の構成は、図1に示した構成に限定されるものではなく、同等の機能を備えた構成であれば良い。
検出したエッジ画像の幅を正規化するにあたっては、図5(c)に示した3画素に限定されるものではなく、任意の画素数を設定することができる。この場合、その後の処理でエッジ画像の中央部の画素を利用することから、エッジ画像幅の画素数は奇数個であることが望ましい。
図1に示したレーダ102はスキャニング機構を持つレーザレーダとして説明したが、これに限定されず、例えばミリ波レーダなどの電磁波放射型レーダやステレオカメラなど、前方の物体の距離を計測できるものであれば使用することができる。
上述した各実施形態では、車両前方の対象物体が衝突物体であるか否かの判定を行っているが、車両の側面または後方等(周囲)の物体が衝突物体であるか否かの判定を行う場合にも、本発明を適用できることは勿論である。
20 車両
30 衝突回避部
100 制御部
101 カメラ
101V 仮想カメラ
102 レーダ
104 特徴点抽出部
105 座標変換部
106 滞留時間計測部
107 衝突判定部
Claims (12)
- 車両の周辺部に衝突する対象物を予測検知する障害物判定装置であって、
前記車両から前記対象物までの距離を測定する距離測定手段と、
前記車両の特定位置から前記対象物を捕捉したときの方位を検出する方位検出手段と、
前記距離測定手段から得られた距離情報および前記方位検出手段から得られた方位情報に基づき、前記車両の先端部もしくは側面における所定の仮想的位置から前記対象物を見たときの方位を算出する演算手段と、
前記演算手段により算出された方位の時間的な変化量が、予め決められた範囲内にあるとき、前記対象物が前記所定の仮想的位置に衝突する可能性があると判定する判定手段と、
を備えることを特徴とする障害物判定装置。 - 請求項1に記載の障害物判定装置において、
前記判定手段は、前記演算手段により算出された方位の時間的な変化量が予め決められた範囲内であって、且つ、前記距離測定手段により測定された前記対象物までの距離が順次短くなっていくとき、前記対象物が前記所定の仮想的位置に衝突する可能性があると判定することを特徴とする障害物判定装置。 - 請求項1または2に記載の障害物判定装置において、
前記距離測定手段としてレーザレーダもしくは電磁波放射型レーダまたはステレオカメラを用いることを特徴とする障害物判定装置。 - 請求項1〜3のいずれか一項に記載の障害物判定装置において、
前記方位検出手段は、
前記車両に固定配置した撮像手段と、
前記撮像手段により撮像された前記対象物の画像から特徴点を抽出する特徴点抽出手段とを備え、
前記特徴点の撮像画面内位置に基づいて、前記対象物に対する方位を検出することを特徴とする障害物判定装置。 - 請求項4に記載の障害物判定装置において、さらに加えて、
前記特徴点抽出手段により抽出された特徴点の撮像画面内位置を、前記撮像手段が前記仮想的位置に移動したと想定したときに得られる撮像画面内位置に変換する特徴点変換手段を備え、
前記演算手段は、前記距離測定手段から得られた距離情報、および、前記特徴点変換手段により得られた特徴点の撮像画面内位置情報に基づいて、前記車両の先端部もしくは側面における所定の仮想的位置から前記対象物を見たときの方位を算出することを特徴とする障害物判定装置。 - 請求項5に記載の障害物判定装置において、さらに加えて、
前記特徴点変換手段により変換された特徴点の撮像画面内位置が一定位置に滞留し続ける時間を計測する滞留時間計測手段を備え、
前記判定手段は、前記滞留時間計測手段で計測された滞留時間が所定時間を超える場合には、当該特徴点を含む前記対象物が前記所定の仮想的位置に衝突する可能性があると判定することを特徴とする障害物判定装置。 - 請求項4〜6のいずれか一項に記載の障害物判定装置において、
前記特徴点は前記対象物の輪郭部を抽出して細線化したエッジ画像、または該エッジ画像を正規化した正規化エッジ画像であることを特徴とする障害物判定装置。 - 請求項6または7に記載の障害物判定装置において、さらに加えて、
前記滞留時間計測手段で計測された滞留時間が最大となる特徴点と、該特徴点の周辺に存在する領域との位置関係を検出することにより、前記対象物のどの部位が前記所定の仮想的位置に衝突するかを判定する衝突部位判定手段を備えることを特徴とする障害物判定装置。 - 請求項8に記載の障害物判定装置において、
前記衝突部位判定手段は、前記滞留時間計測手段で計測された滞留時間が最大となる特徴点と、該特徴点の周辺に複数存在する他の特徴点とをグループ化することにより一つの対象物体として認識し、該一つの対象物体が占める領域中で前記滞留時間が最大となる特徴点の位置が、前記所定の仮想的位置に衝突する部位であると判定することを特徴とする障害物判定装置。 - 請求項8または9に記載の障害物判定装置において、さらに加えて、
前記衝突部位判定手段により判定された前記対象物の衝突部位と、前記車両の先端部もしくは側面における所定の仮想的位置との位置関係に応じて、前記車両の制動力および/または旋回方向を制御する衝突回避手段を備えることを特徴とする障害物判定装置。 - 請求項1〜10のいずれか一項に記載の障害物判定装置を備えたことを特徴とする車両。
- 車両から対象物までの距離を測定する距離測定工程と、
前記車両の特定位置から前記対象物を捕捉したときの方位を検出する方位検出工程と、
前記距離測定工程により得られた距離情報および前記方位検出工程により得られた方位情報に基づいて、前記車両の先端部もしくは側面における所定の仮想的位置から前記対象物を見たときの方位を算出する演算工程と、
前記演算工程により算出された方位の時間的な変化量が、予め決めた範囲内にあるとき、前記対象物が前記所定の仮想的位置に衝突する可能性があると判する判定工程と、
を備えることを特徴とする障害物判定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007272771A JP4985306B2 (ja) | 2007-10-19 | 2007-10-19 | 障害物判定装置および方法、並びに障害物判定装置を備えた車両 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007272771A JP4985306B2 (ja) | 2007-10-19 | 2007-10-19 | 障害物判定装置および方法、並びに障害物判定装置を備えた車両 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009104226A JP2009104226A (ja) | 2009-05-14 |
JP4985306B2 true JP4985306B2 (ja) | 2012-07-25 |
Family
ID=40705868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007272771A Active JP4985306B2 (ja) | 2007-10-19 | 2007-10-19 | 障害物判定装置および方法、並びに障害物判定装置を備えた車両 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4985306B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101397732B1 (ko) | 2011-04-20 | 2014-05-20 | 도요타 지도샤(주) | 차량용 주변 경계 장치 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5330063B2 (ja) * | 2009-04-08 | 2013-10-30 | 本田技研工業株式会社 | 車両用衝突回避装置 |
JP5676151B2 (ja) * | 2010-06-15 | 2015-02-25 | 株式会社横須賀テレコムリサーチパーク | 測位装置及び測位方法 |
JP5942343B2 (ja) * | 2011-05-25 | 2016-06-29 | 株式会社リコー | 撮像装置 |
JP5742596B2 (ja) * | 2011-08-30 | 2015-07-01 | 日産自動車株式会社 | 動き検出装置 |
JP5742595B2 (ja) * | 2011-08-30 | 2015-07-01 | 日産自動車株式会社 | 動き検出装置 |
US10023230B2 (en) | 2012-11-29 | 2018-07-17 | Toyota Jidosha Kabushiki Kaisha | Drive assist device, and drive assist method |
JP5884794B2 (ja) | 2013-08-29 | 2016-03-15 | 株式会社デンソー | 衝突可能性判定装置およびプログラム |
JP2016012264A (ja) * | 2014-06-30 | 2016-01-21 | 本田技研工業株式会社 | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム |
CN115179970B (zh) * | 2022-09-14 | 2022-11-29 | 毫末智行科技有限公司 | 一种路径规划的方法、装置、电子设备及存储介质 |
CN117325846A (zh) * | 2023-09-01 | 2024-01-02 | 广州优保爱驾科技有限公司 | 基于毫米波雷达和图像采集的泊车智能辅助系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2728174B2 (ja) * | 1989-05-29 | 1998-03-18 | マツダ株式会社 | 移動車の前方車認識装置 |
JP2004302621A (ja) * | 2003-03-28 | 2004-10-28 | Calsonic Kansei Corp | 車両衝突防止装置 |
JP3941770B2 (ja) * | 2003-10-28 | 2007-07-04 | 株式会社デンソー | 衝突可能性判定装置 |
JP4744995B2 (ja) * | 2005-09-08 | 2011-08-10 | クラリオン株式会社 | 車両用障害物検出装置 |
JP5058491B2 (ja) * | 2006-02-09 | 2012-10-24 | 日産自動車株式会社 | 車両用表示装置および車両用映像表示制御方法 |
JP2007249257A (ja) * | 2006-03-13 | 2007-09-27 | Nissan Motor Co Ltd | 移動体検出装置および移動体検出方法 |
-
2007
- 2007-10-19 JP JP2007272771A patent/JP4985306B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101397732B1 (ko) | 2011-04-20 | 2014-05-20 | 도요타 지도샤(주) | 차량용 주변 경계 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP2009104226A (ja) | 2009-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4985306B2 (ja) | 障害物判定装置および方法、並びに障害物判定装置を備えた車両 | |
JP5145986B2 (ja) | 物体検出装置及び測距方法 | |
JP6795027B2 (ja) | 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム | |
JP5407898B2 (ja) | 対象物検出装置及びプログラム | |
JP6459659B2 (ja) | 画像処理装置、画像処理方法、運転支援システム、プログラム | |
JP6458651B2 (ja) | 路面標示検出装置及び路面標示検出方法 | |
WO2002050568A1 (fr) | Procede de detection d'un objet stationnaire sur une route | |
JPH07332966A (ja) | 車両用距離計測装置 | |
US10853963B2 (en) | Object detection device, device control system, and medium | |
KR101180621B1 (ko) | 차량 검출 방법 및 장치 | |
CN107950023B (zh) | 车辆用显示装置以及车辆用显示方法 | |
JP2009174900A (ja) | 物体検出装置、物体検出方法および物体検出システム | |
JP2006258497A (ja) | 車両用物体認識装置 | |
EP2936386B1 (en) | Method for detecting a target object based on a camera image by clustering from multiple adjacent image cells, camera device and motor vehicle | |
JP2011099683A (ja) | 物体検出装置 | |
JP2010256995A (ja) | 物体認識装置 | |
KR20130020151A (ko) | 차량 검출 장치 및 방법 | |
JP2012064026A (ja) | 車両用対象物検出装置、およびその方法 | |
JP5369921B2 (ja) | 物体検出装置及び物体検出方法 | |
JP2011145166A (ja) | 車両検出装置 | |
JP2005156199A (ja) | 車両検知方法及び車両検知装置 | |
KR101704635B1 (ko) | 레이더 및 영상 래스터 데이터를 이용한 목표물 탐지 방법 및 장치 | |
JP2007199932A (ja) | 画像処理装置及びその方法 | |
JP2006047091A (ja) | 移動体検出装置 | |
JP5141603B2 (ja) | 移動物体検出装置及び移動物体検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120403 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4985306 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |