JP4144464B2 - 車載用距離算出装置 - Google Patents

車載用距離算出装置 Download PDF

Info

Publication number
JP4144464B2
JP4144464B2 JP2003271984A JP2003271984A JP4144464B2 JP 4144464 B2 JP4144464 B2 JP 4144464B2 JP 2003271984 A JP2003271984 A JP 2003271984A JP 2003271984 A JP2003271984 A JP 2003271984A JP 4144464 B2 JP4144464 B2 JP 4144464B2
Authority
JP
Japan
Prior art keywords
feature point
reference feature
vehicle
real space
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003271984A
Other languages
English (en)
Other versions
JP2005030968A (ja
Inventor
秀和 西内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003271984A priority Critical patent/JP4144464B2/ja
Publication of JP2005030968A publication Critical patent/JP2005030968A/ja
Application granted granted Critical
Publication of JP4144464B2 publication Critical patent/JP4144464B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自車両と対象物との距離を算出する車載用距離算出装置に関する。
従来より、自車両にセンサを搭載し、自車両から該自車両の前方の対象物までの距離を算出する技術が研究されているが、単一カメラで撮像された画像から対象物までの距離を算出する方法は、ステレオカメラを用いて距離を算出する方法と比べて、安価であり、システム構成も簡単であるなどの利点がある。このように単一カメラから対象物までの距離を算出するには、次のように距離算出が行われる。すなわち、1つのカメラが走路面に対して高さH、角度θで車両に設置されている。このカメラにより撮像された画像上における対象物の上下方向の座標をyt、カメラの焦点距離をfとすると、対象物までの距離Lは、式(1)で計算される。
L=H(yt・tanθ+f)/(f・tanθ−yt) …(1)
特開2001−116512号公報 特開平5−157557号公報
しかしながら、上記のような従来の技術にあっては、カメラの設置位置と、平面である走路面と、対象物と走路面との接点を用いて、三角測量法により自車両と対象物との距離を算出するため、対象物の影により、対象物と走路面の接点との輝度差がない場合など、対象物と走路面との接点を検出することができず、自車両と対象物との距離が算出できないことがあった。
本発明の目的は、自車両と対象物との距離を安価に算出することができる車載用距離算出装置を提供することにある。
上記課題を解決するため、本発明の車載用距離算出装置は、自車両の近傍を撮像する撮像手段と、この撮像手段の撮像画像から自車両との距離を算出する対象物についての特徴点を抽出する特徴点抽出手段と、特徴点の中から実空間上で走路面に存在する基準特徴点を抽出する基準特徴点抽出手段と、基準特徴点と特徴点の画像位置の時間的変化から、基準特徴点と特徴点の実空間位置を算出する実空間位置算出手段と、基準特徴点もしくは特徴点の実空間位置から、自車両と対象物との距離を算出する対象物距離算出手段とを有し、上記基準特徴点抽出手段において、上記画像の上記特徴点の近傍に複数の基準特徴点判定窓を配置し、上記基準特徴点判定窓内の画像輝度値の平均値と分散値に基づいて、上記基準特徴点を抽出するという構成になっている。
本発明によれば、自車両と対象物との距離を安価に算出することができる車載用距離算出装置を提供することができる。
以下、図面に基づき本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図1は、本発明の車載用距離算出装置の実施の形態の構成ブロックである。図1に示すようにカメラ1、車両センサ2、画像メモリ3、マイクロコンピュータ4、警報装置5が接続されている。
カメラ1は、自車両の所定位置、例えば車両前部に設けられ、自車両前方を撮像する。車両センサ2は、自車両の挙動ここでは自車両の速度、操舵角を計測する。画像メモリ3は、カメラ1から入力された信号をデジタル値に変換し保持する。マイクロコンピュータ4は、画像メモリ3に保持されたデジタル画像を入力し、自車両から前方の対象物(障害物)までの距離を算出する。また、マイクロコンピュータ4は、車両センサ2から入力された自車両速度、操舵角から所定時間後の自車両位置を予測し、前方の対象物に衝突するか否かの判断をする。警報装置5は、マイクロコンピュータ4で前方障害物と衝突すると判断された場合、例えばブザーを鳴らして警報する。
図2、図3は、本実施の形態においてマイクロコンピュータ4により抽出された特徴点から実空間の走路面上に存在する基準特徴点を抽出する基本原理を示す図である。図2は、カメラ1で撮像した画像上の対象物12とその影15を示す。図3(a)は、自車両10と先行車両11の走路面上の走行シーンを示し、(b)はそのときにカメラ1で撮像した撮像画像を示す。図2に示すように特徴点13の近傍に所定サイズの基準特徴点判定窓16を配置し(ここでは4個1組の構成となっている)、基準特徴点判定窓16内の画像輝度値の平均値と分散値を算出する。基準特徴点判定窓16bは走路面に投影された影であるため、走路面である基準特徴点判定窓16aと比較して平均輝度値は影によりオフセットして低くなり、分散値は同じ走路面(同じテクスチャ)であるため等しくなる。このようにして基準特徴点判定窓16の分散値が等しく、平均輝度値が走路面輝度と影によりオフセットしている輝度値に2極化している特徴点を抽出することで、対象物自体を含む特徴点から影の特徴点のみを抽出することができる。また、図3に示すように、自車両10の直前を基準走路面17とし、撮像画像から基準走路面17のパターンデータを記憶する。次に、このパターンと基準特徴点判定窓16の相関度が高いもののみを抽出することで、抽出された影の特徴点から走路面上にある影の特徴点のみ抽出できる。
図4〜図8は、本実施の形態において走路面上の対象物12の特徴点である基準特徴点14と、対象物12の特徴点13の画像上の座標から、実空間上の基準特徴点14と対象物12の特徴点13の位置関係を算出する基本原理を示している。
図4(a)、(b)はそれぞれ時刻T0と時刻T1における基準特徴点14と特徴点13の実空間位置と撮像画像座標を示し、図5(a)、(b)はそれぞれ上方から見た実空間位置と撮像画像座標の関係を示し、図6(a)、(b)はそれぞれ側方から見た実空間位置と撮像画像座標の関係を示し、図7は側方から見た実空間における基準特徴点14と特徴点13の時間的変化を示し、図8は側方から見た実空間における基準特徴点14と特徴点13の実空間位置を示す。
図4(a)に示すように時刻T0における対象物12の基準特徴点14の画像座標を(xbo,yb0)、実空間位置を(Xbo,Yb0,0)とし、対象物12の特徴点13の画像座標を(xfo,yf0)、実空間位置を(Xf0,Yf0,Zfo)とする。また、図4(b)に示すように時刻T1における対象物12の基準特徴点14の画像座標を(xb1,yb1)、実空間位置を(Xb1,Yb1,0)とし、対象物12の特徴点13の画像座標を(xf1,yf1)、実空間位置を(Xf1,Yf1,Zf1)とする。また、図5、図6より実空間における視軸からのずれ角(以下見え角と記す)(θx,θy)は画像位置(x,y)を用いて幾何学的に、以下のような式で表されることがわかる。
θx=f(x)
θy=g(y) …(2)
すなわち、視軸からのずれ画素−視軸からのずれ角の関係は、以下のような式で表される。
θx=2tan−1(Cx/2・F)/Pix・Px
θy=2tan−1(Cy/2・F)/Piy・Py
図7は時刻T0と時刻T1における基準特徴点14と特徴点13の実空間位置を示している。このように高さHに車載されたカメラ1から、実空間位置でdY離れた基準特徴点14と特徴点13を撮像した場合、時刻T0における基準特徴点14と特徴点13の実空間位置は、
θbT0=H/L …(3)
θfT0=(H−Z)/(L+dY) …(4)
となる。
また、これらの基準特徴点14と特徴点13が時刻T1までに相対距離dY移動した時の空間位置は、
θbT1=H/(L+dL) …(5)
θfT1=(H―Z)/(L+dY+dL) …(6)
となる。
また、式(2)より、全ての見え角θbT0,θfT0,θbT1,θfT1は撮像した画像座標から算出できる。さらに、カメラの設置高さHは既知であるため、式(3)(4)(5)(6)を用い、基準特徴点14と特徴点13の実空間位置差dYと高さZは、
dY=(θfT1/θbT1−θfT0/θbT0)/(θfT0−θfT1)・H …(7)
Z=(1−(θfT0・θfT1bT0−θbT1))/(θbT0・θbT1fT0−θfT1)))・H …(8)
となる。
図8は基準特徴点14と特徴点13のカメラ1の視軸から見て横方向の空間位置を示し、基準特徴点14と特徴点13の横位置X、Xおよび基準特徴点14と特徴点13の位置差dXは、
=L・tanθxb
=(L+dY)・tanθxf
dX=X−X
となり、(3)(7)式を代入することで算出できる。
すなわち、対象物12の走路面上の基準特徴点14と対象物12の特徴点13の時間的変化を計測することで、この2点の実空間的位置(配置)が算出できる。
図9は、以上述べた基本原理に従って対象物までの距離を算出する処理フローを示している。
S100はカメラ1から出力された信号をデジタル値に変換し保存してある画像メモリ2から画像輝度情報を読み出す処理である。
S101はS100で入力した画像輝度信号について縦方向と横方向のソベルフィルタをかけ、縦エッジ画像と横エッジ画像を算出する処理である。
S102はS101で算出された縦エッジ画像と横エッジ画像の交点を特徴点として抽出する処理である。
S103はS102で抽出された特徴点のフレーム間の動きに基づいて物体毎にラベルをつけるクラスタリング処理である。
S104はS103でクラスタリングされた物体毎に抽出された特徴点の中から走路面上に投影さえた影の交点である基準特徴点を抽出する処理である。
S105はS103でクラスタリングされた物体毎に、S104で抽出された基準特徴点と、S102で抽出されたそれ以外の特徴点の画像座標の時間的変化から実空間における基準特徴点の空間的位置を算出する処理である。
S106は既知のカメラの設置位置と、自車両直前の基準走路面(図3の17)と、S105で算出された対象物と走路面との接点である基準特徴点とを用いて、三角測量法により自車両から物体(対象物)までの距離を算出する処理である。
S107は車両センサ2から自車両の速度および操舵角度を入力する処理である。
S108はS107で入力した自車両挙動から所定時間後の自車両位置を算出する処理である。
S109はSS106で算出した物体までの距離と、S108で算出した自車両の所定時間後の位置から衝突するかどうか判定する処理である。
S110はS109で衝突すると判定した場合は、S111処理を実施する。S111はドライバに警報装置5のブザーで物体への衝突を警報する処理である。
以上説明したように、本実施の形態の車載用距離算出装置は、自車両の所定位置に配置され、自車両の近傍を撮像するカメラ1と、カメラ1により撮像された画像から、その近傍領域と輝度差が大きいなどの自車両との距離を算出する対象物についての特徴点を抽出するマイクロコンピュータ4と、上記マイクロコンピュータ4により抽出された特徴点の中から、実空間上で走路面に存在する基準特徴点を抽出する上記マイクロコンピュータ4と、基準特徴点と特徴点の画像位置の時間的変化から、基準特徴点と特徴点の実空間位置を算出する上記マイクロコンピュータ4と、上記マイクロコンピュータ4により算出された基準特徴点もしくは特徴点の実空間位置から、自車両と対象物との距離を算出する上記マイクロコンピュータ4とを有し(なお、マイクロコンピュータ4は通常1個である)、マイクロコンピュータ4において、画像の特徴点の近傍に複数の基準特徴点判定窓16を配置し、該基準特徴点判定窓16内の画像輝度値の平均値と分散値に基づいて、基準特徴点を抽出する。なお、マイクロコンピュータ4およびS102が特徴点抽出手段に、マイクロコンピュータ4およびS104が基準特徴点抽出手段に、マイクロコンピュータ4およびS105が実空間位置算出手段に、マイクロコンピュータ4およびS106が対象物距離算出手段に相当する。
このように対象物の特徴点の中から走路面上にある特徴点を基準特徴点とし、基準特徴点と特徴点の時間的変化に着目することで、単一カメラを用いてそれぞれの特徴点の空間的配置が算出できるため、自車両から対象物までの距離が安価に算出でき、また、システム構成も簡単である。
また、本車載用距離算出装置は、基準特徴点を抽出するマイクロコンピュータ4において、基準特徴点として対象物の走路面における影を抽出する。このように対象物の走路面への影を基準特徴点としているため、例えば車影によりタイヤが認識できない場合等、対象物と走路面との接点との輝度差がない場合でも、対象物と走路面の接点が検出できない場合でも、対象物までの距離を算出することができる。
なお、以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
本発明の実施の形態の車載用距離算出装置の構成を示すブロック図である。 本発明の実施の形態の車載用距離算出装置の基本原理を説明する図である。 本発明の実施の形態の車載用距離算出装置の基本原理を説明する図である。 本発明の実施の形態の車載用距離算出装置の基本原理を説明する図である。 本発明の実施の形態の車載用距離算出装置の基本原理を説明する図である。 本発明の実施の形態の車載用距離算出装置の基本原理を説明する図である。 本発明の実施の形態の車載用距離算出装置の基本原理を説明する図である。 本発明の実施の形態の車載用距離算出装置の基本原理を説明する図である。 本発明の実施の形態の車載用距離算出装置の動作の流れを説明するフローチャートである。
符号の説明
1…カメラ
2…車両センサ
3…画像メモリ
4…マイクロコンピュータ
5…警報装置
10…自車両
11…先行車両
12…対象物
13…特徴点
14…基準特徴点
15…対象物の影
16、16a、16b…基準特徴点判定窓
17…基準走路面

Claims (2)

  1. 自車両の所定位置に配置され、上記自車両の近傍を撮像する撮像手段と、
    上記撮像手段により撮像された画像から上記自車両との距離を算出する対象物についての特徴点を抽出する特徴点抽出手段と、
    上記特徴点抽出手段により抽出された上記特徴点の中から、実空間上で走路面に存在する基準特徴点を抽出する基準特徴点抽出手段と、
    上記基準特徴点と上記特徴点の画像位置の時間的変化から、上記基準特徴点と上記特徴点の実空間位置を算出する実空間位置算出手段と、
    上記実空間位置算出手段により算出された上記基準特徴点もしくは上記特徴点の上記実空間位置から、上記自車両と上記対象物との距離を算出する対象物距離算出手段とを有し、
    上記基準特徴点抽出手段において、上記画像の上記特徴点の近傍に複数の基準特徴点判定窓を配置し、上記基準特徴点判定窓内の画像輝度値の平均値と分散値に基づいて、上記基準特徴点を抽出することを特徴とする車載用距離算出装置。
  2. 上記基準特徴点抽出手段において、上記基準特徴点として上記対象物の上記走路面における影を抽出することを特徴とする請求項1記載の車載用距離算出装置。
JP2003271984A 2003-07-08 2003-07-08 車載用距離算出装置 Expired - Fee Related JP4144464B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003271984A JP4144464B2 (ja) 2003-07-08 2003-07-08 車載用距離算出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003271984A JP4144464B2 (ja) 2003-07-08 2003-07-08 車載用距離算出装置

Publications (2)

Publication Number Publication Date
JP2005030968A JP2005030968A (ja) 2005-02-03
JP4144464B2 true JP4144464B2 (ja) 2008-09-03

Family

ID=34209679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003271984A Expired - Fee Related JP4144464B2 (ja) 2003-07-08 2003-07-08 車載用距離算出装置

Country Status (1)

Country Link
JP (1) JP4144464B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011033594A (ja) 2009-08-06 2011-02-17 Panasonic Corp 車両用距離算出装置
EP2487907B1 (en) 2009-10-09 2018-09-12 Panasonic Intellectual Property Management Co., Ltd. Vehicle peripheral monitoring device
KR101276073B1 (ko) * 2011-01-27 2013-06-18 팅크웨어(주) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
JP5587250B2 (ja) * 2011-06-14 2014-09-10 本田技研工業株式会社 測距装置
JP5663411B2 (ja) * 2011-06-14 2015-02-04 本田技研工業株式会社 測距装置
EP3364336B1 (en) * 2017-02-20 2023-12-20 Continental Autonomous Mobility Germany GmbH A method and apparatus for estimating a range of a moving object

Also Published As

Publication number Publication date
JP2005030968A (ja) 2005-02-03

Similar Documents

Publication Publication Date Title
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
EP2463843B1 (en) Method and system for forward collision warning
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
JP7485612B2 (ja) 衝突前アラートを提供するためのマルチスペクトルシステム
JP3739693B2 (ja) 画像認識装置
JP4544028B2 (ja) 車載画像処理装置、および画像処理方法
WO2016117200A1 (ja) 車両用外界認識装置およびそれを用いた車両挙動制御装置
WO2010032523A1 (ja) 道路境界検出判断装置
JP7206583B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP6816401B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
EP3422293B1 (en) Mobile object
JP2013232091A (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP6769477B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6291866B2 (ja) 運転支援装置、および運転支援方法
CN107423675B (zh) 对陷阱和行人进行前部碰撞警告的先进警告系统
JP2018091652A (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム
JP4052291B2 (ja) 車両用画像処理装置
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP4144464B2 (ja) 車載用距離算出装置
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
JP6992356B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
Yang Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method
JP6812701B2 (ja) 画像処理装置、移動体機器制御システム、画像処理方法、及びプログラム
JP4321410B2 (ja) 物体検出装置、および方法
JP4069919B2 (ja) 衝突判定装置、および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070703

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080609

R150 Certificate of patent or registration of utility model

Ref document number: 4144464

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees