JP5330341B2 - 車載カメラを用いた測距装置 - Google Patents
車載カメラを用いた測距装置 Download PDFInfo
- Publication number
- JP5330341B2 JP5330341B2 JP2010194957A JP2010194957A JP5330341B2 JP 5330341 B2 JP5330341 B2 JP 5330341B2 JP 2010194957 A JP2010194957 A JP 2010194957A JP 2010194957 A JP2010194957 A JP 2010194957A JP 5330341 B2 JP5330341 B2 JP 5330341B2
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- point
- vehicle
- image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Description
本発明は、車載カメラによって取得した車両周辺の撮像画像を基に、該撮像画像中の移動物体の距離を測定する装置に関する。
車両の走行支援等を目的として、車両前部等に搭載される車載カメラによって車両周辺の撮像画像を取得し、その撮像画像を基に、車両の外部の静止物体に対する自車両の運動(車載カメラの運動)を把握したり、車両の外部の物体と自車両との距離を把握する技術が従来より知られている。
例えば特許文献1には、単一の車載カメラによって互いに異なる時刻で取得された2つの撮像画像を基に、道路平面に対する自車両の運動を把握する技術が開示されている。
また、例えば特許文献2には、単一の車載カメラによって互いに異なる時刻で取得された2つの撮像画像中の同一物体の距離(自車両との距離)を複数種類の値に仮定し、これらの各値の距離のうち、該距離と、一方の撮像画像とから推定される他方の撮像画像中での該物体の位置(これは互いに異なる時刻の2つの撮像画像をステレオ画像と見なして推定される)が、該他方の撮像画像中での該物体の実際位置に一致する距離を、該物体の距離として決定する技術が開示されている。
車両の走行支援技術において、車両とその外部の物体との接触を回避するための警報や車両の制動制御等を適切に行なうためには、一般に、車両の外部に存在する歩行者等の移動体(車両が走行する路面に対して移動する物体)と自車両との距離を適宜把握することが必要となる。
ここで、車載カメラによる撮像画像を利用した測距技術としては、車両に2台の車載カメラを搭載した場合には、それらの車載カメラによって同時に取得される2つの撮像画像(ステレオ画像)から三角測量の手法によって、車両の外部の物体の距離を測定する技術が一般に知られている。
但し、この測距技術では、2台の車載カメラを必要とするために、これらの車載カメラを含めた装置が高価なものとなり、コスト的に不利なものとなりやすい。また、物体の距離等を精度よく認識するためには、2台の車載カメラの光軸の向きや位置関係を高精度に設定しておく必要があるので、それらの車載カメラの組付け作業に手間がかかりやすい。
従って、単一の車載カメラによって時系列的に取得される撮像画像を基に、車両の外部の移動体の距離を測定し得る技術が望まれる。
この場合、前記特許文献1、2に見られる如き従来の技術は、車両の運動や、車両からの物体の距離を把握するために用いる物体の撮像画像が、路面に対して静止した静止物体であることを前提とする技術である。このため、前記特許文献1、2に見られる如き従来の技術は、車両が走行する路面に対して移動する移動体の距離を、単一の車載カメラによって取得される撮像画像から測定することができないものとなっていた。
本発明はかかる背景に鑑みてなされたものであり、単一の車載カメラによって取得される撮像画像を基に、車両の外部の移動体と自車両との間の距離を測定することできる測距装置を提供することを目的とする。
本発明の車載カメラを用いた測距装置は、2つの態様があり、その第1の態様は、車両周辺を撮像する車載カメラによって互いに異なる時刻に取得された2つの撮像画像である第1撮像画像及び第2撮像画像を基に、車両の外部で路面上を移動可能な移動体と該車両との間の距離を測定する測距装置であって、前記第1撮像画像及び第2撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータを計測するカメラ運動計測手段と、前記第1撮像画像及び第2撮像画像のうちの第1撮像画像から前記車両との間の距離を測定しようとする前記移動体を抽出し、該移動体の路面に対する接地点を該第1撮像画像に投影してなる点である画像上移動体接地点を特定する画像上移動体接地点特定手段と、前記車両からの距離が前記特定された画像上移動体接地点に対応する前記移動体の接地点と同一の距離となる位置に存在し、且つ、前記第1撮像画像及び第2撮像画像において、前記路面に対して静止した物体に含まれる互いに同一の特徴点である静止特徴点を前記第1撮像画像及び第2撮像画像から抽出する静止特徴点抽出手段と、前記第1撮像画像における前記静止特徴点の位置と前記第2撮像画像における前記静止特徴点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記静止特徴点と前記車両との間の距離を算出し、該算出した距離を前記移動体と前記車両との間の距離の測定値として決定する移動体距離算出手段とを備えることを特徴とする。
かかる第1の態様の本発明によれば、前記第1撮像画像及び第2撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータが前記カメラ運動計測手段により計測される。該カメラ運動パラメータは、車載カメラの並進運動の移動方向(車載カメラの基準点の移動方向)と該車載カメラの姿勢の角度変化量とを特定し得るパラメータであればよく、例えば、該移動方向を示す並進ベクトルと、該角度変化量による回転変換を表す回転行列とを用いることができる。
また、前記第1撮像画像において、車両との間の距離を測定しようとする移動体の路面に対する接地点を該第1撮像画像に投影してなる画像上移動体接地点が前記画像上移動体接地点特定手段によって特定される。
さらに、前記車両からの距離が前記特定された画像上移動体接地点に対応する前記移動体の接地点と同一の距離となる位置に存在し、且つ、前記第1撮像画像及び第2撮像画像において、前記路面に対して静止した物体に含まれる互いに同一の特徴点である静止特徴点が、前記静止特徴点抽出手段によって前記第1撮像画像及び第2撮像画像から抽出される。
ここで、各撮像画像から抽出される上記静止特徴点は、換言すれば、前記路面に対して静止した実際の物体に含まれる、ある1つの点(実空間上の点)を、各撮像画像に投影してなる点であり、且つ、各撮像画像において、ある特徴(輝度成分やエッジ形状等の特徴)を有する点であり、且つ、該静止特徴点に対応する実際の物体上での点と前記車両との距離が、前記特定された画像上移動体接地点に対応する前記移動体の実際の接地点の距離(前記車両との距離)と同一になるような各撮像画像上の点を意味する。なお、前記路面に対して静止した物体は、路面と異なる物体である必要はなく、該路面そのものであってもよい。
そして、このような静止特徴点が、その特徴などに基づいて、第1撮像画像と第2撮像画像との両方から抽出される。
補足すると、車両に対する車載カメラの搭載位置及び姿勢はあらかじめ定まっているので、第1撮像画像における上記静止特徴点は、例えば、該第1撮像画像上で前記移動体接地点を通って所定の方向(車両に対する車載カメラの搭載位置及び姿勢に応じて規定される方向)に延在する直線上に存在する路面上の特徴点(路面に含まれる特徴点)として抽出することが可能である。そして、この場合、第2撮像画像における上記静止特徴点は、例えば特徴点マッチングの手法によって、第2撮像画像から抽出することが可能である。
次いで、前記移動体距離算出手段の処理が実行され、前記第1撮像画像における前記静止特徴点の位置と前記第2撮像画像における前記静止特徴点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記静止特徴点と前記車両との間の距離が算出される。
すなわち、第1撮像画像と第2撮像画像とをステレオ画像として用いるモーションステレオの手法によって、これらの撮像画像における静止特徴点に対応する実空間上の点と前記車両との間の距離が算出される。
この場合、前記第1撮像画像における前記静止特徴点の位置と前記第2撮像画像における前記静止特徴点の位置との間の位置偏差がステレオ画像における視差に相当するものとして使用されることとなる。また、第1撮像画像及び第2撮像画像のそれぞれの撮像時刻における前記車載カメラ間の相対的な位置及び姿勢関係が、前記計測されたカメラ運動パラメータとに基づいて把握され、その把握される位置及び姿勢関係が、ステレオ画像における2台のカメラ間の相対的な位置及び姿勢関係に相当するものとして使用されることとなる。
ここで、静止特徴点に対応する実空間上の点は、路面に対して静止した点であるので、撮像時刻が異なる第1撮像画像及び第2撮像画像から、モーションステレオの手法によって、該点と、車両との間の距離を適切に算出することができる。
そして、該静止特徴点に対応する実空間上の点は、前記車両との間の距離が、前記第1撮像画像の撮像時刻において、前記移動体の接地点と前記車両との間の距離に一致するような点である。従って、該静止特徴点に対応する実空間上の点と前記車両との間の距離をモーションステレオの手法によって算出することによって、前記第1撮像画像の撮像時刻における前記移動体の接地点と車両との間の距離、すなわち、該移動体と車両との間の距離を間接的に測定できることとなる。
従って、第1の態様の本発明によれば、第1撮像画像の撮像時刻における前記移動体の接地点と前記車両との間の距離を、前記静止特徴点に対応する実空間上の静止点と車両との間の距離に置き換えて、該静止特徴点に対応する実空間上の静止点と車両との間の距離をモーションステレオの手法により算出することによって、該移動体と車両との間の距離が間接的に測定されることとなる。
これにより、第1の態様の本発明によれば、単一の車載カメラによって取得される撮像画像を基に、車両の外部の移動体と自車両との間の距離を測定することできる。
次に、第2の態様の本発明は、車両周辺を撮像する車載カメラによって互いに異なる時刻に取得された2つの撮像画像である第1撮像画像及び第2撮像画像を基に、車両の外部で路面上を移動可能な移動体と該車両との間の距離を測定する測距装置であって、前記第1撮像画像及び第2撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータを計測するカメラ運動計測手段と、前記第1撮像画像及び第2撮像画像のうちの第1撮像画像から前記車両との間の距離を測定しようとする前記移動体を抽出し、該移動体の路面に対する接地点を該第1撮像画像に投影してなる点である画像上移動体接地点を特定する画像上移動体接地点特定手段と、前記第1撮像画像における前記移動体が存在する路面と前記第2撮像画像における前記移動体が存在する路面との間の射影変換を表す投影行列を前記計測されたカメラ運動パラメータを用いて算出する投影行列算出手段と、前記第1撮像画像における前記特定された画像上移動体接地点を、前記算出された投影行列により前記第2撮像画像上の点に変換してなる変換接地点を算出する変換接地点算出手段と、前記第1撮像画像における前記画像上移動体接地点の位置と前記第2撮像画像における前記変換接地点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記移動体の接地点と前記車両との間の距離を算出し、該算出した距離を前記移動体と前記車両との間の距離の測定値として決定する移動体距離算出手段とを備えることを特徴とする。
かかる第2の態様の本発明によれば、前記第1撮像画像及び第2撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータが、前記第1の態様と同様に前記カメラ運動計測手段により計測される。
また、前記第1撮像画像において、車両との間の距離を測定しようとする移動体の路面に対する接地点を該第1撮像画像に投影してなる画像上移動体接地点が、第1の態様と同様に前記画像上移動体接地点特定手段によって特定される。
さらに、前記第1撮像画像における前記移動体が存在する路面と前記第2撮像画像における前記移動体が存在する路面との間の射影変換を表す投影行列(ホモグラフィ行列)が、前記投影行列算出手段によって算出される。
ここで、前記投影行列(ホモグラフィ行列)は、換言すれば、第1撮像画像における路面の任意の点の該第1撮像画像での位置と、それに対応する第2撮像画像における路面上の点の該第2撮像画像での位置との間の座標変換を行なう行列である。
このような投影行列は、第1撮像画像の撮像時刻における車載カメラと第2撮像画像の撮像時刻における車載カメラとの間の相対的な位置、姿勢及び路面の法線ベクトルに依存するので、前記計測されたカメラ運動パラメータを用いることで算出することができる。例えば、後述する式(1)により投影行列を算出することができる。
次いで、前記算出された投影行列により前記第2撮像画像上の点に変換してなる変換接地点が、前記変換接地点算出手段によって算出される。このように算出される変換接地点は、第1撮像画像の撮像時刻において前記移動体の接地点となる路面上の点(路面に含まれる点)を、第2撮像画像の撮像時刻において該撮像画像に投影してなる点の推定位置を示すものとしての意味を持つ。
次いで、前記移動体距離算出手段の処理が実行され、前記第1撮像画像における前記画像上移動体接地点の位置と前記第2撮像画像における前記変換接地点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記移動体の接地点と前記車両との間の距離が算出される。
すなわち、第1撮像画像と第2撮像画像とをステレオ画像として用いるモーションステレオの手法によって、第1撮像画像における画像上移動体接地点と第2撮像画像における変換接地点とに対応する実空間上の点(第1撮像画像の撮像時刻において前記移動体の接地点となる路面上の静止点)と前記車両との間の距離が算出される。
この場合、前記第1撮像画像における画像上移動体接地点に位置と、前記第2撮像画像における変換接地点の位置との間の位置偏差がステレオ画像における視差に相当するものとして使用されることとなる。また、前記第1の態様と同様に、第1撮像画像及び第2撮像画像のそれぞれの撮像時刻における前記車載カメラ間の相対的な位置及び姿勢関係が、前記計測されたカメラ運動パラメータとに基づいて把握され、その把握される位置及び姿勢関係が、ステレオ画像における2台のカメラ間の相対的な位置及び姿勢関係に相当するものとして使用されることとなる。
ここで、前記画像上移動体接地点及び変換接地点に対応する実空間上の点は、路面上の点(路面に含まれる点)であるので、撮像時刻が異なる第1撮像画像及び第2撮像画像から、モーションステレオの手法によって、該点と、車両との間の距離を適切に算出することができる。
そして、前記画像上移動体接地点及び変換接地点に対応する実空間上の点は、第1撮像画像の撮像時刻において前記移動体の接地点となる点であるので、該画像上移動体接地点及び変換接地点に対応する実空間上の点と前記車両との間の距離をモーションステレオの手法によって算出することによって、前記第1撮像画像の撮像時刻における前記移動体の接地点と車両との間の距離、すなわち、該移動体と車両との間の距離を間接的に測定できることとなる。
従って、第2の態様の本発明によれば、第1撮像画像の撮像時刻において前記移動体の接地点となる路面上の点と車両との間の距離をモーションステレオの手法により算出することによって、該移動体と車両との間の距離が間接的に測定されることとなる。
これにより、第2の態様の本発明によれば、第1の態様と同様に、単一の車載カメラによって取得される撮像画像を基に、車両の外部の移動体と自車両との間の距離を測定することできることとなる。
さらに、第2の態様の本発明によれば、第1撮像画像における画像上移動体接地点に対応する第2撮像画像における点としての変換接地点は、第2撮像画像における探索処理を必要とすることなく決定される。このため、第2撮像画像における変換接地点に相当する点及びその周辺の画像が格別な特徴を持たないような場合、あるいは、該変換接地点が第2撮像画像上で他の物体の背後に隠れてしまうような場合であっても、第1撮像画像画像における画像上移動体接地点に対応する第2撮像画像における点としての変換接地点を確実に特定できることとなる。
ひいては、高いロバスト性で安定に、第1撮像画像における画像上移動体接地点と、それに対応する第2撮像画像における点としての変換接地点との組を取得することができる。その結果、高いロバスト性で安定に、前記移動体と車両との距離を測定できることとなる。
[第1実施形態]
本発明の第1実施形態を図1〜図4を参照して説明する。
本発明の第1実施形態を図1〜図4を参照して説明する。
図1を参照して、本実施形態の測距装置1は、車両(図示省略)に搭載されたものであり、車載カメラ2と、演算処理ユニット3とを備える。
車載カメラ2は、車両の周辺、例えば車両の前方を監視するために車両の前部に搭載されており、車両前方の画像を撮像する。この車載カメラ2は、CCDカメラ等により構成され、撮像画像の画像信号を生成して出力する。なお、撮像画像は、カラー画像、モノトーン画像のいずれであってもよい。また、車載カメラ2は、車両の後方又は側方の画像を撮像するカメラであってもよい。
演算処理ユニット3は、図示を省略するCPU、RAM、ROM、インターフェース回路等を含む電子回路ユニットであり、車載カメラ2で生成された画像信号が入力されると共に、図示しない車速センサで検出された車両の車速が入力される。
この演算処理ユニット3は、実装されたプログラムを実行することによって実現される機能として、画像取得部4、カメラ運動推定部5、画像上移動体接地点特定部6、第1画像側路面静止点探索部7、第2画像側路面静止点探索部8、及び移動体距離算出部9を備える。該演算処理ユニット3は、所定の演算処理周期でこれらの各機能部の処理を逐次実行することによって、車載カメラ2の撮像画像中に含まれる所定種類の移動体の自車両との間の距離(車両の進行方向の距離)を逐次測定する。
以下に、演算処理ユニット3の各機能部の処理を含めて、該演算処理ユニット3の全体処理の詳細を説明する。
車載カメラ2は、演算処理ユニット3から所定の演算処理周期で指示されるタイミングで車両前方の画像を撮像する。そして、その撮像により生成された画像信号が、車載カメラ2から演算処理ユニット3の画像取得部4に逐次取り込まれる。この画像取得部4は、車載カメラ2から入力されるアナログ信号である画像信号(各画素毎の画像信号)をデジタルデータに変換し、図示しない画像メモリに記憶保持する。
この場合、車載カメラ2によって互いに異なる時刻(所定の演算処理周期の時間間隔毎の時刻)で撮像された2つの撮像画像が定期的に更新されつつ、画像メモリに記憶保持される。
以降の説明では、画像メモリに記憶保持される2つの撮像画像のうち、撮像時刻の遅い方の(最新の)撮像画像を第1撮像画像、撮像時刻の早い方の撮像画像(第1撮像画像よりも若干、早い時刻で撮像された撮像画像)を第2撮像画像という。そして、第1撮像画像及び第2撮像画像のそれぞれの撮像時刻を時刻t1、t2(t1>t2)とする。
画像取得部4の処理によって画像メモリに記憶保持された2つの撮像画像(第1撮像画像、第2撮像画像)は、カメラ運動推定部5に与えられ、該カメラ運動推定部5の処理が実行される。
カメラ運動推定部5は、本発明におけるカメラ運動計測手段としての機能を有するものである。このカメラ運動推定部5は、与えられた2つの撮像画像から、例えば、Structure from Motion(以下SfMという)に基づく公知の手法を用いて、2つの撮像画像の撮像時刻t1,t2間の時間間隔における車載カメラ2の空間的な移動方向を示す並進ベクトルTvと、該時間間隔における車載カメラ2の空間的な姿勢の角度変化量を示す回転行列Rとの組(Tv,R)を、該時間間隔における車載カメラ2の運動(並進運動及び回転運動)を表すカメラ運動パラメータとして算出する。
図2を参照して、上記並進ベクトルTvは、撮像時刻t1での車載カメラ2の光学中心C1と撮像時刻t2での車載カメラ2の光学中心C2とを結ぶ直線と同方向のベクトルであり、回転行列Rは、撮像時刻t1での車載カメラ2のカメラ座標系(時刻t1でのXYZ座標系)と、撮像時刻t2での車載カメラ2のカメラ座標系(時刻t2でのXYZ座標系)との間の姿勢回転の座標変換を表す行列である。なお、カメラ座標系は、車載カメラ2に対して固定された座標系である。
これらの並進ベクトルTvと回転行列Rとは、第1撮像画像における静止物体の特徴点と、第2撮像画像における該静止物体の特徴点とから得られるオプティカルフローに関するSfMに基づく公知の手法(例えば、「Structure from Motion without Correspondence」/Frank Dellaert, Steven M.Seitz, Charles E.Thorpe, Sebastian Thrun/Computer Sience Department & Robotics Institute Canegie Mellon University, Pittsborgh PA 15213を参照)によって算出される。
なお、上記SfM以外の手法を用いて、カメラ運動パラメータ(Tv,R)を求めるようにしてもよい。例えば、所謂、直接法(Direct Method)を用いてカメラ運動パラメータを算出するようにしてもよい。あるいは、ジャイロセンサー等のセンサの検出信号を用いてカメラ運動パラメータを求めるようにしてもよい。
また、画像取得部4の処理によって画像メモリに記憶保持された2つの撮像画像のうちの第1撮像画像が画像上移動体接地点特定部6と第1画像側路面静止点探索部7とに与えられ、該画像上移動体接地点特定部6及び第1画像側路面静止点探索部7の処理が順次実行される。
画像上移動体接地点特定部6は、本発明における画像上移動体接地点特定手段としての機能を有するものであり、与えられた第1撮像画像に、自車両との距離の測定対象とする所定種類の移動体(路面上を移動可能な所定種類の移動体)が含まれている場合に、該移動体を第1撮像画像から抽出する。そして、画像上移動体接地点特定部6は、第1撮像画像において、抽出した移動体の路面に対する接地点である画像上移動体接地点P(詳しくは、車両の外部の実空間における実際の移動体の接地点の第1撮像画像に対する投影点)を特定する。なお、上記路面は、車両の走行路の路面に限らず、歩道等の路面であってもよい。
さらに詳細には、本実施形態では、自車両との距離の測定対象とする所定種類の移動体は、例えば歩行者(人)である。そして、画像上移動体接地点特定部6は、第1撮像画像から、歩行者に特徴的な形状パターン等を有する画像部分を探索することで、該第1撮像画像に含まれる歩行者を抽出する。なお、撮像画像から、歩行者を探索する手法は種々様々な手法が公知となっており、その公知の手法を用いて第1撮像画像から歩行者を抽出するようにすればよい。
さらに画像上移動体接地点特定部6は、上記の如く抽出した第1撮像画像中の歩行者の実際の路面に対する接地点(図2に示す実空間上の点P。以降、実接地点Pという)を図2に示す如く第1撮像画像に投影してなる点P1を、該歩行者の画像上移動体接地点P1として特定する(第1撮像画像における画像上移動体接地点P1の位置を特定する)。この場合、例えば第1撮像画像中の歩行者の画像の最下点が該歩行者の画像上移動体接地点P1として特定される。
なお、歩行者の脚の先端部の画像が明瞭に得られないような場合には、例えば、該歩行者の体型が標準的な体型であると仮定して、第1撮像画像における該歩行者の頭部や肩部の位置から画像上移動体接地点P1の位置を推定するようにしてもよい。
図3は、車載カメラ2による撮像画像(第1撮像画像)の一例を示している。この撮像画像においては、四角枠で囲んだ領域Aに歩行者Mの画像が存在する。この場合、図中の点P1が第1撮像画像における歩行者の画像上移動体接地点P1として特定される。
上記の如く特定された画像上移動体接地点P1は、画像上移動体接地点特定部6から第1画像側路面静止点探索部7に与えられ、該第1画像側路面静止点探索部7の処理が次に実行される。
第1画像側路面静止点探索部7は、画像取得部4から与えられた第1撮像画像において、自車両との距離が前記画像上移動体接地点P1が特定された歩行者の実接地点Pと同一の距離となり、且つ、路面に対して静止した静止物体に含まれる点(図2に例示する点Q)を図2に示す如く第1撮像画像に投影してなる点Q1(以下、第1画像側路面静止点Q1という)を探索して抽出する。
より詳しくは、本実施形態では、実接地点Pが存在する路面そのものを上記静止物体として、第1撮像画像における該路面上で、自車両との距離が実接地点Pと同一の距離となる特徴点(より詳しくは、自車両との距離が実接地点Pと同一となる路面上のある点Q(実空間上の点)を第1撮像画像に投影してなる点で、且つ、第1撮像画像上である特徴を有する点)を探索し、その探索した特徴点を第1画像側路面静止点Q1として抽出する。
この場合、本実施形態では、車載カメラ2は、水平な路面上に車両が存在する状態において、撮像画像の横方向(カメラ座標系のX軸方向)が水平方向となると共に、車載カメラ2の光軸方向(カメラ座標系のZ軸方向)が車両前方に向かって水平方向に延在するように車載に搭載されている。
このため、第1撮像画像において、自車両との距離が実接地点Pと同一の距離となる点は、基本的には、図2及び図3に示す如く、実接地点Pの投影点である画像上移動体接地点P1を通って水平方向に延在する直線La上に存在すると考えられる。
そこで、第1画像側路面静止点探索部7は、この直線La上で路面上に存在する特徴点を探索する。例えば、図3に示す如く、路面の走行区分線(図3では白線)のエッジ点Q1が、直線La上の、走行区分線が存在すると予想される領域内で探索され、その探索されたエッジ点Q1が、第1画像側路面静止点Q1として抽出される。
なお、第1画像側路面静止点Q1は、走行区分線のエッジ点に限らず、例えば、路面の右側もしくは左側の境界上の点などであってもよい。該第1画像側路面静止点Q1は、自車両との距離が実接地点Pと同一の距離となる位置で路面に対して静止しており、且つ、第1撮像画像におけるその点及びその周辺の輝度成分や、色相成分、彩度成分、エッジ形状等の特徴に基づいて、他の点と区別して抽出し得る静止点であればよい。
以上の第1画像側路面静止点探索部7の処理によって抽出された第1画像側路面静止点Q1の位置(第1撮像画像上での位置)及び該Q1に関する特徴(例えばQ1の周辺の輝度分布等)は、第1画像側路面静止点探索部7から第2画像側路面静止点探索部8に与えられる。また、第2画像側路面静止点探索部8には、画像取得部4から第2撮像画像が与えられると共に、カメラ運動推定部5からカメラ運動パラメータ(Tv,R)が与えられる。そして、第2画像側路面静止点探索部8の処理が次に実行される。
この第2画像側路面静止点探索部8は、第2撮像画像内において、前記第1画像側路面静止点Q1に対応する特徴点(詳しくは、Q1に対応する実際の路面上の点Qを第2撮像画像に投影してなる点)を、所謂、特徴点マッチングの手法によって探索し、その探索した特徴点を第2画像側路面静止点Q2として抽出する。
例えば、第1撮像画像における第1画像側路面静止点Q1の周辺の輝度成分やエッジ形状等の特徴とほぼ一致する点が第2撮像画像において探索され、その探索された点が第2画像側路面静止点Q2として抽出される。
この場合、本実施形態では、第2画像側路面静止点探索部8は、上記の如く第2画像側路面静止点Q2を抽出した後に、第1画像側路面静止点Q1及び第2画像側路面静止点Q2に対応する実際の路面上の点Q(以降、実路面静止点Qという)が路面に対して実際に静止した静止点であるか否かの判断(確認)も行う。そして、この判断結果が否定的となる場合には、先に抽出された第1撮像画像上の点Q1とは異なる第1画像側路面静止点Q1を前記直線La上で探索して抽出する処理と、その新たに抽出されたQ1に対応する第2撮像画像上の第2画像側路面静止点Q2を探索して抽出する処理とが、それぞれ、第1画像側路面静止点探索部7と第2画像側路面静止点探索部8とにより改めて実行される。
上記判断は例えば次のように行なわれる。図2を参照して、第1撮像画像の撮像面におけるエピポール(光学中心C1,C2を結ぶ直線と該撮像面との交点)をEP1、第2撮像画像の撮像面におけるエピポール(光学中心C1,C2を結ぶ直線と該撮像面との交点)をEP2とおく。
この場合、実路面静止点Qが路面に対して実際に静止している点である場合には、その点を第1撮像画像及び第2撮像画像にそれぞれ投影してなる点Q1,Q2は、点Q,C1,C2を含む平面であるエピポーラ平面上に存在するので、実路面静止点Qの第1撮像画像への投影点としての第1画像側路面静止点Q1は、第2撮像画像側の点C2、Q2、EP2を含むエピポーラ平面と第1撮像画像の撮像面との交線であるエピポーラ線Lep1上に存在するはずである。あるいは、実路面静止点Qの第2撮像画像への投影点としての第2画像側路面静止点Q2は、第1撮像画像側の点C1、Q1、EP1を含むエピポーラ平面と第2撮像画像の撮像面との交線であるエピポーラ線Lep2上に存在するはずである。
そこで、本実施形態では、第2画像側路面静止点探索部8は、上記判断処理においては、まず、カメラ運動推定部5から与えられたカメラ運動パラメータ(Tv,R)を基に、点C1,C2を通る直線と第2撮像画像の撮像面との交点としての前記エピポールEP2を求める。
次いで、第2画像側路面静止点探索部8は、撮像時刻t2での車載カメラ2の光学中心C2と第2画像側路面静止点Q2とエピポールEP2との相互の位置関係から、点C1,Q2,EP2を含むエピポール平面を求め、さらに、このエピポール平面と、第1撮像画像の撮像面との交線を、第1撮像画像におけるエピポーラ線Lep1として算出する。
そして、第2画像側路面静止点探索部8は、このエピポーラ線Lep1上に第1画像側路面静止点Q1が存在するか否かを判断することによって、点Q1,Q2が同一のエピポーラ平面上に存在するか否かを判断する。これにより、第1画像側路面静止点Q1及び第2画像側路面静止点Q2に対応する実路面静止点Qが路面に対して実際に静止した静止点であるか否かが判断(確認)されることとなる。
なお、撮像時刻t1での車載カメラ2の光学中心C1と、第1画像側路面静止点Q1と、第1撮像画像におけるエピポールEP1とを含むエピポーラ平面を求め、このエピポーラ平面と第2撮像画像の撮像面との交線としてのエピポーラ線Lep2上に第2画像側路面静止点Q2が存在するか否かを判断することによって、点Q1,Q2が同一のエピポーラ平面上に存在するか否かを判断するようにしてもよく、つまりはエピポーラ拘束による関係から導かれればよい。
以上説明した第1画像側路面静止点探索部7及び第2画像側路面静止点探索部8の処理によって、図2に示す如く、撮像時刻が異なる第1撮像画像と第2撮像画像との2つの撮像画像において、路面上の同じ静止点(実路面静止点Q)に対応する第1画像側路面静止点Q1及び第2画像側路面静止点Q2が抽出されることとなる。
補足すると、本実施形態では、第1画像側路面静止点探索部7及び第2画像側路面静止点探索部8の処理によって、本発明における静止特徴点抽出手段が実現される。この場合、本実施形態では、第1画像側路面静止点Q1及び第2画像側路面静止点Q2がそれぞれ本発明における静止特徴点に相当する。
第1画像側路面静止点探索部7及び第2画像側路面静止点探索部8の処理によって上記の如く抽出された第1画像側路面静止点Q1及び第2画像側路面静止点Q2は、移動体距離算出部9に与えられる。また、移動体距離算出部9には、カメラ運動推定部5からカメラ運動パラメータ(Tv,R)が与えられると共に、図示しない車速センサで検出された車速が与えられる。そして、移動体距離算出部9の処理が次に実行される。
この移動体距離算出部9は、本発明における移動体距離算出手段としての機能を有するものであり、互いに異なる時刻t1,t2で撮像された第1撮像画像及び第2撮像画像をステレオ画像として用いるモーションステレオの手法によって、移動体接地点特定部6によって測定対象の移動体として抽出された歩行者Mと自車両との間の距離(以下、移動体距離という)を算出する。
ここで、図2を参照して、本実施形態では、第1撮像画像及び第2撮像画像において抽出される第1画像側路面静止点Q1及び第2画像側路面静止点Q2に対応する実路面静止点Qは、第1撮像画像の撮像時刻t1において、自車両からの距離が、歩行者Mの実接地点Pと同じ距離の位置に存在する点であるので、撮像時刻t1での実路面静止点Qと自車両との間の距離が、該撮像時刻t1での歩行者Mと自車両との間の距離(移動体距離)に一致することとなる。そして、実路面静止点Qは、路面に対して静止した静止点(不動点)であるから、第1撮像画像及び第2撮像画像をステレオ画像として用いるモーションステレオの手法によって、時刻t1での実路面静止点Qと自車両との間の距離を測定できる。
そこで、本実施形態では、移動体距離算出部9は、第1撮像画像及び第2撮像画像をステレオ画像として用いて、撮像時刻t1での実路面静止点Qと自車両との間の距離を算出し、その算出した距離を歩行者Mの移動体距離として決定する。
具体的には、移動体距離算出部9は、与えられたカメラ運動パラメータ(Tv,R)と、車速の検出値とに基づいて、撮像時刻t1での車載カメラ2と撮像時刻t2での車載カメラ2との間の相対的な位置及び姿勢関係を特定する。この場合、カメラ運動パラメータ(Tv,R)のうちの並進ベクトルTvによって表される車載カメラ2の移動方向と車速の検出値とから撮像時刻t1での車載カメラ2と撮像時刻t2での車載カメラ2との間の相対的な位置関係が特定される。また、カメラ運動パラメータ(Tv,R)のうちの回転行列Rによって、撮像時刻t1での車載カメラ2と撮像時刻t2での車載カメラ2との間の相対的な姿勢関係(姿勢の角度変化量)が特定される。このように特定される撮像時刻t1での車載カメラ2と撮像時刻t2での車載カメラ2との間の位置及び姿勢関係は、2台のステレオカメラの相互の位置及び姿勢関係に相当するものである。
そして、移動体距離算出部9は、このように特定した撮像時刻t1,t2の車載カメラ2の相対的な位置及び姿勢関係と、第1撮像画像上での第1画像側路面静止点Q1と第2撮像画像上での第2画像側路面静止点Q2との間の位置偏差(これはステレオ画像における視差に相当する)とから、モーションステレオの手法による公知の演算式によって、撮像時刻t1での実路面静止点Qと自車両との間の距離(車両の進行方向での距離)を算出し、その算出した距離を撮像時刻t1での歩行者M(移動体)の移動体距離として決定する。
なお、このように算出された移動体距離は、例えば、歩行者Mと自車両との将来の接触の可能性を判断したり、運転者に対する警報を行なうか否か、あるいは、歩行者Mとの接触を回避するための自車両の制動制御を行うか否か等を判断するために使用することができる。
以上が本実施形態における演算処理ユニット3が実行する処理の詳細である。かかる本実施形態によれば、自車両との距離を測定しようとする測定対象の移動体(歩行者M)の実接地点Pに対応する画像上移動体接地点P1が第1撮像画像において特定される。さらに、撮像時刻t1における自車両との距離が実接地点Pと同一となる実路面静止点Qを第1撮像画像及び第2撮像画像にそれぞれ投影してなる特徴点としての第1画像側路面静止点Q1と第2画像側路面静止点Q2とが、それぞれ第1撮像画像、第2撮像画像から抽出される。
そして、第1画像側路面静止点Q1と第2画像側路面静止点Q2との間の位置偏差と、撮像時刻t1,t2の車載カメラ2の相互の相対的な位置及び姿勢関係とに基づいて、モーションステレオの手法によって実路面静止点Qと自車両との距離が算出され、この算出された距離が測定対象の移動体(歩行者M)の移動体距離として決定される。
従って、撮像時刻t1での移動体(歩行者M)の移動体距離を、実路面静止点Qと自車両との間の距離に置き換えることによって、モーションステレオの手法を適用し、該移動体距離が間接的に測定されることとなる。
これにより、本実施形態によれば、単一の車載カメラ2によって取得される撮像画像を基に、移動体と自車両との距離をモーションステレオの手法を用いて測定できることとなる。
かかる本実施形態の測距装置1による移動体距離の実測データの例を図4に示す。この実測データは、移動体としての歩行者Mの移動方向、移動速度及び車速を種々様々な値に設定して、本実施形態の演算処理ユニット3の処理によって算出した移動体距離の測定値と、実際の移動体距離(移動体距離の真値)との関係を示すものである。この場合、図中の実線a1が、測定値と真値とが一致する場合のラインを示しており、2つの二点鎖線a2,a3の間の範囲が測定値の望ましい許容範囲の例を示している。
図示の如く、多くの測定点は許容範囲内に収まり、実線a1の近辺に分布している。従って、本実施形態の手法によって、移動体距離を適切に測定できることが判る。
[第2実施形態]
次に、本発明の第2実施形態を図5〜図7を参照して説明する。なお、本実施形態では、前記第1実施形態と相違する部分を中心に説明し、第1実施形態と同一の構成及び処理については詳細な説明を省略する。
次に、本発明の第2実施形態を図5〜図7を参照して説明する。なお、本実施形態では、前記第1実施形態と相違する部分を中心に説明し、第1実施形態と同一の構成及び処理については詳細な説明を省略する。
図5を参照して、本実施形態の測距装置11は、第1実施形態と同様に、車載カメラ2と演算処理ユニット3とを備える。この場合、車載カメラ2は、第1実施形態のものと同じである。
一方、演算処理ユニット3は、第1実施形態のものと同様の電子回路ユニットであるが、実装されるプログラムにより実現される機能の一部が第1実施形態と相違する。
すなわち、本実施形態の演算処理ユニット3は、その機能として、第1実施形態と同じ処理を実行する画像取得部4、カメラ運動推定部5、画像上移動体接地点特定部6及び移動体距離算出部9を備える一方、第1実施形態における第1画像側路面静止点探索部7及び第2画像側路面静止点探索部8の代わりに、投影行列算出部12及び変換接地点算出部13を備える。
以下に、上記投影行列算出部12及び変換接地点算出部13の処理を中心に、本実施形態における演算処理ユニット3の処理を説明する。
本実施形態では、画像取得部4、カメラ運動推定部5及び画像上移動体接地点特定部6の処理が第1実施形態と同様に実行された後、投影行列算出部12の処理が実行される。なお、投影行列算出部12の処理は、移動体接地点特定部6の処理の前に、あるいは、該処理と並行して実行するようにしてもよい。
この投影行列算出部12は、本発明における投影行列算出手段としての機能を有するものであり、第1撮像画像における路面(平面)の画像を、第2撮像画像における路面(平面)の画像に変換する射影変換を表す投影行列(ホモグラフィ行列)Hを算出する。投影行列Hは、換言すれば、第1撮像画像における路面の任意の点の該第1撮像画像での位置と、それに対応する第2撮像画像における路面上の点の該第2撮像画像での位置との間の座標変換を行なう行列である。
この投影行列Hは、第1撮像画像の撮像時刻t1での車載カメラ2のカメラ座標系(図6の時刻t1でのXYZ座標系)で見た路面の法線方向の単位ベクトルを↑n、第1撮像画像の撮像時刻t1での車載カメラ2の光学中心C1から第2撮像画像の撮像時刻t2での車載カメラ2の光学中心C2への移動ベクトル(C1に対するC2の位置ベクトル)を↑tv、撮像時刻t1での車載カメラ2の光学中心C1の路面からの高さ(以下、カメラ高という)をdとおくと、これらの↑n、↑tv及びdと前記カメラ運動パラメータのうちの回転行列Rとの間に次式(1)の関係が成立する行列である。なお、式(1)の↑n及び(↑n/d)は列ベクトル、↑tvは行ベクトルである。
H=R−(↑n/d)・↑tv ……(1)
そこで、投影行列算出部12は、上記式(1)に基づいて投影行列Hを算出する。この場合、その算出を行なうために、投影行列算出部12には、カメラ運動推定部5からカメラ運動パラメータ(Tv,R)が与えられると共に、図示しない車速センサにより検出された車速と、あらかじめメモリに記憶保持されたカメラ高dとが与えられる。
なお、メモリに記憶保持されたカメラ高dの値は、車両の設計上の値(設計値)、あるいは、車載カメラ2のエイミング等の際に実測された値である。
そして、本実施形態では、投影行列算出部12は、与えられたカメラ運動パラメータ(Tv,R)のうちの並進ベクトルTvと、車速の検出値とから、前記ベクトル↑tvを算出する。なお、この算出は、カメラ運動推定部5で行なうようにしてもよい。
さらに、投影行列算出部12は、上記ベクトル↑tvと、第1撮像画像の縦方向(図6の時刻t1でのカメラ座標系のY軸方向)が路面の法線方向に近似的に一致するものとしてあらかじめ決定された該法線方向の単位ベクトル↑n(図6の時刻t1でのカメラ座標系のY軸方向成分以外の成分値が“0”となる単位ベクトル)と、与えられたカメラ高dと、与えられたカメラ運動パラメータ(Tv,R)のうちの回転行列Rとから、上記式(1)の右辺の演算を行なうことによって投影行列Hを算出する。
なお、本実施形態では、路面の法線方向が第1撮像画像の縦方向(カメラ座標系のY軸方向)に近似的に一致するものとして上記単位ベクトル↑nを決定したが、車両のピッチ角(路面に対するピッチング方向の傾斜角)を計測する手段を車両に備えている場合には、路面の法線方向の精度をより一層高めるために、例えば、計測されたピッチ角だけカメラ座標系のY軸方向に対してピッチング方向(X軸周り方向)に傾いた方向を路面の法線方向として、上記単位ベクトル↑nを決定するようにしてもよい。この場合、車両のピッチ角の計測は、公知の手法等によって行なえばよい。
以上説明した投影行列算出部12の処理によって算出された投影行列Hは、変換接地点算出部13に与えられる。また、変換接地点算出部13には画像上移動体接地点特定部6から前記した如く特定された画像上移動体接地点P1が与えられる。そして、該変換接地点算出部13の処理が次に実行される。
この変換接地点算出部13は、本発明における変換接地点算出手段としての機能を有するものであり、与えられた移動体接地点P1を第2撮像画像上の点P2に変換する。この場合、具体的には、変換接地点算出部13は、次式(2)に示す如く、与えられた移動体接地点P1の位置(第1撮像画像上での位置)に、与えられた投影行列Hを乗じることによって、移動体接地点P1に対応する第2撮像画像上での点としての変換接地点P2の位置を算出する。
P2=H・P1 ……(2)
この演算は、換言すれば、第1撮像画像の撮像時刻t1において、移動体接地点P1として第1撮像画像に投影された路面上の実接地点P(静止物体である路面に含まれる点)を、第2撮像画像の撮像時刻t2において該第2撮像画像に投影してなる点P2の位置に変換する演算である。
この演算により、撮像時刻t1における移動体(歩行者M)の実接地点Pが、撮像時刻t2における第2撮像画像において格別な特徴を有しないような点となっていたり、あるいは、該第2撮像画像において歩行者Mの脚等、他の物体の背後に隠れてしまうような点となっていても、第1撮像画像における画像上移動体接地点P1に対応する実接地点Pの第2撮像画像への投影点としての変換接地点P2の位置を特定できることとなる。
本実施形態では、画像上移動体接地点特定部6により特定された画像上移動体接地点P1の位置(第1撮像画像上での位置)と、変換接地点算出部13により上記の如く算出された変換接地点P2の位置(第2撮像画像上での位置)とが第1実施形態における点Q1,Q2の代わりに、移動体距離算出部9に与えられる。
そして、該移動体距離算出部9においては、前記第1実施形態と同様に、移動体接地点P1と変換接地点P2との間の位置偏差と、撮像時刻t1,t2の車載カメラ2の相互の相対的な位置及び姿勢関係とに基づいて、モーションステレオの手法によって撮像時刻t1での歩行者Mの実接地点Pと自車両との距離が算出され、この算出された距離が測定対象の歩行者M(移動体)の移動体距離として決定される。この場合、撮像時刻t1,t2の車載カメラ2の相互の相対的な位置及び姿勢関係は、第1実施形態と同様に、カメラ運動パラメータ(Tv,R)と車速の検出値とに基づき特定される。
本実施形態では、以上説明した以外の演算処理ユニット3の処理は、前記第1実施形態と同じである。かかる本実施形態によれば、自車両との距離を測定しようとする測定対象の移動体(歩行者M)の実接地点Pを第1撮像画像に投影してなる移動体接地点P1が、該第1撮像画像において特定され、この移動体接地点P1を投影行列Hにより変換することによって、実接地点Pを第2撮像画像に投影してなる点の推定値としての変換接地点P2が算出される。
そして、移動体接地点P1と変換接地点P2との間の位置偏差と、撮像時刻t1,t2の車載カメラ2の相互の相対的な位置及び姿勢関係とに基づいて、モーションステレオの手法によって実接地点Pと自車両との距離が算出され、この算出された距離が測定対象の移動体(歩行者M)の移動体距離として決定される。
従って、撮像時刻t1での移動体(歩行者M)の移動体距離を、撮像時刻t1,t2の間の期間で路面に対して静止し、且つ、撮像時刻t1で実接地点Pに一致するような点と、自車両との間の距離に置き換えることによって、モーションステレオの手法を適用し、該移動体距離が間接的に測定されることとなる。
これにより、本実施形態によれば、第1実施形態と同様に、単一の車載カメラ2によって取得される撮像画像を基に、移動体と自車両との距離をモーションステレオの手法を用いて測定できることとなる。
加えて、本実施形態では、第1撮像画像における画像上移動体接地点P1に対応する実接地点Pを第2撮像画像に投影してなる点の推定値としての変換接地点P2は、第2撮像画像内で該変換接地点P2に相当する点を探索する処理を必要とすることなく前記式(2)の演算によって決定できる。
従って、第2撮像画像における該変換接地点P2及びその周辺での画像の輝度成分等が特徴を持たないような場合や、第2撮像画像上で該変換接地点P2が、他の物体の背後に隠れてしまうような場合であっても、該変換接地点P2を特定できることとなる。
従って、第1撮像画像での画像上移動体接地点P1を特定すれば、それに対応する第2撮像画像上の変換接地点P2を確実に特定できることとなる。ひいては、高いロバスト性で安定に移動体(歩行者M)と自車両との距離を測定できることとなる。
本実施形態の測距装置11による移動体距離の実測データの例を図7に示す。この実測データは、図4に示したものと同様に、移動体としての歩行者Mの移動方向、移動速度及び車速を種々様々な値に設定して、本実施形態の演算処理ユニット3の処理によって算出した移動体距離の測定値と、実際の移動体距離(移動体距離の真値)との関係を示すものである。この場合、図中の実線a1、二点鎖線a2,a3は、第1実施形態のものと同じである。
図示の如く、ほとんどの測定点が許容範囲内に収まり、しかも、実線a1に対する分散が十分に小さいものとなっている。従って、本実施形態の手法によって、移動体距離を高いロバスト性で精度よく測定できることが判る。
なお、以上説明した第1及び第2実施形態では、自車両との間の距離を測定しようとする測定対象の移動体を歩行者Mとした場合を例にとって説明したが、測定対象の移動体は歩行者以外の移動体、例えば、他の車両や自転車、あるいは、人以外の動物であってもよい。
また、前記第1及び第2実施形態では、2つの撮像画像のうち、撮像時刻の遅い方の撮像画像を第1撮像画像、撮像時刻の早い方の撮像画像を第2撮像画像として移動体と自車両との距離を測定する場合を例にとって説明したが、撮像時刻の早い方の撮像画像を第1撮像画像、撮像時刻の遅い方の撮像画像を第2撮像画像として、前記各実施形態と同様に移動体と自車両との距離を測定するようにしてもよい。
1,11…測距装置、2…車載カメラ、5…カメラ運動推定部(カメラ運動計測手段)、6…画像上移動体接地点特定部(画像上移動体接地点特定手段)、7…第1画像側路面静止点探索部(静止特徴点抽出手段)、8…第2画像側路面静止点探索部(静止特徴点抽出手段)、9…移動体距離算出部(移動体距離算出手段)、12…投影行列算出部(投影行列算出手段)、13…変換接地点算出部(変換接地点算出手段)。
Claims (2)
- 車両周辺を撮像する車載カメラによって互いに異なる時刻に取得された2つの撮像画像である第1撮像画像及び第2撮像画像を基に、車両の外部で路面上を移動可能な移動体と該車両との間の距離を測定する測距装置であって、
前記第1撮像画像及び第2撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータを計測するカメラ運動計測手段と、
前記第1撮像画像及び第2撮像画像のうちの第1撮像画像から前記車両との間の距離を測定しようとする前記移動体を抽出し、該移動体の路面に対する接地点を該第1撮像画像に投影してなる点である画像上移動体接地点を特定する画像上移動体接地点特定手段と、
前記車両からの距離が前記特定された画像上移動体接地点に対応する前記移動体の接地点と同一の距離となる位置に存在し、且つ、前記第1撮像画像及び第2撮像画像において、前記路面に対して静止した物体に含まれる互いに同一の特徴点である静止特徴点を前記第1撮像画像及び第2撮像画像から抽出する静止特徴点抽出手段と、
前記第1撮像画像における前記静止特徴点の位置と前記第2撮像画像における前記静止特徴点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記静止特徴点と前記車両との間の距離を算出し、該算出した距離を前記移動体と前記車両との間の距離の測定値として決定する移動体距離算出手段とを備えることを特徴とする車載カメラを用いた測距装置。 - 車両周辺を撮像する車載カメラによって互いに異なる時刻に取得された2つの撮像画像である第1撮像画像及び第2撮像画像を基に、車両の外部で路面上を移動可能な移動体と該車両との間の距離を測定する測距装置であって、
前記第1撮像画像及び第2撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータを計測するカメラ運動計測手段と、
前記第1撮像画像及び第2撮像画像のうちの第1撮像画像から前記車両との間の距離を測定しようとする前記移動体を抽出し、該移動体の路面に対する接地点を該第1撮像画像に投影してなる点である画像上移動体接地点を特定する画像上移動体接地点特定手段と、
前記第1撮像画像における前記移動体が存在する路面と前記第2撮像画像における前記移動体が存在する路面との間の射影変換を表す投影行列を前記計測された車載カメラの位置及び姿勢の変化量を用いて算出する投影行列算出手段と、
前記第1撮像画像における前記特定された画像上移動体接地点を、前記算出された投影行列により前記第2撮像画像上の点に変換してなる変換接地点を算出する変換接地点算出手段と、
前記第1撮像画像における前記画像上移動体接地点の位置と前記第2撮像画像における前記変換接地点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記移動体の接地点と前記車両との間の距離を算出し、該算出した距離を前記移動体と前記車両との間の距離の測定値として決定する移動体距離算出手段とを備えることを特徴とする車載カメラを用いた測距装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010194957A JP5330341B2 (ja) | 2010-08-31 | 2010-08-31 | 車載カメラを用いた測距装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010194957A JP5330341B2 (ja) | 2010-08-31 | 2010-08-31 | 車載カメラを用いた測距装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012052884A JP2012052884A (ja) | 2012-03-15 |
JP5330341B2 true JP5330341B2 (ja) | 2013-10-30 |
Family
ID=45906368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010194957A Expired - Fee Related JP5330341B2 (ja) | 2010-08-31 | 2010-08-31 | 車載カメラを用いた測距装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5330341B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5695000B2 (ja) * | 2012-08-13 | 2015-04-01 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP7225079B2 (ja) * | 2019-11-29 | 2023-02-20 | 日立Astemo株式会社 | 障害物認識装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3600314B2 (ja) * | 1995-05-19 | 2004-12-15 | 本田技研工業株式会社 | 車両の外部環境認識装置 |
JP4670303B2 (ja) * | 2004-10-06 | 2011-04-13 | ソニー株式会社 | 画像処理方法及び画像処理装置 |
JP2007199932A (ja) * | 2006-01-25 | 2007-08-09 | Toshiba Corp | 画像処理装置及びその方法 |
JP4869745B2 (ja) * | 2006-03-10 | 2012-02-08 | 富士通テン株式会社 | 俯角算出装置、俯角算出方法、俯角算出プログラムおよび画像処理装置 |
JP2009077022A (ja) * | 2007-09-19 | 2009-04-09 | Sanyo Electric Co Ltd | 運転支援システム及び車両 |
JP2009180536A (ja) * | 2008-01-29 | 2009-08-13 | Omron Corp | 画像処理装置、画像処理方法、およびプログラム |
US8860795B2 (en) * | 2008-10-28 | 2014-10-14 | Nec Corporation | Masquerading detection system, masquerading detection method, and computer-readable storage medium |
-
2010
- 2010-08-31 JP JP2010194957A patent/JP5330341B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012052884A (ja) | 2012-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5804185B2 (ja) | 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法 | |
US20170140229A1 (en) | External environment recognizing device for vehicle and vehicle behavior control device | |
US20180292201A1 (en) | Calibration apparatus, calibration method, and calibration program | |
JP2007129560A (ja) | 物体検出装置 | |
JP5663411B2 (ja) | 測距装置 | |
JP2007263669A (ja) | 3次元座標取得装置 | |
JP2014101075A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017504253A (ja) | 車両の外側寸法を監視するための方法ならびに装置 | |
US20170259830A1 (en) | Moving amount derivation apparatus | |
JP2009198445A (ja) | 対象物検出装置及び方法 | |
JP5539250B2 (ja) | 接近物体検知装置及び接近物体検知方法 | |
JP2015194397A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
JP5587250B2 (ja) | 測距装置 | |
JP2006350897A (ja) | 運動計測装置 | |
JP2009139324A (ja) | 車両用走行路面検出装置 | |
JP5330341B2 (ja) | 車載カメラを用いた測距装置 | |
JP6768554B2 (ja) | キャリブレーション装置 | |
JP2013186718A (ja) | 移動物体位置姿勢推定装置及び方法 | |
JP5425500B2 (ja) | キャリブレーション装置およびキャリブレーション方法 | |
JP2021148730A (ja) | 位置推定方法、位置推定装置、及び、プログラム | |
JP2005170290A (ja) | 障害物検出装置 | |
JP2013089111A (ja) | 車線監視システム及び車線監視方法 | |
JP6886136B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
JP2008108118A (ja) | 画像処理装置 | |
JP5272431B2 (ja) | 対象物測距装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130716 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130725 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |