JP5414673B2 - 車両走行環境検出装置 - Google Patents

車両走行環境検出装置 Download PDF

Info

Publication number
JP5414673B2
JP5414673B2 JP2010519626A JP2010519626A JP5414673B2 JP 5414673 B2 JP5414673 B2 JP 5414673B2 JP 2010519626 A JP2010519626 A JP 2010519626A JP 2010519626 A JP2010519626 A JP 2010519626A JP 5414673 B2 JP5414673 B2 JP 5414673B2
Authority
JP
Japan
Prior art keywords
vehicle
environment detection
change amount
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010519626A
Other languages
English (en)
Other versions
JPWO2010004689A1 (ja
Inventor
譲 中谷
良彦 宇津井
雄一郎 内垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2010519626A priority Critical patent/JP5414673B2/ja
Publication of JPWO2010004689A1 publication Critical patent/JPWO2010004689A1/ja
Application granted granted Critical
Publication of JP5414673B2 publication Critical patent/JP5414673B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、例えば、交差点やT字路等の地点情報、あるいは道路上における車両走行位置等の車両走行環境を検出する、車両走行環境検出装置に関する。
車両等に用いられる自律航法装置は、車速センサやGPS(Global Positioning System)、ジャイロセンサ等、各種センサを用いることにより自車位置を検出することが可能である。また、精度を必要とする場合には、更に、地図情報を用い、自車位置を地図情報と照合して補正するマップマッチング技術が多用される。
上記した自律航法装置による自車位置検出方法によれば、実際の自車位置との誤差が発生しうるため、自車位置が地図情報の経路からはずれる場合がある。特に、複雑な経路や交差点付近、T字路ではその影響が大きい。このため、車両に搭載されるナビゲーション装置では、より正確な案内、誘導を行なうために自車位置を補正する必要がある。
ところで、上記した自律航法装置における自車位置補正について、従来から多数の特許出願がなされている。例えば、車両に設置されたカメラの画像から特徴点を抽出し、車両の現在地を推定することで自車位置を補正する方法が知られている。具体的には、白線や道路標識等、特定の対象物を検出して現在位置を補正することができる(例えば、特許文献1参照)。
特開2004−45227号公報
上記した特許文献1に開示された技術によれば、車両走行中、赤外線カメラにより道路の端の白線を認識しながら走行し、白線が一定区間途切れた場合に交差点有りと判定して地図情報の最寄りの交差点に現在位置をマップマッチングしている。
しかしながら、特許文献1に開示されているように、ある特定の対象物を検出して現在位置を補正する方法によれば、例えば、白線が無い等、特定の対象物が存在しないエリアについては検出が不可能であり、この場合、自車位置を補正することができない。
この発明は、上記した課題を解決するためになされたものであり、白線や道路標識等、ある特定の対象物に依存することなく、交差点を含む、車両走行中における車両周辺の走行環境を検出可能な、車両走行環境検出装置を提供することを目的とする。
上記した課題を解決するためにこの発明の車両走行環境検出装置は、車両に設置されたカメラにより撮影される側方物体の画像を所定のサンプリング間隔で連続して取得する画像情報取得部と、前記画像情報取得部により取得される少なくとも2つの画像から前記画像の輝度が変化する部位を特徴点として抽出し、前記抽出された特徴点に基づき連続して取得される画像間での前記輝度の変化量を算出する変化量算出部と、前記変化量算出部により算出された前記輝度の変化量から前記車両周辺の走行環境を検出する環境検出部と、を備えたものである。
この発明の車両走行環境検出装置によれば、白線や道路標識等、ある特定の対象物に依存することなく、交差点を含む、車両走行中における車両周辺の走行環境を検出することができる。
この発明の実施の形態1に係る車両走行環境検出装置の内部構成を示すブロック図である。 この発明の実施の形態1に係る車両走行環境検出装置の動作原理を説明するために引用した図であり、車両が、交差点にさしかかる様子を示した模式図である。 この発明の実施の形態1に係る車両走行環境検出装置の動作原理を説明するために引用した図であり、側方カメラで撮影され取込まれた画像の一例を示す図である。 この発明の実施の形態1に係る車両走行環境検出装置の動作原理を説明するために引用した図であり、交差点を通過したときの画像上における移動速度と実車速度の変化を時系列にグラフ表示した図である。 この発明の実施の形態1に係る車両走行環境検出装置の動作を示すフローチャートである。 この発明の実施の形態2に係る車両走行環境検出装置の動作原理を説明するために引用した図であり、車両が道路の中央/左側/右側を走行している様子を示した模式図である。 この発明の実施の形態2に係る車両走行環境検出装置の動作を示すフローチャートである。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1に係る車両走行環境検出装置の内部構成を示すブロック図である。
ここでは、車両走行環境検出装置として、車両に搭載されたナビゲーション装置1を利用し、このナビゲーション装置1に画像処理装置3を接続し、例えば、車両の前方側面(フェンダー部分)に設置された側方カメラ2により撮影される沿道側方物体の画像を処理することで、特定の対象物に依存することなく車両走行中における周囲環境を検出する仕組みを提供している。なお、側方カメラ2は、既に車両の側面に取り付けられている監視モニタ等により代替してもよい。
図1に示されるように、ナビゲーション装置1は、制御部10を制御中枢とし、GPS受信機11と、車速センサ12と、表示部13と、操作部14と、記憶部15と、地図情報記憶部16と、位置補正部17とにより構成される。
GPS受信機11は、不図示のGPS衛星から信号を受信して車両の現在位置測位のための情報(緯度、経度、時間)を制御部10へ出力する。また、車速センサ12は、車速度を測定するための情報(車速パルス)を検知して制御部10へ出力する。
表示部13は、制御部10による制御の下、制御部10により生成出力される現在地表示、目的地設定、誘導、案内に関する情報を表示し、操作部14は、実装された各種スイッチ類による操作入力を取込んで制御部10にユーザ指示を伝達するとともにユーザインタフェースとしての役割を担う。表示部13と操作部14は、LCD(Liquid Crystal Display Device)タッチパネル等の表示入力装置で代替してもよい。なお、地図情報記憶部16には、地図情報の他に、施設情報等が格納されている。
記憶部15には、ナビゲーション装置1が、目的地誘導、案内等のナビゲーション機能を実現するための各種プログラムが格納されており、制御部10は、これらプログラムを読み出し、上記したGPS受信機11、車速センサ12、表示部13、操作部14、記憶部15、地図情報記憶部16、位置補正部17と情報交換を行うことでナビゲーション装置1が本来有する機能を実現する。
なお、位置補正部17は、GPS受信機11や車速センサ12等の自律航法装置により測位された車両の現在位置と、後述する画像処理装置3により検出される、例えば、交差点等の地点情報とを比較し、異なっていた場合に車両の現在位置を補正する機能を有する。詳細は後述する。
側方カメラ2は、市街地におけるビルや、郊外における牧場、山河等、車両走行中における沿道の不特定多数の側方物体を撮影する撮像装置であり、側方カメラ2で撮影された画像(動画)は、画像処理装置3に供給される。
画像処理装置3は、車両に設置された側方カメラ2により撮影される沿道の側方物体の画像を所定のサンプリング間隔で連続して取得し、取得される少なくとも2つの画像から変化量を算出し、算出された画像の変化量から車両走行中における周囲環境を検出する機能を有し、画像情報取得部31と、変化量算出部32と、環境検出制御部33と、環境検出部34とにより構成される。
画像情報取得部31は、側方カメラ2により撮影される沿道の側方物体の画像を所定のサンプリング間隔で連続して取得し、変化量算出部32、ならびに環境検出制御部33へ引き渡す。変化量算出部32は、環境検出制御部33によるシーケンス制御の下で、画像情報取得部31により取得される、少なくとも2つの画像から画像の変化量を算出し、環境検出制御部33経由で環境検出部34に引き渡す。
変化量算出部32は、環境検出制御部33によるシーケンス制御の下で、画像情報取得部31により取得される側方物体の画像の特徴点を抽出し、ここで抽出された特徴点に基づき連続した画像間での変化量を算出し、環境検出制御部33経由で環境検出部34に引き渡す。変化量算出部32は更に、画像の変化量と画像のサンプリング間隔とにより側方物体における特徴点の単位時間あたりの変化量である移動速度を算出し、環境検出制御部33経由で環境検出部34に引き渡す。
環境検出部34は、環境検出制御部33によるシーケンス制御の下で、変化量算出部32により算出された画像の変化量から車両周辺の走行環境を検出してナビゲーション装置1の制御部10へ出力する。ここで、環境検出部34で検出される車両周辺の走行環境とは、「車両の進行方向からみて側方に空間的に開けた地点情報(交差点、T字路、踏み切り等)」とする。
なお、環境検出制御部33は、画像処理装置3が、車両に設置された側方カメラ2により撮影される側方物体の画像を所定のサンプリング間隔で連続して取得し、取得される少なくとも2つの画像から画像の変化量を算出し、算出された画像の単位時間あたりの変化量から車両周辺の走行環境を検出するために、上記した画像情報取得部31、変化量算出部32、環境検出部34の動作シーケンスを制御する。
図2は、この発明の実施の形態1に係る車両走行環境検出装置の動作原理を説明するために引用した図であり、ここでは、車両20aが交差点へ進入する前の沿道の側方物体(ビル群)が示されている。
図2に示す例では、車両20aに側方カメラ2が取り付けられている。この場合の側方カメラ2の視野角はθで示されており、視野角θに含まれる領域が側方カメラ2による撮影領域となり、この撮影領域は、時間経過と共に車両の進行方向に遷移する。車両20bは、車両20aが所定時間経過後に交差点へ進入し、交差点を通過するときの様子を示したものである。
この発明の実施の形態1に係る車両走行環境検出装置は、車両20aが走行により車両20bで示す位置に移動した際、側方カメラ2で撮影された画像の変化量、もしくは単位時間あたりの変化量である画像の見かけ上の移動速度を画像処理により算出し、交差点、T字路、踏み切り等の地点検出を行なうものである。
図3(a)(b)は、この発明の実施の形態1に係る車両走行環境検出装置の動作原理を説明するために引用した図であり、図2の車両20a(20b)に取り付けられた側方カメラ2により撮影された画像の一例である。
図3(a)は、交差点進入前、図3(b)は交差点進入時における沿道側方物体の撮影画像を示す。
図3(a)(b)に示す画像を比較すると、交差点中央付近での画像(図3(b))は、交差点進入前の画像(図3(a))より、側方カメラ2前方の視界が開けた状態になっており、より遠方にある側方物体が画像として撮影されることになる。したがって、車両20bで撮影された画像の移動速度は、車両20aで撮影された画像の移動速度と比較して小さくなることが推定される。
この発明の実施の形態1に係る車両走行環境検出装置は、この移動速度の変化を利用することによって交差点を含む地点情報を検出し、更に、検出した地点情報に基づき自車位置を補正するものである。
図4は、この発明の実施の形態1に係る車両走行環境検出装置の動作原理を説明するために引用した図であり、車両20aが車両20bを経て交差点を通過する際の、画像の移動速度の変化をグラフ表示した図である。
ここでは、ナビゲーション装置1の車速センサ12により計測される実際の車速度Vと、画像処理(画像処理装置3の変化量算出部32)により算出される撮影画像の見かけ上の移動速度Vとを時間軸上にプロットして示してある。図4に示されるように、交差点通過地点(交差点通過時間帯領域x)における側方カメラ2による撮影画像の見かけ上の移動速度は、交差点通過前後に撮影される画像と比較して小さくなることが想定される。
図5は、この発明の実施の形態1に係る車両走行環境検出装置の動作を示すフローチャートである。図5に示すフローチャートによれば、側方カメラ2を起動してから、交差点を検出し、自車位置を補正するまでの処理の流れが詳細に示されている。
以下、図5に示すフローチャートを参照しながら、図1に示すこの発明の実施の形態1に係る車両走行環境検出装置の動作について詳細に説明する。
図5のフローチャートにおいて、まず、エンジンの始動に同期して側方カメラ2による側方物体の撮影が開始される(ステップST501)。このとき、画像処理装置3は、画像情報取得部31が、所定のサンプリング間隔で連続して画像を取り込み、ここで取込まれた画像を時系列(n>1)で変化量算出部32、および環境検出制御部33へ供給する(ステップST502、ST503“YES”)。
この時点で、ナビゲーション装置1の制御部10は、車速センサ12により計測される車速度情報に基づき、車両通過地点が交差点であると判断する基準となる閾値aを算出し、環境検出部34へ引き渡す(ステップST504)。
続いて、変化量算出部32は、画像情報取得部31が取込んだ画像nと直前に取込んだ画像n−1から画像の変化量を算出する(ステップST505)。ここで、画像の変化量の算出は、例えば、輝度変化が急峻な特徴点を抽出し、この特徴点となる画像を構成する画素毎の輝度絶対差分値の平均値、平均2乗誤差、あるいは相関値を求めることにより可能である。上記した方法によらず、画像間の差分を数値で表現できれば、その数値を画像変化量として扱ってよい。
変化量算出部32は、更に、上記により算出された画像の変化量と、時系列に連続した画像n−1のフレーム間隔(サンプリング時間)とから、画像の単位時間あたりの変化量である見かけ上の画像の移動速度を算出し、環境検出制御部33を経由して環境検出部34へ引き渡す(ステップST506)。
次に、環境検出制御部33は、変化量算出部32により算出された画像の見かけ上の移動速度が、閾値a以上であると判定された場合(ステップST507“NO”)、通過地点が交差点ではないと判断してステップST502に戻り、撮影画像の取り込み処理を繰り返す。また、環境検出制御部33は、変化量算出部32により算出された画像の見かけ上の移動速度が閾値a以下であると判定された場合(ステップST507“YES”)、通過地点が交差点であると判断し、その結果をナビゲーション装置1の制御部10に引き渡す。
続いて、制御部10は、画像処理装置3(環境検出部34)により引き渡される地点検出結果に基づき位置補正部17を起動する。
環境検出部34により車両が交差点を通過中であると判断された場合、位置補正部17は、環境検出部34により検出された地点情報と、GPS受信機11、車速センサ12を含む自律航法装置により検出された車両の現在位置とを比較する。ここで、異なっていると判定された場合、位置補正部17は、地図情報記憶部16に記憶された地図情報を参照することにより補正値を決定し(ステップST508)、ここで決定された補正値にしたがい車両の現在位置を補正し、制御部10を経由して表示部13に補正された車両の現在位置を表示する(ステップST509)。
なお、ここで、地点検出に用いられる閾値aは、実測データに基づき決定するのが適当であるが、交差点通過時の見かけ上の画像の移動速度は、実際の車速度の概略60%から70%程度低下すると予想し、これを閾値aとして用いても良い。
以上説明のように、この発明の実施の形態1に係る車両走行環境検出装置によれば、画像処理装置3が、車両に設置された側方カメラ2により撮影される側方物体の画像を所定のサンプリング間隔で連続して取得し、ここで取得された少なくとも2つの画像から画像の変化量を算出し、当該算出された画像の変化量から車両周辺の地点情報を検出することにより、白線や道路標識等、特定の対象物に依存することなく、交差点、T字路、踏み切りを含む、車両進行方向からみて側方に空間的に開けている地点情報を検出することが可能になる。また、検出した地点情報に基づき、車両の現在位置を補正することでマップマッチングの精度が向上し、信頼性の高いナビゲーションを行なうことができる。
なお、上記したこの発明の実施の形態1に係る車両走行環境検出装置によれば、見かけ上の移動速度を閾値aと比較することで地点を検出することとしたが、移動速度によらず、撮影される沿道の側方物体の変化量を用いても同様の作用効果が得られる。なお、この場合も移動速度同様、撮影される側方物体の実際の変化量である必要は無く、画像上の変化量、画像上の特定位置を基準とした相対値や変化量を基準とした相対値であっても良い。
実施の形態2.
上記した実施の形態1に係る車両走行環境検出装置は、車両走行中における車両周辺の環境として、交差点を含む地点情報を検出する例について説明したが、以下に説明する実施の形態2では、車両の両側面(例えば、左右のフェンダー部分)に、側方カメラ2a、2bをそれぞれ設置し、車両の左右の画像を同時に撮影し、取込むことで、側方カメラ2a、2bそれぞれにより撮影され、取込まれる側方物体の画像の変化量の変化を同時に追跡するものである。
この場合も実施の形態1同様、側方カメラ2a、2bで撮影された側方物体が遠方にあればあるほど、画像におけるその側方物体の変化量は小さくなる。このことを利用すれば、車両の左右の画像における側方物体の変化量の差から道路内における車両の走行位置を推定することができる。
図6(a)(b)(c)は、この発明の実施の形態2に係る車両走行環境検出装置の動作原理を説明するために引用した図である。
図6(a)は、車両20aが道路の中央を走行している場合の模式図であり、この場合、側方カメラ2a、2bのそれぞれにより撮影され取込まれる側方物体の変化量の差は比較的小さくなることが推定される。また、図6(b)は、車両20bが道路左側を走行している場合の模式図であり、この場合、左の側方物体の画像の変化量(左側方変化量)は、右の側方物体の画像の変化量(右側方変化量)と比較して大きくなることが推定される。図6(c)は、車両20cが道路右側を走行している場合の模式図であり、この場合、右側方変化量は、左側方変化量と比較して大きくなることが推定される。このことから、推定された道路内における車両位置を、自車位置表示、および自車位置補正に利用することができる。
図7は、この発明の実施の形態2に係る車両走行環境検出装置の動作を示すフローチャートである。図7に示すフローチャートによれば、側方カメラ2a、2bを起動してから、道路内における自車両位置を検出し、表示するまでの処理の流れが示されている。
なお、この発明の実施の形態2に係る車両走行環境検出装置としての構成は、側方カメラ2a、2bを車両に設置する以外、図1に示す実施の形態1と同様であるため、図1に示す構成を参照しながら説明する。
まず、エンジンの始動に同期して側方カメラ2a、2bによる側方物体の撮影が同時に開始される(ステップST701)。
画像処理装置3は、画像情報取得部31が、所定のサンプリング間隔で連続した画像を同じタイミングで取り込み、ここで取込んだ右側方物体の画像n、および左側方物体の画像mをそれぞれ時系列(n>1、かつ、m>1)で、変化量算出部32、および環境検出制御部33へ供給する(ステップST702、ST703)。
変化量算出部32は、画像情報取得部31が取込んだ画像nと直前に取込んだ画像n−1から右側側方画像の変化量を算出するとともに、画像情報取得部31が取込んだ画像mと直前に取込んだ画像m−1から左側側方画像の変化量を算出する(ステップST704)。
画像の変化量の算出は、実施の形態1における画像の変化量同様、輝度絶対差分値の平均値、平均2乗誤差、あるいは相関値等により、画像間の差分を数値で表現できれば、その数値を変化量として扱うことにより算出が可能である。
変化量算出部32は、更に、上記により算出されたこれら画像の変化量と、時系列に連続した画像n(m)とn−1(m−1)のフレーム間隔(サンプリング時間)とから、右側方移動速度Nと左側方移動速度Mのそれぞれを算出し、環境検出制御部33を経由して環境検出部34へ引き渡す(ステップST705)。
次に、環境検出部34は、車両の進行方向に直交する直線と沿道とが交差する位置から車両の右側方位置までの距離Xnを算出するにあたり、ナビゲーション装置1の制御部10経由で地図情報記憶部16に記憶された地図情報を参照して現在走行中の道路幅に関する情報Xを取得する。
続いて、環境検出部34は、変化量算出部32により算出された右側方移動速度Nと左側方移動速度Mの比と、車両の右側方距離Xnの逆数と左側方距離X−Xnの逆数の比は等しいと仮定したときの、車両の進行方向に直交する直線と沿道とが交差する位置から車両の右側方位置までの距離Xnを算出し、ナビゲーション装置1の制御部10に引き渡す(ステップST706)。
制御部10は、画像処理装置3(環境検出部34)により引き渡される情報(Xn)に基づき位置補正部17を起動する。
位置補正部17は、環境検出部34により検出された車両の道路上における走行位置(距離Xn)に基づき、制御部10を介して表示部13に対し、中央走行、左側走行、右側走行を含む、走行中の道路内にマッピングされた自車位置を詳細に表示する(ステップST707)。
以上説明のように、この発明の実施の形態2に係る車両走行環境検出装置によれば、画像処理装置3が、車両に設置された側方カメラ2a、2bにより撮影される左右側方物体の画像を同時に所定のサンプリング間隔で連続して取得し、当該取得した画像と直前に取込んだ画像とから右側方画像および左側方画像の変化量を算出するとともに、算出されたこれら画像の変化量と、時系列に連続した画像とのサンプリング間隔とから、右側方移動速度と左側方移動速度のそれぞれを算出し、車両の進行方向に直交する直線と沿道とが交差する位置から車両の側方位置までの距離を算出することにより、車両の道路上における走行位置を検出し、表示することで、マップマッチングの精度が向上し、信頼性の高いナビゲーションを行なうことができる。
なお、上記した実施の形態1、実施の形態2に係る車両走行環境検出装置によれば、車両に既設のナビゲーション装置1に対し、画像処理装置3を付加して車両走行環境検出装置を構成することとしたが、ナビゲーション装置1内に上記した画像処理装置3を組み込んで車両走行環境検出装置を構成してもよい。この場合、制御部10の負荷は増加するが、コンパクトな実装が可能になり、信頼性を向上させることができる。
また、図1に示す画像処理装置3が有する構成は、全てをソフトウェアによって実現しても、あるいはその少なくとも一部をハードウェアで実現してもよい。
例えば、画像情報取得部31が、車両に設置された側方カメラ2により撮影される側方物体の画像を所定のサンプリング間隔で連続して取得し、変化量算出部32が、画像情報取得部31により取得される少なくとも2つの画像から画像の変化量を算出し、あるいは、環境検出部34が、変化量算出部32により算出された画像の変化量から車両周辺の走行環境を検出する、それぞれのデータ処理は、1または複数のプログラムによりコンピュータ上で実現してもよく、また、その少なくとも一部をハードウェアで実現してもよい。
1 ナビゲーション装置、2 側方カメラ、2a 側方カメラ、2b 側方カメラ、3 画像処理装置、10 制御部、11 GPS受信機、12 車速センサ、13 表示部、14 操作部、15 記憶部、16 地図情報記憶部、17 位置補正部、20a 車両、20b 車両、20c 車両、31 画像情報取得部、32 変化量算出部、33 環境検出制御部、34 環境検出部。

Claims (9)

  1. 車両に設置されたカメラにより撮影される側方物体の画像を所定のサンプリング間隔で連続して取得する画像情報取得部と、
    前記画像情報取得部により取得される少なくとも2つの画像から前記画像の輝度が変化する部位を特徴点として抽出し、前記抽出された特徴点に基づき連続して取得される画像間での前記輝度の変化量を算出する変化量算出部と、
    前記変化量算出部により算出された前記輝度の変化量から前記車両周辺の走行環境を検出する環境検出部と、
    を備えたことを特徴とする車両走行環境検出装置。
  2. 前記変化量算出部は、
    前記画像情報取得部により取得された前記側方物体の画像の特徴点を抽出し、前記抽出された特徴点に基づき連続して取得される画像間での変化量を算出することを特徴とする請求項1記載の車両走行環境検出装置。
  3. 前記変化量算出部は、
    前記算出された輝度の変化量と前記画像のサンプリング間隔とにより前記側方物体の単位時間あたりの変化量を画像の変化速度として算出することを特徴とする請求項2記載の車両走行環境検出装置。
  4. 前記環境検出部は、
    前記車両の進行方向からみて側方に空間的に開けた地点情報を検出することを特徴とする請求項1記載の車両走行環境検出装置。
  5. 前記環境検出部は、
    前記変化量算出部により算出される前記特徴点の変化量もしくは変化速度と、前記変化量もしくは変化速度に対して設定される閾値とを比較して地点情報を検出することを特徴とする請求項記載の車両走行環境検出装置。
  6. 前記環境検出部により検出された地点情報と、自律航法装置により検出された前記車両の現在位置とを比較し、異なっていた場合に前記車両の現在位置を補正する位置補正部と、
    を備えたことを特徴とする請求項5記載の車両走行環境検出装置。
  7. 前記画像情報取得部は、
    前記車両に設置されたカメラにより側方物体の画像を左右同時に連続して取得し、
    前記変化量算出部は、
    前記車両の右側で連続して取得される画像間での前記輝度の変化量である右側方変化量および前記車両の左側で連続して取得される画像間での前記輝度の変化量である左側方変化量を算出し、
    前記環境検出部は、
    地図情報を参照して現在走行中の道路幅に関する情報Xを取得し、
    前記右側方変化量と前記左側方変化量と前記現在走行中の道路幅に関する情報Xとを用いて、前記車両の進行方向に直交する直線と沿道とが交差する位置から前記車両の側方位置までの距離を算出し、前記車両の道路上における走行位置を検出する
    ことを特徴とする請求項1記載の車両走行環境検出装置。
  8. 前記変化量算出部は、
    前記右側方変化量および前記左側方変化量と、前記取得した連続した画像のサンプリング間隔とにより前記特徴点の右側方移動速度Nと左側方移動速度Mとを算出し、
    前記環境検出部は、
    前記車両の進行方向に直交する直線と沿道とが交差する位置から前記車両の右側方位置までの距離Xnを算出するにあたり、
    前記右側方移動速度Nと前記左側方移動速度Mの比と、前記車両の右側方距離Xnの逆数と左側方距離X−Xnの逆数の比に等しいと仮定して前記Xnを算出する
    ことを特徴とする請求項7記載の車両走行環境検出装置。
  9. 前記環境検出部により検出された前記車両の道路上における走行位置に基づき前記車両の自車位置を表示装置に出力する位置補正部と、
    を備えたことを特徴とする請求項7記載の車両走行環境検出装置。
JP2010519626A 2008-07-07 2009-06-18 車両走行環境検出装置 Expired - Fee Related JP5414673B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010519626A JP5414673B2 (ja) 2008-07-07 2009-06-18 車両走行環境検出装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008176866 2008-07-07
JP2008176866 2008-07-07
JP2010519626A JP5414673B2 (ja) 2008-07-07 2009-06-18 車両走行環境検出装置
PCT/JP2009/002777 WO2010004689A1 (ja) 2008-07-07 2009-06-18 車両走行環境検出装置

Publications (2)

Publication Number Publication Date
JPWO2010004689A1 JPWO2010004689A1 (ja) 2011-12-22
JP5414673B2 true JP5414673B2 (ja) 2014-02-12

Family

ID=41506817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010519626A Expired - Fee Related JP5414673B2 (ja) 2008-07-07 2009-06-18 車両走行環境検出装置

Country Status (5)

Country Link
US (1) US20110109745A1 (ja)
JP (1) JP5414673B2 (ja)
CN (1) CN102084218A (ja)
DE (1) DE112009001639T5 (ja)
WO (1) WO2010004689A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
US20140379254A1 (en) * 2009-08-25 2014-12-25 Tomtom Global Content B.V. Positioning system and method for use in a vehicle navigation system
EP2551638B1 (en) * 2011-07-27 2013-09-11 Elektrobit Automotive GmbH Technique for calculating a location of a vehicle
JP5780307B2 (ja) * 2011-09-20 2015-09-16 トヨタ自動車株式会社 対象物変化検出装置および対象物変化検出方法
US10008002B2 (en) * 2012-02-28 2018-06-26 NXP Canada, Inc. Single-camera distance estimation
JP5910180B2 (ja) * 2012-03-06 2016-04-27 日産自動車株式会社 移動物体位置姿勢推定装置及び方法
JP5942822B2 (ja) * 2012-11-30 2016-06-29 富士通株式会社 交差点検出方法および交差点検出システム
GB201407643D0 (en) 2014-04-30 2014-06-11 Tomtom Global Content Bv Improved positioning relatie to a digital map for assisted and automated driving operations
EP3833004A1 (en) 2015-07-10 2021-06-09 Panasonic Intellectual Property Management Co., Ltd. Imaging device
EP3998456A1 (en) 2015-08-03 2022-05-18 TomTom Global Content B.V. Methods and systems for generating and using localisation reference data
WO2018139212A1 (ja) 2017-01-25 2018-08-02 パナソニックIpマネジメント株式会社 運転制御システムおよび運転制御方法
CN110361021B (zh) * 2018-09-30 2021-06-22 毫末智行科技有限公司 车道线拟合方法及系统
US10970878B2 (en) * 2018-12-13 2021-04-06 Lyft, Inc. Camera calibration using reference map
CN110996053B (zh) * 2019-11-26 2021-06-01 浙江吉城云创科技有限公司 一种环境安全检测方法、装置、终端及存储介质
JP2023078640A (ja) * 2021-11-26 2023-06-07 トヨタ自動車株式会社 車両撮影システムおよび車両撮影方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034769A (ja) * 1999-07-26 2001-02-09 Pioneer Electronic Corp 画像処理装置、画像処理方法及びナビゲーション装置
JP2007147458A (ja) * 2005-11-28 2007-06-14 Fujitsu Ltd 位置検出装置、位置検出方法、位置検出プログラムおよび記録媒体
JP2008059569A (ja) * 2006-07-28 2008-03-13 Honda Motor Co Ltd 接触時間算出装置及び接触時間算出方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3941252B2 (ja) * 1998-08-07 2007-07-04 マツダ株式会社 車両の位置検出装置
JP3958133B2 (ja) 2002-07-12 2007-08-15 アルパイン株式会社 車両位置測定装置および方法
JP4003623B2 (ja) * 2002-11-19 2007-11-07 住友電気工業株式会社 旋回可能な監視カメラを用いた画像処理システム
US7428997B2 (en) * 2003-07-29 2008-09-30 Microvision, Inc. Method and apparatus for illuminating a field-of-view and capturing an image
CN1579848A (zh) * 2003-08-15 2005-02-16 程滋颐 具有图像摄取和无线通讯功能的汽车防盗报警器
JP2006086933A (ja) * 2004-09-17 2006-03-30 Canon Inc 撮像装置及び制御方法
EP1811457A1 (en) * 2006-01-20 2007-07-25 BRITISH TELECOMMUNICATIONS public limited company Video signal analysis
CN100433016C (zh) * 2006-09-08 2008-11-12 北京工业大学 基于信息突变的图像检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034769A (ja) * 1999-07-26 2001-02-09 Pioneer Electronic Corp 画像処理装置、画像処理方法及びナビゲーション装置
JP2007147458A (ja) * 2005-11-28 2007-06-14 Fujitsu Ltd 位置検出装置、位置検出方法、位置検出プログラムおよび記録媒体
JP2008059569A (ja) * 2006-07-28 2008-03-13 Honda Motor Co Ltd 接触時間算出装置及び接触時間算出方法

Also Published As

Publication number Publication date
WO2010004689A1 (ja) 2010-01-14
JPWO2010004689A1 (ja) 2011-12-22
DE112009001639T5 (de) 2011-09-29
US20110109745A1 (en) 2011-05-12
CN102084218A (zh) 2011-06-01

Similar Documents

Publication Publication Date Title
JP5414673B2 (ja) 車両走行環境検出装置
US6249214B1 (en) Image processing apparatus, image processing method, navigation apparatus, program storage device and computer data signal embodied in carrier wave
KR100873474B1 (ko) 영상상의 교통 시설물의 픽셀 사이즈 및 위치를 이용한차량 위치 추정 장치 및 그 방법
KR101558353B1 (ko) 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치
US11519738B2 (en) Position calculating apparatus
KR20180088149A (ko) 차량 경로 가이드 방법 및 장치
US20100131190A1 (en) Navigation apparatus
US20080007428A1 (en) Driving support apparatus
US20100268452A1 (en) Navigation device, navigation method, and navigation program
KR100887721B1 (ko) 영상 차량 항법 장치 및 방법
CN104380137A (zh) 通过图像辅助的角度确定功能来间接测距的方法和手持测距设备
JP2009250718A (ja) 車両位置検出装置及び車両位置検出方法
KR20150054022A (ko) 헤드업 디스플레이를 이용한 차선변경 정보 표시 장치 및 방법
JP2014137321A (ja) 位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラム
JP2011149835A (ja) カーナビゲーション装置
JP4948338B2 (ja) 車間距離計測装置
US20090201173A1 (en) Driving support apparatus, a driving support method and program
JP2010281781A (ja) 走行車線検出装置
JP2007206014A (ja) ナビゲーション装置
KR20150056323A (ko) 헤드업 디스플레이를 이용한 길 안내 정보 표시 장치 및 방법
JP6597128B2 (ja) 車両用表示装置
JP2006153565A (ja) 車載ナビゲーション装置及び自車位置補正方法
US20230150499A1 (en) Vehicle control system and vehicle driving method using the vehicle control system
KR102239483B1 (ko) 차량의 맵매칭 방법 및 그 장치
US20230123039A1 (en) Vehicular positioning method and system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131112

R150 Certificate of patent or registration of utility model

Ref document number: 5414673

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees