JP6241172B2

JP6241172B2 - 自車位置推定装置及び自車位置推定方法

Info

Publication number: JP6241172B2
Application number: JP2013198029A
Authority: JP
Inventors: 田中　慎也; 慎也田中; 古性　裕之; 裕之古性
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2013-09-25
Filing date: 2013-09-25
Publication date: 2017-12-06
Anticipated expiration: 2033-09-25
Also published as: JP2015064735A

Description

本発明は、自車位置推定装置及び自車位置推定方法に関する。

従来より、車両の左右に搭載されたカメラを用いて走行道路の白線を認識し、白線内における車両の横位置・ヨー角を推定する技術が開示されている（特許文献１）。特許文献１では、カメラの撮像領域に含まれる白線と車両の前輪及び後輪の映像を基準にして、前輪及び後輪から白線までの距離を求め、白線内における車両の横位置、ヨー角を推定している。

特開２００１−２８３３９０号公報

しかしながら、上記従来技術は、画像中の白線と車輪等に基づいて車両の横位置、ヨー角を推定しているため、撮像した全ての画像に必ず白線が映っている必要があり、破線により一部の画像で白線が観測できない場合には推定できない、という問題がある。

本発明は、上記問題に鑑みてなされたものであり、その目的とするところは、撮像した画像のうち、一部の画像で白線を観測できない場合においても、白線内における車両の位置及び姿勢を推定することである。

本発明の一態様に係わる自車位置推定装置は、走行車線を区分する左右の白線を撮像した画像から白線のエッジを抽出する。また、抽出したエッジを画像上の座標と対応付けて保持し、保持したエッジを車速に応じた車両の移動量だけ車両進行方向反対側に移動して更新する。そして、保持するエッジから白線を認識し、認識した白線内における車両の位置及び姿勢を推定する。自車位置推定装置は、車速が所定の車速より大きい場合、現時刻の車両位置から第１の距離後方より後ろのエッジを消去し、車速が所定の車速以下の場合、現時刻の車両位置から第１の距離より短い第２の距離後方より後ろのエッジを消去する。

本発明によれば、撮像した画像のうち、一部の画像で白線を観測できなくても、保持するエッジから白線を認識できるため、認識した白線内における車両の位置及び姿勢を推定することができる。

図１は、本発明の第１実施形態に係る自車位置推定装置のシステム構成図である。図２は、本発明の第１実施形態に係る自車位置推定装置のシステムブロック図である。図３は、カメラの撮像領域を示す図である。図４は、魚眼レンズを用いたカメラで撮像した画像の一例を示す図である。図５は、撮像した画像からエッジを抽出する図である。図６は、エッジ座標を画像座標系から世界座標系へ変換する図である。図７は、エッジ座標の更新を説明する図である。図８は、白線の認識を説明する図である。図９は、高速走行時において白線を認識するために必要なエッジ座標を説明する図である。図１０は、低速走行時において白線を認識するために必要なエッジ座標を説明する図である。図１１は、エッジ座標の削除方法を説明する図である。図１２は、本発明の第１実施形態に係る自車位置推定方法の一例を示すフローチャートである。図１３は、本発明の第２実施形態に係るエッジ座標の削除方法を説明する図である。図１４は、本発明の第３実施形態に係る自車位置推定装置のシステムブロック図である。

以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。図面の記載において同一部分には同一符号を付し説明を省略する。

［第１実施形態］
図１は、本実施形態１に係る自車位置推定装置のシステム構成図である。自車位置推定装置は、フロントカメラ１０２と、右カメラ１０３と、左カメラ１０４と、計算機１０５と、車線逸脱防止警報システム１０６と、を備える。

フロントカメラ１０２は、車両１０１の前方に地面からの高さｈ１、水平から下向きに角度θ１の位置・姿勢で取り付けられている。右カメラ１０３及び左カメラ１０４は、車両１０１の側方に地面からの高さｈ２、水平から下向きに角度θ２の位置・姿勢で取り付けられている。これらのカメラは、例えばＣＣＤやＣＭＯＳなどの撮像素子を有したカメラであり、時間的に連続して撮像し、撮像した画像を出力する。また、これらのカメラは、広い検出エリアを確保するため、魚眼レンズ（または広角レンズ）を撮像素子の前面に取り付けた魚眼カメラである。なお、車両１０１の前方、側方だけでなく、後方にも同様のカメラを搭載してもよい。

計算機１０５は、ＣＰＵ、ＲＡＭ、ＲＯＭ、及び各種の操作子等からなるマイコンにより構成され、フロントカメラ１０２，右カメラ１０３及び左カメラ１０４で撮像された画像を取り込み、所定の画像処理を実行する。

車線逸脱防止警報システム１０６は、計算機１０５の画像処理結果に応じて、運転者に警報を行う。警報は、例えば、警報音や各種音声ガイダンスを発生させたり、カーナビゲーション装置に警告画面を表示するものである。

図２は、自車位置推定装置のシステムブロック図である。図２に示すように、自車位置推定装置は、フロントカメラ１０２と、右カメラ１０３と、左カメラ１０４と、計算機１０５と、車速センサー１１２と、車線逸脱防止警報システム１０６と、を備える。さらに、計算機１０５は、エッジ抽出部１０７と、座標変換部１０８と、エッジ座標保持部１０９と、エッジ座標更新部１１０と、エッジ座標消去部１１１と、白線認識部１１３と、位置姿勢推定部１１４と、を備える。

エッジ抽出部１０７は、フロントカメラ１０２，右カメラ１０３及び左カメラ１０４（以下、各カメラと称す）で撮像した画像を画像処理することでエッジを抽出する。

座標変換部１０８は、エッジ抽出部１０７で抽出したエッジの画像上の座標を世界座標系に変換する。

エッジ座標保持部１０９は、各カメラで撮像した画像から抽出されたエッジ座標と、エッジ座標更新部１１０で更新されたエッジ座標を保持する。

エッジ座標更新部１１０は、エッジ座標保持部１０９が保持するエッジ座標を、車速センサー１１２で計測された車速分だけ移動して更新する。

エッジ座標消去部１１１は、エッジ座標更新部１１０で更新したエッジ座標を所定の条件に基づいて消去する。

車速センサー１１２は、車速を観測するための装置であり、車両１０１に取り付けられる。

白線認識部１１３は、エッジ座標保持部１０９が保持するエッジ座標から白線を認識する。

位置姿勢推定部１１４は、白線認識部１１３で認識した白線内における車両１０１の位置及び姿勢を推定する。

図３は、各カメラの撮像領域を示す図である。図３に示すように、フロントカメラ１０２は、所定の画角で車両前方の撮像領域２０１を撮像する。同様に、右カメラ１０３，左カメラ１０４は、それぞれ所定の画角で車両側方の撮像領域２０２，２０３を撮像する。このとき、フロントカメラ１０２の画角内には車両１０１が走行する車線を区分する左右の白線が撮像可能となっている。ここでいう白線とは、実線、破線等の車線を区分するあらゆる白線を含む。

図４は、各カメラが撮像した画像の一例を示す図である。図４（ａ）〜（ｃ）は、順に左カメラ１０４，フロントカメラ１０２，右カメラ１０３が撮像した画像である。各カメラは魚眼レンズを装着しているため、これらの画像は、図４（ａ）〜（ｃ）に示すように、カメラの近傍が引き伸ばされたような画像となる。

図５は、各カメラが撮像した画像中のエッジを抽出する図である。エッジ抽出部１０７は、図５（ａ）〜（ｃ）に示す画像を画像処理することで画像内に存在するエッジを抽出する。抽出されたエッジは、図５（ｄ）〜（ｆ）のようにそれぞれ○，△，□の画素で表される。また、抽出されたエッジは、抽出された時刻とともに関連付けられる。なお、エッジを抽出する際は、予めエッジ抽出内領域を定めておくことが好ましい。例えば、カメラのレンズ縁は、撮像画像において固定の位置であるため、予めエッジ検出内領域からカメラのレンズ縁を除いておくことにより、カメラのレンズ縁のエッジが検出されることはない。また、カメラから遠方のエッジは処理しないように定めておく。このように設定することにより、エッジ抽出部１０７が不要なエッジを抽出することを防止することができる。

図６は、画像座標系を世界座標系に変換する図である。図６（ａ）〜（ｃ）に示すように、エッジ抽出部１０７は、各カメラが撮像した画像中のエッジを抽出するとともに、画像横方向をｘ軸、画像縦方向をｙ軸として、抽出したエッジを画像上の座標（x_ｉ,y_ｉ）と対応付けて出力する。抽出されるエッジは、通常複数存在するため、エッジ座標も複数存在することになる。これら複数のエッジ座標をエッジ座標群と称する。座標変換部１０８は、エッジ抽出部１０７が出力したエッジ座標群（x_ｉ,y_ｉ）を世界座標系（ＸＷ，ＹＷ，ＺＷ）に変換する。世界座標系に変換すると、図６（ａ）〜（ｃ）に示すエッジの画素は、車両１０１に対して図６（ｄ）に示すように対応付けられる。本実施例の世界座標系は右手座標系であり、ＸＷ軸は、車両進行方向に対して垂直方向である。また、ＹＷ軸は、車両鉛直方向であり、ＺＷ軸は、車両進行方向である。画像座標系から世界座標系への座標変換については、例えば、「コンピュータビジョン −視角の幾何学−」（著者：佐藤淳）に記載の方法を使って変換することができる。具体的には、カメラの内部パラメータと外部パラメータ（カメラの取り付け高さ、姿勢（ヨー角、ピッチ角、ロール角））を予め測定しておけば画像中の任意の座標を、世界座標に変換できる。このように変換された世界座標系のエッジ座標群は、エッジ座標保持部１０９に保持される。なお、二次元の画像座標系から三次元の世界座標系に変換するため、世界座標系の鉛直方向に相当するＹＷの値は０として復元することになる。ＹＷ＝０は路面の点であることを意味する。

なお、画像座標系から世界座標系へ変換する際に、毎回変換計算を実行してもよいが、この計算時間を短くできればより好ましい。その方法として、例えば、カメラの内部パラメータと外部パラメータとが固定であると仮定して、画像座標系から世界座標系への変換テーブルを作成することが挙げられる。ここで、カメラの内部パラメータは常に固定であるが、外部パラメータは車両挙動で変化する（特にピッチ角）ため、外部パラメータを固定として扱うと、誤差が生じる場合がある。しかし、高速道路のように、車両１０１が直進運動していると仮定できる場合は、この誤差を無視しても影響は少ない。よって、車両１０１が直進運動していると仮定できる場合は、変換テーブルを作成して画像座標系から世界座標系への変換計算時間を短縮することができる。

図７は、エッジ座標群の更新を示す図である。図７（ａ）は、車両１０１と、右カメラ１０３及び左カメラ１０４の撮像領域２０２，２０３を俯瞰図として表したものである。ここでは、説明を簡略化するために、フロントカメラ１０２の撮像領域２０１は省略する。また、車両１０１は、一定の時速Ｖ［ｋｍ／ｈ］でＺＷ軸の正方向に直進運動するものとする。図７（ａ）に示すように、エッジ抽出部１０７は、時刻ｔ＝−２，−１，０のそれぞれにおいて撮像した画像からエッジを抽出する。時刻ｔ＝−２，−１，０のそれぞれにおいて抽出したエッジは順に白丸、灰丸、黒丸の画素で表される。なお、各カメラは３０ｆｐｓで画像を撮像するので、時刻ｔ＝−２，−１，０の各時刻の間隔は約３０ｍｓである。

次に、図７（ｂ）〜（ｄ）を参照し、エッジ座標群の更新について説明する。図７（ａ）に示す時刻ｔ＝−２，−１，０に対応するのが図７（ｂ）〜（ｄ）である。まず、図７（ｂ）に示すように、エッジ抽出部１０７は、時刻ｔ＝−２の際に撮像した画像からエッジを抽出する。抽出されたエッジは白丸の画素で表される。その後、座標変換部１０８は、抽出したエッジの画像座標を画像座標系から世界座標系へ変換する。変換された世界座標系のエッジ座標群を（ＸＷ１，ＹＷ１，ＺＷ１）とする。エッジ座標保持部１０９は、これらの座標群を保持する。

続いて、図７（ｃ）に示すように、時刻ｔ＝−２から約３０ｍｓ後となる時刻ｔ＝−１の際にも時刻ｔ＝−２の際と同様の処理を行い、エッジ座標群を抽出する。時刻ｔ＝−１の際に抽出したエッジ座標群を（ＸＷ２，ＹＷ２，ＺＷ２）とする。ここで、時刻ｔ＝−２から時刻ｔ＝−１までの車両１０１の移動量をｄ［ｍ］とすると、ｄ＝（Ｖ×１０００÷３６００）÷３０となる。エッジ座標更新部１１０は、この移動量ｄを使ってエッジ座標群を更新する。具体的には、エッジ座標更新部１１０は、時刻ｔ＝−１の際に、時刻ｔ＝−２で抽出したエッジ座標群（ＸＷ１，ＹＷ１，ＺＷ１）を移動量ｄだけ移動して、（ＸＷ１，ＹＷ１，ＺＷ１−ｄ）に更新する。ＺＷの値だけ更新するのは、車両１０１が直進運動しているからである。このように更新することにより、時刻ｔ＝−１の際に、エッジ座標群（ＸＷ２，ＹＷ２，ＺＷ２）から移動量ｄだけ車両進行方向反対側にエッジ座標群（ＸＷ１，ＹＷ１，ＺＷ１）が移動することになる。エッジ座標保持部１０９は、時刻ｔ＝−１の際に抽出したエッジ座標群（ＸＷ２，ＹＷ２，ＺＷ２）と、更新したエッジ座標群（ＸＷ１，ＹＷ１，ＺＷ１−ｄ）とを保持する。

続いて、図７（ｄ）に示すように、時刻ｔ＝−１から約３０ｍｓ後となる時刻ｔ＝０の際にも時刻ｔ＝−２の際と同様の処理を行い、エッジ座標群を抽出する。時刻ｔ＝０の際に抽出したエッジ座標群を（ＸＷ３，ＹＷ３，ＺＷ３）とする。また、時刻ｔ＝−１から時刻ｔ＝０までの車両１０１の移動量は上述したｄであるため、エッジ座標更新部１１０は、時刻ｔ＝０の際に、時刻ｔ＝−１で抽出したエッジ座標群（ＸＷ２，ＹＷ２，ＺＷ２）と、更新したエッジ座標群（ＸＷ１，ＹＷ１，ＺＷ１−ｄ）とを移動量ｄだけ移動して、それぞれのエッジ座標群を（ＸＷ２，ＹＷ２，ＺＷ２−ｄ）、（ＸＷ１，ＹＷ１，ＺＷ１’−ｄ）に更新する。ここで、「ＺＷ１’」について説明する。時刻ｔ＝−２の際に抽出した座標群（ＸＷ１，ＹＷ１，ＺＷ１）は、時刻ｔ＝−１の際に（ＸＷ１，ＹＷ１，ＺＷ１−ｄ）に更新された。更新された「ＺＷ１−ｄ」をＺＷ１’に置換すれば、時刻ｔ＝０の際にエッジ座標群を更新すると（ＸＷ１，ＹＷ１，ＺＷ１’−ｄ）と表現することができる。すなわち、このように置換することにより、座標群の座標値は、更新時に移動量ｄだけ移動した形で表現できる。エッジ座標保持部１０９は、時刻ｔ＝０の際に抽出したエッジ座標群（ＸＷ３，ＹＷ３，ＺＷ３）と、更新したエッジ座標群（ＸＷ２，ＹＷ２，ＺＷ２−ｄ）、（ＸＷ１，ＹＷ１，ＺＷ１’−ｄ）とを保持する。以上のように、エッジ座標更新部１１０は、撮像処理ごとの経過時間に合わせて、エッジ座標群を移動量ｄだけ車両進行方向反対側に移動して、エッジ座標群を更新する。そして、エッジ座標保持部１０９は、更新されたエッジ座標群を保持して、撮像ごとに蓄積していく。なお、更新されたエッジ座標群は、更新された時刻とともに関連付けられる。

図８は、白線の認識を示す図である。図８（ａ）に示す時刻ｔ＝−２，−１，０に対応するのが図８（ｂ）〜（ｄ）である。図８（ｄ）に示すように、白線認識部１１３は、エッジ座標保持部１０９が保持するエッジ座標群を線形補完して白線を認識する。また、エッジ座標群を線形補完する際に最適化処理を実行することができる。最適化処理については、例えば、特許第３４２４３３４号公報に開示されているので、必要ならば参照されたい。本実施例では、次のように最適化処理を実行する。図８（ｄ）に示すように、白線を直線モデルとして、左側白線４０１と右側白線４０２は平行であると仮定すると、左側白線４０１はＺ＝ａＸ＋ｂ＋ｗ、右側白線４０２はＺ＝ａＸ＋ｂとしてモデル化することができる。このとき、エッジ座標群のうちＸＷとＺＷの値は既知であるため、ａ，ｂ，ｗが推定する未知パラメータとなる。ａ，ｂは、順に白線内での車両１０１のヨー角、横位置に相当し、ｗは左側白線４０１と右側白線４０２の幅に相当する。これらのパラメータは、Ｓｉｍｐｌｅｘ法やＰｏｗｅｌｌ法など既存の手法を用いて求めることができる。ここでは世界座標系のエッジ座標群を用いて白線を認識することについて説明した。しかし、エッジを抽出した際に、当該抽出したエッジを画像上の座標（x_ｉ,y_ｉ）と対応付けて出力するため、このxy座標に対応するエッジ座標群を保持・更新し、白線を認識してもよい。

位置姿勢推定部１１４は、白線認識部１１３で認識した白線内における車両１０１の位置及び姿勢を推定する。本実施例では白線認識部１１３でヨー角、横位置をモデルに組み込んだ最適化処理を実行した際に、車両１０１のヨー角、横位置を推定している。位置姿勢推定部１１４は、この推定値をそのまま用いて車両１０１の位置及び姿勢を推定する。

本実施例では、エッジ座標更新部１１０は、撮像処理ごとに、エッジ座標群を更新して蓄積する。白線認識部１１３は、蓄積されたエッジ座標群から白線を認識するが、蓄積されたエッジ座標群の量によっては、認識する白線の精度に影響を及ぼすおそれがある。そのため、白線を認識する際に、その精度に影響を及ぼさないように蓄積されたエッジ座標群を適切に消去する必要がある。

白線を認識するために必要となるエッジ座標群と車両１０１との距離は、車速によって異なる。そこで、高速走行時と低速走行時を例にとって、白線を認識するために必要となるエッジ座標群と車両１０１との距離について説明する。図９は、高速走行時においてエッジ座標群を抽出する図である。図９（ａ）に示す時刻ｔ＝−２，−１，０に対応するのが図９（ｂ）〜（ｄ）である。図９（ａ）に示すように高速走行時は、後述する低速走行時と比べて、撮像ごとの移動距離が大きいため、走行距離に対して抽出できるエッジが少なくなる。よって、現時刻の車両位置から比較的後方で抽出したエッジ座標群を用いて、白線を認識することが好ましい。つまり、高速走行時において、現時刻の車両位置からの距離に基づいて過去に抽出したエッジ座標群を消去する場合、その距離の値は大きいことになる。

図１０は、低速走行時においてエッジ座標群を抽出する図である。図１０（ａ）に示す時刻ｔ＝−２，−１，０に対応するのが図１０（ｂ）〜（ｄ）である。図１０（ａ）に示すように、低速走行時は、上述した高速走行時と比べて、撮像ごとの移動距離が小さいため、走行距離に対して抽出できるエッジが多くなる。このため、高速走行時のように比較的後方で抽出したエッジ座標群を用いて白線を認識するとその精度が悪くなるおそれがある。また、低速走行時は、カーブ走行中や車線変更中などが想定されるが、このような場合に抽出したエッジ座標群を考慮して白線を認識すると、図９（ｄ）の破線のようにその精度が悪くなるおそれがある。したがって、低速走行時において、現時刻の車両位置からの距離に基づいて過去に抽出したエッジ座標群を消去する場合、その距離の値は、高速走行時と比べて小さくなる。このように、車速に応じて、白線を認識するために必要となるエッジ座標群と車両１０１との距離は異なる。このため、車両１０１との距離に基づいて、エッジ座標群を消去することは成立しない。

そこで、車速に応じて、白線を認識するために必要となるエッジ座標群と車両１０１との距離を変更すればよい。例えば、高速道路では、白線はおよそ１５ｍ間隔となっているため、車速が６０ｋｍ／ｈ超なら、現時刻の車両位置から１５ｍ後方までのエッジ座標群があればよい。一方、一般道路では、白線はおよそ６ｍ間隔となっているため、車速が６０ｋｍ／ｈ以下なら、現時刻の車両位置から６ｍ後方までのエッジ座標群があればよい。よって、エッジ座標消去部１１１は、図１１（ｄ）に示すように、時刻ｔ＝０の際に、車速が６０ｋｍ／ｈ超なら、当該時刻の車両位置から１５ｍ後方（ＺＷ＝−１５）より後ろのエッジ座標群を消去する。また、車速が６０ｋｍ／ｈ以下なら、当該時刻の車両位置から６ｍ後方（ＺＷ＝−６）より後ろのエッジ座標群を消去する。このような消去処理は、例えば、Ｉｆ−Ｔｈｅｎを使って下記に示す処理を実行すればよい。すなわち、車速センサー１１２で検出した現時刻の車速をＶ［ｋｍ／ｈ］とすれば、
Ｉｆ（Ｖ＞６０＆＆ＺＷ＜ −１５）
Ｔｈｅｎｄｅｌｅｔｅ
Ｅｌｓｅｉｆ（Ｖ＜＝６０＆＆ＺＷ＜ −６）
Ｔｈｅｎｄｅｌｅｔｅ
Ｅｌｓｅ
ＴｈｅｎＳａｖｅ
となる。このように、エッジ座標消去部１１１は、車速に応じて白線を認識する際に不要となるエッジ座標群を消去する。なお、ここに示した処理はあくまで一例であり、シミュレーションや実験などによって種々の変形が可能である。

また、エッジ座標消去部１１１は、計算機１０５のメモリに記録できるエッジ座標群のデータ上限を予め設定しておき、データ数が上限を超えないように、抽出された時刻が古いデータから順に消去してもよい。

次に、自車位置推定処理について、図１２に示すフローチャートを参照して説明する。この処理は、システムの電源がオンになったら開始する。

まず、ステップＳ２０１において、計算機１０５は、各カメラで撮像した画像を取得する。

次にステップＳ２０２において、エッジ抽出部１０７は、ステップＳ２０１で取得した画像中のエッジを抽出し、抽出したエッジを画像上の座標群（x_ｉ,y_ｉ）と対応付けて出力する。

次にステップＳ２０３において、座標変換部１０８は、ステップＳ２０２で出力したエッジ座標群（x_ｉ,y_ｉ）に対して、画像座標系から世界座標系へ座標変換を行う。

次にステップＳ２０４において、エッジ座標保持部１０９は、ステップＳ２０３で座標変換したエッジ座標群を保持する。なお、システム起動時にエッジ座標保持部１０９は、システム起動前に保持していたエッジ座標群を初期化する。

次にステップＳ２０５において、エッジ座標更新部１１０は、車速センサー１１２で検出した車速に基づいて、ステップＳ２０４で保持したエッジ座標群を更新する。

次にステップＳ２０６において、エッジ座標消去部１１１は、車速センサー１１２で検出した車速に基づいて、ステップＳ２０５で更新したエッジ座標群を消去する。

次にステップＳ２０７において、エッジ座標保持部１０９は、ステップＳ２０６で消去されずに残ったエッジ座標群を再保持する。

次にステップＳ２０８において、白線認識部１１３は、ステップＳ２０７で保持したエッジ座標群から白線を認識する。

次にステップＳ２０９において、位置姿勢推定部１１４は、ステップＳ２０８で認識した白線内における車両１０１の位置及び姿勢を推定する。位置姿勢推定部１１４は、車両１０１が白線内から逸脱していると推定した場合、車線逸脱防止警報システム１０６に車線逸脱信号を出力してステップＳ２１０に進む。一方、車両１０１が白線内から逸脱していないと推定した場合、ステップＳ２１１に進む。

ステップＳ２１０において、車線逸脱防止警報システム１０６は、所定の警報を実施する。

ステップＳ２１１において、計算機１０５は、システムの電源がオフとなったら処理を終了し、システムの電源がオンであればステップＳ２０１からの作業を繰り返す。

以上説明したように、本実施形態の自車位置推定装置によれば、車両１０１が走行する車線を区分する左右の白線を撮像した画像から白線のエッジを抽出する。抽出したエッジを画像上の座標群と対応付けて出力する。出力したエッジ座標群を世界座標に変換し、変換したエッジ座標群を保持する。保持したエッジを車速に応じた車両の移動量だけ車両進行方向反対側に移動して更新し、更新したエッジ座標群を再保持する。また、保持しているエッジ座標群から白線を認識する。そして、認識した白線内における車両１０１の位置及び姿勢を推定する。これにより、撮像した画像のうち、一部の画像で白線を観測できなくても、保持しているエッジ座標群から白線を認識できるため、認識した白線内における車両の位置及び姿勢を推定することができる。

また、本実施形態の車両用表示装置によれば、エッジ座標消去部１１１が、過去に抽出したエッジ座標群を消去する。これにより、白線を認識する際に、不要なエッジ座標群を消去することができる。

また、本実施形態の車両用表示装置によれば、エッジ座標消去部１１１が、車速に基づいて過去に抽出したエッジ座標群を消去する。これにより、白線を認識する際に、不要なエッジ座標群を消去することができる。

また、本実施形態の車両用表示装置によれば、エッジ座標消去部１１１が、抽出された時刻が古いものから順にエッジ座標群を消去する。これにより、白線を認識する際に、不要なエッジ座標群を消去することができる。

また、本実施形態の車両用表示装置によれば、座標変換部１０８が、エッジ座標群を画像座標系から世界座標系に変換する。これにより、車両１０１とエッジ座標群との対応付けが容易になる。

また、本実施形態の車両用表示装置によれば、白線認識部１１３が、エッジ座標群を線形補完する際に、最適化処理を行う。これにより、認識する白線の精度が向上する。

また、本実施形態の車両用表示装置によれば、車両１０１の前方および左右に魚眼カメラが取り付けられる。これにより、３つのカメラで撮像した各画像からエッジを抽出できるため、効率よくエッジを抽出することができる。

さらに、車両１０１の前方および左右だけでなく、車両後方にも魚眼カメラが取り付けられる。これにより、４つのカメラで撮像した各画像からエッジを抽出できるため、効率よくエッジを抽出することができる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。第２実施形態が、第１実施形態と相違する点は、エッジ座標群を抽出・更新する際に、抽出・更新した時刻を関連付けるほかに、抽出・更新した時刻を簡略化して示す処理時間を設定することである。処理時間の設定について図１３を参照して説明する。図１３（ａ）に示す時刻ｔ＝−２，−１，０に対応するのが図１３（ｂ）〜（ｄ）である。図１３（ｂ）に示すように、エッジ抽出部１０７は、時刻ｔ＝−２の際に抽出したエッジ座標群の処理時間をＴ＝０として設定する。続いて図１３（ｃ）に示すように、エッジ抽出部１０７は、時刻ｔ＝−１の際に抽出したエッジ座標群の処理時間をＴ＝０として設定する。また、エッジ座標更新部１１０は、時刻ｔ＝−１の際に更新したエッジ座標群の処理時間をＴ＝−１として設定する。続いて図１３（ｄ）に示すように、エッジ抽出部１０７は、時刻ｔ＝０の際に抽出したエッジ座標群の処理時間をＴ＝０として設定する。また、エッジ座標更新部１１０は、時刻ｔ＝０の際に更新したエッジ座標群の処理時間をそれぞれＴ＝−１，Ｔ＝−２として設定する。このように、ある時刻において抽出したエッジ座標群の処理時間をＴ＝０として設定し、エッジ座標群を更新するごとにＴ＝−１，Ｔ＝−２のように−１ずつ増加させて処理時間を設定する。このように処理時間を設定することにより、ある時刻において抽出・更新されたエッジ座標群を実時間ではなく、相対的な時間として簡略化して示すことができる。なお、設定方法はこれに限られるものではなく、エッジ座標群が現時刻からどれだけ前に検出されたかを示す時間変数を毎回更新すればよい。

第１実施形態では車速に応じてエッジ座標群を消去する距離の閾値を設定したが、本実施形態では処理時間に基づいてエッジ座標群を消去する。具体的に説明すると、まずエッジ座標群を更新するごとに車両１０１が移動する距離Ｄ［ｍ］は、Ｄ＝車速×時間（＝現在の時刻−更新された時刻）となる。このため、エッジ座標群を消去するための判断基準を、「現在の時刻−更新された時刻」とすれば、車速に応じてエッジ座標群を消去する距離が変わることになる。このとき、「現在の時刻−更新された時刻」のようにエッジ座標群を更新した時刻（実時間）ではなく、エッジ座標群を更新した時刻を簡略化して示す処理時間に基づいて、エッジ座標群を消去すれば、実時間を使うことなくエッジ座標群を消去できる。すなわち、図１３（ｄ）に示すように、処理時間Ｔ＝−２に係るエッジ座標群を消去するよう設定すれば、実時間を使って距離を計算する必要はなく、さらに第１実施形態のようにｉｆ−ｔｈｅｎの処理を作成する必要もなく、エッジ座標群を消去することができる。なお、処理時間の閾値は予めシミュレーションや実験などによって求めておく。

以上説明したように、本実施形態の自車位置推定装置によれば、所定時間より前に抽出されたエッジ座標群を消去する。これにより、白線を認識する際に、不要なエッジ座標群を消去することができる。

［第３実施形態］
第３実施形態として示す自車位置推定装置は、図１５に示すように、舵角センサー１１５とヨーレートセンサー１１６を備えた点で、上述した第１実施形態と異なる。

第１実施形態では、エッジ座標更新部１１０は、エッジ座標群を更新する際に、そのエッジ座標群から車両進行方向反対側のみに、車両１０１の移動量ｄだけ移動して更新した。本実施例に係る自車位置推定装置は、舵角センサー１１５とヨーレートセンサー１１６とを備えているため、車幅方向の動きを検出することができる。このため、エッジ座標更新部１１０がエッジ座標群を更新する際に、車両進行方向反対側に移動量ｄをエッジ座標群から移動するだけではなく、舵角センサー１１５とヨーレートセンサー１１６とで検出した車幅方向の移動量もエッジ座標群から移動して更新する。このようにエッジ座標群は、車両１０１の進行方向と車幅方向との移動に基づいて更新されるため、第１実施形態より正確に車両１０１の移動を捉えることができる。以上説明したように、本実施形態の自車位置推定装置によれば、更新されるエッジ座標群の精度が高くなるため、エッジ座標群を用いて認識する白線の精度も高くなる。これにより、白線内における車両１０１の位置及び姿勢の推定精度が向上する。

１０１車両
１０２フロントカメラ
１０３右カメラ
１０４左カメラ
１０５計算機
１０６車線逸脱防止警報システム
１０７エッジ抽出部
１０８座標変換部
１０９エッジ座標保持部
１１０エッジ座標更新部
１１１エッジ座標消去部
１１２車速センサー
１１３白線認識部
１１４位置姿勢推定部
１１５舵角センサー
１１６ヨーレートセンサー

Claims

車両の車速を検出する車速検出手段と、
前記車両に搭載され、前記車両が走行する車線を区分する左右の白線を撮像することが可能な撮像手段と、
前記撮像手段が撮像した画像から前記白線のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段で抽出した前記エッジを前記画像上の座標と対応付けて保持するエッジ保持手段と、
前記エッジ保持手段が保持する前記エッジを、前記車速に応じた前記車両の移動量だけ車両進行方向反対側に移動して更新するエッジ更新手段と、
前記エッジ保持手段が保持する前記エッジを線形補完して白線を認識する白線認識手段と、
前記白線認識手段で認識した白線内における前記車両の位置及び姿勢を推定する位置姿勢推定手段と、
前記エッジ保持手段が保持する前記エッジを消去するエッジ消去手段とを
備え、
前記エッジ消去手段は、前記車速が所定の車速より大きい場合、現時刻の車両位置から第１の距離後方より後ろのエッジを消去し、前記車速が前記所定の車速以下の場合、現時刻の車両位置から前記第１の距離より短い第２の距離後方より後ろのエッジを消去することを特徴とする自車位置推定装置。
前記エッジ消去手段は、抽出された時刻が古い順に前記エッジを消去することを特徴とする請求項１に記載の自車位置推定装置。
前記エッジの座標を画像座標から世界座標に変換する座標変換手段を備えることを特徴とする請求項１または２に記載の自車位置推定装置。
前記車両の舵角を検出する舵角検出手段と、
前記車両のヨーレートを検出するヨーレート検出手段とをさらに備え、
前記エッジ更新手段は、前記エッジ保持手段が保持する前記エッジを、前記車速に応じた前記車両の移動量だけ移動して更新し、前記舵角検出手段で検出した前記舵角と前記ヨーレート検出手段で検出した前記ヨーレートとに基づく車幅方向の移動量だけ移動して更新することを特徴とする請求項１〜３のいずれか１項に記載の自車位置推定装置。
車両の車速を検出し、
前記車両が走行する車線を区分する左右の白線を撮像した画像から前記白線のエッジを抽出し、
抽出した前記エッジを前記画像上の座標と対応付けて保持し、
保持した前記エッジを前記車速に応じた前記車両の移動量だけ車両進行方向反対側に移動して更新し、
保持した前記エッジを線形補完して白線を認識し、
認識した白線内における前記車両の位置及び姿勢を推定し、
前記車速が所定の車速より大きい場合、現時刻の車両位置から第１の距離後方より後ろのエッジを消去し、前記車速が前記所定の車速以下の場合、現時刻の車両位置から前記第１の距離より短い第２の距離後方より後ろのエッジを消去する
ことを特徴とする自車位置推定方法。