JP6393214B2 - 車線認識システム及びコンピュータプログラム - Google Patents

Description

本発明は、車線に対する自車の位置や方向を認識する技術に関するものである。

車線に対する自車の位置や方向を認識する技術としては、自動車前方の画像を車載カメラで撮影し、撮影した画像中の道路の区画線(白線)に基づいて車線を認識し、認識した車線に対する自車の位置や方向より、自車の車線からの逸脱を予測して警告を出力する技術が知られている（たとえば、特許文献１）。

また、自動車前方を撮影した画像に代えて、自動車後方を撮影した画像中の道路の区画線に基づいて車線を認識し、認識した車線に対する自車の位置や方向より、自車の車線からの逸脱を予測して警告を出力する技術も知られている（たとえば、特許文献２）。

特開2009-234543号公報 特開2007-200191号公報

上述した、車載カメラで撮影した画像中の道路の区画線(白線)に基づいて車線を認識する技術によれば、直線区間とカーブ区間の境界付近において、撮影した画像中の道路の区画線から車線の曲率をすみやかに精度良く算出することが比較的難しく、車線に対する自車の位置や方向の認識遅れや誤認識が生じ易かった。

特に、上述した自動車後方を撮影した画像を用いて車線を認識する場合には、カーブ区間の進入時には後方の画像から車線のカーブ形状を認識できないため、車線に対する自車の向きの誤認識が生じ易い。

そこで、本発明は、誤認識の発生を抑制しつつ、すみやかに車線に対する自車の位置や方向を認識することを課題とする。

前記課題達成のために、本発明は、自動車に搭載される車線認識システムに、前記自動車の前方または後方を撮影するカメラと、各道路の車線の位置と形状とを表すデータを含む地図データを記憶した地図データ記憶部と、メモリと、前記自動車の進行が予測される経路上の各地点について、車線の幅方向の中央を車線と平行に当該地点まで前記経路に沿って前記自動車が進んだときに、前記カメラによって撮影されることとなる道路の区画線の画像を、前記地図データを用いたシミュレーションによって生成し、生成した画像をシミュレーション画像として当該地点と関連づけて前記メモリに格納するシミュレーション画像生成手段と、現在位置を算出する現在位置算出手段と、前記カメラで撮影した画像中の道路の区画線のパターンと、前記現在位置算出手段が算出した現在位置に関連づけられて前記メモリに格納されているシミュレーション画像中の道路の区画線のパターンとの位置、向きのずれに基づいて、車線に対する自車の位置、方向を算出する車線認識手段とを備えたものである。

ここで、このような車線認識システムは、当該車線認識システムに、目的地までの経路を算出して誘導ルートに設定し、誘導ルートを案内するナビゲーション部を備え、前記シミュレーション画像生成手段において、前記ナビゲーション部が設定した誘導ルートを、前記自動車の進行が予測される経路として用いるように構成してもよい。

また、以上の車線認識システムに、さらに、前記車線認識手段が算出した車線に対する自車の位置、方向に基づいて自車の走行中の車線からの逸脱を予測し、自車の走行中の車線からの逸脱が予測されたときに当該逸脱に対する注意を喚起する警報を出力する車線逸脱注意喚起手段を備えるようにしてもよい。

以上のような車線認識システムによれば、カメラで撮影した画像によって示される車線の曲率等によらずに、車線の幅方向の中央を車線と平行に進行しているときにカメラに撮影されるはずの画像であるシミュレーション画像との比較によって、車線に対する自車の位置や方向を算出するので、誤認識の発生を抑制しつつ、すみやかに車線に対する自車の位置や方向を認識することができる。

以上のように、本発明によれば、誤認識の発生を抑制しつつ、すみやかに車線に対する自車の位置や方向を認識することができる。

本発明の実施形態に係る運転支援システムの構成を示す図である。 本発明の実施形態に係るシミュレーション画像生成処理を示すフローチャートである。 本発明の実施形態に係る車線認識例を示す図である。 本発明の実施形態に係る車線認識処理を示すフローチャートである。

以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る運転支援システムの構成を示す。
運転支援システム１００は自動車に搭載されるシステムであり、図示するように、ナビゲーション装置１、シミュレーション画像生成部２、車線認識部３、カメラ４、画像メモリ５、測位装置６、地図データ記憶部７、表示装置８、入力装置９、警報装置１０を備えている。

ただし、運転支援システム１００は、ＣＰＵやメモリやその他の周辺デバイスを備えたコンピュータを用いて構成されるものであって良く、また、この場合、ナビゲーション装置１、シミュレーション画像生成部２、車線認識部３などは、ＣＰＵが所定のコンピュータプログラムを実行することにより実現されるものであってよい。

ここで、カメラ４は、図１ｂに示すように自動車後部に配置され、自動車後方を撮影し、自動車後方の路面を撮影した画像を生成する。
次に、地図データ記憶部７には、地図データが記憶されており、地図データには、道路地図を表すデータや、各道路や各道路の各車線の位置、形状を表すデータが含まれている。

また、測位装置６は、高精度に自車位置を測位する測位装置６である。たとえば、測位装置６は、ＧＰＳ受信機などの衛星測位装置、地上無線局が送信する無線を用いた測位を行う無線測位装置、その他の測位装置６、または、これらの測位装置６を組み合わせた装置である。

そして、ナビゲーション装置１は、測位装置６が測位した現在位置から、入力装置９を介してユーザから設定された目的地までのルートを、地図データ記憶部７に記憶されている地図データを用いて算出して誘導ルートに設定する処理を行う。ここで、ナビゲーション装置１は、現在位置から目的地までのルートとして、現在位置から目的地までに至る間に走行する道路区間と、当該各道路区間において走行する車線とより規定されるルートを算出し、誘導ルートに設定する。

また、ナビゲーション装置１は、地図データが表す道路地図上に現在位置や算出した誘導ルートを表したナビゲーション画面を表示装置８に表示する処理なども行う。
次に、シミュレーション画像生成部２は、ナビゲーション装置１によって誘導ルートが設定されると、図２に示すシミュレーション画像生成処理を行う。
図示するように、シミュレーション画像生成処理において、シミュレーション画像生成部２はナビゲーション装置１が設定した誘導ルートを取得し（ステップ２０２）、誘導ルートの出発地を参照地点に設定する（ステップ２０４）。

そして、参照地点が含まれる車線の幅方向の中央の位置に、車線の向きに沿った方向を向いて自車が位置している場合に、カメラ４によって撮影されることとなる道路の区画線の画像を、地図データを用いたシミュレーションによってシミュレーション画像として生成する（ステップ２０６）。ここで、道路の区画線とは、路面に標示された車線の区画を示す白線や黄線であり、車道中央線、車線境界線、車道外側線などが道路の区画線に該当する。

すなわち、たとえば、図３ａ１のように、誘導ルート上のカーブ内に少し進んだ地点に参照地点３０１が設定されているときには、車線と平行に車線の中央を参照地点３０１まで自動車が進んだと仮定したときに、当該参照地点３０１でカメラ４によって撮影されるはずの自車後方の道路の区画線のパターンを含む図３ａ２に示すような画像を、地図データが表す道路や車線の位置や形状や既知の自車に対するカメラ４の配置や向きや画角を用いたシミュレーションによって算出し、算出した画像をシミュレーション画像とする。

図２に戻り、このようにしてシミュレーション画像を生成したならば（ステップ２０６）、生成したシミュレーション画像を現在参照地点としている地点と関連づけて画像メモリ５に記憶する（ステップ２０８）。

そして、参照地点が目的地と一致しているかどうかを調べ（ステップ２１０）、一致していれば、シミュレーション画像生成処理を終了する。
一方、参照地点が目的地と一致していない場合には（ステップ２１０）、現在の参照地点から誘導ルート上を目的地方向に所定距離（たとえば、１メータから数メータ）進んだ地点に、参照地点を更新し（ステップ２１２）、ステップ２０６からの処理に戻る。

以上、シミュレーション画像生成部２が行うシミュレーション画像生成処理について説明した。
以上のようなシミュレーション画像生成処理によれば、自動車が誘導ルートに従って誘導ルートを形成する各道路の車線の中央を、誘導ルートの出発地から目的地まで進んだ場合に、誘導ルート上の各地点においてカメラ４によって撮影されることとなる道路の区画線の画像が、当該地点と関連づけられてシミュレーション画像として画像メモリ５に蓄積されることとなる。

次に、車線認識部３が行う車線認識処理について説明する。
図４に、車線認識処理の手順を示す。
図示するように、車線認識部３は車線認識処理において、カメラ４で撮影した画像と（ステップ４０２）、測位装置６が測位した現在位置を取得する（ステップ４０４）。
そして、次に、画像メモリ５に格納されている現在位置に関連づけられているシミュレーション画像を取得する（ステップ４０６）。
そして、取得したシミュレーション画像中の道路の区画線のパターンと、カメラ４から取得した画像中の道路の区画線のパターンの位置や向きの相違より、車線に対する自車の位置や方向を算出する（ステップ４０８）。

すなわち、たとえば、図３ｂ１のように誘導ルート上のカーブ内に少し進んだ地点３１１が現在位置３１１であり、カメラ４によって図３ｂ２に示すような自車後方の画像が撮影された場合において、画像メモリ５に現在位置となっている地点３１１と関連づけられて図３ａ２に示すようなシミュレーション画像が格納されている場合、図３ｂ２の撮影画像に含まれる図３ｂ３に示す道路の区画線のパターンと、図３ａ２のシミュレーション画像中の道路の区画線のパターンとの、図３ｃに示すような位置や向きの差を算出し、算出した差より自車の車線に対する位置や方向を算出する。ここで、算出した道路の区画線パターンの位置や向きの差は、自車が車線の中央を車線と平行に走行している場合に対する、自車の位置や方向のずれを表すので、算出した道路の区画線のパターンの位置や向きの差より自車の車線に対する位置や方向を、誤認識が少ない形態で算出することができる。

すなわち、図３ｂ１に示すように、カーブ内に少し進んだ位置に現在位置３１１があるときに撮影された図３ｂ２のカメラ４の撮影画像だけを評価した場合には、カメラ４の撮影画像に写り込んだカーブ手前の直線区間の区画線の方向と、自車の方向が一致しているので、車線と平行に自車が進んでいるように認識されるが、実際には現在位置３１１はカーブ内に少し進んだ位置であるので、当該認識は誤認識となる。すなわち、自車がカーブ区間を車線と平行に進んでいる場合には、カメラ４の撮影画像に写り込んだカーブ手前の直線区間の区画線の方向は自車の方向に対して傾いていなければならず、図３ｂ２の画像が撮影された場合には、自車は車線を逸脱する方向に進んでいることになる。

一方、図３ｂ２カメラの撮影画像と、車線の中央を車線と平行に進んだ場合に現在位置３１１で撮影されるはずの道路標識の画像である図３ａ２のシミュレーション画像とでは、区画線のパターンの傾きや位置が異なることとなるので、以上のようにシミュレーション画像とカメラ４の撮影画像との比較により車線に対する自車の位置や方向を算出すれば、誤認識することなく、正しく自車が車線を逸脱する方向に進んでいることを認識することができる。

図４に戻り、このようにして、車線に対する自車の位置や方向を算出したならば（ステップ４０８）、算出した車線に対する自車の位置や方向より、自車が誘導ルート上の車線を既に逸脱しているかどうかと、近い将来に車線を逸脱する可能性が大きいかどうかを算出する（ステップ４１０）。

そして、自車が誘導ルート上の車線を既に逸脱している場合には（ステップ４１２）、車線逸脱をナビゲーション装置１に報告する（ステップ４１６）。ここで、車線逸脱を報告されたナビゲーション装置１は、現在位置や地図データ等を参照して、自動車が誘導ルートから逸脱しているかどうかを判定し、逸脱している場合には、目的地までの誘導ルートを再設定する。また、このようにして誘導ルートが再設定されたならば、シミュレーション画像生成部２は、上述したシミュレーション画像生成処理を行い、再設定された誘導ルートに従って走行した場合にカメラ４によって撮影されることとなる道路の区画線の画像をシミュレーション画像として生成し画像メモリ５に格納することとなる。

一方、車線を逸脱していない場合には（ステップ４１２）、自車が近い将来に車線を逸脱する可能性が大きいかどうかを判定し（ステップ４１４）、大きくない場合にはステップ４０２からの処理に戻る。

また、自車が近い将来に車線を逸脱する可能性が大きいかと判定された場合には（ステップ４１４）、警報装置１０から車線逸脱に対する注意を喚起する警報を、音声等により出力し（ステップ４１８）、ステップ４０２からの処理に戻る。

以上、車線認識部３が行う車線認識処理について説明した。
以上、本発明の実施形態について説明した。
以上のように、本実施形態によれば、カメラ４で撮影した画像によって示される車線の曲率等によらずに、車線の幅方向の中央を車線と平行に進行しているときにカメラ４に撮影されるはずの画像であるシミュレーション画像との比較によって、車線に対する自車の位置や方向を算出するので、誤認識の発生を抑制しつつ、すみやかに車線に対する自車の位置や方向を認識することができる。

ここで、以上の実施形態では、カメラ４として自動車後方を撮影するカメラ４を用いた場合について説明したが、カメラ４としては、自動車前方を撮影するカメラ４を用いるようにしてもよい。

このようにしても、上述したシミュレーション画像生成処置と車線認識処理によって、誤認識の発生を抑制しつつ、すみやかに車線に対する自車の位置や方向を認識することができる。

また、以上の実施形態は、誘導ルートが設定されていない場合には、シミュレーション画像生成部２において、自動車が進行する経路を予測すると共に、予測した経路を誘導ルートと見なして、シミュレーション画像生成処理を行ってシミュレーション画像の生成と画像メモリ５への格納を行うようにしてもよい。すなわち、たとえば、誘導ルートが設定されていない場合には、現在走行中の路線の走行中の車線を進む経路を自動車が進行する経路として予測し、予測した経路を誘導ルートと見なして、シミュレーション画像生成処理を行ってシミュレーション画像の生成と画像メモリ５への格納を行うようにしてもよい。なお、この場合には、ミュレーション画像生成部は、走行中の路線や車線が変化する度に、変化後の路線の走行中の車線を進むルートを誘導ルートと見なしてシミュレーション画像生成処理を行うようにする。

このようにすることにより、誘導ルートが設定されていない場合にも、走行中の車線からの逸脱の予測を行って、走行中の車線からの車線逸脱に対する注意を喚起する音声警報を出力することができるようになる。

１…ナビゲーション装置、２…シミュレーション画像生成部、３…車線認識部、４…カメラ、５…画像メモリ、６…測位装置、７…地図データ記憶部、８…表示装置、９…入力装置、１０…警報装置、１００…運転支援システム。

Claims (4)

1. 自動車に搭載される車線認識システムであって
   前記自動車の前方または後方を撮影するカメラと、
   各道路の車線の位置と形状とを表すデータを含む地図データを記憶した地図データ記憶部と、
   メモリと、
   前記自動車の進行が予測される経路上の各地点について、車線の幅方向の中央を車線と平行に当該地点まで前記経路に沿って前記自動車が進んだときに、前記カメラによって撮影されることとなる道路の区画線の画像を、前記地図データを用いたシミュレーションによって生成し、生成した画像をシミュレーション画像として当該地点と関連づけて前記メモリに格納するシミュレーション画像生成手段と、
   現在位置を算出する現在位置算出手段と、
   前記カメラで撮影した画像中の道路の区画線のパターンと、前記現在位置算出手段が算出した現在位置に関連づけられて前記メモリに格納されているシミュレーション画像中の道路の区画線のパターンとの位置、向きのずれに基づいて、車線に対する自車の位置、方向を算出する車線認識手段とを有することを特徴とする車線認識システム。
2. 請求項１記載の車線認識システムであって、
   目的地までの経路を算出して誘導ルートに設定し、誘導ルートを案内するナビゲーション部を備え、
   前記シミュレーション画像生成手段は、前記ナビゲーション部が設定した誘導ルートを、前記自動車の進行が予測される経路として用いることを特徴とする車線認識システム。
3. 請求項１または２記載の車線認識システムであって、
   前記車線認識手段が算出した車線に対する自車の位置、方向に基づいて自車の走行中の車線からの逸脱を予測し、自車の走行中の車線からの逸脱が予測されたときに当該逸脱に対する注意を喚起する警報を出力する車線逸脱注意喚起手段を有することを特徴とする車線認識システム。
4. 自動車に搭載されるコンピュータによって読み取られ実行されるコンピュータプログラムであって、
   前記自動車には、自動車の前方または後方を撮影するカメラと、現在位置を算出する測位装置とが搭載されており、
   当該コンピュータプログラムは、前記コンピュータを、
   前記自動車の進行が予測される経路上の各地点について、前記自動車が車線の幅方向の中央を車線と平行に当該地点まで前記経路に沿って前記自動車が進んだときに、前記カメラによって撮影されることとなる道路の区画線の画像を、前記地図データを用いたシミュレーションによって生成し、生成した画像をシミュレーション画像として当該地点と関連づけて前記メモリに格納するシミュレーション画像生成手段と、
   前記カメラで撮影した画像中の道路の区画線のパターンと、前記測位装置が算出した現在位置に関連づけられて前記メモリに格納されているシミュレーション画像中の道路の区画線のパターンとの位置、向きのずれに基づいて、車線に対する自車の位置、方向を算出する車線認識手段として機能させることを特徴とするコンピュータプログラム。