JP6614229B2 - 車線認識装置、車線認識方法 - Google Patents

Description

本発明は、車線認識装置、車線認識方法に関する。

現在、車両の自動走行などのために車両が走行する車線を認識する車線認識装置が知られている。このような車線認識装置は、車両の進行方向の空間を撮像し、取得された撮像画像上において特定される車線の境界線に基づいて車線を認識する。このような車線認識装置は、車線が誤認識されないように構成されることが望まれる。現在、車線の誤認識を減らすための種々の技術が知られている。

例えば、特許文献１には、誤認識発生を判定して確実な車線認識を試みる車線認識装置が開示されている。特許文献１に開示された車線認識装置は、車線左右に設けられている道路区画線（境界線）の異なる部分を撮影する複数のカメラと、画像中の道路区画線を認識する複数の道路区画線認識部と、道路区画線認識部の認識結果を照合することで認識の成否を判定する判定部と、を備える。

特開２００２−９２７９６号公報

しかしながら、特許文献１に開示された車線認識装置では、道路上に描かれた境界線が薄くなったり、途切れたり、消えてしまった場合、適切に車線を認識することができなかった。このため、車両が走行する車線を安定的に認識することが可能な技術が望まれている。

本発明は、このような状況に鑑みてなされたものであり、車両が走行する車線を安定的に認識することが可能な車線認識装置、車線認識方法、及び、プログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る車線認識装置は、 車両に設置され、現実空間内における自身の位置を測定する測定部と、前記車両に設置され、前記車両の進行方向の空間を撮像する撮像部と、前記撮像部により取得された撮像画像上における前記車両が走行する車線の境界線の位置を特定する特定部と、前記特定部による位置の特定が成功した場合、前記測定部により測定された位置と前記特定部により特定された位置とに基づいて、前記境界線の現実空間内における位置を緯度情報と経度情報を含む絶対的な位置を示す座標情報として算出する算出部と、前記算出部により算出された前記境界線の現実空間における位置を示す座標情報とともに前記座標情報が取得された時刻を示す時刻情報を記憶部に記憶させる記録部と、前記特定部による位置の特定が成功した場合、前記特定部により特定された位置に基づいて前記車線を認識し、前記特定部による位置の特定が成功しなかった場合、前記測定部により測定された位置と前記記憶部に記憶された前記座標情報により示される位置とに基づいて前記車線を認識する認識部と、を備え、前記時刻情報に基づいて前記境界線の位置が安定している期間と安定していない期間を判別し、前記境界線の位置が安定していない期間の後に、前記境界線の位置が安定した期間があると判定された場合、前記境界線の位置が安定していない期間の前記座標情報を前記記憶部から消去する、ことを特徴とする。

上記目的を達成するために、本発明の第２の観点に係る車線認識方法は、
車両に設置された測定部により、現実空間内における自身の位置を測定する測定ステップと、前記車両に設置された撮像部により、前記車両の進行方向の空間を撮像する撮像ステップと、前記撮像ステップにより取得された撮像画像上における前記車両が走行する車線の境界線の位置を特定する特定ステップと、 前記特定ステップによる位置の特定が成功した場合、前記測定ステップにより測定された位置と前記特定ステップにより特定された位置とに基づいて、前記境界線の現実空間内における位置を緯度情報と経度情報を含む絶対的な位置を示す座標情報として算出する算出ステップと、前記算出ステップにより算出された前記境界線の現実空間内における位置を示す座標情報とともに前記座標情報が取得された時刻を示す時刻情報を記憶部に記憶させる記録ステップと、前記特定ステップによる位置の特定が成功した場合、前記特定ステップにより特定された位置に基づいて前記車線を認識し、前記特定ステップによる位置の特定が成功しなかった場合、前記測定ステップにより測定された位置と前記記憶部に記憶された前記座標情報により示される位置とに基づいて前記車線を認識する認識ステップと、前記時刻情報に基づいて前記境界線の位置が安定している期間と安定していない期間を判別する判別ステップと、前記境界線の位置が安定していない期間の後に、前記境界線の位置が安定した期間があると判定された場合、前記境界線の位置が安定していない期間の前記座標情報を前記記憶部から消去する、消去ステップと、を備えることを特徴とする。

本発明によれば、車両が走行する車線を安定的に認識することができる。

本発明の実施形態１に係る車線認識システムの構成を示す図である。 本発明の実施形態１に係る車線認識装置の物理的な構成を示すブロック図である。 本発明の実施形態１に係る車線認識装置の機能的な構成を示すブロック図である。 車載カメラとＧＰＳ受信機の取り付け位置を示す図である。 車線の境界線を含む撮像画像を示す図である。 車線の境界線の現実空間内における位置を算出する手法を説明するための図である。 本発明の実施形態１に係る車線認識装置が実行する車線認識処理を示すフローチャートである。 （Ａ）は、消失点が下方向に移動した撮像画像を示す図である。（Ｂ）は、消失点が上方向に移動した撮像画像を示す図である。

以下、図面を参照して、本発明の実施形態に係る車線認識システムについて説明する。

（実施形態１）
まず、図１を参照して、本発明の実施形態１に係る車線認識システム１０００について説明する。車線認識システム１０００は、車両が走行する車線を認識するシステムである。なお、車線の認識の結果は、自動運転処理、歩行者検出処理、障害物検出処理などに用いられる。図１に示す例では、車線認識システム１０００は、車両１５０、１５１、１５２、１５３と、サーバ２００と、ネットワーク２５０と、ＧＰＳ（Global Positioning System）衛星３０１、３０２、３０３と、を備える。

車両１５０、１５１、１５２、１５３は、それぞれ、車線認識装置１００、１０１、１０２、１０３を搭載し、道路上の車線を走行する車両である。車線認識装置１０１、１０２、１０３のそれぞれは、基本的に、車線認識装置１００と同様の構成である。以下、基本的に、車両１５０に注目し、車両１５０に搭載された車線認識装置１００について説明する。また、車両１５０を自車両とし、車両１５１、１５２、１５３を他車両とする。なお、他車両の台数は、３台に限定されず、２台以下であってもよいし、４台以上であってもよい。

サーバ２００は、ネットワーク２５０を介して、車線認識装置１００と接続されるサーバである。サーバ２００は、記憶装置２１０を備える。記憶装置２１０は、境界線位置情報を記憶する。境界線位置情報は、道路上の車線の境界線の位置を示す情報である。なお、境界線は、車両１５０からみて右側の境界線と、車両１５０からみて左側の境界線とが存在する。境界線位置情報のフォーマットは、適宜、調整することができる。

例えば、境界線位置情報は、単純に、境界線上の各地点の現実空間内における位置が列挙された情報であってもよい。もしくは、境界線位置情報は、境界線毎に、境界線上の各地点の現実空間内における位置が列挙された情報であってもよい。なお、現実空間内における位置は、例えば、緯度、経路、高度により表される。境界線位置情報により示される位置を結ぶことにより、境界線が近似される。本実施形態では、１つの撮像画像から、左右の境界線上の位置が１つずつ検出されるものとする。なお、境界線位置情報は、境界線上の位置とこの位置が検出された時刻とが対応付けられて、データベース化された情報で
あってもよい。

サーバ２００は、車線認識装置１００から受信した境界線位置情報に基づいて記憶装置２１０に記憶されている境界線位置情報を更新する。また、サーバ２００は、車線認識装置１００の要求に従って、記憶装置２１０に記憶されている境界線位置情報を、車線認識装置１００に送信する。なお、記憶装置２１０が記憶する境界線位置情報は、比較的広い範囲に存在する境界線を示す情報であってもよい。一方、車線認識装置１００とサーバ２００との間で送信または受信される境界線位置情報は、比較的狭い範囲に存在する境界線を示す情報であってもよい。なお、比較的広い範囲とは、例えば、日本全土、都道府県全
域である。一方、比較的狭い範囲とは、例えば、車線認識装置１００を搭載した車両１５０の近傍の範囲である。比較的狭い範囲は、例えば、車両１５０が最近数秒〜数時間程度の間に通過した範囲、車両１５０が数秒〜数時間程度後に通過する可能性がある範囲、車両１５０の位置を中心とする半径数ｍ〜数ｋｍ程度の範囲などである。

ネットワーク２５０は、車線認識装置１００とサーバ２００とを相互に接続するネットワークである。ネットワークは、例えば、インターネットである。

ＧＰＳ衛星３０１、３０２、３０３のそれぞれは、現在時刻を示す情報（以下「時刻情報」という。）を電波として放出する。後述するように、ＧＰＳ受信機１１２は、ＧＰＳ衛星３０１、３０２、３０３のそれぞれから受信した時刻情報に基づいて、ＧＰＳ受信機１１２の現在位置を求めることができる。

次に、図２を参照して、本実施形態に係る車線認識装置１００の物理的な構成について説明する。車線認識装置１００は、車線認識装置１００を搭載する車両１５０が走行中の車線を認識する装置である。車線認識装置１００は、例えば、自動運転支援装置やナビゲーション装置に組み込まれた装置である。なお、本発明が適用される車線認識装置は、図２に示す車線認識装置１００に限られない。例えば、車線認識装置１００に種々の構成要素が組み込まれた装置に本発明が適用されてもよいし、車線認識装置１００から適宜、構成要素が除外された装置に本発明が適用されてもよい。また、車線認識装置１００が備え
る構成要素の個数は、図２に示す例に限られない。

図２に示すように、車線認識装置１００は、制御部１１０、車載カメラ１１１、ＧＰＳ受信機１１２、不揮発性メモリ１１３、ネットワークインターフェース１１４、タッチスクリーン１１５、スピーカ１１６、マイクロフォン１１７を備える。

制御部１１０は、車線認識装置１００の全体の動作を制御する。制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備える。制御部１１０が備えるこれらの構成要素は、バスにより相互に接続される。ＣＰＵは、ＲＡＭをワークエリアとして使用し、ＲＯＭに格納されているプログラムに従って動作することで、制御部１１０の全体の動作を制御する。

車載カメラ１１１は、車両１５０に設置され、車両１５０の進行方向の空間を撮像し、撮像画像を取得する。本実施形態では、車載カメラ１１１により取得される撮像画像は、動画像であるものとする。なお、車載カメラ１１１は、車両１５０が走行中の車線の左右の境界線が撮像範囲に含まれるように、車両１５０に設置される。

ＧＰＳ受信機１１２は、車両１５０に設置され、ＧＰＳ衛星３０１、３０２、３０３のそれぞれから受信した時刻情報に基づいて、ＧＰＳ受信機１１２の現在時刻における現在位置を取得する。具体的には、まず、ＧＰＳ受信機１１２は、ＧＰＳ衛星３０１、３０２、３０３のそれぞれから時刻情報を受信する。そして、ＧＰＳ受信機１１２は、ＧＰＳ衛星３０１、３０２、３０３のそれぞれから受信した時刻情報により示される時刻と、ＧＰＳ衛星３０１、３０２、３０３のそれぞれの位置と、に基づいて、車線認識装置１００の現在位置を算出する。ＧＰＳ受信機１１２は、取得した時刻情報や算出した位置情報を、制御部１１０に供給する。

不揮発性メモリ１１３は、制御部１１０が実行する制御プログラムや、境界線位置情報などを記憶する。本実施形態では、不揮発性メモリ１１３は、記憶装置２１０のバッファメモリとしても機能するものとする。つまり、制御部１１０は、定期的に、または、不定期に、境界線位置情報をダウンロードおよびアップロードする。例えば、制御部１１０は、定期的に、または、不定期に、記憶装置２１０に記憶されている境界線位置情報のうち、車両１５０の近傍の境界線位置情報を、サーバ２００から取得し、不揮発性メモリ１１３に記憶させる。また、例えば、制御部１１０は、定期的に、または、不定期に、不揮発性メモリ１１３に記憶されている、車線認識処理により取得された車両１５０の近傍の境界線位置情報を、サーバ２００に送信し、記憶装置２１０に記憶されている境界線位置情報をサーバ２００に更新させる。

本実施形態では、制御部１１０は、車線認識処理を開始する直前に、サーバ２００から境界線位置情報を受信し、受信した境界線位置情報を不揮発性メモリ１１３に記憶させる。また、制御部１１０は、車線認識処理の実行中、不揮発性メモリ１１３に記憶されている境界線位置情報を使用または更新する。そして、制御部１１０は、車線認識処理を終了した直後に、境界線位置情報をサーバ２００に送信する。不揮発性メモリ１１３は、例えば、フラッシュメモリである。車線認識装置１００は、不揮発性メモリ１１３に代えて、ハードディスクを備えていても良い。

ネットワークインターフェース１１４は、車線認識装置１００をネットワーク２５０に接続するためのインターフェースである。

タッチスクリーン１１５は、ユーザによりなされたタッチ操作を検知し、検知の結果を示す信号を制御部１１０に供給する。また、タッチスクリーン１１５は、制御部１１０などから供給された画像信号に基づく画像を表示する。典型的には、タッチスクリーン１１５は、車載カメラ１１１により取得された撮像画像を表示する。このように、タッチスクリーン１１５は、車線認識装置１００のユーザインターフェースとして機能する。

スピーカ１１６は、制御部１１０から供給されたデジタル音声信号をアナログ音声信号に変換する。そして、スピーカ１１６は、変換により得られたアナログ音声信号に従って、音声を出力する。

マイクロフォン１１７は、周囲の音声を集音し、アナログ音声信号を生成する。そして、マイクロフォン１１７は、生成されたアナログ音声信号をデジタル音声信号に変換して制御部１１０に供給する。

なお、本実施形態では、現実空間内における位置や方向を、Ｘ軸とＹ軸とＺ軸とを用いて表すものとする。Ｘ軸方向は、車両１５０の進行方向を示す方向成分のうち、鉛直方向に直交する方向である。Ｙ軸方向は、Ｘ軸方向と鉛直方向とに直交する方向である。Ｚ軸方向は、鉛直方向である。

次に、図３を参照して、本実施形態に係る車線認識装置１００の基本的な機能について説明する。図３に示すように、車線認識装置１００は、機能的には、測定部１１、撮像部１２、特定部１３、算出部１４、記録部１５、記憶部１６、認識部１７を備える。

なお、車線認識装置１００の構成は、図３に示す例に限定されない。例えば、車線認識装置１００は、図３に示されていない構成要素を備えていてもよいし、図３に示す構成要素の一部を備えていなくてもよい。また、複数の構成要素の間で授受される情報は、図３において矢印で示すものに限定されない。従って、車線認識装置１００は、図３において矢印で示されていない情報を授受してもよいし、図３において矢印で示した情報の一部を授受しなくてもよい。

測定部１１は、車両１５０に設置され、現実空間内における自身の位置を測定する。なお、境界線は、車両１５０が走行する車線の両端に白または黄色の実線または破線で描かれた線である。測定部１１は、例えば、ＧＰＳ受信機１１２を備える。

撮像部１２は、車両１５０に設置され、車両１５０の進行方向の空間を撮像する。撮像部１２は、例えば、車載カメラ１１１を備える。

特定部１３は、撮像部１２により取得された撮像画像上における車両１５０が走行する車線の境界線の位置を特定する。特定部１３は、例えば、制御部１１０を備える。

算出部１４は、特定部１３による位置の特定が成功した場合、測定部１１により測定された位置と特定部１３により特定された位置とに基づいて、境界線の現実空間内における位置を算出する。算出部１４は、例えば、制御部１１０を備える。

記録部１５は、算出部１４により算出された位置を示す情報（境界線位置情報）を記憶部１６に記憶させる。記録部１５は、例えば、制御部１１０を備える。

認識部１７は、特定部１３による位置の特定が成功した場合、特定部１３により特定された位置に基づいて車線を認識する。一方、認識部１７は、特定部１３による位置の特定が成功しなかった場合、測定部１１により測定された位置と記憶部１６に記憶されている情報により示される位置とに基づいて車線を認識する。認識部１７は、例えば、制御部１１０を備える。

ここで、認識部１７は、特定部１３による位置の特定が成功しなかった場合、測定部１１により測定された位置と、記憶部１６に記憶されている情報のうち、直近の予め定められた期間において記憶された情報により示される位置と、に基づいて、車線を認識してもよい。なお、この期間は、境界線を認識するために用いる情報の寿命を考慮して、適宜、調整される。例えば、この期間は、道路上に描かれた境界線の寿命や、道路の工事状況などが考慮されて、適宜、調整される。例えば、この期間は、数ヶ月から数年とすることができる。

ここで、算出部１４は、撮像部１２により取得された撮像画像上において、上下方向の座標が予め定められた左右方向に延びる基準線と、境界線との交点を特定することができる。この場合、算出部１４は、測定部１１により測定された位置と、交点の左右方向における座標とに基づいて、現実空間内における交点に対応する地点の位置を算出することができる。

次に、図４を参照して、車載カメラ１１１とＧＰＳ受信機１１２の取り付け位置について説明する。

車載カメラ１１１は、車両１５０の進行方向の空間が撮像範囲になるように、車両１５０に設置される。つまり、車載カメラ１１１は、車両１５０の内側において車両１５０の前方を撮像可能となるように、フロントガラスの内側の上部中央よりに設置される。典型的には、車載カメラ１１１は、ルームミラーの近傍に固定して設置される。

ＧＰＳ受信機１１２は、ＧＰＳ衛星３０１、３０２、３０３から放射された電波を受信可能となるように、車両１５０に設置される。つまり、ＧＰＳ受信機１１２は、車両１５０の内側において上述した電波を受信可能となるように、フロントガラスの内側の上部に設置される。典型的には、車載カメラ１１１は、ルームミラーの近傍に固定して設置される。なお、車載カメラ１１１とＧＰＳ受信機１１２とは、いずれも車両１５０に固定されるため、車載カメラ１１１とＧＰＳ受信機１１２の位置関係は明白である。ここで、ＧＰＳ受信機１１２は、受信した電波に基づいて、ＧＰＳ受信機１１２の現実空間内における位置を測定することができる。このため、ＧＰＳ受信機１１２の現実空間内における位置から、車載カメラ１１１の現実空間内における位置も算出可能である。

次に、図５を参照して、車線を認識するために車載カメラ１１１により取得された撮像画像５００について説明する。なお、制御部１１０は、撮像画像５００に基づいて、（ａ）車線の境界線の撮像画像５００上における位置を特定し、（ｂ）車線の境界線の現実空間内における位置を特定する。

まず、（ａ）車線の境界線の撮像画像５００上における位置を特定する手法について説明する。図５に示すように、撮像画像５００上において、中心線５１１と基準線５１２とを想定する。中心線５１１は、撮像画像５００上において上下方向に延びる線であり、左右方向の中心点を結ぶ線である。基準線５１２は、撮像画像上において左右方向に延びる線であり、上下方向における座標が予め定められた線である。ここで、撮像画像５００上において、車線の境界線のうち左側の境界線を境界線５１３とし、車線の境界線のうち右側の境界線を境界線５１４とする。なお、撮像画像５００上において境界線５１３や境界線５１４を特定する手法は、適宜、調整することができる。例えば、エッジ検出やパターンマッチングなどの公知の手法が考えられる。

次に、（ｂ）車線の境界線の現実空間内における位置を特定する手法について説明する
。まず、撮像画像５００上において、基準線５１２と境界線５１３との交点を点Ａ、基準線５１２と境界線５１４との交点を点Ｂ、中心線５１１と基準線５１２との交点を点Ｃとする。なお、点Ｇは、消失点である。消失点は、実際には平行である２つの線が、遠近法により平行でなく描かれる場合に、これらの２つの線が交わる点である。本実施形態では、点Ｇは、境界線５１３と境界線５１４との交点である。

以下、図６を参照して、点Ａ、点Ｂ、点Ｃの撮像画像５００上における位置に対応する、点Ａ、点Ｂ、点Ｃの現実空間内における位置を求める手法について説明する。なお、点Ａ、点Ｂ、点Ｃは、現実空間内において、道路上に存在する点である。図６は、点Ａ、点Ｂ、点Ｃ、点Ｄ、点Ｅ、点Ｆの現実空間内における位置関係を示す斜視図である。点Ｅは、車載カメラ１１１の現実空間内における位置（焦点位置）である。一方、点Ｄは、点Ｅの真下に下ろしたときの道路上の点である。また、点Ｆは、ＧＰＳ受信機１１２の現実空間内における位置である。

ここで、ユーザは、車載カメラ１１１を車両１５０に設置した時に、点Ｃから点Ｄまでの距離と、撮像画像５００上における基準線５１２上の１画素当たりの現実空間内における距離（以下、適宜、「１画素当たりの距離」という。）と、を求めておく。ユーザは、例えば、現実空間内における点Ｃと、現実空間内における点Ｄとの間の距離を、メジャーなどにより測定することにより、点Ｃから点Ｄまでの距離を求める。また、ユーザは、予め長さが分かる定規などの基準物６００を、撮像画像５００上において基準線５１２に重なるように、道路上に配置する。そして、ユーザは、現実空間５００内における基準物６００の長さを、撮像画像５００上における基準物６００の長さに対応する画素数で除算することにより、１画素当たりの距離を求める。

このように、車載カメラ１１１の設置時に１画素当たりの距離が決定されている場合、撮像画像５００上における点Ａから点Ｃまでの画素数が求められることにより、現実空間５００内における点Ａから点Ｃまでの距離が求められる。また、車載カメラ１１１の設置時に現実空間５００内における点Ｃから点Ｄまでの距離は決定されており、点Ａと点Ｃと点Ｄとを頂点とする三角形は直角三角形である。従って、点Ａから点Ｃまでの距離と、点Ｃから点Ｄまでの距離とから、点Ａから点Ｄまでの距離と、角度ＡＤＣであるαとが求められる。このようにして、点Ｄの位置を基準としたときの点Ａの相対的な位置（点Ｄの位置を基準としたときの点Ａまでの距離と点Ａの方向）が求められる。

ここで、点Ｆの現実空間内における位置は、ＧＰＳ受信機１１２により求められる。また、点Ｆを基準としたときの点Ｅの相対的な位置（点Ｆの位置を基準としたときの点Ｅまでの距離と点Ｅの方向）は明白である。さらに、点Ｅを基準としたときの点Ｄの相対的な位置（点Ｅの位置を基準としたときの点Ｄまでの距離と点Ｄの方向）は明白である。従って、点Ｆの現実空間内における位置が、ＧＰＳ受信機１１２により求められると、点Ａの現実空間内における位置が求められる。

なお、点Ａと同様の手法により、点Ｂの現実空間内における位置を求めることができる。つまり、撮像画像５００上における点Ｂから点Ｃまでの画素数により、現実空間５００内における点Ｂから点Ｃまでの距離が求められる。そして、点Ｂから点Ｃまでの距離と、点Ｃから点Ｄまでの距離とから、点Ｂから点Ｄまでの距離と、角度ＢＤＣであるβとが求められる。従って、点Ｆの現実空間内における位置が、ＧＰＳ受信機１１２により求められると、点Ｂの現実空間内における位置が求められる。

なお、制御部１１０が、車線を認識する手法は、適宜、調整することができる。例えば、制御部１１０は、点Ｅを基準としたときの点Ａの相対的な位置と、点Ｅを基準としたときの点Ｂの相対的な位置と、に基づいて、車線を認識することができる。なお、点Ａの絶対的な位置（点Ａの現実空間内における位置）と、点Ｂの絶対的な位置（点Ｂの現実空間内における位置）とは、車線の認識に用いられなくてもよい。なお、これらの絶対的な位置は、撮像画像５００に基づく車線の認識が適切にできない場合に利用される。

次に、図７に示すフローチャートを参照して、車線認識装置１００が実行する車線認識処理について説明する。なお、車線認識装置１００は、ユーザから自動運転の開始指示を受け付けたことに応答して、図７に示す車線認識処理の実行を開始する。なお、サーバ２００が備える記憶装置２１０に記憶されている境界線位置情報は、車線認識処理が実行される前に、不揮発性メモリ１１３にダウンロードされているものとする。

まず、制御部１１０は、現在位置情報を取得する（ステップＳ１０１）。例えば、制御部１１０は、現在位置の取得処理を開始するようにＧＰＳ受信機１１２を制御した後、ＧＰＳ受信機１１２から現在位置情報を取得することができる。なお、現在位置情報は、現在時刻におけるＧＰＳ受信機１１２の位置を示す情報である。

制御部１１０は、ステップＳ１０１の処理を完了すると、撮像画像５００を取得する（ステップＳ１０２）。例えば、制御部１１０は、撮像を開始するように車載カメラ１１１を制御した後、車載カメラ１１１から撮像画像５００を取得することができる。なお、撮像画像５００は、例えば、車載カメラ１１１による撮像により取得された動画像のうち、現在時刻における最新のフレーム画像である。

制御部１１０は、ステップＳ１０２の処理を完了すると、撮像画像５００上における境界線位置を特定する（ステップＳ１０３）。制御部１１０は、上述した手法や周知の手法により、撮像画像５００上において、境界線５１３の位置と境界線５１４の位置とを特定する。

制御部１１０は、ステップＳ１０３の処理を完了すると、境界線位置を適切に特定したか否かを判別する（ステップＳ１０４）。例えば、撮像画像５００上において、境界線５１３と境界線５１４とが明確に映し出されている場合、境界線位置が適切に特定される。一方、撮像画像５００上において、境界線５１３と境界線５１４とが明確に映し出されていない場合、境界線位置が適切に特定されない。なお、境界線５１３や境界線５１４が撮像画像５００上において明確に映し出されなくなる原因として、種々の原因が考えられる。例えば、道路上に描かれた境界線５１３や境界線５１４がかすれてしまった場合、道路上に他の車両や歩行者がある場合、道路上に水や土砂や落下物などがある場合などが考えられる。

制御部１１０は、境界線位置を適切に特定したと判別すると（ステップＳ１０４：ＹＥＳ）、現在位置情報を適切に取得したか否かを判別する（ステップＳ１０５）。例えば、ＧＰＳ衛生３０１、３０２、３０３から送信された電波の受信状況が良好である場合、現在位置情報が適切に取得される。一方、これらの電波の受信状況が良好でない場合、現在位置情報が適切に取得されない。なお、同じ場所でも、飛行機、樹木、鳥などの障害物、工事車両から発生するノイズ、強雨や強風などの天候不良などにより、電波の受信状況が良好でなくなる可能性がある。

制御部１１０は、現在位置情報を適切に取得したと判別すると（ステップＳ１０５：ＹＥＳ）、現実空間内における境界線位置を算出する（ステップＳ１０６）。つまり、制御部１１０は、上述した手法により、現在位置情報と撮像画像上における境界線位置とに基づいて、現実空間内における、点Ａの位置と点Ｂの位置とを算出する。

制御部１１０は、ステップＳ１０６の処理を完了すると、算出した境界線位置を示す境界線位置情報を記録する（ステップＳ１０７）。具体的には、制御部１１０は、点Ａの位置（緯度、経度、高度）を示す情報を、左側の境界線上の位置を示す情報として、不揮発性メモリ１１３に記憶する。また、制御部１１０は、点Ｂの位置（緯度、経度、高度）を示す情報を、右側の境界線上の位置を示す情報として、不揮発性メモリ１１３に記憶する。

制御部１１０は、現在位置情報を適切に取得しなかったと判別した場合（ステップＳ１０５：ＮＯ）、または、ステップＳ１０７の処理を完了した場合、特定された境界線位置に基づいて、車線を認識する（ステップＳ１０８）。なお、制御部１１０は、撮像画像５００上において境界線位置を適切に特定した場合、車載カメラ１１１の位置を基準としたときの点Ａの相対的な位置と点Ｂの相対的な位置とを認識可能である。そして、制御部１１０は、点Ａと点Ｂの間を、車両１５０が走行すべき車線として認識することができる。

制御部１１０は、境界線位置を適切に特定しなかったと判別した場合（ステップＳ１０４：ＮＯ）、境界線位置情報があるか否かを判別する（ステップＳ１０９）。例えば、制御部１１０は、最近１年間に記録された境界線位置情報のうち、現在位置情報により示される現在位置の近傍に関わる境界線位置情報が、不揮発性メモリ１１３に記憶されているか否かを判別することができる。

制御部１１０は、境界線位置情報があると判別した場合（ステップＳ１０９：ＹＥＳ）、境界線位置情報を取得する（ステップＳ１１０）。具体的には、制御部１１０は、最近１年間に記録された境界線位置情報のうち、現在位置情報により示される現在位置の近傍に関わる境界線位置情報を、不揮発性メモリ１１３から読み出す。

制御部１１０は、ステップＳ１１０の処理を終了すると、現在位置情報と境界線位置情報とに基づいて車線を認識する（ステップＳ１１１）。制御部１１０は、例えば、現在位置情報により示される現在位置に対する、境界線位置情報により示される境界線位置（点Ａの位置および点Ｂの位置）の相対的な位置を特定することにより、車線を認識することができる。

一方、制御部１１０は、境界線位置情報がないと判別した場合（ステップＳ１０９：ＮＯ）、過去に特定した境界線位置に基づいて車線を認識する（ステップＳ１１２）。つまり、撮像画像５００に基づいて境界線位置が適切に特定されなかった場合でも境界線位置情報が存在しない場合、制御部１１０は、過去に撮像画像５００に基づいて特定された境界線位置に基づいて、車線を認識する。例えば、制御部１１０は、過去数フレームの平均値から車線を予測して認識する、直近の過去の取得情報のみを補正して使用するなどして車線を認識する。

制御部１１０は、ステップＳ１０８、ステップＳ１１１、ステップＳ１１２の処理を完了した場合、ステップＳ１０１に処理を戻す。

以上説明したように、本実施形態では、撮像画像５００に基づいて車線の境界線の位置が適切に特定できない場合、過去に記録された車線の境界線の位置を示す情報に基づいて、車線が認識される。従って、本実施形態によれば、例えば、車線の境界線が明確に描かれていない状態においても車線を適切に認識することができる。つまり、本実施形態によれば、安定した車線認識が実現可能となる。

また、本実施形態では、撮像画像５００に基づいて車線の境界線の位置が適切に特定できない場合、過去に記録された車線の境界線の位置を示す情報のうち、直近の予め定められた期間において記録された情報に基づいて、車線が認識される。従って、本実施形態によれば、車線の誤認識を低減することが期待できる。

また、本実施形態では、基準線と境界線との交点に対応する地点の現実空間内における位置が算出され、記憶される。従って、本実施形態によれば、現実空間内における境界線の位置が効率的に管理される。

（実施形態２）
実施形態１では、車載カメラ１１１の位置や角度が変化しないことを前提として、境界線の現実空間内における位置が算出される例について説明した。本実施形態では、車載カメラ１１１の位置や角度の変化が考慮されて、境界線の現実空間内における位置が算出される例について説明する。

車載カメラ１１１は、車両１５０の予め定められた位置に設置される。しかしながら、車載カメラ１１１は、車両１５０が走行する道路の凹凸、タイヤやサスペンションの上下移動、車両１５０の加速や減速などの影響により、上下方向に移動したり、Ｙ軸方向に延びる回転軸を基準として角度が変化したりする。この結果、車載カメラ１１１による撮像範囲が変化することになる。従って、撮像範囲が変化したことを検出し、撮像範囲の変化を考慮して、境界線の位置を算出することが好適である。撮像範囲の変化を検出する手法は、適宜、調整することができる。本実施形態では、消失点の変化を検出することにより、撮像範囲の変化を検出する手法について説明する。

まず、初期状態（車載カメラ１１１の位置や角度が変化していない状態）では、図５に示す撮像画像５００が撮像されるものとする。撮像画像５００において、消失点である点Ｇは、撮像画像５００の中心である。なお、点Ｇは、境界線５１３（境界線５１３を含む直線）と境界線５１４（境界線５１４を含む直線）との交点である。従って、点Ｇは、撮像画像５００において、境界線５１３の位置と境界線５１４の位置とを特定することにより特定可能である。

ここで、車載カメラ１１１が上方向に移動したり、車両１５０の進行方向に向かって上向きに回転したりする場合を想定する。この場合、撮像範囲が上方に移動し、図８（Ａ）に示す撮像画像５０１が車載カメラ１１１により取得される。撮像画像５０１では、境界線５１３と境界線５１４とが消失点である点Ｇと共に、下方向に移動している。そこで、点Ｇが下方向に移動した分だけ、基準線５１２を下方向に移動させる。これにより、撮像画像５００における点Ａ（または、点Ｂ）から点Ｃまでの距離と、撮像画像５０１における点Ａ（または、点Ｂ）から点Ｃまでの距離とが、一致することになる。つまり、撮像範囲が上方向にずれた分だけ基準線５１２を下方向にずらすことにより、点Ａ（または、点Ｂ）により示される境界線の位置が適切に算出される。

また、車載カメラ１１１が下方向に移動したり、車両１５０の進行方向に向かって下向きに回転したりする場合を想定する。この場合、撮像範囲が下方に移動し、図８（Ｂ）に示す撮像画像５０２が車載カメラ１１１により取得される。撮像画像５０２では、境界線５１３と境界線５１４とが消失点である点Ｇと共に、上方向に移動している。そこで、点Ｇが上方向に移動した分だけ、基準線５１２を上方向に移動させる。これにより、撮像画像５００における点Ａ（または、点Ｂ）から点Ｃまでの距離と、撮像画像５０２における点Ａ（または、点Ｂ）から点Ｃまでの距離とが、一致することになる。つまり、撮像範囲が下方向にずれた分だけ基準線５１２を上方向にずらすことにより、点Ａ（または、点Ｂ）により示される境界線の位置が適切に算出される。

本実施形態では、撮像画像内における消失点の上下方向の移動量に応じて、基準線５１２が上下方向に移動する。従って、本実施形態によれば、撮像範囲が上下方向に移動した場合でも、境界線の位置が適切に算出される。

（変形例）
本発明は、実施形態１、２に開示したものに限られない。

実施形態１では、境界線位置情報が全ての車両により共用され、境界線位置情報が車線認識処理中にダウンロードまたはアップロードされない例について説明した。本発明において、境界線位置情報が車線認識処理中にダウンロードまたはアップロードされてもよい。

なお、境界線位置情報が全ての車両により共用される構成によれば、より多くの境界線位置情報が蓄積されることになり、車線の認識ができない確率を減らすことが期待できる。なお、境界線位置情報は、境界線の位置（境界線に含まれる地点の位置）を現実空間内における座標（例えば、緯度、経度、高度）により示す情報である。このため、例えば、車線認識装置１００が備える車載カメラ１１１と車線認識装置１０１が備える車載カメラ１１１とで、設置される位置や角度が異なる場合でも、最終的に記憶される境界線位置情報の整合性はとれることになる。なお、本発明において、境界線位置情報が車両毎に設けられてもよい。

実施形態１では、ほぼ同じ位置に関して異なるタイミングで取得された境界線位置情報の整合性についての説明を省略した。本発明において、ほぼ同じ位置に関して異なるタイミングで取得された境界線位置情報をどのように取り扱うかは、適宜、調整することができる。例えば、ほぼ同じ位置に関して異なるタイミングで複数の境界線位置情報が取得された場合、最新の境界線位置情報が採用されてもよいし、平均的な位置が採用されてもよい。

また、実際の道路は、車線の境界線が薄くなったり消えたりした場合に書き直されたり、道路幅の変更に伴って車線の境界線の位置が変更されたりする。そこで、境界線位置情報とともにこの境界線位置情報が取得された時刻を示す時刻情報とが記憶され、この時刻情報に基づいて、境界線が安定しない期間と境界線が安定する期間とが判別されてもよい。そして、境界線が安定しない期間の後に、境界線が安定した期間があると判別された場合、境界線が安定しない期間において取得された境界線位置情報が消去され、平均化処理などから除外されるようにしてもよい。なお、境界線位置情報が取得された時刻は、ＧＰＳ受信機１１２から取得された時刻情報により特定可能である。

実施形態１では、基準線５１２上における１画素あたりの距離が一定であると定義する例について説明した。本発明において、基準線５１２上における１画素あたりの距離を横方向における位置に応じて詳細に定義してもよい。例えば、点Ａ近傍における１画素あたりの距離と、点Ｃ近傍における１画素あたりの距離とを、定規等を用いた手法により求める。そして、点Ａから点Ｃまでの間の各点における、１画素あたりの距離をリニアに変化させる。そして、点Ａから点Ｃまでの間の各画素の現実空間内における長さを積み重ねることにより、点Ａから点Ｃまでの現実空間内における長さが求められる。かかる構成によれば、点Ａの現実空間内における位置が正確に算出可能となる。点Ｂから点Ｃまでの距離の算出も同様である。

実施形態１では、撮像画像５００上において境界線の位置の特定が成功しなかった場合に、記憶されている境界線位置情報が使用される例について説明した。本発明において、記憶されている境界線位置情報が使用される条件は、この例に限定されない。例えば、夜間、強雨、積雪などの原因により、撮像画像５００上において境界線の位置を誤って特定しやすいと推測される場合、積極的に記憶されている境界線位置情報が使用されてもよい。

実施形態１では、車載カメラ１１１として単眼カメラが採用される例について説明した。本発明において、車載カメラ１１１として、ステレオカメラが採用されてもよい。

実施形態１では、車載カメラ１１１により取得された撮像画像５００に基づいて、境界線の位置が算出される例について説明した。本発明において、撮像画像５００の他、距離を測定可能な各種のセンサにより取得された情報が、境界線の位置の算出に用いられてもよい。

実施形態１では、車線の境界線に対する位置情報が取得および活用される例について説明した。本発明において、横断歩道、信号機、標識、道路標示等に対する位置情報が取得および活用されてもよい。

本発明において、車線認識の状況（例えば、認識結果（成功／失敗））を示す情報がサーバ２００などにアップロードされ、解析されてもよい。かかる構成によれば、アップロードされた情報を、メンテナンスなどに利用可能となる。

実施形態１では、境界線位置情報は、基本的に、現実空間内における座標（緯度、経度、高さ）の集合として管理される例について説明した。本発明において、境界線位置情報の管理方法は、適宜、調整することができる。例えば、境界線位置情報は、種々の関数などを用いて境界線の位置を示す情報であってもよい。

上記実施形態では、車線認識装置１００がＣＰＵとＲＯＭとＲＡＭとを備える制御部１１０を備え、ＣＰＵがＲＯＭに記憶されているプログラムに従って、ソフトウェアにより車線認識処理が実現される例を示した。しかし、車線認識装置１００が実行する車線認識処理は、ソフトウェアにより実現されるものに限定されない。例えば、車線認識装置１００は、マイクロコンピュータ、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）、ＤＳＰ（Digital Signal Processor）などにより構成されてもよい。

なお、本発明に係る車線認識装置は、専用のシステムによらず、通常のコンピュータシステムを用いても実現可能である。例えば、コンピュータに、上記動作を実行するためのプログラムを、コンピュータ読み取り可能な記録媒体に記憶して配布し、これをコンピュータシステムにインストールすることにより、上述の処理を実行する車線認識装置を構成しても良い。さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを記憶しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

１１ 測定部
１２ 撮像部
１３ 特定部
１４ 算出部
１５ 記録部
１６ 記憶部
１７ 認識部
１００、１０１、１０２、１０３ 車線認識装置
１１０ 制御部
１１１ 車載カメラ
１１２ ＧＰＳ受信機
１１３ 不揮発性メモリ
１１４ ネットワークインターフェース
１１５ タッチスクリーン
１１６ スピーカ
１１７ マイクロフォン
１５０、１５１、１５２、１５３ 車両
２００ サーバ
２１０ 記憶装置
２５０ ネットワーク
３０１、３０２、３０３ ＧＰＳ衛星
５００、５０１、５０２ 撮像画像
５１１ 中心線
５１２ 基準線
５１３、５１４ 境界線
６００ 基準物
１０００ 車線認識システム

Claims (2)

1. 車両に設置され、現実空間内における自身の位置を測定する測定部と、
   前記車両に設置され、前記車両の進行方向の空間を撮像する撮像部と、
   前記撮像部により取得された撮像画像上における前記車両が走行する車線の境界線の位置を特定する特定部と、
   前記特定部による位置の特定が成功した場合、前記測定部により測定された位置と前記特定部により特定された位置とに基づいて、前記境界線の現実空間内における位置を緯度情報と経度情報を含む絶対的な位置を示す座標情報として算出する算出部と、
   前記算出部により算出された前記境界線の現実空間における位置を示す座標情報とともに前記座標情報が取得された時刻を示す時刻情報を記憶部に記憶させる記録部と、
   前記特定部による位置の特定が成功した場合、前記特定部により特定された位置に基づいて前記車線を認識し、前記特定部による位置の特定が成功しなかった場合、前記測定部により測定された位置と前記記憶部に記憶された前記座標情報により示される位置とに基づいて前記車線を認識する認識部と、を備え、
   前記時刻情報に基づいて前記境界線の位置が安定している期間と安定していない期間を判別し、前記境界線の位置が安定していない期間の後に、前記境界線の位置が安定した期間があると判定された場合、前記境界線の位置が安定していない期間の前記座標情報を前記記憶部から消去する、
   ことを特徴とする車線認識装置。
2. 車両に設置された測定部により、現実空間内における自身の位置を測定する測定ステップと、
   前記車両に設置された撮像部により、前記車両の進行方向の空間を撮像する撮像ステップと、
   前記撮像ステップにより取得された撮像画像上における前記車両が走行する車線の境界線の位置を特定する特定ステップと、
   前記特定ステップによる位置の特定が成功した場合、前記測定ステップにより測定された位置と前記特定ステップにより特定された位置とに基づいて、前記境界線の現実空間内における位置を緯度情報と経度情報を含む絶対的な位置を示す座標情報として算出する算出ステップと、
   前記算出ステップにより算出された前記境界線の現実空間内における位置を示す座標情報とともに前記座標情報が取得された時刻を示す時刻情報を記憶部に記憶させる記録ステップと、
   前記特定ステップによる位置の特定が成功した場合、前記特定ステップにより特定された位置に基づいて前記車線を認識し、前記特定ステップによる位置の特定が成功しなかった場合、前記測定ステップにより測定された位置と前記記憶部に記憶された前記座標情報により示される位置とに基づいて前記車線を認識する認識ステップと、
   前記時刻情報に基づいて前記境界線の位置が安定している期間と安定していない期間を判別する判別ステップと、
   前記境界線の位置が安定していない期間の後に、前記境界線の位置が安定した期間があると判定された場合、前記境界線の位置が安定していない期間の前記座標情報を前記記憶部から消去する、消去ステップと、を備える
   ことを特徴とする車線認識方法。
   
   

Images