JP6083976B2 - 車線状況判別装置および車線状況判別方法 - Google Patents

Description

本発明は、車線の状況を判別する技術に関する。

従来、道路を撮影するカメラから得られた画像に基づいて、車線の状況を識別する技術が存在する。

例えば、特許文献１には、道路を撮影した画像に鳥瞰図変換（俯瞰変換）を施して得られる俯瞰画像を用いて道路状況を把握し、自車の走行状況を判定する技術が記載されている。

特開２００９−１２２８２５号公報

しかし、画像に鳥瞰図変換を施して俯瞰画像を取得する構成をハードウェアで実現した場合、高コストになっていた。

そこで、本発明は、鳥瞰図変換を行うことなく、道路を撮影するカメラから得られた画像に基づいて、車線の状況を識別することが可能な技術を提供することを目的とする。

本発明に係る車線状況判別装置の第１の態様は、車両に搭載され、前記車両の進行方向の道路を被写体とした画像を取得するカメラと、前記画像から、前記道路の車線を規定する複数のラインを抽出し、前記複数のラインそれぞれに近似する複数の直線を検出する検出手段と、前記複数の直線それぞれを延長した延長線の交点を特定する特定手段と、前記交点と、前記画像において予め設定された無限遠点との位置を比較することによって、前記車線の状況を判別する判別手段とを備え、前記判別手段は、前記画像上において、前記交点の位置が前記無限遠点に対して、水平方向のずれを規定する第１閾値を超えるか否かの判定を行い、前記第１閾値を超える場合、前記車両の進行方向の車線は曲線であると判別し、前記判別手段は、前記画像上において、前記交点の位置が前記無限遠点に対して、垂直方向のずれを規定する第２閾値を超えるか否かの判定を行い、前記第２閾値を超える場合、前記車両の進行方向の車線は勾配のある車線であると判別する。

また、本発明に係る車線状況判別装置の第２の態様は、上記第１の態様であって、前記検出手段は、前記画像中の路面領域を抽出する抽出手段を有し、前記検出手段は、前記路面領域のうち、前記画像において前記無限遠点に比較的近い領域から前記道路の車線を規定する複数のラインを抽出し、当該複数のラインそれぞれに近似する複数の直線を検出する。

また、本発明に係る車線状況判別方法は、ａ）車両の進行方向の道路を被写体とした画像から、検出手段により、前記道路の車線を規定する複数のラインを抽出し、前記複数のラインそれぞれに近似する複数の直線を検出する工程と、ｂ）特定手段により前記複数の直線それぞれを延長した延長線の交点を特定する工程と、ｃ）判別手段により前記交点と、前記画像において予め設定された無限遠点との位置を比較することによって、前記車線の状況を判別する工程とを備え、前記工程ｃ）は、前記画像上において、前記交点の位置が前記無限遠点に対して、水平方向のずれを規定する第１閾値を超えるか否かの判定を行い、前記第１閾値を超える場合、前記車両の進行方向の車線は曲線であると判別する工程と、前記画像上において、前記交点の位置が前記無限遠点に対して、垂直方向のずれを規定する第２閾値を超えるか否かの判定を行い、前記第２閾値を超える場合、前記車両の進行方向の車線は勾配のある車線であると判別する工程と、を含む。

本発明によれば、鳥瞰図変換を行うことなく低コストで、道路を撮影するカメラから得られた画像に基づいて、車線の状況を識別することが可能になる。

本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

第１実施形態に係る車線状況判別装置の構成を示すブロック図である。 車線状況判別装置の実動作前のフローチャートである。 画像上に設定された無限遠点を示す図である。 車線状況判別装置の実動作のフローチャートである。 様々な車線の車線状況を検出する様子を示す図である。 様々な車線の車線状況を検出する様子を示す図である。 様々な車線の車線状況を検出する様子を示す図である。 様々な車線の車線状況を検出する様子を示す図である。 路面領域の分割態様の一例を示す図である。 路面領域の一部から車線の状況を検出する様子を示す図である。

以下、各実施形態について図面を参照して説明する。なお、異なる図面において同一の符号を付した要素は、同一または相応する要素を示すものとする。

＜１．第１実施形態＞
［１−１．構成］
図１は、第１実施形態に係る車線状況判別装置１Ａの構成を示すブロック図である。

図１に示されるように、車線状況判別装置１Ａは、カメラ１１と、画像処理部１２と、フレームメモリ１３と、情報処理部１４と、中間メモリ１５とを備えている。

カメラ１１は、車両に搭載され、車両周辺の道路を撮影可能となっている。本実施形態では、カメラ１１が車両のフロント部（例えば、ルームミラー（車両室内のバックミラー））に備えられ、当該カメラ１１は、車両の進行方向の道路を被写体とした画像を取得するものとする。

画像処理部１２は、カメラ１１によって取得された画像の画像データに各種画像処理を施す。画像処理部１２で実行される画像処理としては、例えば、不足している色成分を補間により求める画素補間処理、画像データの色空間を変換する色空間変換処理等がある。

フレームメモリ１３は、画像処理部１２から出力される画像処理後の画像データを一時的に記憶するためのメモリである。

情報処理部１４は、ＣＰＵ、ＲＡＭおよびＲＯＭ等で構成され、ＲＯＭ内に格納されたプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、直線検出部１４１、交点特定部１４２および車線状況判別部１４３を機能的に実現する。なお、当該情報処理部１４おいて実現される各機能は、ハードウェア回路で実現される態様であってもよい。

直線検出部１４１は、フレームメモリ１３から画像データを読み出し、画像中の路面領域を抽出する。路面領域の抽出は、例えば、路面を表す一般的な画素値を、路面に関する基準画素値として予め保持し、画像中の各画素の画素値と当該基準画素値とを比較することによって行うことができる。さらに、直線検出部１４１は、抽出された路面領域に対して、エッジ検出処理を施し、検出されたエッジに対して、直線検出処理を施す。エッジ検出処理により、道路の車線を規定する複数のライン（例えば、白線）が検出され、直線検出処理により、当該複数のラインそれぞれに沿った複数の直線が近似的に検出されることになる。直線検出部１４１における各処理は、処理中のデータを中間メモリ１５に記憶しつつ行われる。なお、直線検出処理としては、例えばハフ変換を採用することができるが、他の手法を採用してもよい。

交点特定部１４２は、複数の直線をそれぞれ延長して得られる、２つの延長線の画像上の交点を特定する。

車線状況判別部１４３は、交点特定部１４２で特定された交点と、画像において予め設定された無限遠点との位置を比較することによって、車線の状況を判別する。

［１−２．動作］
次に、車線状況判別装置１Ａの動作について説明する。図２は、車線状況判別装置１Ａの実動作前のフローチャートであり、図４は、車線状況判別装置１Ａの実動作のフローチャートである。図３は、画像上に設定された無限遠点を示す図である。図５〜図８は、様々な車線の車線状況を検出する様子を示す図である。

実動作前には、図２に示されるように、カメラ１１によって取得される画像上で無限遠点の設定が行われる。無限遠点は、実世界で互いに平行な直線が、撮像された画像上で交差する点であり、「消失点」とも称される。図３には、カメラ１１によって取得される画像ＧＨ１上に設定された無限遠点ＶＰが示されている。なお、画像ＧＨ１中の水平線ＢＬは、当該画像ＧＨ１を撮影するカメラ１１を搭載した車両が平坦な場所に位置したときに画像ＧＨ１に表れる地平線の位置を示している。

実動作では、図４に示されるように、ステップＳＰ１１において、まず、カメラ１１によって、車両の進行方向の道路を被写体とした画像が取得される。取得された画像には、画像処理部１２によって所定の画像処理が施される。

次のステップＳＰ１２では、直線検出部１４１によって、道路の車線を規定する複数のラインそれぞれに近似する複数の直線が検出される。図５には、道路の車線を規定する複数のラインそれぞれに近似する複数の直線ＳＬ１，ＳＬ２が検出された様子が示されている。

ステップＳＰ１３では、交点特定部１４２によって、複数の直線それぞれを延長した各延長線の交点が特定される。

そして、ステップＳＰ１４〜ステップＳＰ１９では、車線状況判別部１４３によって、各延長線の交点と無限遠点との位置が比較され、画像上での無限遠点に対する交点の位置に応じて、前方の車線の状況が判別される。

具体的には、ステップＳＰ１４では、交点が無限遠点を基準にして左右にずれているか否か（水平方向にずれているか否か）が判定される。交点が無限遠点に対して左右にずれているか否かの判定は、例えば、ずれ量が閾値（左右用の第１閾値）を超えるか否かに基づいて行われる。

交点が無限遠点に対して左右どちらかにずれていると判定された場合、動作工程はステップＳＰ１５に移行され、ステップＳＰ１５では、車両の進行方向の車線は、曲線である（カーブである）と判別される。なお、カーブの方向は、無限遠点に対する交点のずれ方向から特定することができる。

一方、交点が無限遠点に対して左右にずれていないと判定された場合、動作工程はステップＳＰ１６に移行され、ステップＳＰ１６では、車両の進行方向の車線は、直線であると判別される。

例えば、図６では、複数の直線ＳＬ１１，ＳＬ１２の交点ＣＰ２が、無限遠点ＶＰに対して右にずれている態様が示されており、交点と無限遠点ＶＰとが図６のような位置関係であった場合、車両の進行方向の車線は、右方向に曲がる曲線であると判別されることになる。

これに対し、図５のように、複数の直線ＳＬ１，ＳＬ２の交点ＣＰ１が、無限遠点ＶＰに対して左右にずれていない場合、車両の進行方向の車線は、直線であると判別される。

次に、ステップＳＰ１７では、交点が無限遠点を基準にして上下にずれているか否か（垂直方向にずれているか否か）が判定される。交点が無限遠点に対して上下にずれているか否かの判定は、例えば、ずれ量が閾値（上下用の第２閾値）を超えるか否かに基づいて行えばよい。

交点が無限遠点に対して上下どちらかにずれていると判定された場合、動作工程はステップＳＰ１８に移行され、ステップＳＰ１８では、車両の進行方向の車線は、勾配のある車線であると判別される。なお、下り勾配であるか或いは上り勾配であるかは、無限遠点に対する交点のずれ方向から特定することができる。

一方、交点が無限遠点に対して上下にずれていないと判定された場合、動作工程はステップＳＰ１９に移行され、ステップＳＰ１９では、車両の進行方向の車線は、勾配のない車線であると判別される。

例えば、図７では、複数の直線ＳＬ１３，ＳＬ１４の交点ＣＰ３が、無限遠点ＶＰに対して上にずれている態様が示されており、交点ＣＰ３と無限遠点ＶＰとが図７のような位置関係であった場合、車両の進行方向の車線は、上り勾配の車線であると判別されることになる。

これに対し、図８のように、複数の直線ＳＬ１５，ＳＬ１６の交点ＣＰ４が、無限遠点ＶＰに対して下にずれている場合、車両の進行方向の車線は、下り勾配の車線であると判別される。

以上のように、車線状況判別装置１Ａは、車両に搭載され、車両の進行方向の道路を被写体とした画像を取得するカメラ１１と、画像から、道路の車線を規定する複数のラインを抽出し、複数のラインそれぞれに近似する複数の直線を検出する直線検出部１４１と、複数の直線それぞれを延長した延長線の交点を特定する交点特定部１４２と、交点と、画像において予め設定された無限遠点ＶＰとの位置を比較することによって、車線の状況を判別する車線状況判別部１４３とを備えている。

このような車線状況判別装置１Ａによれば、鳥瞰図変換を行うことなく、道路を撮影するカメラから得られた画像に基づいて、車線の状況を識別することが可能になる。このように、車線状況判別装置１Ａでは、鳥瞰図変換を実現する構成が不要となるため、低コストで車線の状況を識別することが可能になる。

＜２．第２実施形態＞
次に、本発明の第２実施形態について説明する。第１実施形態に係る車線状況判別装置１Ａは、画像中の路面領域を全て用いて、道路の車線を規定する複数のラインを検出していたが、第２実施形態に係る車線状況判別装置１Ｂは、画像中の路面領域のうち、無限遠点に比較的近い領域から道路の車線を規定する複数のラインを検出する。なお、車線状況判別装置１Ｂは、車線状況判別装置１Ａとほぼ同様の構造および機能（図１参照）を有しており、共通する部分については同じ符号を付して説明を省略する。

上述のように、車線状況判別装置１Ｂでは、画像中の路面領域のうち一部の路面領域から道路の車線を規定する複数のラインを検出する。図９は、路面領域の分割態様の一例を示す図である。図１０は、路面領域の一部を用いて車線の状況を検出する様子を示す図である。

具体的には、車線状況判別装置１Ｂの直線検出部１４１（図１）は、画像から抽出した路面領域のうち、無限遠点に比較的近い領域に対してエッジ検出処理および直線検出処理を施す。すなわち、直線検出部１４１は、無限遠点に比較的近い領域から道路の車線を規定する複数のラインを抽出し、当該複数のラインそれぞれに近似する複数の直線を検出する。

より詳細には、直線検出部１４１は、画像から抽出した路面領域を、例えば、図９に示されるように、無限遠点ＶＰから比較的近い領域ＮＲと、比較的遠い領域ＦＲとに分ける。そして、図１０に示されるように、直線検出部１４１は、無限遠点ＶＰから比較的近い路面領域ＮＲから道路の車線を規定する複数のラインを抽出し、当該複数のラインそれぞれに近似する複数の直線ＳＬ２１，ＳＬ２２を検出する。

交点特定部１４２は、複数の直線ＳＬ２１，ＳＬ２２をそれぞれ延長して、交点ＣＰ５を特定し、車線状況判別部１４３は、当該交点ＣＰ５と無限遠点ＶＰとの位置を比較することによって、車線の状況を判別する。

図９に示されるように、画像中の道路領域を、無限遠点ＶＰから比較的近い領域ＮＲと、比較的遠い領域ＦＲとに分けた場合、画像中に存在する道路の車線が曲線であったとき、無限遠点ＶＰから近い領域ＮＲにおいて車線の曲がりが顕著になる。

このため、車線状況判別装置１Ｂのように、画像上において、無限遠点ＶＰから比較的近い路面領域ＮＲから道路の車線を規定する複数のラインを抽出し、当該複数のラインそれぞれに近似する複数の直線ＳＬ２１，ＳＬ２２を検出することによれば、車線状況の判別精度を向上させることができる。

なお、上記では、路面領域を水平２分割した上で、無限遠点ＶＰに近い領域から道路の車線を規定する複数のラインを抽出していたが、路面領域のうち、無限遠点ＶＰから所定の距離に存在する領域から道路の車線を規定する複数のラインを抽出するようにしてもよい。

本発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。

１Ａ，１Ｂ 車線状況判別装置
１１ カメラ
１２ 画像処理部
１３ フレームメモリ
１４ 情報処理部
１４１ 直線検出部
１４２ 交点特定部
１４３ 車線状況判別部
ＧＨ１ 画像
ＶＰ 無限遠点
ＢＬ 水平線
ＣＰ１〜ＣＰ５ 交点

Claims (3)

1. 車両に搭載され、前記車両の進行方向の道路を被写体とした画像を取得するカメラと、
   前記画像から、前記道路の車線を規定する複数のラインを抽出し、前記複数のラインそれぞれに近似する複数の直線を検出する検出手段と、
   前記複数の直線それぞれを延長した延長線の交点を特定する特定手段と、
   前記交点と、前記画像において予め設定された無限遠点との位置を比較することによって、前記車線の状況を判別する判別手段と、を備え、
   前記判別手段は、前記画像上において、前記交点の位置が前記無限遠点に対して、水平方向のずれを規定する第１閾値を超えるか否かの判定を行い、前記第１閾値を超える場合、前記車両の進行方向の車線は曲線であると判別し、
   前記判別手段は、前記画像上において、前記交点の位置が前記無限遠点に対して、垂直方向のずれを規定する第２閾値を超えるか否かの判定を行い、前記第２閾値を超える場合、前記車両の進行方向の車線は勾配のある車線であると判別する車線状況判別装置。
2. 前記検出手段は、前記画像中の路面領域を抽出する抽出手段を有し、
   前記検出手段は、前記路面領域のうち、前記画像において前記無限遠点に比較的近い領域から前記道路の車線を規定する複数のラインを抽出し、当該複数のラインそれぞれに近似する複数の直線を検出する請求項１記載の車線状況判別装置。
3. ａ）車両の進行方向の道路を被写体とした画像から、検出手段により、前記道路の車線を規定する複数のラインを抽出し、前記複数のラインそれぞれに近似する複数の直線を検出する工程と、
   ｂ）特定手段により前記複数の直線それぞれを延長した延長線の交点を特定する工程と、
   ｃ）判別手段により前記交点と、前記画像において予め設定された無限遠点との位置を比較することによって、前記車線の状況を判別する工程と、を備え、
   前記工程ｃ）は、
   前記画像上において、前記交点の位置が前記無限遠点に対して、水平方向のずれを規定する第１閾値を超えるか否かの判定を行い、前記第１閾値を超える場合、前記車両の進行方向の車線は曲線であると判別する工程と、
   前記画像上において、前記交点の位置が前記無限遠点に対して、垂直方向のずれを規定する第２閾値を超えるか否かの判定を行い、前記第２閾値を超える場合、前記車両の進行方向の車線は勾配のある車線であると判別する工程と、を含む、車線状況判別方法。

Images