JP7484783B2 - 車線境界検出装置、車線境界検出方法及び車線境界検出用コンピュータプログラム - Google Patents

Description

本発明は、画像に表された車線の境界を検出する車線境界検出装置、車線境界検出方法及び車線境界検出用コンピュータプログラムに関する。

車両を自動運転制御するために、あるいは、車両のドライバの運転を支援するために、車両とその車両が走行中の車線との位置関係を正確に検出することが求められる。そのために、車両に搭載されたカメラにより得られた、車両周囲の画像から、車両が走行中の車線及びその車線の境界線を検出することが行われる（例えば、特許文献１を参照）。

例えば、特許文献１に開示された運転支援システムは、撮像画像中の画素の輝度値に基づいてエッジ点を抽出する。エッジ点のうち、内側画素の輝度の方が外側画素の輝度より小さいエッジ点をアップエッジ点、外側画素の輝度の方が内側画素の輝度より小さいエッジ点をダウンエッジ点とする。この運転支援システムは、エッジ点の位置に基づいて求められた線候補のうち、除外条件を満たす線候補を除いた車両位置に最も近い線候補を車線境界線として設定する。除外条件には、線候補を構成するアップエッジ線に属するエッジ点の数がダウンエッジ線に属するエッジ点の数に比べ、あらかじめ決められた点閾値以上であることが含まれる。

特開２０１９－８７１３４号公報

車両に搭載されるハードウェアリソースには限りがあり、そのハードウェアリソースが自動運転制御あるいは運転支援のための様々な処理に利用されるため、車両に搭載されたカメラにより得られた画像から、車両が走行中の車線（以下、自車線と呼ぶことがある）の境界を検出する処理に要する演算負荷は少ないほど好ましい。

そこで、本発明は、画像から、車両が走行中の車線の境界線を検出するための処理に要する演算負荷を軽減できる車線境界検出装置を提供することを目的とする。

一つの実施形態によれば、車線境界検出装置が提供される。この車線境界検出装置は、車両に搭載された撮像部により得られた、車両の周辺領域を表す画像を、画素ごとにその画素に表されている物体の種別を識別するように学習された識別器に入力することで、画像の各画素に表された物体の種別を識別し、物体の種別は、車両が走行中の自車線内であることを表す物体の種別と自車線外であることを表す物体の種別とを少なくとも含む識別部と、画像において自車線と交差する方向の画素列ごとに、その画素列の一端から他端へ向かう走査方向に沿って順に、連続する所定数の画素群に表された物体の種別の並び順、及び、走査方向における直前の画素群に相当する位置が自車線内か否かの判定結果に応じて、その画素群に相当する位置が、自車線内か否かを判定することで自車線の境界を検出する検出部とを有する。

この車線境界検出装置において、検出部は、画素列の何れかにおいて、自車線内となる連続する画素の集合が複数存在する場合、その複数の画素の集合のうち、自車線内であることが最も確からしい画素の集合を、自車線を表す自車線領域として特定し、自車線領域の走査方向に沿った二つの境界のうち、その境界よりも画像端側に自車線を表す画素が存在しない境界を、自車線の境界として検出することが好ましい。

あるいは、この車線境界検出装置において、物体の種別は、道路に設けられる車線区画線以外の他の標示をさらに含み、自車線内であることを表す物体の種別は自車線そのものを含むとともに、自車線外であることを表す物体の種別は自車線以外の他の路面を含み、検出部は、画像の各画素列のうち、画像において車両から所定距離よりも離れた位置に相当する画素列について、車両から離れている方から順に、識別された物体の種別が車線区画線、他の標示、自車線の順に並ぶ画素群に相当する位置が自車線の境界を表すと判定し、一方、画像の各画素列のうち、画像において車両から所定距離以内の位置に相当する画素列について、車両から離れている方から順に、識別された物体の種別が他の路面または車線区画線の次に自車線の順に並ぶ場合の自車線の位置が自車線の境界を表すと判定することが好ましい。

他の実施形態によれば、車線境界検出方法が提供される。この車線境界検出方法は、車両に搭載された撮像部により得られた、車両の周辺領域を表す画像を、画素ごとにその画素に表されている物体の種別を識別するように学習された識別器に入力することで、画像の各画素に表された物体の種別を識別し、物体の種別は、車両が走行中の自車線内であることを表す物体の種別と自車線外であることを表す物体の種別とを少なくとも含み、画像において自車線と交差する方向の画素列ごとに、その画素列の一端から他端へ向かう走査方向に沿って順に、連続する所定数の画素群に表された物体の種別の並び順、及び、走査方向における直前の画素群に相当する位置が自車線内か否かの判定結果に応じて、その画素群に相当する位置が、自車線内か否かを判定することで自車線の境界を検出する、ことを含む。

さらに他の実施形態によれば、車線境界検出用コンピュータプログラムが提供される。この車線境界検出用コンピュータプログラムは、車両に搭載された撮像部により得られた、車両の周辺領域を表す画像を、画素ごとにその画素に表されている物体の種別を識別するように学習された識別器に入力することで、画像の各画素に表された物体の種別を識別し、物体の種別は、車両が走行中の自車線内であることを表す物体の種別と自車線外であることを表す物体の種別とを少なくとも含み、画像において自車線と交差する方向の画素列ごとに、その画素列の一端から他端へ向かう走査方向に沿って順に、連続する所定数の画素群に表された物体の種別の並び順、及び、走査方向における直前の画素群に相当する位置が自車線内か否かの判定結果に応じて、その画素群に相当する位置が、自車線内か否かを判定することで自車線の境界を検出することを、プロセッサに実行させるための命令を含む。

本発明に係る車線境界検出装置は、車両が走行中の車線の境界線を検出するための処理に要する演算負荷を軽減できるという効果を奏する。

車線境界検出装置が実装される車両制御システムの概略構成図である。 車線境界検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。 車線境界検出処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 車両の前方の路面の画像と、その画像の各画素の物体の種別の識別結果の一例を示す図である。 画素群ごとの物体の種別の並び順に基づく、走査中の着目画素に相当する位置がどのように遷移をするかを表す状態遷移図である。 車線区画線と他の標示とが表された画像の一例を示す図である。 車線区画線が不鮮明な場合の道路の画像及び各画素の物体の種別の識別結果の一例を示す図である。 車線境界検出処理を含む車両制御処理の動作フローチャートである。

以下、図を参照しつつ、車線境界検出装置、及び、その車線境界検出装置において実行される車線境界検出方法及び車線境界検出用コンピュータプログラムについて説明する。この車線境界検出装置は、車両に搭載されたカメラにより得られた、車両の周囲が表された画像を、画素ごとに、その画素に表されている物体の種別を識別するように学習された識別器に入力することで、画像の各画素に表された物体の種別を識別する。そしてこの車線境界検出装置は、画像において自車線の延伸方向と交差する方向（以下、単に自車線と交差する方向と呼ぶことがある）の画素列ごとに、その画素列の一端から他端へ向かう走査方向に沿って順に、連続する所定数の画素群に表された物体の種別の並び順、及び、走査方向における直前の画素群に相当する位置が自車線内か否かの判定結果に応じて、その画素群に相当する位置が自車線内か否かを判定する。これにより、この車線境界検出装置は、車両から見た、自車線の左右それぞれの境界の位置を検出する。このように、この車線境界検出装置は、画素列ごとに一回の走査で自車線の境界の位置を検出することで、演算負荷の軽減を図る。また、この車線境界検出装置は、特定の方向（例えば、左から右）に沿って順に走査していけばよいので、画像がメモリに格納される際の画素の並び順とその走査方向とを一致させることで、メモリアクセスの効率の改善を図ることができる。

以下では、車線境界検出装置を、車両制御システムに適用した例について説明する。この例では、車線境界検出装置は、車両に搭載されたカメラにより得られた画像に対して車線境界検出処理を実行することで、自車線の境界を検出し、その検出結果を、車両の自動運転制御に利用する。

図１は、車線境界検出装置が実装される車両制御システムの概略構成図である。図２は、車線境界検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲の路面を撮影するためのカメラ２と、車線境界検出装置の一例である電子制御装置（ＥＣＵ）３とを有する。カメラ２と、ＥＣＵ３とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。なお、車両制御システム１は、車両１０の自動運転制御に用いられる地図を記憶するストレージ装置（図示せず）をさらに有していてもよい。さらに、車両制御システム１は、LiDARセンサまたはレーダといった距離センサ（図示せず）、GPS受信機といった、衛星測位システムに準拠して車両１０の自己位置を測位するための受信機（図示せず）、他の機器と無線通信するための無線通信端末（図示せず）、及び、車両１０の走行予定ルートを探索するためのナビゲーション装置（図示せず）などを有していてもよい。

カメラ２は、車両１０の周辺領域を表す画像を生成する撮像部の一例であり、CCDあるいはC-MOSなど、可視光または赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。カメラ２は、例えば、車両１０の前方を向くように、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方の路面を含む領域を撮影し、その領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両制御システム１は、撮影方向または画角が異なる複数のカメラ２を有していてもよい。

カメラ２は、画像を生成する度に、その生成した画像を、車内ネットワークを介してＥＣＵ３へ出力する。

ＥＣＵ３は、車両１０を制御する。本実施形態では、ＥＣＵ３は、カメラ２により得られた時系列の一連の画像から検出された自車線の境界を検出し、検出した自車線の境界で特定される自車線に沿って車両１０が走行するよう、車両１０を制御する。そのために、ＥＣＵ３は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

通信インターフェース２１は、通信部の一例であり、ＥＣＵ３を車内ネットワークに接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワークを介して、カメラ２と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。また、通信インターフェース２１は、車内ネットワークを介して受信した、ストレージ装置から読み込んだ地図、GPS受信機からの測位情報などを、プロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ３のプロセッサ２３により実行される各種処理を実現するためのコンピュータプログラム、車線境界検出処理において使用される各種のデータ、例えば、カメラ２から受信した画像、車線境界検出処理で利用される識別器を特定するための各種パラメータなどを記憶する。さらに、メモリ２２は、車線境界検出処理の途中における演算結果を記憶する。

プロセッサ２３は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、カメラ２から画像を受信する度に、受信した画像に対して車線境界検出処理を含む車両制御処理を実行する。そしてプロセッサ２３は、検出された自車線の境界に基づいて、車両１０を自動運転し、あるいは、車両１０のドライバの運転を支援するよう、車両１０を制御する。

図３は、車線境界検出処理を含む車両制御処理に関する、ＥＣＵ３のプロセッサ２３の機能ブロック図である。プロセッサ２３は、識別部３１と、検出部３２と、車両制御部３３とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、識別部３１及び検出部３２が、車線境界検出処理を実行する。

識別部３１は、カメラ２から画像が得られる度に、その画像を、画素ごとに表されている物体の種別を識別するように予め学習された識別器に入力することで、画像の各画素に表された物体の種別を識別する。

本実施形態では、識別器により識別された物体の種別は、画像に表された自車線の境界を検出するために利用されるので、識別対象となる物体の種別には、自車線内であることを表す種別と、自車線外であることを表す種別とが少なくとも含まれる。本実施形態では、自車線内であることを表す物体の種別には、自車線そのものが含まれる。一方、自車線外であることを表す物体の種別には、静止物、自車線以外の路面（以下、他の路面と呼ぶことがある）、及び、車線区画線が含まれる。なお、車線区画線に関して、路面に設けられたマーク部分と、破線で表される車線区画線におけるマーク間の部分（以下、車線区画線の非マーク部分と呼ぶことがある）とが別個に識別されてもよい。以下の説明において、特に断りが無い限り、車線区画線のマーク部分と非マーク部分とをまとめて車線区画線と呼ぶ。さらに、識別器による識別対象となる物体の種別には、移動物体、または、導流レーンマークあるいは減速マークといった、路面において車線区画線に沿って設けられるマークなどの他の標示が含まれてもよい。

識別器として、例えば、fully convolution network(FCN)あるいはU-Netといった、複数の畳み込み層を有するコンボリューショナルニューラルネットワーク型のアーキテクチャを持つセマンティックセグメンテーション用のニューラルネットワークが用いられる。識別器としてこのようなニューラルネットワークを用いることで、識別部３１は、比較的精度良く各画素に表された物体の種別を識別することができる。なお、識別器として、ランダムフォレストに基づくセマンティックセグメンテーション用の識別器といった、ニューラルネットワーク以外の機械学習システムによる識別器が用いられてもよい。

図４は、車両１０の前方の路面の画像と、その画像の各画素の物体の種別の識別結果の一例を示す図である。図４に示される例では、画像４００には、自車線４０１の左右両側のそれぞれにおいて、実線で表される車線区画線４０２及びドット表示で表される導流レーンマーク４０３が示されている。

そのため、画像４００に対する各画素の識別結果４１０において、各画素は、それぞれ、自車線４０１、車線区画線４０２、他の標示（導流レーンマーク）４０３、他の路面４０４、静止物４０５、及び、移動物体４０６の何れかに分類されている。なお、この例では、車両１０の進行方向と逆向きの車線については、他の路面４０４ではなく、静止物４０５として識別されている。

識別部３１は、各画素の識別結果を検出部３２へ通知する。

検出部３２は、各画素の物体の識別結果に基づいて自車線の左右それぞれの境界を表す画素の集合をもとめる。本実施形態では、検出部３２は、車線区画線の自車線側の端部を、自車線の境界とする。

ここで、自車線と交差する方向の画素列ごとに、自車線内に基準点を設定し、その基準点から離れる方向へ向けて順に走査して、各画素の物体の識別結果を参照して、最初に車線区画線が現れる位置を自車線の境界として検出することを仮定する。この場合、画素列ごとに、基準点を設定するために一旦その画素列を走査し、基準点の設定後にその画素列を再度走査することになるため、演算負荷が高くなる。そのため、自車線の境界を検出するために、このような複数の走査が要求されることは好ましくない。さらに、メモリ２２またはプロセッサ２３のキャッシュメモリにおける、各画素の値が記憶される順序と、走査方向とが異なる場合、メモリアクセスの観点で効率が低下する。

そこで、検出部３２は、画像において自車線と交差する方向の画素列ごとに、その画素列の一端から他端へ向かう走査方向を設定する。そして検出部３２は、画素列ごとに、その走査方向に沿って順に、連続する所定数の画素群に表された物体の種別の並び順、及び、走査方向における直前の画素群に相当する位置が自車線内か否かの判定結果に応じて、その画素群に相当する位置が自車線内か否かを判定することで、自車線の左右それぞれの境界を検出する。

本実施形態では、自車線の延伸方向は、画像上において垂直方向となるため、走査方向と自車線の延伸方向とが交差するよう、走査方向は水平方向に設定される。また、画像の水平方向の各画素列の個々の画素の値は、左端から右方向へ順に記憶される。したがって、検出部３２は、メモリアクセスの効率を向上するために、水平方向の各画素列について、左端を走査の始点とし、その始点から右方向へ向けて順に走査する。また、本実施形態では、検出部３２は、各画素列の走査において、水平方向に並ぶ二つの画素を含む画素群に表された物体の種別の並び順を順に走査する。

図５は、画素群ごとの物体の種別の並び順に基づく、走査中の着目画素に相当する位置がどのように遷移をするか、状態遷移図として表したものである。上記のように、本実施形態では、識別対象となる物体の種別には、自車線５０１、車線区画線のマーク部分５０２、車線区画線の非マーク部分５０３、他の標示５０４、他の路面５０５、移動物体５０６及び静止物５０７の７種類の物体が含まれる。そのため、個々の画素群における物体の種別の４９通りの並び順のうち、自車線の境界の検出において着目される２７通りの並び順は、ケース１～ケース１５の１５通りに分類される。例えば、ケース１は、画素群内の左側の画素が車線区画線に相当し、右側の画素が他の標示に相当する場合を表し、ケース１３は、ケース１に対して物体の種別が左右逆に並んだものを表す。また、ケース２は、画素群内の左側の画素が他の標示に相当し、右側の画素が自車線に相当する場合を表し、ケース７は、ケース２に対して物体の種別が左右逆に並んだものを表す。さらに、ケース３は、画素群内の左側の画素が車線区画線または他の路面に相当し、右側の画素が自車線に相当する場合を表し、ケース８は、ケース３に対して物体の種別が左右逆に並んだものを表す。さらにまた、ケース４は、画素群内の左側の画素が移動物体に相当し、右側の画素が自車線に相当する場合を表し、ケース９は、ケース４に対して物体の種別が左右逆に並んだものを表す。さらにまた、ケース６は、画素群内の左側の画素が静止物に相当し、右側の画素が自車線に相当する場合を表し、ケース１０は、ケース６に対して物体の種別が左右逆に並んだものを表す。さらにまた、ケース５、ケース１１及びケース１２は、それぞれ、画素群内の何れの画素も自車線である場合、他の標示である場合、及び、移動物体である場合を表す。さらにまた、ケース１４は、画素群内の左側の画素が他の標示に相当し、右側の画素が他の路面、移動物体または静止物に相当する場合を表す。そしてケース１５は、画素群内の左側の画素が移動物体に相当し、右側の画素が移動物体及び自車線以外の物体である場合に相当する。

また、状態遷移図５００には、５個の状態５１１～５１５が含まれる。このうち、状態５１１は、着目する位置が自車線外であることを表す。また、状態５１２は、着目する位置が自車線内であることを表す。さらに、状態５１３は、着目する位置が自車線内である可能性が有り、かつ、移動物体が表された位置であることを表す。さらにまた、状態５１４は、着目する位置が自車線内である可能性が有り、かつ、他の標示が表された位置であることを表す。そして状態５１５は、走査が開始されたときの状態を表し、着目する位置が自車線内または自車線外の何れにも分類されていないことを表す。そして各状態間の矢印は、その矢印の根元からその矢印の先端への状態遷移を表し、その矢印に付されたケース番号は、その状態遷移が適用される画素群のケース番号（ケース１～１５の何れか）を表す。さらに、各ケース番号に関連付けられた処理は、着目画素群における物体の種別の並びがそのケース番号で表される場合において、状態遷移とともに実行される処理の内容を表す。さらにまた、「右端」及び「左端」は、それぞれ、自車線の右側の車線境界線の位置及び自車線の左側の車線境界線の位置を表す。そして、(k-1)は、着目する画素群の左側の画素に相当する位置を表し、kは、着目する画素群の右側の画素に相当する位置を表す。

走査が開始されると、検出部３２は、走査開始位置である左端の画素が着目位置となり、かつ、着目する画素群の左側の画素となるように、着目する画素群を設定する。そして検出部３２は、左端の画素の物体の種別にしたがって、着目位置の状態を状態５１１～状態５１４の何れかに設定する。すなわち、左端の画素の物体の種別が、静止物、他の路面または車線区画線である場合には、検出部３２は、着目位置の状態は自車線外である状態５１１であると判定する。一方、左端の画素の物体の種別が、自車線である場合、検出部３２は、着目位置の状態は自車線内である状態５１２であると判定する。また、左端の画素の種別が移動物体である場合には、検出部３２は、着目位置の状態は、着目する位置が自車線内である可能性が有り、かつ、移動物体が表された位置であることを表す状態５１３であると判定する。すなわち、検出部３２は、着目位置を、自車線内の候補となる位置とする。そして、左端の画素の種別が他の標示である場合には、検出部３２は、着目する位置が自車線内である可能性が有り、かつ、他の標示が表された位置であることを表す状態５１４であると判定する。この場合も、検出部３２は、着目位置を、自車線内の候補となる位置とする。

検出部３２は、最初の着目位置の状態を判定すると、着目する画素群の物体の種別の並びがケース１～ケース１５の何れに該当するかを判定する。そして検出部３２は、状態遷移図５００を参照して、着目位置の状態における、着目する画素群の物体の並び順に従って状態を遷移させる。例えば、着目位置の状態が自車線外である状態５１１であり、かつ、着目する画素群の物体の種別の並び順がケース３に該当すれば、着目する画素群の左側の画素における物体の種別が車線区画線または他の路面であり、その画素群の右側の画素における物体の種別が自車線である。そのため、検出部３２は、着目する画素群の右側画素の位置を有効な自車線の左側の境界の位置として設定するとともに、状態を自車線内である状態５１２に遷移させる。また、着目位置の状態が自車線外である状態５１１であり、かつ、着目する画素群の物体の種別の並び順がケース６に該当すれば、着目する画素群の左側の画素における物体の種別が静止物であり、その画素群の右側の画素における物体の種別が自車線である。そのため、その着目する画素群において、車線区画線または他の路面を挟まずに、静止物と自車線とが接している。そのため、検出部３２は、着目する画素群の右側画素の位置を無効な自車線の左側の境界の位置として設定するとともに、状態を自車線内である状態５１２に遷移させる。また、着目位置の状態が、自車線内である可能性が有る状態５１３であり、かつ、着目する画素群の物体の種別の並び順がケース１５（右側画素の物体が自車線及び移動物体以外）に該当すれば、着目位置は自車線内ではなく、自車線外であるはずなので、検出部３２は、状態を自車線外である状態５１１に遷移させるとともに、着目位置に設定されていた自車線の候補を破棄する。逆に、着目位置の状態が、自車線内である可能性が有る状態５１３であり、かつ、着目する画素群の物体の種別の並び順がケース４（右側画素の物体が自車線）に該当すれば、着目位置は自車線内であるはずなので、検出部３２は、状態を自車線内である状態５１２に遷移させる。また、検出部３２は、着目位置に設定されていた自車線の候補を、正式に自車線内であると判定し、自車線の右側の境界の仮の位置を、着目する画素群の右側の画素の位置に更新する。同様に、着目位置の状態が、自車線内である可能性が有る状態５１４であり、かつ、着目する画素群の物体の種別の並び順がケース１３またはケース１４に該当すれば、着目位置は自車線内ではなく、自車線外であるはずである。そこで、検出部３２は、状態を自車線外である状態５１１に遷移させるとともに、着目位置に設定されていた自車線の候補を破棄する。逆に、着目位置の状態が、自車線内である可能性が有る状態５１４であり、かつ、着目する画素群の物体の種別の並び順がケース２（右側画素の物体が自車線）に該当すれば、着目位置は自車線内であるはずである。そこで、検出部３２は、状態を自車線内である状態５１２に遷移させる。また、検出部３２は、着目位置に設定されていた自車線の候補を正式に自車線内であると判定し、自車線の右側の境界の仮の位置を、着目する画素群の右側の画素の位置に更新する。さらに、着目位置の状態が、自車線内である状態５１２であり、かつ、着目する画素群の物体の種別の並び順がケース８またはケース１３（右側画素の物体が車線区画線または他の路面）に該当すれば、着目する画素群の左側画素の位置を有効な自車線の右側の境界の位置として設定するとともに、状態を自車線外である状態５１１に遷移させる。さらに、着目位置の状態が、自車線内である状態５１２であり、かつ、着目する画素群の物体の種別の並び順がケース１０、ケース１４またはケース１５に該当すれば、着目する画素群の左側画素の位置を無効な自車線の右側の境界として設定するとともに、状態を自車線外である状態５１１に遷移させる。なお、これ以外の着目位置の状態と着目する画素群の物体の並び順の組み合わせについても、状態遷移図５００に従って状態が遷移されればよい。

以下、同様に、検出部３２は、着目位置を１画素ずつ右側へずらしながら、着目位置を左側の画素とする、着目する画素群を設定するとともに、状態遷移図５００に従って、現在の着目位置の状態と、着目する画素群の物体の種別の並び順とに基づいて着目位置の状態を遷移させる。そして検出部３２は、着目位置が走査する画素列の右端に到達したときにおいて、有効に登録されている自車線の左側の境界の位置が有れば、その位置を、その画素列における、自車線の左側の境界の位置として検出する。同様に、検出部３２は、有効に登録されている自車線の右側の境界の位置が有れば、その位置を、その画素列における、自車線の右側の境界の位置として検出する。さらに、検出部３２は、着目位置が走査する画素列の右端に到達したときにおいて、有効に登録されている自車線の左側の境界の位置が無く、無効な左側の位置しか登録されていなければ、その画素列において、自車線の左側の境界を検出しない。同様に、検出部３２は、着目位置が走査する画素列の右端に到達したときにおいて、有効に登録されている自車線の右側の境界の位置が無く、無効な右側の位置しか登録されていなければ、その画素列において、自車線の右側の境界を検出しない。

このように、検出部３２は、一つの画素列について一回走査するだけで、自車線の左側及び右側の境界を検出することができる。

なお、導流レーンマークのように、車線区画線と平行に他の標示が設けられている場合でも、その車線区画線と他の標示とは接していないので、画像においても、車線区画線が表された画素と他の標示が表された画素との間に、自車線が表された画素が存在することが想定される。しかし、車両１０からの距離が遠い位置ほど、すなわち、カメラ２からの距離が遠い位置ほど、その位置に存在する物体は画像上で小さく写る。そのため、車両１０からある程度以上離れた路面の位置に相当する画像上の領域では、車線区画線と他の標示との間にある、自車線の路面部分の識別が困難となり、車線区画線が表された画素と他の標示が表された画素が接していることがある。そこで、検出部３２は、画像上で車両１０から所定距離以上離れた位置に相当する画素列については、図５に示されたケース１またはケース１３のように、各画素について識別された物体の種別が車両１０に対して遠い方から順に、車線区画線、他の標示、自車線の順に並ぶ場合における、他の標示の位置を、自車線の境界として検出してもよい。なお、所定距離は、例えば、カメラ２により得られた画像の解像度により、画像上で車線区画線と他の標示との間の自車線の路面を識別できなくなる距離とすることができる。

図６は、車線区画線と他の標示とが表された画像の一例を示す図である。図６に示されるように、画像６００には、車線区画線６０１に沿って、かつ、車線区画線６０１と一定の間隔を空けて導流レーンマーク６０２が標示されている。しかし、画像６００内の各画素の物体の種別の識別結果６１０において、領域６２０に相当する位置では、車両１０から遠すぎるために、車線区画線６０１が表された画素群と導流レーンマーク６０２が表された画素群とが接している。しかし、上記のように、検出部３２が、各画素について識別された物体の種別が車線区画線、他の標示、自車線の順に並ぶ場合、すなわち、車線区画線と他の標示とが接している場合における、他の標示の位置を、自車線の境界の位置として検出することで、このような領域６２０においても、自車線の境界を正確に検出することが可能となる。そのため、検出部３２は、車両１０からより遠方の位置まで、自車線の境界を検出することができる。さらに、検出部３２は、車両１０からそれほど離れていない位置については、上記のように、車両から遠い方から順に、車線区画線または他の路面の次に自車線の順に並ぶ画素列における、自車線の位置を、自車線の境界とすることで、車線区画線に沿って導流レーンマークのような他の標示が設けられている場合でも、他の標示と自車線との境界を、本来の自車線の境界として誤検出することを防止できる。

また、車両１０が走行する道路の路面の状態によっては、車線区画線または導流レーンマークなどの他の標示が不鮮明なことがある。このような場合、識別器による、各画素の物体の種別の識別精度が低下してしまうことがある。

図７は、車線区画線が不鮮明な場合の道路の画像及び各画素の物体の種別の識別結果の一例を示す図である。画像７００に表される道路では、車線区画線７０１及び他の標示７０２が不鮮明となっている。そのため、画像７００の各画素に対する物体の種別の識別結果７１０では、他の標示７０２が表されているにもかかわらず、車線区画線が表されていると誤って識別された画素、及び、他の路面が表されているにもかかわらず、自車線が表されていると誤って識別された画素が存在する。このような場合、自車線の境界線の位置も誤って検出されてしまう可能性が有る。特に、自車線に対して車線区画線を介して隣接する領域に含まれる画素について、自車線が表されていると誤って識別されると、一つの画素列において、自車線内であると判定された領域（以下、自車線領域と呼ぶ）が複数検出されるおそれがある。

そこで、検出部３２は、走査の結果、複数の自車線領域が検出された画素列について、複数の自車線領域のうち、最も確からしい自車線領域を選択する。そして検出部３２は、選択した自車線領域の左右それぞれの端点のうち、その選択した自車線領域よりも画像端側に隣接する他の自車線領域が存在しない方の端点を、有効な自車線の境界として検出し、一方、選択した自車線領域よりも画像端側に隣接する他の自車線領域が存在する方の端点を、無効な自車線の境界とする。なお、検出部３２は、例えば、自車線領域の幅が広いほど、その自車線領域を確からしいと判定する。例えば、図７に示される画素列７２０では、二つの自車線領域７２１及び７２２が検出されており、このうち、右側の自車線領域７２２の幅の方が左側の自車線領域７２１の幅よりも広い。したがって、右側の自車線領域７２２が選択される。そして、自車線領域７２２の右側には、他の自車線領域が存在しないため、自車線領域７２２の右側の端点が、有効な自車線の境界の位置として検出される。一方、自車線領域７２２の左側には、他の自車線領域７２１が存在するので、自車線領域７２２の左側の端点は無効な境界とされる。これにより、検出部３２は、画像に表された車線区画線などが不鮮明な場合でも、自車線の境界の位置を誤って検出することを抑制できる。

変形例によれば、検出部３２は、最新の画像において複数の自車線領域が検出された画素列について、その複数の自車線領域のうち、直前の画像においてその画素列に最も近い位置の画素列における自車線領域との差が最も小さいものを、最も確からしい自車線領域としてもよい。あるいは、検出部３２は、自車線内となる連続する画素の集合が複数存在する場合、それら複数の画素の集合全体を自車線領域として統合し、統合した自車線領域の左右それぞれの端点を、自車線の境界の位置としてもよい。

検出部３２は、各画素列について、検出された自車線の有効な境界の位置を車両制御部３３へ通知する。

車両制御部３３は、各画素列について検出された自車線の境界の位置に基づいて車両１０の走行を制御する。例えば、車両制御部３３は、各画素列について検出された自車線の左右それぞれの境界の位置に基づいて、車両１０が自車線の中央を通るように、車両１０の現在位置から所定距離先までの所定の区間における車両１０の走行予定経路を生成する。そこで、車両制御部３３は、自車線の左側の境界が表された画素の集合に対して、例えば、最小二乗法に従って近似した線を、自車線の左側の境界線とする。同様に、車両制御部３３は、自車線の右側の境界が表された画素の集合に対して、例えば、最小二乗法に従って近似した線を、自車線の右側の境界線とする。また、カメラ２により得られた画像上の各画素の位置は、カメラ２から見たその画素に表された物体への方位に対応している。そこで、車両制御部３３は、画像上で、車両１０の進行方向に沿った中心線に相当する位置から自車線の左右それぞれの境界線までの距離が等間隔となるように、走行予定経路を設定すればよい。そして車両制御部３３は、車両１０がその走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３３は、走行予定経路に沿って車両１０が走行するための操舵角を求め、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。さらに、車両制御部３３は、ドライバにより指定された速度、あるいは、車両１０が現在走行中の道路の法定速度に従って設定した速度、あるいはまた、車両１０の前方を走行する他の車両との車間距離を一定に保って車両１０が走行するように、車速センサ（図示せず）により測定された車両１０の現在の車速または加速度センサ（図示せず）により測定された車両１０の加速度等に基づいて車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３３は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３３は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。

図８は、プロセッサ２３により実行される、車線境界検出処理を含む車両制御処理の動作フローチャートである。プロセッサ２３は、カメラ２から画像を受信する度に、図８に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ１０１～Ｓ１０２の処理が車線境界検出処理に対応する。

プロセッサ２３の識別部３１は、画像を識別器に入力することで、画像の各画素に表されている物体の種別を識別する（ステップＳ１０１）。

プロセッサ２３の検出部３２は、画像において自車線と交差する方向の画素列ごとに、その画素列の一端から他端へ向かう走査方向に沿って順に、連続する所定数の画素を含む着目画素群に表された物体の種別の並び順、及び、走査方向における直前の画素群に相当する位置が自車線内か否かの判定結果に応じて、その着目画素群に相当する位置が自車線内か否かを判定することで、自車線の左右それぞれの境界位置を検出する（ステップＳ１０２）。

プロセッサ２３の車両制御部３３は、各画素列において検出された自車線の左右それぞれの境界の位置に基づいて、車両１０が自車線に沿って走行するよう、車両１０を制御する（ステップＳ１０３）。そしてプロセッサ２３は、車両制御処理を終了する。

以上に説明してきたように、この車線境界検出装置は、画像を、画素ごとにその画素に表された物体の種別を識別するように予め学習された識別器に入力することで、各画素に表された物体の種類を識別する。そしてこの車線境界検出装置は、自車線と交差する方向の画素列ごとに、その画素列の一端から他端へ向かう走査方向に沿って順に、連続する所定数の画素を含む着目画素群に表された物体の種別の並び順、及び、走査方向における直前の画素群に相当する位置が自車線内か否かの判定結果に応じて、その着目画素群に相当する位置が自車線内か否かを判定することで、自車線の左右それぞれの境界の位置を検出する。これにより、この車線境界検出装置は、画素列ごとに一回の走査で自車線の境界を検出できるので、演算負荷を軽減できる。また、この車線境界検出装置は、各画素列を、特定の方向に沿って順に走査していけばよいので、画像がメモリに格納される際の画素の並び順とその走査方向とを一致させることができるので、メモリアクセスの効率を改善できる。

なお、変形例によれば、検出部３２は、同一画像上の隣接する画素列間で自車線の境界位置が所定距離以上離れている場合、何れかの画素列の自車線の境界位置を無効としてもよい。例えば、検出部３２は、自車線の境界位置が所定距離以上離れている二つの画素列が検出された場合、車両１０から遠い方の位置に対応する画素列についての境界位置を無効としてもよい。あるいは、検出部３２は、時系列に得られる二つの画像間で、同じ位置の画素列同士の自車線の境界位置が所定距離以上離れている場合も、それら画像のうちの最新の画像におけるその画素列の自車線の境界位置を無効としてもよい。

上記の実施形態による、車線境界検出装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 車両制御システム
２ カメラ
３ 電子制御装置（車線境界検出装置）
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 識別部
３２ 検出部
３３ 車両制御部

Claims (5)

1. 車両に搭載された撮像部により得られた、前記車両の周辺領域を表す画像を、画素ごとに当該画素に表されている物体の種別を識別するように学習された識別器に入力することで、前記画像の各画素に表された物体の種別を識別し、前記物体の種別は、前記車両が走行中の自車線内であることを表す物体の種別と前記自車線外であることを表す物体の種別とを少なくとも含む識別部と、
   前記画像において前記自車線と交差する方向の画素列ごとに、当該画素列の一端から他端へ向かう走査方向に沿って順に、連続する所定数の画素群に表された前記物体の種別の並び順、及び、前記走査方向における直前の前記画素群に相当する位置が前記自車線内か否かの判定結果に応じて、当該画素群に相当する位置が前記自車線内か否かを判定することで前記自車線の境界を検出する検出部と、
   を有する車線境界検出装置。
2. 前記検出部は、前記画素列の何れかにおいて、前記自車線内となる連続する画素の集合が複数存在する場合、前記複数の画素の集合のうち、前記自車線内であることが最も確からしい画素の集合を、前記自車線を表す自車線領域として特定し、前記自車線領域の前記走査方向に沿った二つの境界のうち、当該境界よりも前記画像端側に前記自車線を表す画素が存在しない境界を、前記自車線の境界として検出する、請求項１に記載の車線境界検出装置。
3. 前記物体の種別は、道路に設けられる車線区画線以外の他の標示をさらに含み、前記自車線内であることを表す物体の種別は前記自車線そのものを含むとともに、前記自車線外であることを表す物体の種別は前記自車線以外の他の路面を含み、
   前記検出部は、前記画素列のうち、前記画像において前記車両から所定距離よりも離れた位置に相当する画素列について、前記車両から離れている方から順に、前記物体の種別が前記車線区画線、前記他の標示、前記自車線の順に並ぶ場合の前記他の標示の位置が前記自車線の境界を表すと判定し、一方、前記画素列のうち、前記画像において前記車両から前記所定距離以内の位置に相当する画素列について、前記車両から離れている方から順に、前記物体の種別が前記他の路面または前記車線区画線の次に前記自車線の順に並ぶ場合の前記自車線の位置が前記自車線の境界を表すと判定する、請求項１または２に記載の車線境界検出装置。
4. 車両に搭載された撮像部により得られた、前記車両の周辺領域を表す画像を、画素ごとに当該画素に表されている物体の種別を識別するように学習された識別器に入力することで、前記画像の各画素に表された物体の種別を識別し、前記物体の種別は、前記車両が走行中の自車線内であることを表す物体の種別と前記自車線外であることを表す物体の種別とを少なくとも含み、
   前記画像において前記自車線と交差する方向の画素列ごとに、当該画素列の一端から他端へ向かう走査方向に沿って順に、連続する所定数の画素群に表された前記物体の種別の並び順、及び、前記走査方向における直前の前記画素群に相当する位置が前記自車線内か否かの判定結果に応じて、当該画素群に相当する位置が、前記自車線内か否かを判定することで前記自車線の境界を検出する、
   ことを含む車線境界検出方法。
5. 車両に搭載された撮像部により得られた、前記車両の周辺領域を表す画像を、画素ごとに当該画素に表されている物体の種別を識別するように学習された識別器に入力することで、前記画像の各画素に表された物体の種別を識別し、前記物体の種別は、前記車両が走行中の自車線内であることを表す物体の種別と前記自車線外であることを表す物体の種別とを少なくとも含み、
   前記画像において前記自車線と交差する方向の画素列ごとに、当該画素列の一端から他端へ向かう走査方向に沿って順に、連続する所定数の画素群に表された前記物体の種別の並び順、及び、前記走査方向における直前の前記画素群に相当する位置が前記自車線内か否かの判定結果に応じて、当該画素群に相当する位置が、前記自車線内か否かを判定することで前記自車線の境界を検出する、
   ことをプロセッサに実行させるための車線境界検出用コンピュータプログラム。

Images