JP7077910B2 - 区画線検出装置及び区画線検出方法 - Google Patents

Description

本発明は、道路上に表示された車線の区画線を検出する区画線検出装置及び区画線検出方法に関する。

車両の運転支援あるいは自動運転制御において、車両が走行中の車線を特定できることが好ましい。そこで、車両に搭載されたカメラが撮影することで得られた画像を、画素ごとにその画素に表された物体の種類を出力するセグメンテーション用の識別器に入力することで、道路上に表示された車線区画線を検出する技術が提案されている（例えば、非特許文献１を参照）。

Jiam Kim他、「End-to-End Ego Lane Estimation based on Sequential Transfer Learning for Self-Driving Cars」、2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops、2017年

道路上には、車線区画線以外にも、横断歩道または制限速度といった道路標示が表されている。そのため、識別器が、その他の道路標示を車線区画線として誤認識することがある。

そこで、本発明は、道路上に表示された車線区画線の検出精度を向上できる区画線検出装置を提供することを目的とする。

一つの実施形態によれば、区画線検出装置が提供される。この区画線検出装置は、車両に搭載された撮像部により得られた画像を、画素ごとにその画素に写っている可能性のある物体ごとの確からしさを表す確信度を算出する識別器に入力することで、画像の画素ごとに、その画素に写っている物体が車線区画線である確信度及び他の物体である確信度を算出する確信度算出部と、車両が車線変更するときに、画像のうちの車線区画線が含まれると想定される範囲に補正領域を設定する補正領域設定部と、補正領域に含まれる各画素について、車線区画線である確信度または他の物体である確信度を、車線区画線である確信度が他の物体である確信度に対して相対的に高くなるよう補正する補正部と、画像の各画素のうち、車線区画線である確信度が他の物体である確信度よりも高い画素を検出し、検出した画素が並ぶ直線を車線区画線として検出する区画線検出部とを有する。

この区画線検出装置において、補正領域設定部は、車両が車線変更するときに車両が横切る車線区画線と車両との位置関係に応じて画像上での補正領域の位置及び範囲を設定することが好ましい。

本発明の他の形態によれば、区画線検出方法が提供される。この区画線検出方法は、車両に搭載された撮像部により得られた画像を、画素ごとにその画素に写っている可能性のある物体ごとの確からしさを表す確信度を算出する識別器に入力することで、画像の画素ごとに、その画素に写っている物体が車線区画線である確信度及び他の物体である確信度を算出し、車両が車線変更するときに、画像のうちの車線区画線が含まれると想定される範囲に補正領域を設定し、補正領域に含まれる各画素について、車線区画線である確信度または他の物体である確信度を、車線区画線である確信度が他の物体である確信度に対して相対的に高くなるよう補正し、画像の各画素のうち、車線区画線である確信度が他の物体である確信度よりも高い画素を検出し、検出した画素が並ぶ直線を車線区画線として検出する、ことを含む。

本発明に係る区画線検出装置は、道路上に表示された車線区画線の検出精度を向上できるという効果を奏する。

区画線検出装置が実装される車両制御システムの概略構成図である。 区画線検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。 区画線検出処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 変形例による、補正領域の設定の概要説明図である。 区画線検出処理の概要の説明図である。 区画線検出処理を含む、車両制御処理の動作フローチャートである。

以下、図を参照しつつ、区画線検出装置について説明する。この区画線検出装置は、車両に搭載されたカメラにより得られた、車両の周囲が表された画像をセグメンテーション用の識別器に入力することで、その画像において道路上に表示された車線区画線を検出する。この区画線検出装置が利用するセグメンテーション用の識別器は、入力された画像の各画素について、識別対象の物体の種類ごとにその物体が表されている確からしさを表す確信度を出力するよう、予め学習される。そして区画線検出装置は、各画素について、確信度が最大となる物体がその画素に表されていると判定する。

車線区画線が車線の両端に位置するのに対して、その他の道路標示など、車線の中央付近に存在する物体もある。したがって、カメラが車両の前方を向くように取り付けられている場合、車線を走行中の車両に搭載されたカメラにより得られる画像では、一般的に、車線区画線よりも他の道路標示など他の物体の方が画像の中心の近くに表される。そのため、車線区画線よりも他の物体の方が中心の近くに表された多数の教師画像が、識別器を学習する際に用いられる。そのような多数の教師画像が識別器の学習に用いられた結果、識別器は、画像の中心付近に表された物体を、車線区画線以外の他の物体と識別する可能性が高くなる。一方、車両が車線変更を行っている間にカメラにより得られた画像では、車線区画線が画像の中心付近に表されていることがある。このような場合、識別器は、車線区画線を他の物体と誤認識することがある。

そこで、この区画線検出装置は、車両が車線変更中である場合には、画像上で車線区画線が位置すると想定される領域に含まれる各画素について、識別器が出力する車線区画線についての確信度を他の物体についての確信度に対して相対的に高くするように、車線区画線についての確信度または他の物体についての確信度を補正する。これにより、この区画線検出装置は、画像の中心付近に車線区画線が表されている場合でも、車線区画線を他の物体と誤認識することを抑制して、車線区画線の検出精度を向上する。

以下では、区画線検出装置を、車両制御システムに適用した例について説明する。この例では、区画線検出装置は、車両に搭載されたカメラにより得られた画像に対して区画線検出処理を実行することで、車両区画線を検出し、検出された車線区画線を車両の運転制御に利用する。

図１は、区画線検出装置が実装される車両制御システムの概略構成図である。また図２は、区画線検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するためのカメラ２と、測位情報受信機３と、区画線検出装置の一例である電子制御装置（ＥＣＵ）４とを有する。カメラ２と、測位情報受信機３と、ＥＣＵ４とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク５を介して通信可能に接続される。

カメラ２は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。

カメラ２は、画像を生成する度に、その生成した画像を、車内ネットワーク５を介してＥＣＵ４へ出力する。

測位情報受信機３は、測位部の一例であり、車両１０の現在位置を表す測位情報を取得する。例えば、測位情報受信機３は、ＧＰＳ受信機とすることができる。そして測位情報受信機３は、測位情報を取得する度に、取得した測位情報を、車内ネットワーク５を介してＥＣＵ４へ出力する。

ＥＣＵ４は、車両１０を制御する。本実施形態では、ＥＣＵ４は、カメラ２により得られた画像から検出された車線区画線に基づいて車両１０を自動運転するよう、車両１０を制御する。そのために、ＥＣＵ４は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

通信インターフェース２１は、通信部の一例であり、ＥＣＵ４を車内ネットワーク５に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワーク５を介して、カメラ２及び測位情報受信機３と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。また通信インターフェース２１は、測位情報受信機３から測位情報を受信する度に、受信した測位情報をプロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ４のプロセッサ２３により実行される区画線検出処理において使用される各種のデータ、例えば、カメラ２から受信した画像、及び、区画線検出処理で利用される識別器を特定するための各種パラメータ、及び、確信度に乗じる物体の種類ごとの補正係数などを記憶する。さらに、メモリ２２は、地図情報を記憶してもよい。この地図情報は、道路上に設定された車線の数を表す情報を含む。

プロセッサ２３は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、カメラ２から画像を受信する度に、受信した画像に対して区画線検出処理を実行する。さらに、プロセッサ２３は、受信した画像から検出された車線区画線に基づいて、車両１０を自動運転するよう、車両１０を制御する。

図３は、区画線検出処理を含む車両制御処理に関する、ＥＣＵ４のプロセッサ２３の機能ブロック図である。プロセッサ２３は、確信度算出部３１と、補正領域設定部３２と、補正部３３と、区画線検出部３４と、運転計画部３５と、車両制御部３６とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、確信度算出部３１、補正領域設定部３２、補正部３３及び区画線検出部３４が、区画線検出処理を実行する。また、プロセッサ２３は、カメラ２から画像が得られる度に、その画像に対して区画線検出処理を実行する。そのため、以下では、確信度算出部３１、補正領域設定部３２、補正部３３及び区画線検出部３４について、一つの画像に対する処理を説明する。

確信度算出部３１は、カメラ２により生成された画像を識別器に入力することで、その画像の各画素について、識別対象の物体の種類ごとにその物体が表されている確からしさを表す確信度を出力する。

例えば、確信度算出部３１は、識別器として、例えば、Fully Convolutional Network（ＦＣＮ）といった、セグメンテーション用のコンボリューションニューラルネットワーク（ＣＮＮ）アーキテクチャを有するディープニューラルネットワーク（ＤＮＮ）を用いることができる。あるいは、確信度算出部３１は、識別器として、ランダムフォレストあるいは条件付確率場といったマルコフ確率場を利用した他の機械学習手法に従ったセグメンテーション用の識別器を利用してもよい。

さらに、確信度算出部３１は、画像から、区画線候補画素以外の、車両１０の走行に影響を与え得る他の物体（例えば、車両あるいは人など）も、区画線候補画素の検出と同様に、画像を識別器に入力することで検出してもよい。その際、確信度算出部３１は、区画線候補画素の検出に用いる識別器とは別個に、入力された画像から、その画像に表された物体を検出するように予め学習された識別器を用いてもよい。確信度算出部３１は、そのような識別器として、例えば、Single Shot MultiBox Detector（ＳＳＤ）、または、Faster R-CNNといった、コンボリューションニューラルネットワーク型のアーキテクチャを持つＤＮＮを用いることができる。

確信度算出部３１は、画像の各画素について、識別対象の物体ごとの確信度を補正部３３及び区画線検出部３４へ出力する。

補正領域設定部３２は、車両１０が車線変更することを検知すると、その検知から所定期間の間に取得される各画像について、車線区画線についての確信度を他の物体についての確信度よりも相対的に高くする補正領域を設定する。本実施形態では、補正領域設定部３２は、画像上で車線区画線が含まれると想定される範囲に補正領域を設定する。
補正領域設定部３２は、運転計画部３５が設定した車両１０の走行予定経路を参照して、車両１０の走行予定経路が直近の所定期間内に車線変更を伴うものであるか否か判定する。そして補正領域設定部３２は、操舵角センサ（図示せず）からプロセッサ２３が受信した操舵角の絶対値が、所定の閾値よりも大きくなると、車両１０が車線変更すると判定する。あるいは、補正領域設定部３２は、測位情報受信機３により受信した車両１０の現在位置情報とメモリ２２に記憶されている地図情報とを参照して、車両１０の現在位置における道路が直線であるか否か判定してもよい。そして補正領域設定部３２は、車両１０の現在位置における道路が直線である場合において、操舵角センサ（図示せず）からプロセッサ２３が受信した操舵角の絶対値が、所定の閾値よりも大きくなると、車両１０が車線変更すると判定してもよい。なお、所定期間は、例えば、車両１０の走行予定経路における、車線変更中の区間を車両１０が走行するのに要する期間とすることができる。あるいは、操舵角により示される車両１０の回転方向が、車線を変更する方向と逆向きとなると、補正領域設定部３２は、その所定期間が終了したと判定してもよい。

車両１０が車線変更を実施している間、車両１０がその車線変更の際に横切る車線区画線は、車両１０の正面に位置することがある。そこで、補正領域設定部３２は、本実施形態のように、カメラ２が車両１０の前方を向くように取り付けられている場合、画像の下半分、すなわち、路面が写っている可能性が高い範囲において、画像の左右端の中心付近を含むように補正領域を設定する。例えば、補正領域設定部３２は、直前の画像にて複数の車線区画線が検出されている場合、それら車線区画線で囲まれた領域を補正領域とする。あるいは、補正領域の位置及び範囲は予め設定されていてもよい。この場合には、補正領域は、例えば、画像の中心を頂点とし、画像の下端を底辺とする二等辺三角形の領域として設定される。補正領域設定部３２は、画像上でその予め設定された位置及び範囲に補正領域を設定すればよい。

あるいは、補正領域設定部３２は、車線変更中の車両１０と、車両１０が横切る車線区画線との位置関係に応じて、画像上での補正領域が設定される位置及び範囲を設定してもよい。このように補正領域を設定することで、補正領域設定部３２は、画像上で補正領域を適切に設定できるので、車線区画線が他の物体として誤検出されることを抑制できるとともに、他の物体が車線各線として誤検出されることを抑制できる。

図４は、この変形例による、補正領域の設定の概要説明図である。図４に示される例では、車両１０は、現在走行中の車線から右隣りの車線へ車線変更する。したがって、車両１０は、車両１０の右側に位置している車線区画線４０１を、車線変更中に横切る。そして車線変更には三つのフェーズ、例えば、車両１０が車線変更を開始してから車両１０の前面右端と車線区画線４０１とが交差するまでの第１フェーズと、第１フェーズが終了してから、車両１０の前面左端と車線区画線４０１とが交差するまでの第２フェーズと、第２フェーズが終了してから、車両１０の車線変更が終了するまでの第３フェーズが設定される。

この場合、画像４１０において、消失点４１１を頂点とし、画像４１０の下端を底辺とする三角形を、消失点４１１と底辺を通る線で三分割した領域４１２～４１４が、それぞれ、第１～第３フェーズに応じた補正領域として設定される。なお、車線の左右に描画される二つの車線区画線は平行であるので、補正領域設定部３２は、例えば、直近の所定期間に得られた何れかの画像において複数の車線区画線が検出されている場合、それら車線区画線の交点の位置を消失点４１１とすることができる。また、カメラ２の光軸が路面と平行となるように、カメラ２が車両１０に取り付けられている場合、補正領域設定部３２は、カメラ２の光軸に相当する、画像の中心を消失点４１１としてもよい。

第１フェーズでは、車両１０が横切る車線区画線４０１は、車両１０よりも右側に位置すると想定されるので、画像４１０において、車線区画線４０１は、画像４１０の下端の中心よりも右側に位置すると想定される。そこで、補正領域設定部３２は、右側の領域４１２を補正領域とすればよい。また、第２フェーズでは、車線区画線４０１は、車両１０の前面と交差していると想定されるので、画像４１０において、車線区画線４０１は、画像４１０の下端の中心付近に位置すると想定される。そこで、補正領域設定部３２は、中央の領域４１３を補正領域とすればよい。そして第３フェーズでは、車線区画線４０１は、車両１０よりも左側に位置すると想定されるので、画像４１０において、車線区画線４０１は、画像４１０の下端の中心よりも左側に位置すると想定される。そこで、補正領域設定部３２は、左側の領域４１４を補正領域とすればよい。

なお、車両１０の前面右端と車線区画線が交差するときの画像上での車線区画線の位置は、カメラ２の取り付け位置及び画角などに基づいて既知であるため、領域４１２と領域４１３との境界線は、車両１０の前面右端と車線区画線が交差するときの画像上での車線区画線の位置に設定されればよい。同様に、車両１０の前面左端と車線区画線が交差するときの画像上での車線区画線の位置は、カメラ２の取り付け位置及び画角などに基づいて既知であるため、領域４１４と領域４１３との境界線は、車両１０の前面左端と車線区画線が交差するときの画像上での車線区画線の位置に設定されればよい。

補正領域設定部３２は、車線変更におけるフェーズの移行に関して、例えば、画像上での車線区画線４０１の下端の位置が、領域４１２と領域４１３の境界線の下端の位置から所定距離以内になると、第１フェーズから第２フェーズへ移行したと判定する。同様に、補正領域設定部３２は、画像上での車線区画線４０１の下端の位置が、領域４１３と領域４１４の境界線の下端の位置から所定距離以内になると、第２フェーズから第３フェーズへ移行したと判定する。あるいは、補正領域設定部３２は、車両１０の走行予定経路に基づいて、車両１０の車線変更開始から車線変更終了までの区間を３等分し、測位情報で表される車両１０の現在位置がその最初の区間に含まれる場合、第１フェーズであると判定してもよい。同様に、補正領域設定部３２は、測位情報で表される車両１０の現在位置が２番目の区間に含まれる場合、第２フェーズであると判定し、一方、測位情報で表される車両１０の現在位置が３番目の区間に含まれる場合、第３フェーズであると判定してもよい。あるいはまた、補正領域設定部３２は、車線変更が開始され、操舵角が右側への回転を示してから操舵角の絶対値が所定値以上となっている間、第１フェーズであると判定し、操舵角の絶対値が所定値未満になると第２フェーズへ移行したと判定してもよい。そして補正領域設定部３２は、操舵角が左側への回転を示すと第３フェーズへ移行したと判定してもよい。

また、車両１０が現在走行中の車線から左隣の車線へ車線変更する場合には、補正領域設定部３２は、上記とは逆に、車線変更のフェーズの移行とともに、領域４１４→領域４１３→領域４１２の順に補正領域を設定すればよい。

なお、領域４１２と領域４１３は互いに部分的に重なるように設定されてもよい。同様に、領域４１３と領域４１４は互いに部分的に重なるように設定されてもよい。

補正領域設定部３２は、設定した補正領域を補正部３３へ通知する。

補正部３３は、補正領域に含まれる各画素について、確信度算出部３１により算出された、車線区画線についての確信度が他の物体についての確信度よりも相対的に高くなるように、車線区画線についての確信度または他の物体についての確信度を補正する。本実施形態では、補正部３３は、補正領域に含まれる各画素について、識別対象の物体の種類ごとの確信度に、物体の種類ごとに設定された補正係数を乗じることで、識別対象の物体の種類ごとの確信度を補正する。すなわち、車線区画線についての確信度に乗じられる補正係数が、他の物体についての確信度に乗じられる補正係数よりも高く設定される。例えば、車線区画線についての確信度に乗じられる補正係数が1よりも大きい値に設定され、他の物体についての確信度に乗じられる補正係数が1に設定される。あるいは、車線区画線についての確信度に乗じられる補正係数が1に設定され、他の物体についての確信度に乗じられる補正係数が1よりも小さい値に設定されてもよい。さらに、他の物体のうち、車線区画線と誤認識され易い物体（例えば、車線区画線以外の道路標示）についての確信度が相対的により低下するように、その誤認識され易い物体についての確信度に乗じられる補正係数は、他の物体についての確信度に乗じられる補正係数よりもさらに低く設定されてもよい。

なお、補正部３３は、補正領域の中心に近いほど、車線区画線についての確信度に乗じられる補正係数がより高くなるように、あるいは、他の物体についての確信度に乗じられる補正係数がより低くなるように、補正係数を設定してもよい。あるいは、補正部３３は、車線変更中の車両１０と車線区画線の位置関係に応じて、車線区画線が存在する想定される画像上の位置に近いほど、車線区画線についての確信度に乗じられる補正係数がより高くなるように、あるいは、他の物体についての確信度に乗じられる補正係数がより低くなるように、補正係数を設定してもよい。例えば、車両１０が車線変更している間、図４に示される、補正領域４１２～４１４のそれぞれが補正領域として設定される。そして車線変更のフェーズが第１フェーズである場合、補正部３３は、車線区画線についての確信度に乗じられる補正係数を、補正領域４１２について最も高くし、補正領域４１４について最も低くしてもよい。また、車線変更のフェーズが第３フェーズである場合、補正部３３は、車線区画線についての確信度に乗じられる補正係数を、補正領域４１４について最も高くし、補正領域４１２について最も低くしてもよい。

補正部３３は、補正領域の各画素について、補正後の各物体の確信度を区画線検出部３４へ出力する。

区画線検出部３４は、画像の各画素について、その画素について算出された物体の種類ごとの確信度のうち、最も高い確信度となる物体がその画素に写っていると判定する。したがって、区画線検出部３４は、車線区画線について算出された確信度が、他の物体について算出された確信度よりも高い画素に、車線区画線が写っていると判定する。

図５は、区画線検出処理の概要の説明図である。車両１０が車線変更を開始すると、カメラ２により得られた画像５００において、補正領域設定部３２により、車線区画線５０１が表されていると想定される範囲に補正領域５１０が設定される。また、補正領域５１０内の４個の画素５１１～５１４のそれぞれについて、道路と車線区画線とその他の物体のそれぞれの確信度が、確信度算出部３１により算出されている。この例では、画素５１１～５１３には車線区画線５０１が写っており、例えば、画素５１４には道路そのものが写っている。画素５１２では、車線区画線についての確信度が最も高くなっているものの、画素５１１では、その他の物体についての確信度(0.5)が車線区画線についての確信度(0.3)よりも高くなっている。同様に、画素５１３についても、その他の物体についての確信度が車線区画線についての確信度よりも高くなっている。

しかし、補正部３３により、画素５１１～５１４のそれぞれについて、各物体の確信度に補正係数が乗じられる。この例では、車線区画線及び道路についての補正係数が1.0であり、その他の物体についての補正係数が0.5となっている。すなわち、車線区画線についての補正係数が、その他の物体についての補正係数よりも高く設定されている。そのため、確信度が補正された結果、画素５１２だけでなく、画素５１１及び画素５１３についても、車線区画線についての確信度が道路についての確信度及びその他の物体についての確信度よりも高くなる。そのため、画素５１１～５１３には、車線区画線が写っていると正確に判定される。

区画線検出部３４は、画像から車線区画線が写っている画素（以下、区画線画素と呼ぶ）を検出すると、区画線画素が並ぶ直線を車線区画線として検出する。そのために、区画線検出部３４は、例えば、区画線画素の集合に対してハフ変換を実行することで、区画線画素が所定数（例えば、5～20）以上位置する直線を、区画線画素が並ぶ直線として検出し、検出された直線を車線区画線とする。なお、区画線検出部３４は、着目する直線から所定距離（例えば、1～3画素）以下となる区画線画素を、その着目する直線上に位置する区画線画素とすればよい。

区画線検出部３４は、検出した車線区画線を表す情報を運転計画部３５へ通知する。

運転計画部３５は、画像から検出された、車両１０の周囲に存在する他の物体と車両１０とが衝突しないように車両１０の走行予定経路を１以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両１０の目標位置の集合として表される。例えば、運転計画部３５は、車両１０を挟むように位置する互いに隣接する二つの車線区画線で特定される車線を車両１０が走行していると判定する。また、運転計画部３５は、画像から検出された他の物体の水平方向の中心位置を挟むように位置する互いに隣接する二つの車線区画線で特定される車線を他の物体が走行していると判定する。そして運転計画部３５は、車両１０が走行中の車線と他の物体が走行中の車線とが同一か否かを判定すればよい。

また、運転計画部３５は、カメラ２から画像を受信する度に、カメラ２についての車両１０への取り付け位置などの情報を用いて視点変換処理を実行することで、受信した画像を鳥瞰画像に変換する。そして運転計画部３５は、一連の鳥瞰画像に対してKalman Filterなどを用いたトラッキング処理を実行することで、各画像について検出された物体を追跡し、その追跡結果により得られた軌跡から、物体のそれぞれの所定時間先までの予測軌跡を推定する。

運転計画部３５は、検出された他の物体が走行中の車線及び予測軌跡に基づいて、他の物体と車両１０とが異なる車線を走行するか、あるいは、車両１０から他の物体までの相対距離が所定距離以上となるように、車両１０の走行予定経路を生成する。その際、運転計画部３５は、例えば、測位情報受信機３から得た、車両１０の現在位置情報と、メモリ２２に記憶されている地図情報とを参照して、車両１０が走行可能な車線の数を確認してもよい。そして運転計画部３５は、車両１０が走行可能な車線が複数存在する場合には、車両１０が走行する車線を変更するように走行予定経路を生成してもよい。
なお、運転計画部３５は、複数の走行予定経路を生成してもよい。この場合、運転計画部３５は、複数の走行予定経路のうち、車両１０の加速度の絶対値の総和が最小となる経路を選択してもよい。

運転計画部３５は、生成した走行予定経路を車両制御部３６へ通知する。

車両制御部３６は、車両１０が通知された走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３６は、通知された走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３６は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３６は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。

さらに、車両制御部３６は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求め、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。

図６は、プロセッサ２３により実行される、区画線検出処理を含む、車両制御処理の動作フローチャートである。プロセッサ２３は、カメラ２から画像を受信する度に、図６に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ１０１～Ｓ１０６の処理が区画線検出処理に対応する。

プロセッサ２３の確信度算出部３１は、カメラ２から得られた画像を識別器に入力することで、各画素についての物体の種類ごとの確信度を算出する（ステップＳ１０１）。

プロセッサ２３の補正領域設定部３２は、車両１０が車線変更中か否か判定する（ステップＳ１０２）。車両１０が車線変更中である場合（ステップＳ１０２－Ｙｅｓ）、補正領域設定部３２は、画像上の車線区画線が表されていると想定される範囲に補正領域を設定する（ステップＳ１０３）。

プロセッサ２３の補正部３３は、補正領域に含まれる各画素について、車線区画線についての確信度が他の物体についての確信度よりも相対的に高くなるように、車線区画線についての確信度または他の物体についての確信度を補正する（ステップＳ１０４）。

ステップＳ１０４の後、あるいは、ステップＳ１０２にて、車両１０が車線変更中でない場合（ステップＳ１０２－Ｎｏ）、プロセッサ２３の区画線検出部３４は、画像の各画素について、確信度が最大となる物体がその画素に写っていると判定する。すなわち、区画線検出部３４は、車線区画線についての確信度が他の物体についての確信度よりも高い画素を、車線区画線が写っている区画線画素として検出する（ステップＳ１０５）。そして区画線検出部３４は、区画線画素が並ぶ直線、すなわち、区画線画素が所定数以上位置する直線を車線区画線として検出する（ステップＳ１０６）。

プロセッサ２３の運転計画部３５は、画像から検出された車線区画線に応じて車両１０が走行中の車線を特定し、特定した車線に基づいて車両１０の走行予定経路を生成する（ステップＳ１０７）。そしてプロセッサ２３の車両制御部３６は、走行予定経路に沿って車両１０が走行するように車両１０を制御する（ステップＳ１０８）。そしてプロセッサ２３は、車両制御処理を終了する。

以上に説明してきたように、この区画線検出装置は、車両が車線変更中である場合、車両に搭載されたカメラにより生成された画像のうち、車線区画線が表されていると想定される領域を補正領域として設定し、補正領域内の各画素について、セグメンテーション用の識別器に画像を入力することで求められた、物体の種類ごとの確信度を、車線区画線についての確信度が相対的に高くなるように補正する。その上で、この区画線検出装置は、車線区画線についての確信度が他の物体についての確信度よりも高い画素を、車線区画線が写っている画素として検出する。そのため、この区画線検出装置は、車両が車線走行中に得られた画像上では車線区画線が存在しないような領域に車線区画線が写っている場合でも、車線区画線の検出に失敗することを抑制できる。その結果として、この区画線検出装置は、道路上に表示された車線区画線の検出精度を向上できる。

また、上記の実施形態または変形例による、区画線検出装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 車両制御システム
２ カメラ
３ 測位情報受信機
４ 電子制御装置（区画線検出装置）
５ 車内ネットワーク
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 確信度算出部
３２ 補正領域設定部
３３ 補正部
３４ 区画線検出部
３５ 運転計画部
３６ 車両制御部

Claims (3)

1. 車両に搭載された撮像部により得られた画像を、画素ごとに当該画素に写っている可能性のある物体ごとの確からしさを表す確信度を算出する識別器に入力することで、前記画像の画素ごとに、当該画素に写っている物体が車線区画線である確信度及び他の物体である確信度を算出する確信度算出部と、
   前記車両が車線変更するときに、前記画像のうちの車線区画線が含まれると想定される範囲に補正領域を設定する補正領域設定部と、
   前記補正領域に含まれる各画素について、前記車線区画線である確信度または前記他の物体である確信度を、前記車線区画線である確信度が前記他の物体である確信度に対して相対的に高くなるよう補正する補正部と、
   前記画像の各画素のうち、車線区画線である確信度が前記他の物体である確信度よりも高い画素を検出し、検出した画素が並ぶ直線を車線区画線として検出する区画線検出部と、
   を有する区画線検出装置。
2. 前記補正領域設定部は、前記車両が車線変更するときに前記車両が横切る車線区画線と前記車両との位置関係に応じて前記画像上での前記補正領域の位置及び範囲を設定する、請求項１に記載の区画線検出装置。
3. 車両に搭載された撮像部により得られた画像を、画素ごとに当該画素に写っている可能性のある物体ごとの確からしさを表す確信度を算出する識別器に入力することで、前記画像の画素ごとに、当該画素に写っている物体が車線区画線である確信度及び他の物体である確信度を算出し、
   前記車両が車線変更するときに、前記画像のうちの車線区画線が含まれると想定される範囲に補正領域を設定し、
   前記補正領域に含まれる各画素について、前記車線区画線である確信度または前記他の物体である確信度を、前記車線区画線である確信度が前記他の物体である確信度に対して相対的に高くなるよう補正し、
   前記画像の各画素のうち、車線区画線である確信度が前記他の物体である確信度よりも高い画素を検出し、検出した画素が並ぶ直線を車線区画線として検出する、
   区画線検出方法。

Images