JP6408935B2

JP6408935B2 - 走行区画線認識装置

Info

Publication number: JP6408935B2
Application number: JP2015041919A
Authority: JP
Inventors: 悠介赤峰; 直輝川嵜; 俊輔鈴木
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2015-03-04
Filing date: 2015-03-04
Publication date: 2018-10-17
Anticipated expiration: 2035-03-04
Also published as: JP2016162323A

Description

本発明は、車載カメラにより撮影された画像から、道路の走行区画線を認識する走行区画線認識装置に関する。

特許文献１に記載の車載用画像処理装置は、過去に認識した左右の白線の距離に基づいて車線幅を学習するとともに、画像から抽出した複数の白線候補のうち、左右の白線候補の距離が学習した車線幅に最も近い左右の白線候補を選択して、左右の白線として認識している。

特開平９−３３２１６号公報

一般に、車線の曲線部においては、直線部よりも車線幅が設計されている。そのため、直線部から曲線部への接続部で、直線部における車線幅の学習値を用いて白線候補を選択すると、本来の白線よりも、直線部における車線幅の学習値に近い白線候補を白線と誤認識してしまうおそれがある。また、曲線部から直線部への接続部で、曲線部における車線幅の学習値を用いて白線候補を選択すると、本来の白線よりも、曲線部における車線幅の学習値に近い白線候補を白線と誤認識してしまうおそれがある。

本発明は、上記実情に鑑み、車線の直線部と曲線部との接続部分において、走行区画線の誤認識を抑制可能な走行区画線認識装置を提供することを主たる目的とする。

本発明は、上記課題を解決するため、車両に搭載されたカメラにより撮影された画像から、道路の車線を区画する走行区画線の候補である区画線候補を抽出する抽出手段と、前記車線の幅を含む前記走行区画線の特徴量に基づいて、前記抽出手段により抽出された前記区画線候補の前記走行区画線である確信度を算出する確信度算出手段と、前記確信度算出手段により算出された前記確信度に基づいて、前記抽出手段により抽出された前記区画線候補から、認識対象となる前記区画線候補を選択する選択手段と、前記選択手段により選択された前記区画線候補に基づいて、前記車線の幅を学習して学習値を取得する学習手段と、を備え、前記確信度算出手段は、前記学習値を用いて前記確信度を算出する走行区画線認識装置であって、前記車線の直線部から曲線部への移行及び前記車線の曲線部から直線部への移行を判定する判定手段と、前記判定手段により前記車線の直線部から曲線部への移行が判定された場合に、前記確信度算出手段により用いられる前記学習値を広げるとともに、前記判定手段により前記車線の曲線部から直線部への移行が判定された場合に、前記確信度算出手段により用いられる前記学習値を狭める変更手段と、を備える。

本発明によれば、カメラにより撮影された画像から、走行区画線の候補である区画線候補が抽出される。そして、車線幅の学習値を用いて、車線幅を含む走行区画線の特徴量に基づき、抽出された区画線候補の走行区画線である確信度が算出される。そして、算出された確信度に基づいて、抽出された区画線候補から認識対象となる区画線候補が選択され、選択された区画線候補が走行区画線として認識される。また、選択された区画線候補に基づいて、車線幅が学習され学習値が取得される。

さらに、車線の直線部から曲線部への移行が判定された場合には、確信度の算出に用いられる学習値が広げられる。よって、直線部から一般的に直線部よりも車線幅が広い曲線部へ移行する際は、直線部よりも広げられた学習値を用いて、区画線候補の確信度が算出されるため、走行区画線の誤認識を抑制できる。また、車線の曲線部から直線部への移行が判定された場合には、確信度の算出に用いられる学習値が狭められる。よって、曲線部から一般的に曲線部よりも車線幅が狭い直線部へ移行する際は、曲線部よりも狭められた車線幅の学習値を用いて、区画線候補の確信度が算出されるため、走行区画線の誤認識を抑制できる。したがって、車線の直線部と曲線部との接続部分において、走行区画線の誤認識を抑制できる。ひいては、不要な逸脱警報や操舵制御を抑制することができる。

車載カメラ及びセンサ類の搭載位置を示す図。本実施形態に係る白線認識装置の機能を示すブロック図。車線幅に関する白線確信度を示す図。カーブの出口で白線を誤認識する態様を示す図。白線を認識する処理手順を示すフローチャート。

以下、走行区画線認識装置を具現化した実施形態について図面を参照しつつ説明する。まず、図１及び２を参照して、本実施形態に係る走行区画線認識装置について説明する。本実施形態に係る走行区画線認識装置は、ＥＣＵ２０により構成され、車載カメラ１０により撮影された前方画像に基づいて、道路の車線を区画する白線（走行区画線）を認識する車載装置である。なお、本実施形態では、道路上で車線の区切りを示すために描画されている白色や黄色等の線を全て白線と称する。

車載カメラ１０は、ＣＣＤイメージセンサ、ＣＭＯＳセンサ等の少なくとも１つから構成されている。図１に示すように、車載カメラ１０は、例えば車両５０のフロントガラスの上端付近に設置されており、車両５０の前方へ向けて所定角度範囲で広がる領域を撮影する。すなわち、車載カメラ１０は、車両５０の前方の道路を含む周辺環境を撮影する。

車速センサ１１は、車両５０に搭載されており、車両５０の速度を検出するセンサである。ヨーレートセンサ１２は、車両５０に搭載されており、車両５０のヨーレートを検出するセンサである。

走行支援装置４０は、ＥＣＵ２０により認識された白線の認識結果に基づいて、車線の逸脱を警告する逸脱警報装置や、運転支援を行う運転支援装置を含む装置である。逸脱警報装置は、ディスプレイ、スピーカ、バイブレータ等のヒューマンマシンインターフェースとして構成され、車両５０が車線を逸脱する際に、運転者に警報を出力する。また、運転支援装置は、操舵アクチュエータや制動アクチュエーアとして構成され、車両５０の操舵制御やブレーキ制御を行う。

ＥＣＵ２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ及び記憶装置等を備えたコンピュータである。ＣＰＵが、ＲＯＭに記憶されている各種プログラムを実行することにより、白線候補抽出部２１、曲率算出部２２、曲線部判定部２３、学習値変更部２４、車線幅学習部２５、白線確信度算出部２６、候補選択部２７、及び認識部２８の各機能を実現する。

白線候補抽出部２１（抽出手段）は、車載カメラ１０により撮影された前方画像にsobelフィルタ等を適用して、水平方向に輝度値が大きく上昇するアップエッジ点及び下降するダウンエッジ点を抽出する。そして、白線候補抽出部２１は、抽出したエッジ点にハフ変換等を適用して、エッジ線を算出し、アップエッジ点からなるエッジ線及びダウエッジ点からなるエッジ線から特定される線を、白線候補（区画線候補）として抽出する。

白線確信度算出部２６（確信度算出手段）は、白線の特徴量に基づいて、白線候補抽出部２１により抽出された白線候補の白線である確信度（白線尤度）を算出する。白線の特徴量としては、車線幅の一貫性、認識距離、路面に対する白線のコントラスト等である。白線確信度算出部２６は、各特徴量について、白線候補が特徴量を備えている度合が高いほど、白線である確信度を高く算出する。そして、白線確信度算出部２６は、各特徴量について算出した確信度を統合して統合確信度を算出する。

候補選択部２７（選択手段）は、白線確信度算出部２６により算出された確信度に基づいて、白線候補抽出部２１により抽出された白線候補から、認識対象、すなわち走行支援装置４０による制御対象となる白線候補を選択する。詳しくは、候補選択部２７は、車両５０の右側及び左側において、統合確信度が閾値よりも高い白線候補のうち、最も確信度が高い白線候補を選択する。

認識部２８は、候補選択部２７により選択された白線候補を、白線として認識して白線パラメータを算出し、算出した白線パラメータを走行支援装置４０へ出力する。白線パラメータは、車線位置、車線傾き、車線曲率、車線幅、ピッチ角等である。

車線幅学習部２５（学習手段）は、候補選択部２７により認識対象として選択された白線候補に基づいて、車線幅を学習して学習値を取得する。詳しくは、車線幅学習部２５は、認識部２８により認識された車線幅と、記憶装置に記憶されている車線幅の学習値とに所定の重み付けをして、新たな学習値を算出し、新たな学習値を記憶装置に記憶する。

上述した白線確信度算出部２６は、車線幅学習部２５により取得された車線幅の学習値を用いて、車線幅の一貫性を白線の特徴量とした確信度を算出する。白線確信度算出部２６は、図３に示すように、車両５０の右側と左側の白線候補の間隔が車線幅の学習値に近いほど高くなるように、車線幅の一貫性を白線の特徴量とした確信度を算出する。

ここで、図４に示すように、一般に、車線の曲線部（カーブ部分）の車線幅は、車線の直線部の車線幅よりも広く設計されている。例えば、日本では、道路構造令第１７条に、「車道の曲線部においては、設計車両及び当該曲線部の曲線半径に応じ、車線を適切に拡幅するものとする。」という規定がある。

そのため、車線の直線部で学習した車線幅の学習値を用いて、車線の曲線部の白線候補の確信度を算出したり、車線の曲線部で学習した車線幅の学習値を用いて、車線の直線部の白線候補の確信度を算出したりすると、白線を誤認識するおそれがある。

例えば、図４に示すように、曲線部の車線幅がＷ＋α、直線部の車線幅がＷに設計されており、曲線部の出口手前側、すなわち直線部と曲線部との接続部の手前側から車両５０の進行方向に向かって、幅Ｗの車線と並列に幅αの自転車専用道が設けられていることがある。この場合、直線部の車線幅Ｗよりも、直線部の車線幅Ｗと自転車専用道の幅αとを合わせた幅Ｗ＋αの方が、曲線部の車線幅の学習値に近くなる。そのため、曲線部で学習した車線幅の学習値を用いると、車線の右側の白線Ｌｒに対応する白線候補よりも、自転車専用道の右側を区画する白線Ｌαに対応する白線候補の方が、統合確信度が高くなるおそれがある。その結果、車線の左右の白線として、車線の左側の白線Ｌｌと自転車専用道の右側の白線Ｌαが認識されるおそれがある。

そこで、車線の直線部と曲線部との接続部近傍、すなわち曲線部の出入り口近傍において、車線幅の学習値を変更することにした。以下、車線幅の学習値の変更について説明する。

曲率算出部２２は、車速センサ１１により検出された車速の変化、及びヨーレートセンサ１２により検出された車両５０のヨーレートから、車両５０の前方における車線の曲率を算出する。一般的に、車両が曲線部分へ進入する前から、曲線部に合わせるように車両のハンドルが操作され、速度が落とされる。また、車両が曲線部分から脱出する前から、直線部に合わせるように車両のハンドルが操作され、速度が上げられる。よって、車両５０のヨーレート、及び車速の変化から、車両５０の前方における車線の曲率を算出することができる。さらに、曲率算出部２２は、今回算出した車線の曲率、及び前回算出した車線の曲率から、曲率変化率を算出する。

曲線部判定部２３は、車両５０の前方において、曲率算出部２２により算出された車線の曲率に基づいて、車線の直線部から曲線部への移行、及び車線の曲線部から直線部への移行を判定する。すなわち、曲線部判定部２３は、車線の直線部と曲線部との接続部である曲線部の入り口近傍であること、及び曲線部の出口近傍であることを判定する。

詳しくは、曲線部判定部２３は、曲率算出部２２により算出された車線の曲率及び曲率変化率の少なくとも一方から、直線部から曲線部への移行、及び曲線部から直線部への移行を判定する。一般的に、曲線部の入り口近傍では、曲率が０近くの値から上昇して、曲率変化率の絶対値（曲率増加率）が大きくなる。また、曲線部の出口近傍では、曲率が０近くの値まで下降して、曲率変化率の絶対値（曲率減少率）が大きくなる。よって、曲線部判定部２３は、曲率が曲率閾値よりも大きくなった場合、及び曲率増加率が変化量閾値よりも大きくなった場合、の少なくとも一方の場合に、直線部から曲線部への移行を判定する。また、曲線部判定部２３は、曲率が曲率閾値よりも小さくなった場合、及び曲率減少率が変化量閾値よりも大きくなった場合、の少なくとも一方の場合に、曲線部から直線部への移行を判定する。なお、曲率算出部２２及び曲線部判定部２３から判定手段が構成される。

学習値変更部２４（変更手段）は、曲線部判定部２３により、車線の直線部から曲線部への移行が判定された場合に、白線確信度算出部２６により用いられる車線幅の学習値を広げる。また、学習値変更部２４は、曲線部判定部２３により、車線の曲線部から直線部への移行が判定された場合に、白線確信度算出部２６により用いられる車線幅の学習値を狭める。

詳しくは、学習値変更部２４は、曲線部判定部２３により、車線の直線部から曲線部への移行が判定された場合に、その判定がされるまでに車線幅学習部２５により学習された車線幅の学習値を、広げるように補正する。また、学習値変更部２４は、曲線部判定部２３により、車線の曲線部から直線部への移行が判定された場合に、その判定がされるまでに車線幅学習部２５により学習された車線幅の学習値を、狭めるように補正する。

一般に、曲率が大きな曲線部ほど、車線幅は広く設計されている。よって、学習値変更部２４は、車線の曲率に基づいて、車線幅の学習値の変更量を変化させる。詳しくは、学習値変更部２４は、車線の曲率及び曲率変化率の少なくとも一方から、車線幅の学習値の変更量を決める。学習値変更部２４は、車線の直線部から曲線部への移行が判定された際の曲率が大きいほど、又は、移行が判定された際の曲率変化率の絶対値が大きいほど、変更量を大きくする。また、学習値変更部２４は、車線の曲線部から直線部への移行が判定される前の曲率が大きいほど、又は、移行が判定された際の曲率変化率の絶対値が大きいほど、変更量を大きくする。１つの曲線部において、曲線部の入り口近傍における車線幅の学習値の変更量と、曲線部の出口近傍における車線幅の学習値の変更量とは、必ずしも同じ量でなくてもよい。

次に、白線を認識する処理手順について、図５のフローチャートを参照して説明する。本処理手順は、車載カメラ１０により１フレームの画像が取得された都度、ＥＣＵ２０が実施する。

まず、車載カメラ１０により撮影された画像の情報を取得する（Ｓ１０）。続いて、Ｓ１０で取得した画像情報から、白線候補を抽出する（Ｓ１１）。

続いて、車速センサ１１により検出された車速の変化、及びヨーレートセンサ１２により検出された車両５０のヨーレートから、車線の曲率及び曲率変化率を算出する（Ｓ１２）。続いて、Ｓ１２で算出した曲率及び曲率変化率の少なくとも一方から、車線の曲線部の出入り口近傍か否かを判定する（Ｓ１３）。すなわち、車線の直線部から曲線部への移行、又は曲線部から直線部への移行があるか否か判定する。車線の曲線部の出入り口近傍と判定した場合は（Ｓ１３：ＹＥＳ）、車線幅の学習値を変更する（Ｓ１４）。

詳しくは、曲線部の入り口近傍と判定した場合は、車線の曲率及び曲率変化率の少なくとも一方に応じた変更量の分、記憶装置に記憶されている車線幅の学習値を広げるように補正する。また、曲線部の出口近傍と判定した場合は、車線の曲率及び曲率変化率の少なくとも一方に応じた変更量の分、記憶装置に記憶されている車線幅の学習値を狭めるように補正する。そして、次の白線候補の絞り込みの処理に進む。一方、車線の曲線部の出入り口近傍でないと判定した場合は（Ｓ１３：ＮＯ）、記憶装置に記憶されている車線幅の学習値を補正することなく、次の白線候補の絞り込みの処理に進む。

続いて、車両５０の左右両側のそれぞれにおいて、Ｓ１１で抽出した白線候補を、尤も白線らしい白線候補に絞り込む。詳しくは、白線の特徴量ごとに、白線候補が白線である確信度を算出し、白線の特徴量ごとに算出した確信度を統合して統合確信度を算出する。そして、車両５０の左右両側のそれぞれにおいて、統合確信度が閾値よりも高く、且つ最も確信度が高い白線候補に絞り込む。ここで、白線の特徴量を車線幅の一貫性として確信度を算出する際、Ｓ１３で曲線部の出入り口近傍でないと判定した場合は、補正していない車線幅の学習値を用いて確信度を算出し、Ｓ１３で曲線部の出入り口近傍であると判定した場合は、Ｓ１４で補正した車線幅の学習値を用いて確信度を算出する。

続いて、Ｓ１５で絞り込んだ白線候補を白線として認識し、白線パラメータを算出する（Ｓ１６）。続いて、Ｓ１６で算出した白線パラメータのうちの車線幅を学習する（Ｓ１７）。Ｓ１３で車線の曲線部の入り口近傍と判定した場合は、Ｓ１４で広げられた学習値と、Ｓ１６で算出した車線幅とから、新たな学習値を算出する。また、Ｓ１３で車線の曲線部の出口近傍と判定した場合は、Ｓ１４で狭められた学習値と、Ｓ１６で算出した車線幅とから、新たな学習値を算出する。以上で本処理を終了する。

以上説明した本実施形態によれば以下の効果を奏する。

・車線の直線部から曲線部への移行が判定された場合には、確信度の算出に用いられる車線幅の学習値が広げられる。これにより、車線の直線部から一般的に直線部よりも車線幅が広い曲線部へ移行する際は、直線部における学習値よりも広げられた学習値を用いて、白線候補の確信度が算出されるため、白線の誤認識を抑制できる。また、車線の曲線部から直線部への移行が判定された場合には、確信度の算出に用いられる車線幅の学習値が狭められる。これにより、車線の曲線部から一般的に曲線部よりも車線幅が狭い直線部へ移行する際は、曲線部における学習値よりも狭められた学習値を用いて、白線候補の確信度が算出されるため、走行区画線の誤認識を抑制できる。したがって、車線の曲線部の出入り口近傍において、白線の誤認識を抑制できる。ひいては、車線の曲線部の出入り口近傍において、不要な逸脱警報や操舵制御を抑制できる。

・一般に、車線幅は、車線の曲率に応じた値となっている。よって、車線の曲率及び曲率変化率の少なくとも一方に応じて、車線幅の学習値の変更量を変えることにより、直線部から曲線部へ移行する際、及び曲線部から直線部へ移行する際に、適切な車線幅の学習値にすることができる。ひいては、車線の曲線部の出入り口近傍において、白線の誤認識を適切に抑制できる。

・車線の曲線部の出入り口近傍において、車線幅の学習値を適切に補正することにより、車線の曲線部の出入り口近傍における走行区画線の誤認識を抑制できる。

・車線の直線部と曲線部とでは、曲率が大きく異なる。よって、車線の曲率及び曲率変化率の少なくとも一方に基づいて、車線の直線部から曲線部への移行、及び車線の曲線部から直線部への移行を判定することができる。

・一般的に、車両が車線の直線部から曲線部へ進入する前に、車両のハンドルが操作され速度が落とされる。また、車両が車線の曲線部から直線部へ進入する前に、車両のハンドルが操作され速度が上げられる。よって、車両５０のヨーレート及び車速の変化から、車両５０の前方の車線の曲率を算出することができる。

（他の実施形態）
・曲率算出部２２は、白線候補抽出部２１により抽出された白線候補から、車両５０の前方の車線の曲率を算出してもよい。白線候補から車線の曲率を算出する場合、ヨーレートや車速の変化から車速の曲率を算出する場合よりも、車両５０から遠方の車線の曲率を算出できる。なお、この場合、車線幅の一貫性以外の白線の特徴量に基づいて算出した確信度が比較的高い白線候補を用いて、車線の曲率を算出するとよい。図４に示すように、曲線部の出口近傍から進行方向へ、車線に並列して自転車専用道が併設されている場合、白線Ｌｒ及びＬαに対応する白線候補のどちらも、車線幅の一貫性以外の白線の特徴量に基づいて算出した確信度が比較的高くなるおそれがある。しかしながら、どちらの白線候補も直線になるので、どちらで車線の曲率を算出しても支障はない。

・直線部用の車線幅の学習値と、曲線部用の車線幅の学習値とを分け、直線部と曲線部とでそれぞれ個別に車線幅を学習するようにし、車線の直線部から曲線部への移行が判定された場合に、車線幅の学習値を補正しないで、直線部用の車線幅の学習値を曲線部用の学習値に切り替えるようにしてもよい。この場合、曲線部用の車線幅の学習値として、直線部用の学習値よりも広い値の学習値を、段階的に複数用意しておき、車線の曲率及び曲率変化率の少なくとも一方に応じて、曲線部用の車線幅の学習値を選択して、切り替えるようにするとよい。そして、車線の曲線部から直線部への移行が判定された場合には、車線幅の学習値を補正しないで、曲線部用の車線幅の学習値から曲線部用の車線幅の学習値に切り替える。このようにしても、車線の曲線部の出入り口近傍における白線の誤認識を抑制することができる。

１０…車載カメラ、２０…ＥＣＵ、５０…車両。

Claims

車両（５０）に搭載されたカメラ（１０）により撮影された画像から、道路の車線を区画する走行区画線の候補である区画線候補を抽出する抽出手段と、
前記車線の幅を含む前記走行区画線の特徴量に基づいて、前記抽出手段により抽出された前記区画線候補の前記走行区画線である確信度を算出する確信度算出手段と、
前記確信度算出手段により算出された前記確信度に基づいて、前記抽出手段により抽出された前記区画線候補から、認識対象となる前記区画線候補を選択する選択手段と、
前記選択手段により選択された前記区画線候補に基づいて、前記車線の幅を学習して学習値を取得する学習手段と、
を備え、
前記確信度算出手段は、前記学習値を用いて前記確信度を算出する走行区画線認識装置（２０）であって、
前記車線の直線部から曲線部への移行及び前記車線の曲線部から直線部への移行を判定する判定手段と、
前記判定手段により前記車線の直線部から曲線部への移行が判定された場合に、前記確信度算出手段により用いられる前記学習値を広げるとともに、前記判定手段により前記車線の曲線部から直線部への移行が判定された場合に、前記確信度算出手段により用いられる前記学習値を狭める変更手段と、
を備えることを特徴とする走行区画線認識装置。
前記変更手段は、前記車線の曲率に基づいて、前記確信度算出手段により用いられる前記学習値の変更量を変化させる請求項１に記載の走行区画線認識装置。
前記変更手段は、前記判定手段により前記車線の直線部から曲線部への移行が判定された場合に、前記学習手段により学習された前記学習値を広げるように補正するとともに、前記判定手段により前記車線の曲線部から直線部への移行が判定された場合に、前記学習手段により学習された前記学習値を狭めるように補正する請求項１又は２に記載の走行区画線認識装置。
前記判定手段は、前記車線の曲率に基づいて、前記車線の直線部から曲線部への移行及び前記車線の曲線部から直線部への移行を判定する請求項１〜３のいずれか１項に記載の走行区画線認識装置。
前記判定手段は、前記抽出手段により抽出された前記区画線候補から前記車線の曲率を算出する請求項１〜４のいずれか１項に記載の走行区画線認識装置。
前記判定手段は、前記車両のヨーレート、及び車速の変化から前記車線の曲率を算出する請求項１〜４のいずれか１項に記載の走行区画線認識装置。