JP6741603B2

JP6741603B2 - 推定装置

Info

Publication number: JP6741603B2
Application number: JP2017005349A
Authority: JP
Inventors: 俊也熊野; 俊輔鈴木; 健太保木
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2017-01-16
Filing date: 2017-01-16
Publication date: 2020-08-19
Anticipated expiration: 2037-01-16
Also published as: JP2018116370A; US10691959B2; US20180204074A1

Description

本開示は、画像から区画線を認識する技術に関する。

車載カメラにより得られた画像から、白線のエッジ点の座標を検出し、その検出した座標をカルマンフィルタ等に作用させることで、カメラまたは自車両からの横方向オフセット位置、ヨー角、曲率といった道路の状態量を推定する技術が知られている。但し、カーブ路では制御遅れがないように応答性を高く設定し、直進路ではふらつきが抑制されるよう応答性を低く設定することが要求される。

特許文献１には、ヨーレートから推定される道路曲率に応じてフィルタの応答性を変更する技術が提案されている。

特開２００６−２８５４９３号公報

しかしながら、発明者の詳細な検討の結果、ヨーレートに応じてフィルタの応答性を変更した場合、フィルタの応答性が状況に応じた適切な値に設定されるタイミングが遅れるという課題が見出された。即ち、ヨーレートは、カーブに進入した後でなければ検出されないため、ヨーレートの検出を待って切り替えると、タイミングが遅れるのである。

なお、カーブ進入時の応答性を改善するには、例えば、直進路での応答性を予め高めに設定することが考えられる。この場合、区画線がかすれていたり、路面に亀裂やコールタールによる補修跡等が存在したりすると、これらに反応してしまい、推定の安定性が低下し、制御ふらつきの要因となるという課題も見出した。

本開示は、区画線の認識における状態推定の応答性および安定性を両立させる技術を提供する。

本開示の一態様による走路推定装置（４）は、エッジ抽出部（４４）と、候補抽出部（４５）と、選択部（４８）と、推定部（４９）と、判定部（４７：Ｓ１００〜Ｓ２４０）と、応答性設定部（４７：Ｓ２５０）とを備える。

エッジ抽出部は、車両前方の走路を撮影する車載カメラにより撮影される画像から、隣接する画素間で輝度の変化が予め設定された閾値以上となるエッジ点の座標を算出するように構成されている。候補抽出部は、エッジ抽出部により抽出されたエッジ点の座標に基づき、走路の区画線の候補となる一つ以上の線候補を抽出するように構成されている。選択部は、候補抽出部にて抽出された一つ以上の線候補のうちいずれか一つを選択候補として選択する。推定部は、選択部により選択された選択候補に含まれるエッジ点の座標に基づき、予め用意されたフィルタを用いて、車両に対する走路の状態および前記走路の形状に関する走路パラメータを推定するように構成されている。判定部は、エッジ抽出部によるエッジ点の抽出精度を低下させる状況である不安定状況にあるか否かを判定するように
構成されている。応答性設定部は、判定部にて不安定状況であると判定された場合、フィルタの応答性を低下させるように構成されている。

このような構成によれば、不安定状況であると判定されない限り、フィルタの応答性が高めに設定されるため、直進路やカーブ路に関わらず必要な応答性を確保することができる。また、不安定状況下ではフィルタの応答性が低下するため、状態量推定の安定性が向上し、制御ふらつきを抑制することができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

運転支援システムの構成を示すブロック図である。画像の撮像範囲を示す説明図である。走路推定装置の機能ブロック図である。特徴情報および信頼度に関する説明図である。応答性設定部が実行する応答性設定処理のフローチャートである。路面に外乱が存在する状況を例示する説明図である。通常の環境で検出される白線および外乱の輝度値を例示する説明図である。高架下の日影になった路面の状況を例示する説明図である。白線の近くで外乱に基づく線候補が抽出される状況を例示する説明図である。曲率の推定結果を、従来装置と実施形態の装置とで比較した結果を示すグラフである。不安定状態であると判定してもよい他の状況を示す説明図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．構成］
図１に示す本実施形態の運転支援システム１は、車両に搭載される。以下では、運転支援システム１を搭載する車両を自車両という。運転支援システム１は、自車両前方を撮影した画像から走路パラメータを推定し、その推定された走路パラメータに基づいて各種運転支援を実行する。走路パラメータは、自車両に対する走路の状態および走路の形状を表すものであり、その詳細については後述する。

運転支援システム１は、撮像部２と、センサ群３と、走路推定装置４と、支援実行部５とを備える。
撮像部２は、自車両の前方の走路を撮影するように車両に搭載されている。具体的には、撮像部２は、自車両の中央前方側に取り付けられており、図２に示すように、自車両の前方に向けて所定角度範囲で広がる領域を撮影する。撮像部２は、ＣＣＤカメラ、ＣＭＯＳイメージセンサ、近赤外線カメラ等を用いて構成され、輝度だけでなく色を識別できるカラー画像を取得するように構成されている。

センサ群３は、自車両の状態や挙動を検出するために自車両に搭載された各種センサである。具体的には、センサ群３は、車輪の回転速度に基づき自車両の車速を検出する車速センサを少なくとも備えている。センサ群３は、車速センサ以外に、自車両の旋回角速度を検出するヨーレートセンサ、自車両の位置を検出するＧＰＳセンサ、自車両の周辺に存在する物標との距離や相対速度を検出するレーダセンサ等を備えていてもよい。

走路推定装置４は、ＣＰＵ４ａと、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモ
リ（以下、メモリ４ｂ）と、を有する周知のマイクロコンピュータを中心に構成される。走路推定装置４の各種機能は、ＣＰＵ４ａが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ４ｂが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、走路推定装置４を構成するマイクロコンピュータの数は１つでも複数でもよい。

支援実行部５は、走路推定装置４による推定結果に基づいて、各種制御対象を作動させてレーンキープアシスト等の運転支援制御を実行する。制御対象としては、例えば、ブレーキ、ステアリング、シートベルト等を駆動するアクチュエータ、警報を発する警報装置等が挙げられる。

［２．処理］
走路推定装置４は、ＣＰＵ４ａがプログラムを実行することで実現される機能の構成として、走路認識機能を有する。

走路推定装置４は、走路認識機能を実現するための構成として、図３に示すように、画像取得部４１と、センサ取得部４２と、環境抽出部４３と、エッジ抽出部４４と、候補抽出部４５と、情報抽出部４６と、応答性設定部４７と、選択部４８と、推定部４９とを備える。なお、これら各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。

画像取得部４１は、予め設定された周期毎に撮像部２から画像を取得する。以下では、この周期を処理サイクルともいう。
センサ取得部４２は、センサ群３から検出情報を適宜取得する。ここでは自車両の車速やヨーレートを少なくとも取得する。

環境抽出部４３は、処理サイクル毎に自車両の走路周辺の明るさと、前回の処理サイクルで求めた明るさとの差分とを求める。ここでは、環境抽出部４３は、画像取得部４１にて取得された画像に基づき、画像に含まれる全画素の輝度の平均値を走路周辺の明るさとして求める。なお、走路周辺の明るさを求める方法は、これに限らず、照度センサ等を用いて直接検出してもよい。

エッジ抽出部４４は、画像取得部４１が取得した画像にｓｏｂｅｌフィルタ等を適用してエッジ点を抽出する。エッジ点とは、例えば、隣接する画素の間で輝度が予め設定された閾値以上変化する点のことをいう。

候補抽出部４５は、エッジ抽出部４４にて検出されたエッジ点をハフ変換する等して、一つ以上の線候補を抽出する。線候補は、走路の範囲等を表すために路面にペイントされた区画線と路面との境界を表す線の候補である。

選択部４８は、候補抽出部４５にて抽出された線候補の中から、自車両の走路の左右の境界を現していると推定される一対の線候補を選択する。以下、選択された一対の線候補を選択候補という。選択候補の選択は、情報抽出部４６にて抽出される各種情報や、線候補の位置情報等を利用することができる。

推定部４９は、選択部４８により選択された左右の境界線を構成するエッジ点である境
界エッジ点の座標を観測値として、カルマンフィルタを用いて、自車両に対する走路の状態及び走路の形状を表す走路パラメータを算出する。推定部４９は、算出された走路パラメータを支援実行部５に出力する。

なお、走路パラメータのうち、車両に対する走路の状態に関するパラメータは、オフセットｙｃ、車線傾きφ、ピッチング量βであり、走路の形状に関するパラメータは、曲率ρ、車線幅Ｗｌである。オフセットｙｃは、撮像部２を中心として進行方向に伸びる中心線から、走路の幅方向の中心までの距離であり、自車両の走路幅方向への変位を表す。自車両が走路の中央を走行している場合に、オフセットｙｃは０となる。車線傾きφは、左右の境界線の中央を通過する仮想的な線を中央線として、自車両の進行方向に対する中央線の接線の傾きであり、車両のヨー角を表す。ピッチング量βは、走路に対する自車両のピッチ角を表す。曲率ρは、前記中央線の中央線の曲率である。車線幅Ｗｌは、自車両の中心線と直交する方向における左右の境界線の間隔であり、走路の幅を表す。

なお、カルマンフィルタを用いた走路パラメータの推定は、例えば、特開２０１５−１９９４２３号公報等に開示された公知の技術であるため、ここではその詳細についての説明を省略する。

情報抽出部４６は、信頼度算出部４６１と、特徴生成部４６２と、ばらつき生成部４６３と、差分生成部４６４と、線種識別部４６５とを備える。情報抽出部４６は、候補抽出部４５にて抽出された線候補のそれぞれについて、その線候補から特定される区画線の特徴を表す複数種類の情報を生成する。

線種識別部４６５は、線候補に含まれるエッジ点の分布等に基づき、線候補が表す区画線の種類を識別する。具体的には、区画線が実線であるか破線であるかを識別する他、単独線であるか多重線の一部であるかも識別する。

特徴生成部４６２は、線候補から特定される区画線の特徴を表す特徴情報を生成する。
特徴情報には、ブロック長Ｌ、ブロック間隔Ｗ、線全長ＡＬ、路面色度合い、黒境界の色度合い等が含まれる。

ここで、図４に示すように、線候補から特定される区画線が、断続的なｍ個の矩形状の領域（以下、ブロック）を含む破線であるとする。ｍは、２以上の整数である。
ブロック長Ｌ_１〜Ｌ_ｍは、個々のブロック毎の長さである。

ブロック間隔Ｗ_１〜Ｗ_ｍ−１は、隣接する各ブロックの間隔の長さである。区画線が破線ではなく、単一のブロックである場合は、ブロック間隔Ｗは存在しない。
全長ＡＬは、線候補に含まれるエッジ点のうち、自車両の最近点から最遠点までの距離である。区画線が単一のブロックである場合は、ＡＬ＝Ａ_１となる。

路面色度合いＰ_１〜Ｐ_ｍは、個々のブロック毎に求められ、基準輝度とブロックの輝度とのコントラスト比である。但し、その値は、０〜１の値をとるように正規化されている。ここでは、基準輝度に対してブロックの輝度が高いほど、即ち、コントラスト比が大きいほど、路面度合いＰ_ｉは１に近づく。ｉは１〜ｍの整数である。基準輝度は、例えば、画像から抽出された路面部分の平均的な輝度である。

黒境界の色度合いＱ_１〜Ｑ_ｍは、基準輝度を基準とした黒境界の輝度のコントラスト比である。黒境界とは、ブロックの境界に位置する路面、即ち、低輝度側の画素のことをいう。但し、その値は、０〜１の値をとるように正規化されている。ここでは、黒境界の輝度が基準輝度に近いほど、つまり、コントラスト比が小さいほどＱ_ｉ＝１に近づく。また
、黒境界の輝度がより基準輝度から離れるほど、つまり、コントラスト比が大きいほどＱ_ｉ＝０に近づく。

ばらつき生成部４６３は、今回の処理サイクルで特徴生成部４６２が生成した特徴情報のばらつきを表すばらつき情報を求める。ばらつき情報として、例えば、ブロック長Ｌ_１〜Ｌ_ｍの平均ＰＬおよび分散ＶＬ、ブロック間隔Ｗ_１〜Ｗ_ｍ−１の平均ＰＷおよび分散ＶＷを用いる。但し、ばらつき生成部４６３は、線候補から特定される区画線が複数のブロックを含む場合にのみ、ばらつき情報を生成する。

差分生成部４６４は、特徴生成部４６２が生成した特徴情報、およびばらつき生成部４６３が生成したばらつき情報について、今回の処理サイクルにて生成された情報と前記の処理サイクルにて生成された情報との差分を求める。具体的には、全長ＡＬの差分ΔＡＬ、ブロック長の平均ＰＬやブロック間隔の平均ＰＷの差分ΔＰＬ，ΔＰＷ等を求める。また、線種識別部４６５での識別結果に変化がある場合には、その旨を表す種別変化フラグをセットする。

信頼度算出部４６１は、線候補に対応づけられる路面上のブロックが白線らしいほど高い値となる第１信頼度ＤＲ、第２信頼度ＤＢを生成する。
第１信頼度ＤＲは、ブロック長Ｌｉおよび路面色度合いＰ_ｉを用いて、（１）式で求められる。区画線が単一のブロックである場合は、路面色度合いＰ_１がそのまま第１信頼度ＤＲとなる。

第２信頼度ＤＢは、ブロック長Ｌｉおよび黒境界の色度合いＱ_ｉを用いて、（２）式で求められる。区画線が単一のブロックである場合は、黒境界の色度合いＱ_１がそのまま第２信頼度ＤＢとなる。

応答性設定部４７は、道路の状況に応じてカルマンフィルタの応答性を適宜変更する処理を実行する。カルマンフィルタの応答性は、カルマンゲインにより決まる。カルマンゲインは、前回の推定結果に基づく予測値と、今回の観測値とのうち、どちらをどの程度信頼するかを表す値である。つまり、予測値を信頼して重視した場合は、フィルタの応答性が低下し安定性が向上する。逆に、観測値を信頼して重視した場合は、フィルタの応答性が向上し安定性が低下する。カルマンゲインは、例えば、観測雑音を表す分散行列の値を調整することで変更することができる。

［２−１．応答性設定処理］
応答性設定部４７が実行する応答性設定処理について、図５のフローチャートを用いて説明する。本処理は、処理サイクル毎に繰り返し実行される。また、本処理は、選択部４８にて選択された一対の選択候補のそれぞれについて実行される。従って、以下の処理にて選択候補といった場合、いずれか一方の選択候補のことを指す。

応答性設定部４７は、Ｓ１００では、判定フラグＦ１〜Ｆ７を０にリセットする。
Ｓ１１０では、選択候補について、情報抽出部４６にて算出された第１信頼度ＤＲおよび第２信頼度ＤＢが、予め設定された信頼度閾値未満であるか否かを判断する。信頼度ＤＲ，ＤＢのうち少なくとも一方が信頼度閾値未満である場合、選択候補が白線である信頼度が低い不安定状況であるとしてＳ１２０に進む。信頼度ＤＲ，ＤＢのいずれもが信頼度閾値以上である場合、選択候補が白線である信頼度が高いものとして、Ｓ１３０に進む。

Ｓ１２０では、判定フラグＦ１を１にセットしてＳ１３０に進む。
Ｓ１３０では、選択候補から予め設定された許容範囲内に、高信頼度線が存在するか否かを判断する。高信頼度線とは、第１信頼度ＤＲおよび第２信頼度ＤＢのいずれもが信頼度閾値以上である線候補のことをいう。また、許容範囲は、例えば、二つのエッジ点が同一の線候補であると判断される可能性のある最大距離で規定される範囲のことをいう。許容範囲内に高信頼度線が存在する場合、選択候補と高信頼度線とが混同される可能性がある不安定状況であるとしてＳ１４０に進む。許容範囲内に高信頼度線が存在しない場合、Ｓ１５０に進む。

Ｓ１４０では、判定フラグＦ２を１にセットしてＳ１５０に進む。
Ｓ１５０では、選択候補について、情報抽出部４６にて生成された特徴情報が、予め設定された許容範囲から外れた値になっているか否かを判断する。例えば、ブロック長の平均ＰＬやブロック間隔の平均ＰＷが、法律等で規定されたサイズから外れているか否かを判断する。特徴情報が許容範囲外の値である場合、選択候補の信頼性が低い不安定状況であるとしてＳ１６０に進む。特徴情報が許容範囲内の値である場合、Ｓ１７０に進む。

Ｓ１６０では、判定フラグＦ３を１にセットしてＳ１７０に進む。
Ｓ１７０では、選択候補について、情報抽出部４６にて生成された特徴情報のばらつきを表すブロック長の分散ＶＬおよびブロック間隔の分散ＶＷが、予め設定されたばらつき閾値以上であるか否かを判断する。分散ＶＬ，ＶＷのうち少なくとも一方がばらつき閾値以上である場合、選択候補に含まれるブロックのパターンが不均一であり、区画線である信頼度が低い不安定状況であるものとしてＳ１８０に進む。分散ＶＬ，ＶＷのいずれもがばらつき閾値未満である場合、Ｓ１９０に進む。

Ｓ１８０では、判定フラグＦ４を１にセットしてＳ１９０に進む。
Ｓ１９０では、選択候補について、情報抽出部４６にて算出された特徴情報の処理サイクル間での差分であるブロック長平均の差分ΔＬおよびブロック間隔平均の差分ΔＷが、予め設定された急変閾値以上であるか否かを判断する。急変閾値とは、測定誤差を超えるような変動の有無を判定するための閾値である。急変閾値は、差分ΔＬと差分ΔＷとで異なっていてもよい。差分ΔＬ，ΔＷのうち少なくとも一方が急変閾値以上である場合、何らかの外乱が影響によって特徴情報の値が急変する不安定状況であるものとしてＳ２００に進む。差分ΔＬ，ΔＷのいずれもが急変閾値未満である場合、選択候補が外乱の影響を受けている可能性は低いものとしてＳ２１０に進む。

Ｓ２００では、判定フラグＦ５を１にセットしてＳ２１０に進む。
Ｓ２１０では、選択候補について、情報抽出部４６にて識別された線種が、前回の処理サイクルから変化しているか否か、即ち、種別変化フラグがセットされているか否かを判
断する。種別変化フラグがセットされている場合、何らかの外乱の影響によって線種の判定がばらつく不安定状況であるものとしてＳ２２０に進む。種別変化フラグがセットされていない場合、Ｓ２３０に進む。

Ｓ２２０では、判定フラグＦ６を１にセットしてＳ２３０に進む。
Ｓ２３０では、環境抽出部４３にて生成された明るさ差分ΔＣが、予め設定された環境閾値以上であるか否かを判断する。環境閾値は、例えば、車両が高架下などの日陰になった領域を通過する再に生じる画面全体の平均輝度の変化を検出できる程度の大きさに設定される。明るさ差分ΔＣが環境閾値以上である場合、トンネルや高架下に侵入する等、区画線の認識環境が急変した不安定状況であるものとして、Ｓ２４０に進む。明るさ差分ΔＣが環境閾値未満である場合、Ｓ２５０に進む。

Ｓ２４０では、判定フラグＦ７を１にセットしてＳ２５０に進む。
Ｓ２５０では、判定フラグＦ１〜Ｆ７の設定状態、および自車両の車速やヨーレート等に基づいて、カルマンフィルタの応答性を設定して、本処理を終了する。具体的には、判定フラグＦ１〜Ｆ７が１に設定されている件数が多いほど、また、車速が早いほど、ヨーレートが小さいほど、応答性が低くなるように設定する。なお、判定フラグＦ１〜Ｆ７を重み付け加算した結果を用い、その加算結果が大きいほど応答性が低くなるようにしてもよい。また、応答性を低下させる度合いを、選択候補の信頼度ＤＲ，ＤＢ、各種特徴情報の値、特徴情報のばらつき、特徴情報の差分、特徴情報や明るさの急変の度合い、高信頼度線との近さ等に応じて変化させるようにしてもよい。

［３．動作］
図６に示すように、路面にタイヤ痕や補修によるコールタール線が存在する走行シーンを想定する。路面に影となる部分がない場合、路面各部の輝度は、図７に示すようなものとなる。この場合、タイヤ痕やコールタール線は、白線と比較して輝度が低く、信頼度ＤＲ，ＤＢも低くなる。従って、タイヤ痕やコールタール線に基づいて抽出される線候補が、選択候補として選択されることがない。

車両が高架下を通過するシーンでは、カメラの露出制御が間に合わないため、画面が一時的に暗くなる。このとき、高架下出口から差し込む光の反射により、図８に示すように、コールタール線は、路面の輝度より高くなり、白線と誤認識され易くなる。コールタール線が白線と誤認識されると、選択候補の対象が、正しい白線に基づく線候補から、コールタール線等の外乱に基づく線候補に切り替わる、いわゆる乗り移りが発生する。乗り移りが発生すると、線種、全長ＡＬ等の特徴情報、明るさの急変が生じる。従って、このような乗り移りによって生じる様々な変化を検出することで、認識環境が落下した不安定状況であるか否かを判断することができる。

また、図９に示すように、タイヤ痕やコールタール線等のように、路面より輝度の低い部位が存在すると、この輝度の低い部分を路面、本来の路面を白線として誤認識し、線候補として抽出される場合がある。しかし、この場合、白線と誤認識されたブロックの輝度は、基準輝度と変わらないため路面信頼度ＤＲが低くなる。また、黒境界の輝度も基準輝度より大幅に低いものとなるため黒境界の信頼度ＤＢも低くなる。従って、走路推定装置４では、タイヤ痕やコールタール線のエッジに基づく線候補は、選択部４８で選択されにくく、仮に、選択候補として選択されたとしても、信頼度ＤＲ，ＤＢが低いため、推定部４９での推定に使用されるカルマンフィルタの応答性が抑えられる。従って、タイヤ痕やコールタール線等の外乱が走路推定に与える影響を抑制することができる。

［４．効果］
以上詳述した実施形態によれば、以下の効果を奏する。
（１）走路推定装置４は、不安定状況であると判定されない限り、フィルタの応答性が高めに設定された状態が維持される。このため、直進路やカーブ路に関わらず必要な応答性を確保することができる。例えば、直進路からカーブ路に進入する際に、ヨーレートが検出される以前から応答性の高い制御を実現することができる。

（２）走路推定装置４は、不安定状況であると判定すると、走路推定に用いるカルマンフィルタの応答性を低下させるため、不安定状況の原因となった外乱の影響による制御のふらつきを抑制することができる。

図１０は、直進路では応答性が一定となる従来装置では、路面亀裂を誤認識して曲率の推定結果が急変する道路において、本実施形態の運転支援システム１を搭載した車両を走行させたときに得られた曲率の推定結果である。本実施形態の運転支援システム１では、曲率の急変がなく、安定した推定結果が得られている。

［５．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（ａ）上記実施形態では、選択候補から許容範囲内に高信頼度線（即ち、他の線候補）が存在する場合に、不安定状況であると判断しているが、これに限定されるものではない。例えば、図１１に示すように、選択候補から許容範囲内に、線候補として抽出されないまでも、コールタール線等の外乱に基づくエッジ点が多数検出されるような状況にある場合に、不安定状況であると判断するようにしてもよい。

（ｂ）上記実施形態では、走路パラメータを推定するフィルタとしてカルマンフィルタを用いているが、これに限定されるものではない。例えば、Ｈ∞フィルタ等、状態空間モデルの推定に使用されるその他のフィルタを用いてもよい。

（ｃ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（ｄ）上述した走路推定装置の他、当該走路推定装置を構成要素とするシステム、当該走路推定装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、走路推定方法など、種々の形態で本開示を実現することもできる。

１…運転支援システム、２…撮像部、３…センサ群、４…走路推定装置、４ａ…ＣＰＵ、４ｂ…メモリ、５…支援実行部、４１…画像取得部、４２…センサ取得部、４３…環境抽出部、４４…エッジ抽出部、４５…候補抽出部、４６…情報抽出部、４７…応答性設定部、４８…選択部、４９…推定部、４６１…信頼度算出部、４６２…特徴生成部、４６３…ばらつき生成部、４６４…差分生成部、４６５…線種識別部。

Claims

車両前方の走路を撮影する車載カメラにより撮影される画像から、隣接する画素間で輝度の変化が予め設定された閾値以上となるエッジ点の座標を算出するように構成されたエッジ抽出部（４４）と、
前記エッジ抽出部により抽出されたエッジ点の座標に基づき、前記走路の区画線の候補となる一つ以上の線候補を抽出するように構成された候補抽出部（４５）と、
前記候補抽出部にて抽出された前記一つ以上の線候補のうちいずれか一つを選択候補として選択する選択部（４８）と、
前記選択部により選択された選択候補に含まれる前記エッジ点の座標に基づき、予め用意されたフィルタを用いて、前記車両に対する走路の状態および前記走路の形状に関する走路パラメータを推定するように構成された推定部（４９）と、
前記エッジ抽出部による前記エッジ点の抽出精度を低下させる状況である不安定状況にあるか否かを判定するように構成された判定部（４７：Ｓ１００〜Ｓ２４０）と、
前記判定部にて前記不安定状況であると判定された場合、前記フィルタの応答性を低下させるように構成された応答性設定部（４７：Ｓ２５０）と、
前記選択候補が白線らしいほど高い値となる信頼度を求めるように構成された信頼度算出部（４６１）と、
を備え、
前記判定部は、前記信頼度算出部にて算出された信頼度が予め設定された信頼度閾値未満である場合に、前記不安定状況であると判定するように構成されている（４７：Ｓ１１０）、走路推定装置。
請求項１に記載の走路推定装置であって、
前記信頼度算出部は、前記走路の路面部分の平均的な輝度値または色に対する前記選択候補から特定される区画線部分の輝度値または色のコントラストが大きいほど、前記信頼度を高く設定するように構成されている、走路推定装置。
請求項１または請求項２に記載の走路推定装置であって、
前記信頼度算出部は、前記走路の路面部分の平均的な輝度値または色に対する前記選択候補から特定される区画線部分の境界における路面の輝度値または色のコントラストが小さいほど、前記信頼度を高く設定するように構成されている、走路推定装置。
請求項１ないし請求項３のいずれか１項に記載の走路推定装置であって、
前記信頼度算出部は、前記線候補のすべてについて前記信頼度を求めるように構成され、
前記判定部は、前記選択候補から予め設定された範囲内に、前記信頼度が予め設定された閾値未満の前記線候補が存在する場合に、前記不安定状況であると判定するように構成されている（４７：Ｓ１３０）、走路推定装置。
請求項１ないし請求項４のいずれか１項に記載の走路推定装置であって、
前記候補抽出部により抽出された選択候補から特定される区画線の特徴を表す特徴情報を生成するように構成された特徴生成部（４６２、４６３、４６４）を更に備え、
前記判定部は、前記特徴生成部にて生成された特徴情報が、予め設定された許容範囲から外れている場合に、前記不安定状況であると判定するように構成されている（４７：Ｓ１５０、Ｓ１７０、Ｓ１９０）、走路推定装置。
車両前方の走路を撮影する車載カメラにより撮影される画像から、隣接する画素間で輝度の変化が予め設定された閾値以上となるエッジ点の座標を算出するように構成されたエッジ抽出部（４４）と、
前記エッジ抽出部により抽出されたエッジ点の座標に基づき、前記走路の区画線の候補となる一つ以上の線候補を抽出するように構成された候補抽出部（４５）と、
前記候補抽出部にて抽出された前記一つ以上の線候補のうちいずれか一つを選択候補として選択する選択部（４８）と、
前記選択部により選択された選択候補に含まれる前記エッジ点の座標に基づき、予め用意されたフィルタを用いて、前記車両に対する走路の状態および前記走路の形状に関する走路パラメータを推定するように構成された推定部（４９）と、
前記エッジ抽出部による前記エッジ点の抽出精度を低下させる状況である不安定状況にあるか否かを判定するように構成された判定部（４７：Ｓ１００〜Ｓ２４０）と、
前記判定部にて前記不安定状況であると判定された場合、前記フィルタの応答性を低下させるように構成された応答性設定部（４７：Ｓ２５０）と、
前記候補抽出部により抽出された選択候補から特定される区画線の特徴を表す特徴情報を生成するように構成された特徴生成部（４６２、４６３、４６４）と、
を備え、
前記判定部は、前記特徴生成部にて生成された特徴情報が、予め設定された許容範囲から外れている場合に、前記不安定状況であると判定するように構成されている（４７：Ｓ１５０、Ｓ１７０、Ｓ１９０）、走路推定装置。
請求項５または請求項６に記載の走路推定装置であって、
前記特徴生成部は、前記選択候補から特定される区画線が繰り返しパターンを有している場合、前記繰り返しパターン毎に前記特徴情報を生成すると共に、該特徴情報の平均値およびばらつきを生成するように構成され（４６３）、
前記判定部は、前記特徴生成部にて生成された前記特徴情報のばらつきが、予め設定されたばらつき閾値以上である場合に、前記不安定状況であると判定するように構成されている（４７：Ｓ１７０）、走路推定装置。
請求項７に記載の走路推定装置であって、前記特徴生成部は、前記選択候補から特定される区画線が破線である場合、破線を形成する個々のブロックの長さ、または前記ブロック間の間隔の少なくとも一方を、前記特徴情報として生成するように構成されている、走路推定装置。
請求項５ないし請求項８のいずれか１項に記載の走路推定装置であって、
前記特徴生成部は、前記画像が取得される処理サイクル毎に前記特徴情報を生成すると共に、前記処理サイクル間で検出される前記特徴情報の差分を生成するように構成され（４６４）、前記判定部は、前記特徴生成部にて生成される前記特徴情報の差分が、予め設定された急変閾値以上である場合に、前記不安定状況であると判定するように構成されている（Ｓ４７：Ｓ１９０）、走路推定装置。
請求項９に記載の走路推定装置であって、
前記特徴生成部は、前記選択候補から特定される区画線の線種を前記特徴情報として生成するように構成され（４６５）、
前記判定部は、前記特徴生成部にて生成される前記区画線の線種が、前回の前記処理サイクルとは異なっている場合に、前記不安定状況であると判定するように構成されている（４７：Ｓ２１０）、走路推定装置。
請求項５ないし請求項１０のいずれか１項に記載の走路推定装置であって、
前記応答性設定部は、前記フィルタの応答性を変化させる度合いを、前記車両の速度、前記選択候補の信頼度、前記特徴情報の値、前記特徴情報の差分、前記判定部にて前記不安定状況であると判定された件数のうち少なくとも一つに応じて変化させるように構成されている、走路推定装置。
請求項１ないし請求項１１のいずれか１項に記載の走路推定装置であって、
前記画像が取得される処理サイクル毎に前記走路の周辺の明るさを求めると共に、前記処理サイクル間で検出される前記明るさの差分を求める環境抽出部（４３）を更に備え、
前記判定部は、前記環境抽出部にて求められた前記明るさの差分が予め設定された環境閾値以上である場合に、前記不安定状況であると判定するように構成されている（４７：２３０）、走路推定装置。
車両前方の走路を撮影する車載カメラにより撮影される画像から、隣接する画素間で輝度の変化が予め設定された閾値以上となるエッジ点の座標を算出するように構成されたエッジ抽出部（４４）と、
前記エッジ抽出部により抽出されたエッジ点の座標に基づき、前記走路の区画線の候補となる一つ以上の線候補を抽出するように構成された候補抽出部（４５）と、
前記候補抽出部にて抽出された前記一つ以上の線候補のうちいずれか一つを選択候補として選択する選択部（４８）と、
前記選択部により選択された選択候補に含まれる前記エッジ点の座標に基づき、予め用意されたフィルタを用いて、前記車両に対する走路の状態および前記走路の形状に関する走路パラメータを推定するように構成された推定部（４９）と、
前記エッジ抽出部による前記エッジ点の抽出精度を低下させる状況である不安定状況にあるか否かを判定するように構成された判定部（４７：Ｓ１００〜Ｓ２４０）と、
前記判定部にて前記不安定状況であると判定された場合、前記フィルタの応答性を低下させるように構成された応答性設定部（４７：Ｓ２５０）と、
前記画像が取得される処理サイクル毎に前記走路の周辺の明るさを求めると共に、前記処理サイクル間で検出される前記明るさの差分を求める環境抽出部（４３）と、
を備え、
前記判定部は、前記環境抽出部にて求められた前記明るさの差分が予め設定された環境閾値以上である場合に、前記不安定状況であると判定するように構成されている（４７：２３０）、走路推定装置。
請求項１ないし請求項１３のいずれか１項に記載の走路推定装置であって、
前記推定部は、前記フィルタとしてカルマンフィルタを用いるように構成されている、走路推定装置。