JP7470214B2

JP7470214B2 - 区画線認識装置

Info

Publication number: JP7470214B2
Application number: JP2022569716A
Authority: JP
Inventors: 健人鍵本; 仁早川; 俊輔松尾
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-12-16
Filing date: 2021-09-21
Publication date: 2024-04-17
Anticipated expiration: 2041-09-21
Also published as: DE112021005227T5; WO2022130720A1; JPWO2022130720A1; US20240005673A1

Description

本発明は、区画線認識装置に関する。

一般道や高速道などを走行する車両において、運転支援または自動運転を安全に実現するには、車両に搭載された区画線検知センサで区画線（車線境界線）を検知し、道路境界を認識し、認識結果に基づいて搭乗者への警告や車両制御を実行する必要がある。警報や車両制御の例としては、車線逸脱警報や車線維持制御、自動車線変更、車線変更支援等がある。しかし、道路の区画線のかすれや天候要因などにより、センサによる区画線の検知に失敗し、道路境界を正しく認識できないことがある。区画線の検知失敗時への対応技術として下記特許文献１がある。

特許文献１に記載の車線境界設定装置では、自車両に搭載されたカメラの検出結果を取得して、進行方向周囲における路側物の形状と、他車両の移動履歴の少なくとも一つを周辺情報として認識し、自車両の進行方向に道路形状を点で表す点列からなる基準線を推定し、基準線から自車両の車幅方向両側へ予め定められた距離離れた位置を、自車両の走行車線の境界である車線境界として設定することで、区画線が認識されない場合であっても、自車両の走行車線の境界である車線境界を設定することができるとしている。そして、基準線の推定方法として、認識された路側物の形状と他車両の移動履歴を、自車両の車幅方向中央に推移させて、点列の座標位置を推定する例が開示されている。

特開２０２０－８７１９１号公報

しかしながら、特許文献１に記載の車線境界設定装置では、路側物の並びが車線形状と一致していない場面や前方車両が車線変更をする状況において、実際の車線形状に沿わない車線境界を設定してしまい、車線内走行を維持できずに隣車線へ逸脱するおそれがある。

本発明の目的は、上記問題を鑑みてなされたものであり、センサが検知できなかった部分の区画線を含む区画線情報を、区画線の各部分に信頼度を付加した形で生成可能な区画線認識装置を提供することにある。

上記課題を解決する本発明の区画線認識装置は、自車に搭載された区画線検知センサにより検知された自車周辺の区画線情報を取得する区画線情報取得部と、自車に搭載された物標検知センサにより検知された自車周辺の物標情報を取得する物標情報取得部と、該物標情報に基づいて他車両の状態を推定する他車両状態推定部と、前記区画線情報取得部によって取得された区画線情報から区画線を認識し、該認識した区画線を第１区画線として生成する第１区画線生成部と、該第１区画線を延伸して区画線を推定し、該推定した区画線を第２区画線として生成する第２区画線生成部と、前記他車両状態推定部によって推定された前記他車両の走行軌跡と前記第１区画線との位置関係を基に区画線を推定し、該推定した区画線を第３区画線として生成する第３区画線生成部と、前記第１区画線と、前記第２区画線と、前記第３区画線の少なくともいずれか一つを用いて区画線として出力される出力区画線を構築する出力区画線構築部と、を備えることを特徴とする。

本発明の上記一態様によれば、区画線認識装置はセンサが検知できなかった部分の区画線を含む区画線情報を、区画線の各部分に信頼度を付加した形で出力できる。そのため、センサが区画線を検知できなかった場合に信頼度を考慮した上で車線境界を設定でき、搭乗者への警告や車両制御を実現できるようになる。すなわち、運転支援または自動運転の機能する範囲を拡大できる。

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る区画線認識装置の一実施形態を示すハードウェア構成図。図１に示す区画線認識装置の機能ブロック図。図１に示す区画線認識装置の機能ブロック図の派生パターン。図１に示す区画線認識装置の全体処理フロー図。図１に示す装置を搭載した車両の車線走行時の平面図。図１に示す装置を搭載した車両が延伸区画線を生成する例を示す図。図１に示す装置を搭載した車両が軌跡区画線を生成する例を示す図。図１に示す装置を搭載した車両が区画線とその信頼度を設定する例を示す図。図１に示す装置の出力区画線構築部の処理フローを示す図。図１に示す装置の出力区画線構築部の主要処理を示す図。実施形態１の活用シーンのイメージ図。実施形態１の活用シーンのイメージ図。実施形態１について他車両が対向車線を走行している場合のイメージ図。実施形態２に係る区画線認識装置の機能ブロック図の派生パターン。実施形態２について自車前後方向に他車両が走行している場合のイメージ図。実施形態３について他車両が複数走行している場合のイメージ図。

以下、図面を参照して本開示に係る区画線認識装置の実施形態を説明する。

［実施形態１］
図１は、本発明に係る区画線認識装置の一実施形態を示すハードウェア構成図である。本発明に係る区画線認識装置が適用される本実施形態の区画線情報統合装置１００は、車両１０に搭載され、先進運転支援システム（Advanced Driver Assistance System：ＡＤＡＳ）や自動走行システム（Automated Driving：ＡＤ）の一部を構成する。

区画線情報統合装置１００は、たとえば、中央処理装置やメモリ、ハードディスクなどの記憶装置と、その記憶装置に記憶されたコンピュータプログラムと、入出力装置とを備える。具体的には、ファームウェアまたはマイクロコントローラなどのコンピュータシステムである。また、区画線情報統合装置１００は、車両１０に搭載されたＡＤＡＳまたはＡＤ用の電子制御ユニット（Electronic Control Unit：ＥＣＵ）の一部であってもよい。

区画線情報統合装置１００は、車両１０に搭載された区画線検知センサ２００、物標検知センサ３００、測位センサ４００に対し、ＣＡＮ（Controller Area Network）や車載用イーサネットなどを介して情報通信可能に接続されている。区画線情報統合装置１００は、区画線検知センサ２００、物標検知センサ３００および測位センサ４００からそれぞれ検知結果Ｉ１，Ｉ２，Ｉ３が入力され、これらのセンサ情報の出力結果Ｒを区画線情報活用装置５００へ出力する。
区画線情報統合装置１００が備える機能の詳細は後述する。

区画線情報統合装置１００は、所定の周期で繰り返し動作するように構成されている。区画線情報統合装置１００の動作の周期は、特に限定はされないが、５０[ms]周期のように短い周期として即時対応性を高めてもよいし、２００[ms]周期のように遅めに設定し、制御に関わらない警報のみにとどめて消費電力を削減してもよい。また、周期を動的に切り替えて即時対応性と消費電力のバランスを状況に求められるように変化させてもよい。また、周期処理とはせずに、センサからの入力のような別の契機に基づいて処理を開始して不要な消費電力を抑えてもよい。

区画線検知センサ２００は、車両１０に搭載され、車両１０の周囲の区画線を検知するセンサである。区画線検知センサ２００は、たとえば、ステレオカメラ、全周囲俯瞰カメラシステム、ＬＩＤＡＲ（Light Detection and Ranging）、単眼カメラ、およびその他の区画線を検知可能なセンサである。ここで、区画線とは、道路上の車線を区分する道路標示であり、白色または黄色の実線または破線で表示される車線境界線を含む。具体的には、路面標示用塗料、道路鋲、ポール、石などが一般に用いられている。

区画線検知センサ２００による区画線の認識について、ステレオカメラを例として説明する。区画線検知センサ２００であるステレオカメラは、画像情報から区画線を検知する。また、ステレオカメラは、二つのカメラの画像から視差画像を生成し、区画線の画像の各画素に対して車両１０からの相対位置、相対速度、区画線の線種などを計測する。なお、出力に必ずしもすべての情報を含む必要はなく、ここでは検知結果Ｉ１として車両１０から区画線までの相対位置の情報を区画線情報統合装置１００へ出力する。

物標検知センサ３００は、車両１０に搭載され、車両１０の周囲の物標を検知するセンサである。物標検知センサ３００は、たとえば、レーダー、ＬＩＤＡＲ、ソナーセンサなど、物標を検知可能なセンサである。ここで、物標とは、自車周囲を走行する他車両や、道路に併設されるガードレール、縁石などを示す。なお、物標検知センサ３００は、自車周囲を走行する他車両１１の相対位置、相対速度を検知結果Ｉ２として区画線情報統合装置１００へ出力する。

また、区画線検知センサ２００と物標検知センサ３００に用いるセンサとして、区画線と物標の両方を検知できるセンサとしてＬＩＤＡＲ１台のみに置き換えてもよく、必ずしもセンサを複数台用いる必要はない。

測位センサ４００は、たとえば、車両１０に搭載された、速度センサ、加速度センサ、角速度センサ、舵角センサ、ジャイロセンサ、およびＧＮＳＳ（Global Navigation Satellite System）などの衛星測位システムなどを含む。また、自車に搭載されている物標検知センサ３００の代わりに他車両１１と位置や速度を送受信する車車間通信機能を搭載することで周囲の状況を広く取得してもよい。測位センサ４００は、たとえば、車両１０の速度、加速度、角速度、操舵角、自車外のグローバル座標系での姿勢、などを含む検知結果（測位情報）Ｉ３を、区画線情報統合装置１００へ出力する。なお、測位センサ４００が出力する検知結果Ｉ３は、必ずしも前述のすべての情報を含む必要はないが、たとえば、少なくとも車両１０の速度、加速度および角速度を含む。

また、ＧＮＳＳを用いて車両１０の位置と方位を求める際に、トンネルや高層ビルの間などで衛星情報を取得できない場合は、速度センサ、角速度センサ、ジャイロセンサ等を用いて、オドメトリにより車両１０の位置と方位を補完してもよい。また、車両１０の位置と方位を短い周期で正確に求め、前回の周期と今回の周期とにおける位置と方位の差分を算出してもよい。

区画線情報活用装置５００には、警報装置５１０あるいは車両制御装置５２０が含まれており、区画線情報統合装置１００の出力結果Ｒによって、車線逸脱警報や車線維持制御、自動車線変更、車線変更支援を実施する。

以下、図を用いて、本実施形態の区画線情報統合装置１００の機能を詳細に説明する。図２Ａは、図１に示す区画線情報統合装置１００の機能ブロック図である。

はじめに、区画線検知センサ２００、物標検知センサ３００ならびに測位センサ４００の出力であるＩ１、Ｉ２、Ｉ３をそれぞれ区画線情報統合装置１００の中の区画線情報取得部１０１、物標情報取得部１０３ならびに測位情報取得部１０５に渡す。

区画線情報取得部１０１は、区画線検知センサ２００により検知された自車周辺の区画線情報を取得する。区画線情報取得部１０１は、区画線検知センサ２００で検知した区画線情報の時刻同期や、出力形式を区画線情報統合装置１００で扱いやすい形式に変換し、後段の区画線認識部１０２に出力する。なお、区画線検知センサ２００の検知結果Ｉ１は、たとえば、区画線の形状に基づく二次曲線の係数等、区画線の形状に基づく近似曲線のパラメータであってもよい。この場合、検知結果Ｉ１が認識点列である場合と比較して、検知結果Ｉ１の情報容量を小さくすることができる。

物標情報取得部１０３は、物標検知センサ３００により検知された自車周辺の物標情報を取得する。物標情報取得部１０３は、物標検知センサ３００で検知した物標情報の時刻同期や、出力形式を区画線情報統合装置１００で扱いやすい形式に変換し、後段の他車両状態推定部１０４に出力する。

測位情報取得部１０５は、区画線情報取得部１０１と物標情報取得部１０３と同様に、入力情報の時刻同期や扱う情報の形式を変換し、後段の自己位置姿勢推定部１０６と他車両状態推定部１０４に出力する。

これまで認識した区画線位置、他車両位置、自車位置の情報から、区画線を統合するための区画線情報を生成していく。

はじめに、ここでは大きく３種類の区画線を生成する。第１区画線は、実際に車両１０が認識した区画線である認識区画線、第２区画線は、前記認識区画線を自車前方に延伸した延伸区画線、第３区画線は、自車周囲の車両の走行軌跡から生成した軌跡区画線である。

これら前記認識区画線、前記延伸区画線、前記軌跡区画線は、ある１本の区画線に割り当てられる識別情報であり、出力区画線構築部１１１にて区画線を小区間毎に分割し、それぞれに異なる情報が割り当てるものとする。特に、情報が重複する部分に関しては、信頼度の高い区画線を採用する。

区画線認識部１０２は、区画線情報取得部１０１から出力される区画線検知結果を逐次処理し、区画線を認識する。実際に、車両１０に搭載される区画線検知センサは複数台搭載してもよく、その場合１本の区画線につき、複数の区画線検知結果が区画線認識部１０２に渡されることがある。この場合、複数の区画線を区画線認識部１０２で１本の区画線に統合するものとする。ここで、図２Ｂのように、前段の区画線情報取得部１０１と区画線認識部１０２を合わせて１つの部として扱い、機能ブロックを単純化してもよい。

他車両状態推定部１０４は、物標情報取得部１０３から出力される自車両周囲の物標検知結果を逐次処理する。物標とは、自車周囲の物体を指し、クルマやバイクなどの車両、歩行者、道路の路側物であるガードレールや縁石などが挙げられるが、ここでは自車周囲に存在する他車両を扱うものとする。他車両状態推定部１０４では、他車両の状態として、少なくとも他車両の位置、速度を推定し、後段の処理部へ出力する。また、物標検知センサ３００で他車両を検知できない場合に、測位センサ４００の出力する他車両位置、速度情報を用いてもよい。

自己位置姿勢推定部１０６は、測位情報取得部１０５から出力される自車両の速度、加速度、角速度を受け取り、カルマンフィルタなどを用いて自車外のグローバル座標系における自車の位置、方位などの姿勢（以下、位置姿勢）を計算する。そして後段の履歴蓄積部１１２と軌跡蓄積部１０７に出力する。

軌跡蓄積部１０７では、他車両状態推定部１０４の出力である他車両の自車に対する相対位置と自己位置姿勢推定部１０６の出力である自車の位置姿勢を受け取り、自車外のグローバル座標系における他車両の走行軌跡を生成する。

このあとは、本発明で主要となる延伸区画線生成部１０８（第２区画線生成部）、車線内位置推定部１０９、軌跡区画線生成部（第３区画線生成部）１１０、出力区画線構築部１１１について図３から図８Ｂを用いて説明する。

はじめに、全体の処理フローを図３に示す。処理Ｐ１では、区画線検知センサ２００や物標検知センサ３００などのセンサ情報を取得し、処理Ｐ２では、区画線情報取得部１０１や物標情報取得部１０３などにおけるセンサ情報認識処理にてセンサ情報の時刻同期やフォーマット変換などを実施し、区画線情報統合装置１００にて扱いやすい情報に変換する。このとき、車両１０に同一の区画線や物標を検知できるセンサが複数搭載されていた場合、それら同一の情報同士を１つに統合するフュージョン処理も併せて実施してもよい。処理Ｐ３では、車両１０の認識区画線を蓄積したり、他車両１１の走行軌跡を蓄積するために必要な自己位置姿勢情報（自車の位置姿勢）を推定する。処理Ｐ３では、処理Ｐ２で認識したセンサ情報に基づいて自己位置姿勢情報の推定を行う。処理Ｐ４では、処理Ｐ２で認識した区画線の情報から区画線を認識し、その認識した区画線を認識区画線として生成する。処理Ｐ２で認識した区画線について、最小二乗法などを用いて尤もらしい形状に変換することで、認識区画線を生成する。この処理Ｐ４での処理が、認識区画線を生成する認識区画線生成部（第１区画線生成部）に相当する。さらに、処理Ｐ５では、前段にて認識した認識区画線を、センサの不検知範囲まで延伸、拡張させることで、延伸区画線を生成する。ここでは、認識区画線を延伸して区画線を推定し、その推定した区画線を延伸区画線として生成する。延伸区画線は、認識区画線の形状に基づいて、認識区画線を延伸させることによって形成される。この処理Ｐ５での処理が、延伸区画線を生成する延伸区画線生成部（第２区画線生成部）に相当する。処理Ｐ６では、自車線や隣車線などに車両が存在するかを確認し、存在した場合は各車両について処理Ｐ７からＰ１１の処理を繰り返す。存在しない場合は、処理Ｐ４で認識した認識区画線または処理Ｐ５で生成した延伸区画線について、処理Ｐ１２の出力区画線構築処理を実施し、終了とする。

また、処理Ｐ７以降について説明すると、処理Ｐ８では、事前に取得した他車両の自車外のグローバル座標系における位置から、他車両走行軌跡を生成する。処理Ｐ９では、処理Ｐ８で生成した他車両の走行軌跡と認識区画線との位置関係を基に区画線を推定し、その推定した区画線を軌跡区画線として生成する。処理Ｐ９では、軌跡区画線生成部１１０で必要となる他車両走行軌跡と認識区画線の距離を計算する。他車両走行軌跡と認識区画線の距離は、他車両走行軌跡と認識区画線との間の道路幅方向の距離である。処理Ｐ１０では、処理Ｐ９で求めた距離情報から、軌跡区画線を生成する。この処理Ｐ９と処理Ｐ１０での処理が、軌跡区画線を生成する軌跡区画線生成部（第３区画線生成部）に想到する。処理Ｐ１１の時点で、自車周囲すべての車両に対して軌跡区画線を生成し終わっていた場合、最後の処理Ｐ１２に進む。

処理Ｐ１２では、認識区画線や延伸区画線、軌跡区画線の少なくともいずれか一つを用いて区画線として出力される出力区画線を構築する。具体的には、これまで生成してきた、認識区画線や延伸区画線、軌跡区画線を組みあわせ、信頼性の高い順に評価し、１本の区画線を小区間毎に左記の３種類の区画線を採用し、区画線情報統合装置１００の出力とする。本実施形態では、認識区画線のみや軌跡区画線のみなどの１種類の区画線だけを出力するのではなく、信頼度が低くても小区間ごとに異なる区画線を採用し、区画線情報統合装置１００から出力する。これは、認識すべき、ある１本の区画線について、信頼度の高低によらず、できるだけ多くの区画線情報を出力することを目的とし、これらの情報をどのように利用するかは後段の制御装置に委ねる考えを前提とする（車両の制御可能性の選択肢を広げるために、少しでも多くの情報を後段の制御装置に渡す）ためである。ただし、認識区画線や延伸区画線、軌跡区画線のいずれかから、信頼度が最も高いものを１種類だけ採用してこれを出力区画線として出力してもよい。

ここから、図４から図７のイメージ図を用いて処理の詳細について説明する。
図４に、本発明を説明するための基本的なイメージを示す。ここでは、一例として、直線区間からカーブ区間へと変化する道路に区画線２０が引かれており、区画線情報統合装置１００、区画線検知センサ２００、物標検知センサ３００、測位センサ４００、区画線情報活用装置５００を搭載した車両１０の前方に他車両１１が走行しているものとする。図４では、区画線２０として４本の区画線２１、２２、２３、２４が引かれており、３つの車線２５、２６、２７が区画されている。そして、車両１０と他車両１１が、３つの車線２５、２６、２７のうち、中央の車線２６を走行している例が示されている。

図５は、区画線検知センサ２００が区画線を検知し、区画線情報取得部１０１および区画線認識部１０２により区画線の自車相対位置を認識し、その認識結果を延伸区画線生成部１０８に渡すことで、延伸区画線４０を生成する概念図である。

延伸区画線生成部１０８は、区画線認識部１０２の出力する認識区画線を用いて、自車前方に区画線を延伸した延伸区画線を生成する機能を有する。具体的には、はじめに、受け取った認識区画線を自車座標系から自車外のグローバル座標系に投影し、その後最小二乗法などを用いて直線または円などの近似曲線に変換する。これは、区画線自体のかすれや区画線検知センサ２００の検知範囲外で不検知となる場合、あるいは太陽光などの逆光により区画線を検知できない場合に備えて、区画線を補完するものである。そして後段の出力区画線構築部１１１へ出力する。図５にその様子を示す。３０Ａは検知された区画線であり、この検知結果を基に認識区画線として引き直したものが３０Ｂである。図中に破線で示す延伸区画線４０は、認識区画線３０Ｂの形状を基に自車前方に延伸しただけの区画線である。認識区画線３０Ｂの形状を自車前方に延伸する方法については、例えば幾何学計算などの公知の方法が用いられる。したがって、直線区間からカーブ区間のように道路形状が変化するような区間においては、実際の道路の区画線形状に対し、自車近傍の区画線形状は一致するものの、遠方の区画線を含め、実際の道路全体に沿うような形状を表現できるとは限らない。

図６は、物標検知センサ３００と測位センサ４００を用いて、他車両の相対位置および自車外のグローバル座標系における自車の位置姿勢を計算し、自車前方を走行する他車両１１の走行軌跡５０を認識し、その認識結果を軌跡蓄積部１０７に渡すことで、他車両１１の車線内位置および軌跡区画線６０を生成する概念図である。

車線内位置推定部１０９は、区画線認識部１０２で認識した区画線の情報と、軌跡蓄積部１０７で蓄積した他車両１１の走行軌跡の情報を用いて、車線内における他車両１１の位置を推定する処理を行う。

軌跡区画線生成部１１０は、他車両１１の走行軌跡５０と自車の認識区画線３０Ｂの位置関係を基に軌跡区画線６０を生成する。具体的には、車線内位置推定部１０９にて他車両１１の走行軌跡５０と自車の認識区画線３０Ｂの間の距離を一定区間毎（ｄ１～ｄｎ）に求め、平均値をとり、この平均値を走行軌跡５０からのオフセット値とし、走行軌跡をシフトすることで、軌跡区画線６０を求める。軌跡区画線６０は、自車が検知できなかった認識区画線３０Ｂの代わりとして用いることができる。ただし、車線内位置推定における距離は平均に限らず、学習を用いてその区間の距離を求めてもよい。また、車線幅が一定でなく変化するような区間については、距離の変化をみてオフセット値を線形的に増減させて推定してもよい。軌跡区画線６０の区間については、例えば認識区画線が存在しなくなる箇所から他車両１１の後端までを考える。図６に示す例では、カーブ内側の認識区画線３０Ｂと他車両１１の走行軌跡５０との間の距離に基づいてカーブ内側の軌跡区画線６０を求めているが、カーブ外側の認識区画線３０Ｂ（図５を参照）と他車両１１の走行軌跡５０との間の距離に基づいてカーブ外側の軌跡区画線を求めることもできる。

図７は、出力区画線構築部１１１の処理概念図である。本実施形態では、１本の区画線につき、小区間毎にそれぞれ異なる信頼度を設定する。例として、１本の区画線が各区間７０Ａ、７０Ｂ、７０Ｃ、７０Ｄ毎に複数の区画線情報で構成されている状態を表す。それぞれ複数の区画線情報から出力すべき区画線情報を選定する方法について、出力区画線構築部１１１の処理フロー図８Ａと、主要処理図８Ｂを用いて説明する。なお、図７に示す状態は、車両１０の区画線検知センサ２００では、例えば逆光やかすれによって認識区画線３０Ｂよりも先の区画線２２、２３を認識できないものとする。

はじめに、処理対象となる区画線情報が存在するかどうかを確認し（Ｐ２１）、存在した場合に（ＹＥＳ）、区画線情報が付与された区画線を複数の区間に分割する（Ｐ２２）。そして、各区間内の区画線情報を参照し、それぞれ認識区画線や延伸区画線、軌跡区画線の組み合わせにより、どの区画線情報を出力するかを決定する（Ｐ２３－Ｐ２５）。このとき、区画線情報の信頼性の順序としては、認識区画線、軌跡区画線、延伸区画線の順で信頼性が低くなっていくものとする。これは、信頼性の順序として、認識区画線が存在した場合は、実際に区画線を検知できていることから、他の推定区画線である延伸区画線や軌跡区画線よりも一番信頼性が高いものとした。延伸区画線と軌跡区画線では、実際に他車両１１が走行できたという実績のある走行軌跡をベースに生成された軌跡区画線の方が、認識区画線をただ延伸しただけの延伸区画線よりも信頼性が高いものとした。

次に各区間毎の信頼度と採用区画線の選択対象については、図８Ｂの組み合わせ表を基に決定する。区画線の信頼度順から認識区画線が存在した場合は、認識区画線のみを採用し、高信頼度情報を付与する。延伸区画線と軌跡区画線が共に存在し、かつ双方の距離が閾値以下のときは、軌跡区画線を採用し、中信頼度情報を付与する。このとき、双方の距離が閾値よりも大きい場合は、他車両１１が車線変更などで区画線に沿った走行をした、あるいは道路の区画線形状が突如変化しているなどの理由で双方の区画線が一致していないため、双方の区画線情報に低信頼度情報を付与した上で、より信頼性の高い区画線を採用する。また、軌跡区画線のみが存在した場合は、軌跡区画線を採用し、低信頼度情報を付与し、延伸区画線のみが存在した場合は、同様に延伸区画線を採用し、低信頼度情報を付与する。ここでは、信頼度情報を高・中・低の３種類を設定したが、更に厳密に信頼度を設定し、区画線全体の信頼性向上につなげてもよく、これに限らないものとする。

次に、区画線を小区間に分割する方法の一例について図７を用いて説明する。
ここでは、各区画線３０Ｂ、４０、６０をそれぞれ小区間７０Ａから７０Ｄまで所定の間隔に分割する。まず、ある瞬間における各区画線（認識区画線・延伸区画線・軌跡区画線）について同じ区画線同士でグループを作る。例えば、各区画線の車線幅方向の離間距離を総当たりで比較し、最も近く、かつその離間距離が閾値（例えば車線幅の半分の距離）以下となる区画線同士を１つのグループにする。ここで、延伸区画線は、認識区画線から延伸したものなので同一のグループとみなせる。離間距離は、比較対象の区画線の距離誤差を一定範囲毎に求め、その平均として計算してよい。図７に示す例では、車両１０を中心から見て、自車右側の認識区画線３０Ｂと、自車右側の延伸区画線４０と、軌跡区画線６０の３本が同一のグループとなり、自車左側の区画線３０Ｂと、自車左側の区画線４０がもう一つの同一グループとなる。

次に、同一グループの区画線のうち、認識区画線および延伸区画線を区画線の始点から延伸方向に一定範囲毎に探索していき、認識区画線および延伸区画線の延伸方向に対して垂直方向（区画線幅方向）で、かつその範囲内に収まる軌跡区画線が存在するか否かを判断する。そして、軌跡区画線が存在する場合は、認識区画線および延伸区画線との離間距離を計算し、閾値（例えば、区画線幅の２倍程度）以下である部分については、区間７０Ｂを設定する。そして、離間距離が閾値よりも大きい部分については、区間７０Ｃを設定する。そして、認識区画線３０Ｂしか存在しない部分については区間７０Ａを設定し、延伸区画線４０しか存在しない部分については区間７０Ｄを設定する。これら区間分割の際に用いる閾値は、利用するセンサや走行車線幅によって変わってくるので、センサ特性や実走行環境に合わせて変更してもよい。

区画線を小区間に分割する方法としては、自車座標系原点から自車進行方向に一定間隔に分割する方法をとってもよいし、厳密に区画線に沿うようにそれぞれの線上を一定間隔で分割し、分割エリアに含まれる区画線を選択してもよい。もしくは、計算量・メモリを多く必要としてしまうが、単純な方法として、自車座標系原点を基準に格子状に区画線を分割し、各セルに収まる区画線情報の組み合わせを実施してもよい。ここで、距離の閾値としては、区画線幅をベースに想定しており、区画線幅の倍を閾値として設定する。

これらの処理を踏まえると、図７の区間７０Ａでは高信頼度情報の認識区画線３０Ｂを設定し、区間７０Ｂでは中信頼度情報の軌跡区画線６０を設定し、同じく区間７０Ｃでは低信頼度情報の軌跡区画線６０を設定し、区間７０Ｄでは低信頼度情報の延伸区画線４０を設定することとなる。ここで、区間７０Ｂの区画線に軌跡区画線６０を採用したが、この区間においては軌跡区画線６０と延伸区画線４０の座標の平均値をとるなど、区画線を統合した統合区画線を採用してもよい。

本発明の効果が顕著なシーンについて、図９Ａと図９Ｂに例を示す。たとえば、図９Ａにおいて、車両１０がある目的地に向かって走行車線２６を進行しており、右車線２７に車線変更しなければならないシーンである場合、かつ、何かしらの要因により前方の区画線２２、２３を検知できない状況を想定する。すると、他車両１１が前方を走行していることにより、軌跡区画線６０を生成でき、延伸区画線４０と併せて、車両１０の右側の区画線２３’を生成することができる。これにより、右車線２７への車線変更が可能となる。

また、図９Ｂにおいて、車両１０がカーブ区間を走行中、車線維持をしなければならないシーンである場合、同様に前方の区画線２２、２３を検知できない状況において、前方に他車両１１が走行していることにより、左の軌跡区画線６０を生成することができる。したがって、車両１０は、車両１０の操縦者に対して車線逸脱警報を鳴らしたり、車線維持制御を継続することができ、車線逸脱の危険性を低減することが可能となる。

これまで、本発明の基本的な活用シーンとその方法について説明してきたが、その他の活用シーンとして図１０について説明する。

図１０は、車両１０が走行する走行車線の隣の対向車線を他車両１２が前方から後方にかけて走行しているシーンである。図１０では、区画線２０として３本の区画線１２１、１２２、１２３が引かれており、センターラインである区画線１２２と、その左側の区画線１２１との間の走行車線１２４を自車両である車両１０が走行し、区画線１２２とその右側の区画線１２３との間の対向車線１２５を対向車両である他車両１２が走行する例が示されている。これまで同様、他車両１２の走行軌跡５０から求めた軌跡区画線６０と車両１０の認識区画線から求めた延伸区画線４０とが重なる区間に関して、中信頼度情報をもつ軌跡区画線６０を生成することができるため、車両１０が前方の区画線１２１、１２２を検知できない状況においても、車線維持制御を実行し、走行車線１２４から飛び出してしまうのを防ぐことが可能となる。

［実施形態２］
図１１に示す実施形態２の区画線情報統合装置１００では、区画線認識部１０２と延伸区画線生成部１０８の間に、新たに履歴蓄積部１１２が設けられている。履歴蓄積部１１２は、これまで車両１０の区画線認識部１０２が検知してきた過去の認識区画線と自己位置姿勢推定部１０６の自車の位置姿勢の情報を履歴として蓄積し、その蓄積した情報を用いて、認識区画線３０Ｂを自車後方まで延伸した区画線である第４区画線４１を生成する（以降、認識区画線を後方に延伸して生成した第４区画線を履歴区画線と呼ぶ）。

軌跡区画線生成部１１０は、認識区画線３０Ｂと他車両１２の走行軌跡５０とを用いて、車両１０の後方に向かって延伸する軌跡区画線６０を生成する。出力区画線構築部１１１は、履歴区画線４１と、軌跡区画線６０とを用いて、車両１０の後方に自車の走行している自車線と該自車線に隣接する隣車線との境界となる出力区画線を構築する。区画線情報活用装置５００では、出力区画線構築部１１１により構築された自車の後方の出力区画線の情報を用いて、車両１０の後方を走行している他車両の走行車線が、自車線と隣車線のいずれであるかを判断する。

全体処理フローとしては、図３の処理Ｐ４の認識区画線生成とＰ５の延伸区画線生成の間に位置する。

活用シーンについて図１２を用いた説明として、車両１０の前方を車両１３Ａが走行しており、その後方を車両１３Ｂが接近しているシーンを考える。図１２では、２車線を区画する区画線１３０として３本の区画線１３１、１３２、１３３が引かれており、区画線１３１と区画線１３２との間の車線１３４を自車両である車両１０が走行し、区画線１３２と区画線１３３との間の車線１３５を他車両１３Ａ、１３Ｂが走行する例が示されている。

実施例１同様に、車両１０は前方の区画線の一部を検知して認識区画線３０Ｂとしているが、履歴蓄積部１１２により、車両１０の後方までの履歴区画線４１を生成することができる。そして、認識区画線３０Ｂと、他車両１３Ａの走行軌跡５０に基づいて、自車の後方に向かって延伸する軌跡区画線６０を求めることができる。そして、履歴区画線４１と軌跡区画線６０との双方の距離が閾値以下の場合、中信頼度情報をもつ出力区画線を生成することが可能となる。したがって、区画線情報活用装置５００では、この中信頼度情報をもつ出力区画線に基づいて、後方の他車両１３Ｂが走行している車線が、自車線１３４なのか隣車線１３５なのかの判別ができるようになる。つまり、車両１０が車線変更を実行する際の危険性判定に用いることができる。ここで、中信頼度情報をもつ出力区画線としては、実際に検知できた区画線の履歴から生成された履歴区画線の方が、軌跡区画線よりも信頼性が高いものとしているため、履歴区画線を採用してもよいし、双方の区画線を統合した統合区画線を採用してもよい。

［実施形態３］
図１３に示す実施形態３は、実施形態１のブロック構成と同じであるが、複数の他車両を対象としたことから、区画線情報統合装置１００では、出力区画線構築部１１１の区画線選択処理の組み合わせ項目を追加した。

図１３は、車両１０の前方を複数の他車両１４Ａと１４Ｂが走行しているシーンである。車両１０には、実施形態１同様、区画線検知センサ２００や物標検知センサ３００などが搭載されており、周囲の区画線や物標を検知できるものとする。また、区画線検知センサ２００は自車線２５のみならず、隣車線２６、２７の区画線２３、２４まで検知できるものとする。軌跡区画線６０、６１は、他車両１４Ａの走行軌跡５０Ａと認識区画線３０Ｂに基づいて生成され、軌跡区画線６２は、他車両１４Ｂの走行軌跡５０Ｂと認識区画線３０Ｂに基づいて生成される。

区画線情報統合装置１００は、他車両１４Ａと１４Ｂの走行軌跡５０Ａ、５０Ｂから軌跡区画線６１、６２が重なった区間８０の区画線を推定することができる。軌跡区画線生成部１１０は、複数の軌跡区画線を互いに比較して隣接する軌跡区画どうしが閾値以下の距離をもつ場合、複数の軌跡区画線のいずれか一つまたは複数の軌跡区画線を統合した統合区画線を、軌跡区画線として採用する。もし区間８０の軌跡区画線６１、６２同士が閾値以下の距離をもつ場合、信頼性の順序としては、複数の区画線が重畳していることから、中信頼度情報を付与し、片方の軌跡区画線を採用する。もしくは、図７同様に、複数の区画線を統合した統合区画線を採用してもよい。これにより、隣車線まで車線変更が可能となることや、自車周辺の複数の車線を捉えられることにより、地図に記載の車線とのマッチング可能性を向上させることもできるようになる。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

３０Ｂ認識区画線（第１区画線）、４０延伸区画線（第２区画線）、４１履歴区画線（第４区画線）、６０軌跡区画線（第３区画線）、１００区画線情報統合装置（区画線認識装置）、１０２区画線認識部（第１区画線生成部）、１０４他車両状態推定部、１０６自己位置姿勢推定部、１０８延伸区画線生成部（第２区画線生成部）、１１０軌跡区画線生成部（第３区画線生成部）、１１１出力区画線構築部、１１２履歴蓄積部

Claims

自車に搭載された区画線検知センサにより検知された自車周辺の区画線情報を取得する区画線情報取得部と、
自車に搭載された物標検知センサにより検知された自車周辺の物標情報を取得する物標情報取得部と、
該物標情報に基づいて他車両の状態を推定する他車両状態推定部と、
前記区画線情報取得部によって取得された区画線情報から区画線を認識し、該認識した区画線を第１区画線として生成する第１区画線生成部と、
該第１区画線を延伸して区画線を推定し、該推定した区画線を第２区画線として生成する第２区画線生成部と、
前記他車両状態推定部によって推定された前記他車両の走行軌跡と前記第１区画線との位置関係を基に区画線を推定し、該推定した区画線を第３区画線として生成する第３区画線生成部と、
前記第１区画線と、前記第２区画線と、前記第３区画線の少なくともいずれか一つを用いて区画線として出力される出力区画線を構築する出力区画線構築部と、
を備えることを特徴とする区画線認識装置。
前記出力区画線構築部は、前記第１区画線と、前記第２区画線と、前記第３区画線を、それぞれ複数の区間に分割し、各区間内の区画線として、前記第１区画線と、前記第２区画線と、前記第３区画線のいずれかを信頼度に基づいて選択することを特徴とする請求項１に記載の区画線認識装置。
前記出力区画線構築部は、前記第１区画線の情報と、前記第２区画線の情報と、前記第３区画線の情報にそれぞれ信頼度の情報を付して、前記第１区画線と、前記第２区画線と、前記第３区画線のいずれかから、信頼度の高い区画線を前記各区間内の区画線として選択することを特徴とする請求項２に記載の区画線認識装置。
自車に搭載された測位センサにより検知された測位情報を取得する測位情報取得部と、該測位情報に基づいて自車の位置姿勢を推定する自己位置姿勢推定部と、
前記自己位置姿勢推定部によって推定された自車の位置姿勢と、前記第１区画線生成部により生成した第１区画線の情報とを履歴として蓄積し、前記第１区画線を前記自車の後方に延伸した第４区画線を生成する履歴蓄積部と、を備え、
前記出力区画線構築部は、前記第３区画線と前記第４区画線を用いて、自車の後方に自車の走行している自車線と該自車線に隣接する隣車線との境界となる出力区画線を構築することを特徴とする請求項１に記載の区画線認識装置。
前記他車両状態推定部は、自車周囲の複数の他車両の状態を推定し、
前記第３区画線生成部は、前記他車両状態推定部によって推定された複数の他車両のそれぞれの走行軌跡と前記第１区画線との位置関係を基に複数の第３区画線を推定し、
前記出力区画線構築部は、前記第１区画線と、前記第２区画線と、前記複数の第３区画線の少なくともいずれか一つを用いて、区画線として出力される出力区画線を構築することを特徴とする請求項１に記載の区画線認識装置。
前記第３区画線生成部は、前記複数の第３区画線を互いに比較して隣接する第３区画線どうしが閾値以下の距離をもつ場合、前記複数の第３区画線のいずれか一つまたは前記複数の第３区画線を統合した区画線を前記第３区画線として採用することを特徴とする請求項５に記載の区画線認識装置。
請求項４に記載の区画線認識装置により構築された自車の後方の出力区画線の情報を用いて、前記自車の後方を走行している他車両の走行車線が、前記自車線と前記隣車線のいずれであるかを判断することを特徴とする車両制御装置。