JP6611334B2 - 区画線認識装置 - Google Patents
区画線認識装置 Download PDFInfo
- Publication number
- JP6611334B2 JP6611334B2 JP2016036753A JP2016036753A JP6611334B2 JP 6611334 B2 JP6611334 B2 JP 6611334B2 JP 2016036753 A JP2016036753 A JP 2016036753A JP 2016036753 A JP2016036753 A JP 2016036753A JP 6611334 B2 JP6611334 B2 JP 6611334B2
- Authority
- JP
- Japan
- Prior art keywords
- white line
- camera
- vehicle
- feature point
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、区画線認識装置に関する。
運転中のドライバー支援として、車載カメラの撮影画像を用いた危険予測がある。１台のカメラだけで車両の全周囲を撮影するためには歪みの大きなレンズを使う必要があり、位置算出の精度が低くなる。そのため車両の周囲を複数のカメラにより撮影し、それらのカメラが撮影して得られる画像を合成する画像合成が広く用いられている。いずれのカメラからも撮影されない領域、いわゆるカメラの死角が発生することは望ましくないため、これら複数のカメラの視野はある程度重複するように設計される。
特許文献１には、２台のカメラで視野が重複する領域は、解像度が高いカメラの撮影画像を用いて合成する俯瞰画像の作製システムが開示されている。
特許文献１には、２台のカメラで視野が重複する領域は、解像度が高いカメラの撮影画像を用いて合成する俯瞰画像の作製システムが開示されている。
特許文献１に記載されている発明では、複数のカメラの視野が重複する領域において、複数のカメラの撮影画像を用いて白線を検出することができない。
本発明の第１の態様によると、区画線認識装置は、一部の視野が重複するように設置された複数のカメラと、前記複数のカメラの出力信号から得られたそれぞれの画像から特徴点を抽出する特徴点抽出部と、前記特徴点抽出部が抽出した特徴点の座標を、前記複数のカメラに共通する世界座標系の座標に変換する座標変換部と、前記世界座標系で示される複数の前記特徴点の位置関係に基づき白線を検出する白線検知部と、を備え、前記白線検知部は、前記世界座標系における前記特徴点の位置関係に基づき、複数の特徴点から構成される白線候補を抽出し、前記白線候補が白線と判断される指標であるスコア累計値を、当該白線候補を構成する特徴点の特徴点である確からしさを示すスコアの総計として算出する際、前記世界座標系で所定距離以内に存在する特徴点であって、当該特徴点の検出に用いる撮影画像を得るカメラとは異なるカメラの撮影画像から得られた特徴点が存在する場合に、前記特徴点のスコアを高く算出し、前記スコア累計値が予め定めた閾値より大きい前記白線候補を白線として検出する。
本発明によれば、複数のカメラの視野が重複する領域において、複数のカメラの撮影画像を用いて白線を検出することができる。
（第１の実施の形態）
以下、図１〜図１９を参照して、区画線認識装置の第１の実施の形態を説明する。
図１は、車両２に搭載される区画線認識装置１の構成を示す図である。車両２は、区画線認識装置１と、車両制御ユニット１０８と、位置算出装置１０９とを備える。区画線認識装置１と、車両制御ユニット１０８とは、ＣＡＮバス１０７により接続される。区画線認識装置１が認識した白線に関する情報は、車両制御ユニット１０８に出力される。
車両制御ユニット１０８は、区画線認識装置１が出力する白線に関する情報に基づき車両２を制御する。位置算出装置１０９は、航法衛星システムを構成する受信器であり、複数の航法衛星から受信した電波に含まれる情報に基づき、緯度および経度を算出する。位置算出装置１０９は、一定時間ごとに緯度および経度を算出し、区画線認識装置１に出力する。
以下、図１〜図１９を参照して、区画線認識装置の第１の実施の形態を説明する。
図１は、車両２に搭載される区画線認識装置１の構成を示す図である。車両２は、区画線認識装置１と、車両制御ユニット１０８と、位置算出装置１０９とを備える。区画線認識装置１と、車両制御ユニット１０８とは、ＣＡＮバス１０７により接続される。区画線認識装置１が認識した白線に関する情報は、車両制御ユニット１０８に出力される。
車両制御ユニット１０８は、区画線認識装置１が出力する白線に関する情報に基づき車両２を制御する。位置算出装置１０９は、航法衛星システムを構成する受信器であり、複数の航法衛星から受信した電波に含まれる情報に基づき、緯度および経度を算出する。位置算出装置１０９は、一定時間ごとに緯度および経度を算出し、区画線認識装置１に出力する。
（区画線認識装置１の構成）
区画線認識装置１は、車両２の前方を撮影する前カメラ１０１−Ｆｒと、車両２の後方を撮影する後カメラ１０１−Ｒｒと、車両２の左側方を監視する左カメラ１０１−ＳＬと、車両２の右側方を撮影する右カメラ１０１−ＳＲと、これらのカメラが撮影して得られた画像を処理する画像処理装置１０２と、記憶装置１０３と、ＣＰＵ１０４と、メモリ１０５と、ＣＡＮ Ｉ／Ｆ １０６とを備える。
前カメラ１０１−Ｆｒは車両２の前方、後カメラ１０１−Ｒｒは車両２の後方、左カメラ１０１−ＳＬは車両２の左側面、右カメラ１０１−ＳＲは車両２の右側面に取り付けられる。以下では、前カメラ１０１−Ｆｒ、後カメラ１０１−Ｒｒ、左カメラ１０１−ＳＬ、および右カメラ１０１−ＳＲをまとめてカメラ１０１と呼ぶ。
区画線認識装置１は、車両２の前方を撮影する前カメラ１０１−Ｆｒと、車両２の後方を撮影する後カメラ１０１−Ｒｒと、車両２の左側方を監視する左カメラ１０１−ＳＬと、車両２の右側方を撮影する右カメラ１０１−ＳＲと、これらのカメラが撮影して得られた画像を処理する画像処理装置１０２と、記憶装置１０３と、ＣＰＵ１０４と、メモリ１０５と、ＣＡＮ Ｉ／Ｆ １０６とを備える。
前カメラ１０１−Ｆｒは車両２の前方、後カメラ１０１−Ｒｒは車両２の後方、左カメラ１０１−ＳＬは車両２の左側面、右カメラ１０１−ＳＲは車両２の右側面に取り付けられる。以下では、前カメラ１０１−Ｆｒ、後カメラ１０１−Ｒｒ、左カメラ１０１−ＳＬ、および右カメラ１０１−ＳＲをまとめてカメラ１０１と呼ぶ。
カメラ１０１は広角レンズ、たとえば魚眼レンズを備えたカメラであり、約１８０度の視野を有し、それぞれの視野が一部重複する。すなわち、前カメラ１０１−Ｆｒと右カメラ１０１−ＳＲの視野が一部重複し、右カメラ１０１−ＳＲと後カメラ１０１−Ｒｒの視野が一部重複し、後カメラ１０１−Ｒｒと左カメラ１０１−ＳＬの視野が一部重複し、左カメラ１０１−ＳＬと前カメラ１０１−Ｆｒの視野が一部重複する。カメラ１０１は所定時間ごとに撮影を行い、撮影して得られた信号を画像処理装置１０２へ出力する。
画像処理装置１０２は、マイクロコンピュータ、ハードウエア回路、またはＦＰＧＡにより構成される装置である。画像処理装置１０２は、カメラ１０１のそれぞれから受信した信号に基づき画像（以下、撮影画像）を生成し、撮影画像から特徴点を抽出し、特徴点に関する情報、たとえば抽出した特徴点の撮影画像上の座標をＣＰＵ１０４に出力する。ただし以下では、カメラ１０１の出力信号に基づき生成した画像を、「カメラ１０１の撮影画像」とも呼ぶ。
画像処理装置１０２は、マイクロコンピュータ、ハードウエア回路、またはＦＰＧＡにより構成される装置である。画像処理装置１０２は、カメラ１０１のそれぞれから受信した信号に基づき画像（以下、撮影画像）を生成し、撮影画像から特徴点を抽出し、特徴点に関する情報、たとえば抽出した特徴点の撮影画像上の座標をＣＰＵ１０４に出力する。ただし以下では、カメラ１０１の出力信号に基づき生成した画像を、「カメラ１０１の撮影画像」とも呼ぶ。
記憶装置１０３は不揮発性記憶媒体である。記憶装置１０３には、区画線認識装置１が実行するプログラム、カメラ１０１の内部パラメータ、カメラ１０１の外部パラメータ、地図情報、および後述する道路別区画線情報１０３Ａなどが記憶される。カメラ１０１の内部パラメータとは、カメラ１０１の焦点距離や撮像素子のサイズであり、カメラ１０１の外部パラメータとは、車両２に対するそれぞれのカメラ１０１の取付け位置、および姿勢である。なお、内部パラメータおよび外部パラメータの推定においては、車両２の出荷時に１回だけキャリブレーションが実行されてもよいし、走行中にリアルタイムにキャリブレーションが実行されてもよい。地図情報には、リンクとノードで表す道路データと、ノードの緯度・経度と、リンクの道路種別等がそれぞれ関連付けて格納されている。
ＣＰＵ１０４は、画像処理装置１０２が出力する特徴点の情報を用いて、画像処理装置１０２が抽出した特徴点の座標変換や白線検知処理を行う。特徴点の情報には、たとえばその特徴点のエッジ強度が含まれ、このエッジ強度を特徴量と呼ぶ。検知した白線の情報は、ＣＡＮ Ｉ／Ｆ １０６、およびＣＡＮバス１０７を経由して、車両制御ユニット１０８に送られる。
メモリ１０５は、揮発性記憶媒体である。メモリ１０５には、後述する共通座標バッファ２０３および白線情報１０５Ａが格納される。
なお、本実施の形態において区画線認識装置１が４つのカメラを備えることは必須ではなく、少なくとも視野が重複する２つのカメラ、たとえば前カメラ１０１−Ｆｒと左カメラ１０１−ＳＬとを備えればよい。
メモリ１０５は、揮発性記憶媒体である。メモリ１０５には、後述する共通座標バッファ２０３および白線情報１０５Ａが格納される。
なお、本実施の形態において区画線認識装置１が４つのカメラを備えることは必須ではなく、少なくとも視野が重複する２つのカメラ、たとえば前カメラ１０１−Ｆｒと左カメラ１０１−ＳＬとを備えればよい。
図２は、区画線認識装置１のソフトウエア構成を示す図である。図２に示すブロックは、画像処理装置１０２およびＣＰＵ１０４が実行する機能をブロック図として示したものである。
画像処理装置１０２は、その機能として、第１特徴点抽出部２０１−ＳＬ、第２特徴点抽出部２０１−ＳＲ、第３特徴点抽出部２０１−Ｒｒ、および第４特徴点抽出部２０１−Ｆｒを備える。これらはそれぞれ、左カメラ１０１−ＳＬ、右カメラ１０１−ＳＲ、後カメラ１０１−Ｒｒ、および前カメラ１０１−Ｆｒの撮影画像から特徴点を抽出する。特徴点の抽出処理は後述する。以下では、第１特徴点抽出部２０１−ＳＬ、第２特徴点抽出部２０１−ＳＲ、第３特徴点抽出部２０１−Ｒｒ、および第４特徴点抽出部２０１−Ｆｒは全体として、または個々に特徴点抽出部２０１と呼ぶ。
画像処理装置１０２は、その機能として、第１特徴点抽出部２０１−ＳＬ、第２特徴点抽出部２０１−ＳＲ、第３特徴点抽出部２０１−Ｒｒ、および第４特徴点抽出部２０１−Ｆｒを備える。これらはそれぞれ、左カメラ１０１−ＳＬ、右カメラ１０１−ＳＲ、後カメラ１０１−Ｒｒ、および前カメラ１０１−Ｆｒの撮影画像から特徴点を抽出する。特徴点の抽出処理は後述する。以下では、第１特徴点抽出部２０１−ＳＬ、第２特徴点抽出部２０１−ＳＲ、第３特徴点抽出部２０１−Ｒｒ、および第４特徴点抽出部２０１−Ｆｒは全体として、または個々に特徴点抽出部２０１と呼ぶ。
ＣＰＵ１０４は、その機能として、第１座標変換部２０２−ＳＬ、第２座標変換部２０２−ＳＲ、第３座標変換部２０２−Ｒｒ、第４座標変換部２０２−Ｆｒ、および白線検知部２０４を有する。以下では、第１座標変換部２０２−ＳＬ、第２座標変換部２０２−ＳＲ、第３座標変換部２０２−Ｒｒ、および第４座標変換部２０２−Ｆｒをまとめて座標変換部２０２と呼ぶ。４つの座標変換部２０２はそれぞれ、４つの特徴点抽出部２０１により抽出された特徴点の画像上の座標を、それぞれのカメラ１０１において独立しているローカル座標系から４つのカメラ１０１に共通する座標系（以下、世界座標系）に変換し、共通座標バッファ２０３に格納する。白線検知部２０４は、共通座標バッファ２０３に格納された特徴点の情報を用いて白線情報１０５Ａを作成して白線を検知し、車両制御ユニット１０８に白線の情報を出力する。
なお、世界座標系は車両２の中心、たとえば前輪車軸中心や車の重心等を原点とし、車両２の前後方向をＹ軸、左右方向をＸ軸とする。ただし、いずれかのカメラ１０１を基準としてもよいし、地上の固定物を基準としてもよい。
なお、世界座標系は車両２の中心、たとえば前輪車軸中心や車の重心等を原点とし、車両２の前後方向をＹ軸、左右方向をＸ軸とする。ただし、いずれかのカメラ１０１を基準としてもよいし、地上の固定物を基準としてもよい。
図３は、メモリ１０５に格納される白線情報１０５Ａの構成を示す図である。
白線情報１０５Ａは、撮影画像から得られた白線の候補数が格納される「白線候補数」、およびそれぞれの白線候補の情報が格納される「白線候補情報」から構成される。「白線候補情報」は「白線候補数」に格納された数と同数が格納され、たとえば「白線候補数」が２であれば、白線情報１０５Ａは「白線候補数」と２つの「白線候補情報」とから構成される。
白線情報１０５Ａは、撮影画像から得られた白線の候補数が格納される「白線候補数」、およびそれぞれの白線候補の情報が格納される「白線候補情報」から構成される。「白線候補情報」は「白線候補数」に格納された数と同数が格納され、たとえば「白線候補数」が２であれば、白線情報１０５Ａは「白線候補数」と２つの「白線候補情報」とから構成される。
「白線候補情報」は、白線候補を構成する特徴点の数が格納される「特徴点数」と白線候補の白線としての確からしさを示す指標が格納される「スコア累計値」と、白線の判定結果が格納される「線種」と、白線に対する車両２の角度が格納される「角度差」と、それぞれの特徴点の情報が格納される「特徴点情報」とから構成される。「特徴点情報」は「特徴点数」に格納された数と同数が格納される。
「特徴点情報」は、特徴が抽出された撮影画像を撮影したカメラを特定する情報である「取得カメラＩＤ」と、周辺の点との輝度差である「エッジ強度」と、特徴点である確からしさを示す指標である「スコア」と、特徴点の世界座標系における座標である「世界座標」とから構成される。
「特徴点情報」は、特徴が抽出された撮影画像を撮影したカメラを特定する情報である「取得カメラＩＤ」と、周辺の点との輝度差である「エッジ強度」と、特徴点である確からしさを示す指標である「スコア」と、特徴点の世界座標系における座標である「世界座標」とから構成される。
図４は、記憶装置１０３に格納される道路別区画線情報１０３Ａの一例を示す図である。道路別区画線情報１０３Ａには、道路種別とレーン幅と破線間隔とが関連付けて格納されている。レーン幅とは車道外側線と車線境界線の間隔、または車線境界線同士の間隔である。破線間隔とは、破線が実線と空白の繰り返しから構成されると考えた場合の、実線部分の長さと空白部分の長さである。
（区画線認識装置１の動作の概要）
図５〜図７を用いて区画線認識装置１の動作の概要を説明する。
図５は、区画線認識装置１を搭載する車両２の走行シーンの一例を示す図である。図５は同一方向に走行するための３つの走行レーンＡ〜Ｃを示しており、図示左から走行レーンＡ、中央が走行レーンＢ、右が走行レーンＣである。これらの走行レーンＡ〜Ｃは白線４１１〜４１４により構成される。図示左から、白線４１３、白線４１１、白線４１２、白線４１４の順に並んでいる。白線４１１は白線４１１ａ〜ｄ、白線４１２は白線４１２ａ〜ｄ、白線４１３は白線４１３ａ〜ｄ、白線４１４は白線４１４ａ〜ｃから構成される。
図５〜図７を用いて区画線認識装置１の動作の概要を説明する。
図５は、区画線認識装置１を搭載する車両２の走行シーンの一例を示す図である。図５は同一方向に走行するための３つの走行レーンＡ〜Ｃを示しており、図示左から走行レーンＡ、中央が走行レーンＢ、右が走行レーンＣである。これらの走行レーンＡ〜Ｃは白線４１１〜４１４により構成される。図示左から、白線４１３、白線４１１、白線４１２、白線４１４の順に並んでいる。白線４１１は白線４１１ａ〜ｄ、白線４１２は白線４１２ａ〜ｄ、白線４１３は白線４１３ａ〜ｄ、白線４１４は白線４１４ａ〜ｃから構成される。
区画線認識装置１を搭載する車両２は走行レーンＢを走行しており、車両２の前方には前方車両４１７、左側方には左側方車両４１０が走行している。車両２は、４台のカメラ１０１により車両２の周辺に存在する白線を撮影する。しかし、白線の一部は前方車両４１７および左側方車両４１０により視野が遮られる。図５では、他車両により視野が遮られる範囲をハッチングで示している。すなわち、前方車両４１７により生じる死角が領域４２１であり、側方車両４１０により生じる死角が領域４２２および領域４２３である。領域４２２は前カメラ１０１−Ｆｒの視野が遮られないが左カメラ１０１−ＳＬの視野が遮られる領域である。領域４２３は、側方車両４１０により生じる死角のうち領域４２２を除いた領域である。
白線４１１〜４１２は、いずれのカメラにより撮影可能か否か、および死角に含まれるか否かにより以下のように分節される。
白線４１１ａは、白線４１１のうち領域４２１に含まれる白線である。白線４１１ｂは、白線４１１のうち車両２の前方にあり白線４１１ａを除く白線である。白線４１１ｄは、白線４１１のうち車両２の後方にある白線である。白線４１１ｃは、白線４１１から白線４１１ａ、ｂ、ｄを除いた白線である。
白線４１２ａは、白線４１２のうち領域４２１に含まれる白線である。白線４１２ｂは、白線４１２のうち車両２の前方にあり白線４１２ａを除く白線である。白線４１２ｄは、白線４１２のうち車両２の後方にある白線である。白線４１２ｃは、白線４１２から白線４１２ａ、ｂ、ｄを除いた白線である。
白線４１１ａは、白線４１１のうち領域４２１に含まれる白線である。白線４１１ｂは、白線４１１のうち車両２の前方にあり白線４１１ａを除く白線である。白線４１１ｄは、白線４１１のうち車両２の後方にある白線である。白線４１１ｃは、白線４１１から白線４１１ａ、ｂ、ｄを除いた白線である。
白線４１２ａは、白線４１２のうち領域４２１に含まれる白線である。白線４１２ｂは、白線４１２のうち車両２の前方にあり白線４１２ａを除く白線である。白線４１２ｄは、白線４１２のうち車両２の後方にある白線である。白線４１２ｃは、白線４１２から白線４１２ａ、ｂ、ｄを除いた白線である。
白線４１３ａは、白線４１３のうち車両２の前方にあり、かつ領域４２２および領域４２３に含まれない白線である。白線４１３ｂは、白線４１３のうち領域４２２に含まれる白線である。白線４１３ｄは、白線４１３のうち車両２の後方にあり、かつ領域４２１に含まれない白線である。白線４１３ｃは、白線４１３から白線４１３ａ、ｂ、ｄを除いた白線である。
白線４１４ａは、白線４１４のうち車両２の前方にある白線である。白線４１４ｃは、白線４１４のうち車両２の後方にある白線である。白線４１４ｂは、白線４１４から白線４１４ａ、ｃを除いた白線である。
白線４１４ａは、白線４１４のうち車両２の前方にある白線である。白線４１４ｃは、白線４１４のうち車両２の後方にある白線である。白線４１４ｂは、白線４１４から白線４１４ａ、ｃを除いた白線である。
図６は、図５に示した状況における４つのカメラ１０１のそれぞれで撮影して得られた画像に、検出された特徴点を重畳して表示した図である。図６（ａ）は前カメラ１０１−Ｆｒの撮影画像、図６（ｂ）は後カメラ１０１−Ｒｒの撮影画像、図６（ｃ）は右カメラ１０１−ＳＲの撮影画像、図６（ｄ）は左カメラ１０１−ＳＬの撮影画像である。図６では図示右方向をＸ軸のプラス側、図示下方向をＹ軸のプラス側と定義する。すなわち、図６（ａ）および図６（ｂ）では図示縦方向が車両２の進行方向となり、図６（ｂ）および図６（ｃ）では図示横方向が車両２の進行方向となる。図６（ａ）における丸、図６（ｂ）における四角、図６（ｃ）における上向き三角、図６（ｄ）における下向き三角、のそれぞれのマーカーは、特徴点抽出部２０１によりそれぞれの画像から抽出された特徴点を示している。
図６（ａ）には、前方車両４１７の後部、および左側方車両４１０の側面が描かれ、これらの車両により、白線４１１、白線４１２、白線４１３の一部が遮られる。図６（ａ）には、白線４１１ｂ、白線４１２ｂ、白線４１３ａ、および白線４１４ａが描かれている。また図６（ａ）に丸のマーカーで示すように、白線だけでなく左側方車両４１０からも特徴点が抽出されている。
車両後方には後カメラ１０１−Ｒｒの視野を遮る車両が存在せず、図６（ｂ）には、白線４１４ｃ、白線４１２ｄ、白線４１１ｄ、白線４１３ｄが描かれている。また図６（ｂ）に四角のマーカーで示すように、撮影された白線から特徴点が抽出されている。
車両後方には後カメラ１０１−Ｒｒの視野を遮る車両が存在せず、図６（ｂ）には、白線４１４ｃ、白線４１２ｄ、白線４１１ｄ、白線４１３ｄが描かれている。また図６（ｂ）に四角のマーカーで示すように、撮影された白線から特徴点が抽出されている。
車両右側方には右カメラ１０１−ＳＲの視野を遮る車両が存在せず、図６（ｃ）には、白線４１２、および白線４１２が描かれている。また図６（ｃ）に上向き三角のマーカーで示すように、撮影された白線から特徴点が抽出されている。
図６（ｄ）には、左側方車両４１０の側面が描かれ、この車両により白線４１３の一部が遮られる。図６（ｄ）に描かれる白線は、白線４１１、白線４１３ａ、および白線４１３ｄである。また図６（ｄ）に下向き三角のマーカーで示すように、白線だけでなく左側方車両４１０からも特徴点が抽出されている。
図６（ｄ）には、左側方車両４１０の側面が描かれ、この車両により白線４１３の一部が遮られる。図６（ｄ）に描かれる白線は、白線４１１、白線４１３ａ、および白線４１３ｄである。また図６（ｄ）に下向き三角のマーカーで示すように、白線だけでなく左側方車両４１０からも特徴点が抽出されている。
図７は、図６（ａ）〜（ｄ）から抽出されたそれぞれの特徴点を世界座標系に変換し、世界座標系の平面上にマッピングした図である。図７の図示上方は、図５と同様に車両２の進行方向である。図７における特徴点を示すマーカーは図６（ａ）〜（ｄ）と対応させている。たとえば図７の白線４１３ｂの位置に示す丸のマーカーは、図６（ａ）、すなわち前カメラ１０１−Ｆｒの撮影画像から得られた特徴点である。
前述のとおり４台のカメラ１０１の視野は一部重複しており、視野が重複する位置、すなわち複数のカメラから撮影される位置では複数のカメラの撮影画像から特徴点が抽出される。たとえば図７の左上にある白線４１３ａの位置には、丸と下向き三角のマーカーが存在することからわかるように、前カメラ１０１−Ｆｒの撮影画像と左カメラ１０１−ＳＬの撮影画像の両方から特徴点が抽出されている。
前述のとおり４台のカメラ１０１の視野は一部重複しており、視野が重複する位置、すなわち複数のカメラから撮影される位置では複数のカメラの撮影画像から特徴点が抽出される。たとえば図７の左上にある白線４１３ａの位置には、丸と下向き三角のマーカーが存在することからわかるように、前カメラ１０１−Ｆｒの撮影画像と左カメラ１０１−ＳＬの撮影画像の両方から特徴点が抽出されている。
左側方車両４１０に遮られ、前カメラ１０１−Ｆｒおよび左カメラ１０１−ＳＬの死角に位置する白線４１３ｃの位置では、図７においても特徴点が抽出されていない。また、左側方車両４１０の位置に特徴点が抽出されている。
このように得られた特徴点に基づき、区画線認識装置１は、以下に説明する処理により白線４１１〜４１４を白線として検出する。さらに左側方車両４１０から抽出された特徴点を白線ではないとして棄却する。
このように得られた特徴点に基づき、区画線認識装置１は、以下に説明する処理により白線４１１〜４１４を白線として検出する。さらに左側方車両４１０から抽出された特徴点を白線ではないとして棄却する。
＜フローチャート＞
（概要を示すフローチャート）
図８は、区画線認識装置１の処理概要を示すフローチャートである。図８に示すフローチャートに示す処理は、画像処理装置１０２およびＣＰＵ１０４により実行される。画像処理装置１０２およびＣＰＵ１０４は、カメラ１０１が撮影を行うたびに以下の処理を行う。
ステップＳ３０１では、画像処理装置１０２の特徴点抽出部２０１が、それぞれのカメラ１０１の撮影画像から特徴点を抽出してステップＳ３０２に進む。
ステップＳ３０２では、ＣＰＵ１０４が、カメラ１０１の内部パラメータ、および外部パラメータに基づき、画像処理装置１０２により抽出された特徴点の座標をカメラごとに独立した座標系から４つのカメラに共通する世界座標系に変換してステップＳ３０３に進む。
（概要を示すフローチャート）
図８は、区画線認識装置１の処理概要を示すフローチャートである。図８に示すフローチャートに示す処理は、画像処理装置１０２およびＣＰＵ１０４により実行される。画像処理装置１０２およびＣＰＵ１０４は、カメラ１０１が撮影を行うたびに以下の処理を行う。
ステップＳ３０１では、画像処理装置１０２の特徴点抽出部２０１が、それぞれのカメラ１０１の撮影画像から特徴点を抽出してステップＳ３０２に進む。
ステップＳ３０２では、ＣＰＵ１０４が、カメラ１０１の内部パラメータ、および外部パラメータに基づき、画像処理装置１０２により抽出された特徴点の座標をカメラごとに独立した座標系から４つのカメラに共通する世界座標系に変換してステップＳ３０３に進む。
ステップＳ３０３では、ＣＰＵ１０４が、世界座標に変換された特徴点を用いて車両２の進行方向と白線のなす角度を推定し、白線から抽出される特徴点の列が世界座標系のＹ軸に平行になるように車両２を中心に特徴点を回転させて、ステップＳ３０４に進む。
ステップＳ３０４では、世界座標に変換された特徴点を用いて白線を検知し、図８に示すフローチャートを終了する。カメラ１０１が再度撮影を行うと、それに応じて再びステップＳ３０１から処理を開始する。
以下、ステップＳ３０１の詳細は図９、ステップＳ３０２の詳細は図１０、ステップＳ３０３の詳細は図１１、ステップＳ３０４の詳細は図１３、のそれぞれのフローチャートを用いて説明する。
ステップＳ３０４では、世界座標に変換された特徴点を用いて白線を検知し、図８に示すフローチャートを終了する。カメラ１０１が再度撮影を行うと、それに応じて再びステップＳ３０１から処理を開始する。
以下、ステップＳ３０１の詳細は図９、ステップＳ３０２の詳細は図１０、ステップＳ３０３の詳細は図１１、ステップＳ３０４の詳細は図１３、のそれぞれのフローチャートを用いて説明する。
（特徴点抽出のフローチャート）
図９は、図８のステップＳ３０１の詳細を示すフローチャートである。画像処理装置１０２は４つのカメラ１０１のそれぞれに対応する特徴点抽出部２０１を備えるが、以下ではまず前カメラ１０１−Ｆｒに対応する第４特徴点抽出部２０１−Ｆｒ、および後カメラ１０１−Ｒｒに対応する第３特徴点抽出部２０１−Ｒｒの動作を説明する。以下に説明する図９の各ステップの実行主体は、特徴点抽出部２０１である。
図９は、図８のステップＳ３０１の詳細を示すフローチャートである。画像処理装置１０２は４つのカメラ１０１のそれぞれに対応する特徴点抽出部２０１を備えるが、以下ではまず前カメラ１０１−Ｆｒに対応する第４特徴点抽出部２０１−Ｆｒ、および後カメラ１０１−Ｒｒに対応する第３特徴点抽出部２０１−Ｒｒの動作を説明する。以下に説明する図９の各ステップの実行主体は、特徴点抽出部２０１である。
ステップＳ１８０１では、撮影画像からエッジを抽出する。エッジ抽出の手法としては、例えばソーベルフィルタ等の微分フィルタを用いてエッジ画像を作成する手法が好適である。あるいは、輝度に応じて画像全体を路面、白線、それ以外に分類し、各分類の境界をエッジとみなして抽出してもよい。次に、ステップＳ１８Ｌｓに進む。
ステップＳ１８ＬｓはＹ座標に関するループ処理の開始ステップであり、ループ終端のステップＳ１８Ｌｅまで、すなわち以下に説明するステップＳ１８０２〜Ｓ１８０４までの処理が、撮影画像の全てのＹ座標について、処理対象とするＹ座標を順番に変化させて実行される。撮影画像におけるＸ座標、Ｙ座標の定義は図６に示したとおりであり、たとえば前カメラ１０１−Ｆｒの撮影画像では車両２の進行方向がＹ軸である。
ステップＳ１８ＬｓはＹ座標に関するループ処理の開始ステップであり、ループ終端のステップＳ１８Ｌｅまで、すなわち以下に説明するステップＳ１８０２〜Ｓ１８０４までの処理が、撮影画像の全てのＹ座標について、処理対象とするＹ座標を順番に変化させて実行される。撮影画像におけるＸ座標、Ｙ座標の定義は図６に示したとおりであり、たとえば前カメラ１０１−Ｆｒの撮影画像では車両２の進行方向がＹ軸である。
まず、処理対象のＹ座標において、図６において左から右へ、すなわちＸ座標の小さい方から大きい方へエッジを探索し、エッジ強度が正になるエッジ、すなわち低輝度から高輝度になる境界を探索する。エッジ強度が正になるエッジが見つかると、さらに図示右へ、すなわちＸ座標が大きい方へ探索し、エッジ強度が負になるエッジ、すなわち高輝度から低輝度になる境界を探索する（ステップＳ１８０２）。これらのＸ座標の差分が予め定めた閾値の範囲に入っているか否かを判定し（ステップＳ１８０３）、閾値以内であれば、それらのうち、自車に近い方のエッジ座標を特徴点の座標として保存する（ステップＳ１８０４）。
上述したステップＳ１８０３における「予め定めた閾値」とは、区画線の幅に基づく値であり、既知である白線の幅、カメラ１０１の外部パラメータ、カメラ１０１の内部パラメータ等により予め算出される。
上述したステップＳ１８０４において、撮影画像において「自車に近い」とは、Ｙ座標が大きく、Ｘ座標が撮影画像の中心部の値に近いことを意味する。たとえば、前カメラ１０１−Ｆｒの撮影画像において、車両２が走行している走行レーンを構成する白線４１１および白線４１２の内側のエッジの座標が特徴点の座標として保存される。
上述したステップＳ１８０４において、撮影画像において「自車に近い」とは、Ｙ座標が大きく、Ｘ座標が撮影画像の中心部の値に近いことを意味する。たとえば、前カメラ１０１−Ｆｒの撮影画像において、車両２が走行している走行レーンを構成する白線４１１および白線４１２の内側のエッジの座標が特徴点の座標として保存される。
以上が第３特徴点抽出部２０１−Ｒｒ、および第４特徴点抽出部２０１−Ｆｒの処理であるが、第１特徴点抽出部２０１−ＳＬ、および第２特徴点抽出部２０１−ＳＲは、上述した処理のＸ座標とＹ座標を入れ替えればよい。たとえば、上述したフローチャートでＸ座標とＹ座標の扱いを逆にするか、画像を９０度回転させた後に処理すればよい。
上述した特徴点抽出部２０１の処理により、例えばアスファルトの継ぎ目、タールのこぼれた跡等、白い領域が現れずにエッジだけが抽出されるような特徴点について、白線の特徴量として誤検知することはなくなる。また、白く塗装された車両が撮影された場合でもその幅は白線と異なるので閾値外として棄却される（ステップＳ１８０３：ＮＯ）。したがって、白く塗装された車両を白線の特徴量として誤検出する恐れを低減できる。
上述した特徴点抽出部２０１の処理により、例えばアスファルトの継ぎ目、タールのこぼれた跡等、白い領域が現れずにエッジだけが抽出されるような特徴点について、白線の特徴量として誤検知することはなくなる。また、白く塗装された車両が撮影された場合でもその幅は白線と異なるので閾値外として棄却される（ステップＳ１８０３：ＮＯ）。したがって、白く塗装された車両を白線の特徴量として誤検出する恐れを低減できる。
（座標変換のフローチャート）
図１０は、図８のステップＳ３０２の詳細を示すフローチャートである。このフローチャートにより示される処理は、ＣＰＵ１０４により実行される機能である、座標変換部２０２により実行される。
ステップＳ１９Ｌ１ｓはカメラに関するループ処理の開始ステップであり、ループ終端のステップＳ１９Ｌ１ｅまで、すなわち以下に説明するステップＳ１９０１〜Ｓ１９０３の処理が、カメラ１０１のそれぞれで撮影された画像について実行される。すなわち、処理対象のカメラ１０１を順番に変更する。
ステップＳ１９０１では、記憶装置１０３から処理対象のカメラ１０１について、外部パラメータと内部パラメータを取得してステップＳ１９Ｌ２ｓに進む。
ステップＳ１９Ｌ２ｓは特徴点に関するループ処理の開始ステップであり、ループ終端のステップＳ１９Ｌ２ｅまで、すなわち以下に説明するステップＳ１９０２〜Ｓ１９０３の処理が、処理対象のカメラ１０１に対応する特徴点抽出部２０１が抽出した全ての特徴点について実行される。
まず、処理対象の特徴点を外部パラメータおよび内部パラメータを用いて世界座標に変換する（ステップＳ１９０２）。そして、変換した結果を共通座標バッファ２０３に格納する（ステップＳ１９０３）。
全ての特徴点、全てのカメラについて処理が完了すると、図１０のフローチャートを終了する。
図１０は、図８のステップＳ３０２の詳細を示すフローチャートである。このフローチャートにより示される処理は、ＣＰＵ１０４により実行される機能である、座標変換部２０２により実行される。
ステップＳ１９Ｌ１ｓはカメラに関するループ処理の開始ステップであり、ループ終端のステップＳ１９Ｌ１ｅまで、すなわち以下に説明するステップＳ１９０１〜Ｓ１９０３の処理が、カメラ１０１のそれぞれで撮影された画像について実行される。すなわち、処理対象のカメラ１０１を順番に変更する。
ステップＳ１９０１では、記憶装置１０３から処理対象のカメラ１０１について、外部パラメータと内部パラメータを取得してステップＳ１９Ｌ２ｓに進む。
ステップＳ１９Ｌ２ｓは特徴点に関するループ処理の開始ステップであり、ループ終端のステップＳ１９Ｌ２ｅまで、すなわち以下に説明するステップＳ１９０２〜Ｓ１９０３の処理が、処理対象のカメラ１０１に対応する特徴点抽出部２０１が抽出した全ての特徴点について実行される。
まず、処理対象の特徴点を外部パラメータおよび内部パラメータを用いて世界座標に変換する（ステップＳ１９０２）。そして、変換した結果を共通座標バッファ２０３に格納する（ステップＳ１９０３）。
全ての特徴点、全てのカメラについて処理が完了すると、図１０のフローチャートを終了する。
（角度推定のフローチャート）
図１１は、図８のステップＳ３０３の詳細を示すフローチャートである。このフローチャートにより示される処理は、ＣＰＵ１０４により実行される機能である、白線検知部２０４により実行される。
ステップＳ８０１では、共通座標バッファ２０３に格納されている世界座標の特徴点を、回転角度θがゼロの状態における座標と定義し、ステップＳ８Ｌｓに進む。ここで車軸を基準とする座標系を採用する理由は、道路を走行中の車両の車軸は白線と略平行である時間が圧倒的に長く、車線変更の際にも白線と車軸のなす角は比較的小さい角度だからである。
図１１は、図８のステップＳ３０３の詳細を示すフローチャートである。このフローチャートにより示される処理は、ＣＰＵ１０４により実行される機能である、白線検知部２０４により実行される。
ステップＳ８０１では、共通座標バッファ２０３に格納されている世界座標の特徴点を、回転角度θがゼロの状態における座標と定義し、ステップＳ８Ｌｓに進む。ここで車軸を基準とする座標系を採用する理由は、道路を走行中の車両の車軸は白線と略平行である時間が圧倒的に長く、車線変更の際にも白線と車軸のなす角は比較的小さい角度だからである。
ステップＳ８Ｌｓは回転角度θに関するループ処理の開始ステップであり、ループ終端のステップＳ８Ｌｅまで、すなわち以下に説明するステップＳ８０２〜Ｓ８０５の処理が、回転角度θを−２０度〜＋２０度まで１度刻みで変化させて実行される。ただし、回転角度θを変化させる最大量および変化幅は一例であり、これらの量を適宜変更してもよい。
まず、特徴点の座標を、車両２を中心に基準状態から所定の角度だけ回転させ（ステップＳ８０２）、回転させた特徴点をＸ軸に投射する（ステップＳ８０３）。そして、所定のＸ座標値の幅ごとに特徴点の数を集計し、極大値と極小値を算出する（ステップＳ８０４）。最後に極大値と極小値の差を累計したものを評価値として保存する（ステップＳ８０５）。
まず、特徴点の座標を、車両２を中心に基準状態から所定の角度だけ回転させ（ステップＳ８０２）、回転させた特徴点をＸ軸に投射する（ステップＳ８０３）。そして、所定のＸ座標値の幅ごとに特徴点の数を集計し、極大値と極小値を算出する（ステップＳ８０４）。最後に極大値と極小値の差を累計したものを評価値として保存する（ステップＳ８０５）。
回転角度θを予め定めたとおり変化させて評価値を算出すると、すなわち−２０度〜＋２０度まで１度刻みで４１回繰り返すとステップＳ８０６に進む。後に図１２を用いて例示するように、回転させた特徴点の列がＹ軸に平行であるほど評価値が高くなる。
ステップＳ８０６では、繰り返した算出した評価値のうち、最大の評価値を有する回転角、すなわちθ＿ｂｅｓｔを特定してステップＳ８０７に進む。またこのときθ＿ｂｅｓｔを白線情報１０５Ａの「角度差」に格納する。
ステップＳ８０７では、共通座標バッファ２０３に格納された特徴点を、車両２を中心に基準状態からθ＿ｂｅｓｔ回転させて図１１のフローチャートを終了する。
上述したステップＳ８０３〜Ｓ８０６の処理を要約すると、特徴点を仮に回転させて回転角度ごとの評価値を算出し、最後に特徴点を評価値の最も高い角度だけ回転させるものである。
ステップＳ８０６では、繰り返した算出した評価値のうち、最大の評価値を有する回転角、すなわちθ＿ｂｅｓｔを特定してステップＳ８０７に進む。またこのときθ＿ｂｅｓｔを白線情報１０５Ａの「角度差」に格納する。
ステップＳ８０７では、共通座標バッファ２０３に格納された特徴点を、車両２を中心に基準状態からθ＿ｂｅｓｔ回転させて図１１のフローチャートを終了する。
上述したステップＳ８０３〜Ｓ８０６の処理を要約すると、特徴点を仮に回転させて回転角度ごとの評価値を算出し、最後に特徴点を評価値の最も高い角度だけ回転させるものである。
図１２を用いて図１１のステップＳ８０２〜Ｓ８０５の動作例を説明する。図１２（ａ）は評価値が高い例を示す図であり、図１２（ｂ）は評価値が低い例を示す図である。図１２（ａ）、および図１２（ｂ）はそれぞれ、車両２を中心に回転させた特徴点、Ｘ軸に投射した特徴点を所定のＸ座標値の幅ごとに集計した数、および評価値を表している。図示Ｘ軸の目盛りが、Ｘ軸に投射した特徴点を集計する所定のＸ座標値の幅である。
図１２（ｂ）に示すように特徴点の列がＹ軸に対して傾いていると、Ｘ軸に投射された特徴点が広く分布する。図１２（ｂ）において図示左から極大値を抽出すると３，４，４であり、同様に図示左から極小値を抽出すると１，０，０なので、図１２（ｂ）の評価値は、（３−１）＋（４−０）＋（４−０）＝１０となる。一方、図１２（ａ）に示すように特徴点の列がＹ軸に対して平行であると、Ｘ軸に投射された特徴点が特定の座標に集中する。図１２（ａ）において図示左から極大値を抽出すると９，９，９であり、同様に図示左から極小値を抽出すると０，０，０なので、図１２（ａ）の評価値は、（９−０）＋（９−０）＋（９−０）＝２７となる。
このように、回転した特徴点のＸ軸への投射を所定のＸ座標値の幅ごとに集計し、極大値と極小値の差を評価することにより、特徴点がＹ軸に平行に並ぶ最適な回転角度θ＿ｂｅｓｔを得ることができる。
このように、回転した特徴点のＸ軸への投射を所定のＸ座標値の幅ごとに集計し、極大値と極小値の差を評価することにより、特徴点がＹ軸に平行に並ぶ最適な回転角度θ＿ｂｅｓｔを得ることができる。
（白線検知のフローチャート）
図１３は、図８のステップＳ３０４の詳細を示すフローチャートである。このフローチャートにより示される処理は、ＣＰＵ１０４により実行される機能である、白線検知部２０４により実行される。
ステップＳ６０１では、検出された特徴点が白線から検出されたものであるか否かを判断する閾値ｔｈを算出する。本ステップの処理は図１５を用いて詳述するが、白線が破線である場合を想定して閾値ｔｈを決定する。次にステップＳ６０２に進む。
ステップＳ６０２では、座標変換部２０２が座標変換処理を実行する。すなわち、図１１のステップＳ８０７において回転された特徴点をＸ軸へ投影する。続くステップＳ６０３では、投影された特徴点の特徴量をＸ座標ごとに累積する。上述したように特徴量とは、たとえばその特徴点のエッジ強度である。そしてステップＳ６０４では、その累積値がステップＳ６０１において算出した閾値ｔｈ以上かつ極大となるＸ座標を抽出する。
図１３は、図８のステップＳ３０４の詳細を示すフローチャートである。このフローチャートにより示される処理は、ＣＰＵ１０４により実行される機能である、白線検知部２０４により実行される。
ステップＳ６０１では、検出された特徴点が白線から検出されたものであるか否かを判断する閾値ｔｈを算出する。本ステップの処理は図１５を用いて詳述するが、白線が破線である場合を想定して閾値ｔｈを決定する。次にステップＳ６０２に進む。
ステップＳ６０２では、座標変換部２０２が座標変換処理を実行する。すなわち、図１１のステップＳ８０７において回転された特徴点をＸ軸へ投影する。続くステップＳ６０３では、投影された特徴点の特徴量をＸ座標ごとに累積する。上述したように特徴量とは、たとえばその特徴点のエッジ強度である。そしてステップＳ６０４では、その累積値がステップＳ６０１において算出した閾値ｔｈ以上かつ極大となるＸ座標を抽出する。
図１４は、ステップＳ６０２〜Ｓ６０４の処理を概念的に表した図である。図１４は、座標変換部２０２が抽出された特徴点の座標値を世界座標に座標変換し、図１１のステップＳ８０７において回転された特徴点をＸ座標軸上に投影し、Ｘ座標軸上に投影された特徴点のそれぞれの特徴量の累積値をヒストグラムとして表し、累積値が極大となるＸ座標を検出する様子を表している。そして、累積値が極大となるＸ座標のうち、累積値が閾値ｔｈを超えるＸ座標が抽出され、後の処理に使用される。
図１３のフローチャートに戻って説明を続ける。
図１３のフローチャートに戻って説明を続ける。
ステップＳ６０４の次に実行されるステップＳ６０５では、ステップＳ６０４において抽出されたＸ座標を中心として所定のＸ座標幅に含まれる特徴点を、同一の白線候補に含まれる特徴点であるとして、白線情報１０５Ａに格納する。すなわち本ステップの処理により、以下の値が格納される。すなわち、白線情報１０５Ａの白線候補数の値、それぞれの白線候補情報における特徴点数、ならびにそれぞれの特徴点情報における取得カメラＩＤ、エッジ強度、および世界座標が格納される。たとえば図１４に示す例では、白線候補数は「５」である。次にステップＳ６Ｌ１ｓに進む。
ステップＳ６Ｌ１ｓは白線候補に関するループ処理の開始ステップであり、ループ終端のステップＳ６Ｌ１ｅまで、すなわち以下に説明するステップＳ６０６〜Ｓ６０７までの処理が、白線候補のそれぞれについて実行される。
後述する処理（図１６参照）により白線候補を構成する各特徴点が有する特徴量に基づきスコアを算出し（ステップＳ６０６）、それらのスコアを累積したスコア累積値を算出する（ステップＳ６０７）。算出した特徴点のスコア、および白線候補のスコア累積値は、白線情報１０５Ａに格納される。
後述する処理（図１６参照）により白線候補を構成する各特徴点が有する特徴量に基づきスコアを算出し（ステップＳ６０６）、それらのスコアを累積したスコア累積値を算出する（ステップＳ６０７）。算出した特徴点のスコア、および白線候補のスコア累積値は、白線情報１０５Ａに格納される。
全ての白線候補についてステップＳ６０６およびステップＳ６０７の処理が完了すると、ステップＳ６Ｌ２ｓに進む。ステップＳ６Ｌ２ｓは白線候補に関するループ処理の開始ステップであり、ループ終端のステップＳ６Ｌ２ｅまで、すなわち以下に説明するステップＳ６０８〜Ｓ６１０までの処理が、白線候補のそれぞれについて実行される。
後述する処理（図１８参照）により白線の確定処理を行い、当該白線候補が白線であるか否かを判断する（ステップＳ６０９）。そして、白線であると判断すると後述する処理（図１８参照）により線種、すなわち実線か破線かを判定する（ステップＳ６１０）。
全ての白線候補についてステップＳ６０８〜Ｓ６１０の処理が完了すると、図１２のフローチャートを終了する。
後述する処理（図１８参照）により白線の確定処理を行い、当該白線候補が白線であるか否かを判断する（ステップＳ６０９）。そして、白線であると判断すると後述する処理（図１８参照）により線種、すなわち実線か破線かを判定する（ステップＳ６１０）。
全ての白線候補についてステップＳ６０８〜Ｓ６１０の処理が完了すると、図１２のフローチャートを終了する。
（閾値算出のフローチャート）
図１５は、図１３のステップＳ６０１の詳細を示すフローチャートである。このフローチャートにより示される処理は、ＣＰＵ１０４により実行される機能である白線検知部２０４により実行される。本フローチャートは、カメラ１０１により撮影される白線が破線であったとしても後述する処理が支障を生じないように適切な閾値ｔｈを決定するものである。カメラ１０１により撮影される白線が道路外側線などであり実線の場合には多くの特徴点が検出されるが、カメラ１０１により撮影される白線が車線境界線などであり破線の場合には検出される特徴点が少ないからである。
図１５は、図１３のステップＳ６０１の詳細を示すフローチャートである。このフローチャートにより示される処理は、ＣＰＵ１０４により実行される機能である白線検知部２０４により実行される。本フローチャートは、カメラ１０１により撮影される白線が破線であったとしても後述する処理が支障を生じないように適切な閾値ｔｈを決定するものである。カメラ１０１により撮影される白線が道路外側線などであり実線の場合には多くの特徴点が検出されるが、カメラ１０１により撮影される白線が車線境界線などであり破線の場合には検出される特徴点が少ないからである。
まず位置算出装置１０９を用いて車両２の位置を算出し（ステップＳ１２０１）、記憶装置１０３に格納された地図情報を用いて車両２が走行している道路の種別を検索する（ステップＳ１２０２）。そして、ステップＳ１２０２において検索した道路の種別における区画線の破線に関する情報を、記憶装置１０３に格納された道路別区画線情報１０３Ａから読みとる（ステップＳ１２０３）。さらにカメラ１０１の外部パラメータ、および内部パラメータを用いて各カメラ１０１が撮影可能な路面上の距離を算出し（ステップＳ１２０４）、その距離とステップＳ１２０３において読みとった破線に関する情報に基づき閾値ｔｈを算出する（ステップＳ１２０５）。
以上で図１５のフローチャートを終了する。
以上で図１５のフローチャートを終了する。
（スコア算出のフローチャート）
図１６は、図１３のステップＳ６０６の詳細を示すフローチャートである。このフローチャートにより示される処理は、ＣＰＵ１０４により実行される機能である白線検知部２０４により実行される。以下に説明する処理は、世界座標において所定距離以内に存在する特徴点であって異なるカメラの撮影画像から得られた特徴点を同一の特徴点とみなし、特徴点である確からしさを示す指標、すなわちスコアを高く設定する。
ステップＳ７Ｌｓは特徴点に関するループ処理の開始ステップであり、ループ終端のステップＳ７Ｌｅまで、すなわち以下に説明するステップＳ７０１〜Ｓ７０４までの処理が、処理対象の白線候補に含まれる全特徴点についてそれぞれ実行される。すなわち、処理対象とする特徴点が順番に変更される。
図１６は、図１３のステップＳ６０６の詳細を示すフローチャートである。このフローチャートにより示される処理は、ＣＰＵ１０４により実行される機能である白線検知部２０４により実行される。以下に説明する処理は、世界座標において所定距離以内に存在する特徴点であって異なるカメラの撮影画像から得られた特徴点を同一の特徴点とみなし、特徴点である確からしさを示す指標、すなわちスコアを高く設定する。
ステップＳ７Ｌｓは特徴点に関するループ処理の開始ステップであり、ループ終端のステップＳ７Ｌｅまで、すなわち以下に説明するステップＳ７０１〜Ｓ７０４までの処理が、処理対象の白線候補に含まれる全特徴点についてそれぞれ実行される。すなわち、処理対象とする特徴点が順番に変更される。
まず処理対象の特徴点を中心として半径ｒｆ以内に存在する特徴点を抽出する（ステップＳ７０１）。特徴点同士の距離は、白線情報１０５Ａに含まれる特徴点情報の世界座標の値から算出可能である。次に、抽出した複数の特徴点のうち、処理対象である特徴点を得るための画像生成に供したカメラと同一のカメラの画像出力で得られた特徴点を棄却する（ステップＳ７０２）。各特徴点がいずれのカメラから得られたかは、特徴点情報の取得カメラＩＤから判断可能である。
そして、棄却されなかった特徴点の特徴量、すなわちその特徴点の特徴点情報に含まれるエッジ強度の値を小計する（ステップＳ７０３）。最後に、ステップＳ７０３において算出した小計と、（１＋検出した特徴点数）との積をスコアとして算出する（ステップＳ７０４）。ただしここでいう「検出した特徴点数」とは、ステップＳ７０１において検出され、かつステップＳ７０２において棄却されなかった特徴点である。
以上で図１６のフローチャートを終了する。
以上で図１６のフローチャートを終了する。
図１７を用いて図１６に示したフローチャートの動作例を説明する。図１７に示す丸マーカーは前カメラ１０１−Ｆｒの撮影画像から抽出された特徴点であり、下向き三角マーカーは左カメラ１０１−ＳＬの撮影画像から抽出された特徴点である。図中の黒で塗りつぶした丸マーカーが処理対象の特徴点である。
ステップＳ７０１において、処理対象の特徴点から距離ｒｆ以内の特徴点を抽出すると５つの特徴点が抽出される。そして、ステップＳ７０２において処理対象と同じく前カメラ１０１−Ｆｒの撮影画像から得られた白丸のマーカー２つが棄却され、ステップＳ７０３では、残りの３つの下向き三角で示す特徴点のエッジ強度の和が算出される。そしてステップＳ７０４ではその小計値と（１＋３）の積がスコアとして算出される。
ステップＳ７０１において、処理対象の特徴点から距離ｒｆ以内の特徴点を抽出すると５つの特徴点が抽出される。そして、ステップＳ７０２において処理対象と同じく前カメラ１０１−Ｆｒの撮影画像から得られた白丸のマーカー２つが棄却され、ステップＳ７０３では、残りの３つの下向き三角で示す特徴点のエッジ強度の和が算出される。そしてステップＳ７０４ではその小計値と（１＋３）の積がスコアとして算出される。
（白線の確定処理のフローチャート）
図１８は、図１３のステップＳ６０９の詳細を示すフローチャートである。このフローチャートにより示される処理は、ＣＰＵ１０４により実行される機能である白線検知部２０４により実行される。
ステップＳ８０１では、白線情報１０５Ａを参照し、処理対象の白線候補のスコア累積値が所定の閾値以上であるか否かを判断する。閾値以上であると判断するとステップＳ８０２に進み、閾値未満であると判断するとステップＳ８０４に進む。
ステップＳ８０２では、スコア累積値が所定の閾値以上である他の白線候補とのＸ座標との差がレーン幅相当であるか否かを判断する。レーン幅相当であると判断するとステップＳ８０３に進み、当該白線候補が白線であると判断して図１８のフローチャートを終了する。一方、レーン幅相当ではないと判断するとステップＳ８０４に進み、当該白線候補が白線ではないと判断して図１８のフローチャートを終了する。
図１８は、図１３のステップＳ６０９の詳細を示すフローチャートである。このフローチャートにより示される処理は、ＣＰＵ１０４により実行される機能である白線検知部２０４により実行される。
ステップＳ８０１では、白線情報１０５Ａを参照し、処理対象の白線候補のスコア累積値が所定の閾値以上であるか否かを判断する。閾値以上であると判断するとステップＳ８０２に進み、閾値未満であると判断するとステップＳ８０４に進む。
ステップＳ８０２では、スコア累積値が所定の閾値以上である他の白線候補とのＸ座標との差がレーン幅相当であるか否かを判断する。レーン幅相当であると判断するとステップＳ８０３に進み、当該白線候補が白線であると判断して図１８のフローチャートを終了する。一方、レーン幅相当ではないと判断するとステップＳ８０４に進み、当該白線候補が白線ではないと判断して図１８のフローチャートを終了する。
（線種判定のフローチャート）
図１９は、図１３のステップＳ６１１の詳細を示すフローチャートである。このフローチャートにより示される処理は、ＣＰＵ１０４により実行される機能である白線検知部２０４により実行される。
ステップＳ９０１では、処理対象の白線候補に含まれるすべての特徴点を世界座標のＹ座標の値でソートし、配列ｌｉｎｅに格納する。以下では、配列ｌｉｎｅのｋ番目の要素をｌｉｎｅ［ｋ］と表現し、配列ｌｉｎｅの要素はｌｉｎｅ［０］〜ｌｉｎｅ［ｎ−１］の全部でｎ個であるとして説明を続ける。
図１９は、図１３のステップＳ６１１の詳細を示すフローチャートである。このフローチャートにより示される処理は、ＣＰＵ１０４により実行される機能である白線検知部２０４により実行される。
ステップＳ９０１では、処理対象の白線候補に含まれるすべての特徴点を世界座標のＹ座標の値でソートし、配列ｌｉｎｅに格納する。以下では、配列ｌｉｎｅのｋ番目の要素をｌｉｎｅ［ｋ］と表現し、配列ｌｉｎｅの要素はｌｉｎｅ［０］〜ｌｉｎｅ［ｎ−１］の全部でｎ個であるとして説明を続ける。
ステップＳ９０２では差分最大値をゼロとしてステップＳ９Ｌｓに進む。
ステップＳ９ＬｓはＹ座標に関するループ処理の開始ステップであり、ループ終端のステップＳ９Ｌｅまで、すなわち以下に説明するステップＳ９０３〜Ｓ９０５までの処理が、変数ｋを１からｎ−１まで１ずつ順番に増加させて実行される。
ｌｉｎｅ［ｋ］とｌｉｎｅ［ｋ−１］の差を差分値として算出し（ステップＳ９０３）、差分値が差分最大値よりも大きい場合は差分最大値をその差分値とする（ステップＳ９０４：ＹＥＳ→ Ｓ９０５）。一方、差分値が差分最大値以下である場合は特段の処理を行わない。
変数ｋに「ｎ−１」を代入したステップＳ９０３〜Ｓ９０５の処理が完了すると，差分最大値が所定の閾値以上であるか否かを判断し（ステップＳ９０６）、閾値以上であれば破線であると判断し（ステップＳ９０７）、閾値未満であれば直線であると判断する（ステップＳ９０８）。以上で図１９のフローチャートを終了する。
ステップＳ９ＬｓはＹ座標に関するループ処理の開始ステップであり、ループ終端のステップＳ９Ｌｅまで、すなわち以下に説明するステップＳ９０３〜Ｓ９０５までの処理が、変数ｋを１からｎ−１まで１ずつ順番に増加させて実行される。
ｌｉｎｅ［ｋ］とｌｉｎｅ［ｋ−１］の差を差分値として算出し（ステップＳ９０３）、差分値が差分最大値よりも大きい場合は差分最大値をその差分値とする（ステップＳ９０４：ＹＥＳ→ Ｓ９０５）。一方、差分値が差分最大値以下である場合は特段の処理を行わない。
変数ｋに「ｎ−１」を代入したステップＳ９０３〜Ｓ９０５の処理が完了すると，差分最大値が所定の閾値以上であるか否かを判断し（ステップＳ９０６）、閾値以上であれば破線であると判断し（ステップＳ９０７）、閾値未満であれば直線であると判断する（ステップＳ９０８）。以上で図１９のフローチャートを終了する。
以上、図８〜図１９を用いて説明した処理により、区画線認識装置１は、たとえば図５〜図７に示した例では、一部が他の車両により遮られているが白線４１１〜４１４を白線として検出することができる。また、左側方車両４１０の画像から抽出された特徴点は、仮にその白線候補のスコア累計値が閾値より高くても（図１８、ステップＳ８０１：ＹＥＳ）、他のスコア累積値が閾値以上のＸ座標との差がレーン幅相当ではないので（図１８、ステップＳ８０２：ＮＯ）、白線ではないと判断される。
上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）区画線認識装置１は、一部の視野が重複するように設置された複数のカメラ１０１と、複数のカメラ１０１の出力信号から得られたそれぞれの画像から特徴点を抽出する特徴点抽出部２０１と、特徴点抽出部２０１が抽出した特徴点の座標を、複数のカメラに共通する世界座標系の座標に変換する座標変換部２０２と、世界座標系で示される複数の特徴点の位置関係に基づき白線を検出する白線検知部２０４と、を備える。
区画線認識装置１は、カメラ１０１のそれぞれの撮影画像から特徴点を抽出し、抽出された特徴点の座標を世界座標系に変換し、世界座標系における特徴点の位置関係に基づき白線を検出する。そのため、それぞれのカメラ１０１の撮影画像において、他のカメラと視野が重複するか否かに関わらず特徴点が抽出され、抽出された特徴点は白線検出に用いられる。すなわち、複数のカメラ１０１の視野が重複する領域において、複数のカメラの画像を用いて白線検出をすることができる。たとえば、あるカメラでは側方を走行する車両が障害物となり白線を撮影できない場合でも、別のカメラで白線を撮影し特徴点を抽出することが可能である。
（１）区画線認識装置１は、一部の視野が重複するように設置された複数のカメラ１０１と、複数のカメラ１０１の出力信号から得られたそれぞれの画像から特徴点を抽出する特徴点抽出部２０１と、特徴点抽出部２０１が抽出した特徴点の座標を、複数のカメラに共通する世界座標系の座標に変換する座標変換部２０２と、世界座標系で示される複数の特徴点の位置関係に基づき白線を検出する白線検知部２０４と、を備える。
区画線認識装置１は、カメラ１０１のそれぞれの撮影画像から特徴点を抽出し、抽出された特徴点の座標を世界座標系に変換し、世界座標系における特徴点の位置関係に基づき白線を検出する。そのため、それぞれのカメラ１０１の撮影画像において、他のカメラと視野が重複するか否かに関わらず特徴点が抽出され、抽出された特徴点は白線検出に用いられる。すなわち、複数のカメラ１０１の視野が重複する領域において、複数のカメラの画像を用いて白線検出をすることができる。たとえば、あるカメラでは側方を走行する車両が障害物となり白線を撮影できない場合でも、別のカメラで白線を撮影し特徴点を抽出することが可能である。
なお、各カメラの撮影画像を独立に処理して白線を検出し、視野が重複する領域については白線が検出されている撮影画像を採用する手法も考えられるが、区画線認識装置１の手法と比較すると以下の問題がある。すなわち、１つのカメラの視野だけでは白線を長い距離に渡って撮影できず、白線を検出することが困難である。特に白線が破線の場合に顕著である。区画線認識装置１の手法によれば、特徴点の抽出は撮影画像ごとに行うが、白線の検出は４つのカメラの視野から得られた情報、すなわち特徴点の位置関係に基づき白線を検出するので、このような問題が生じない。
また、座標変換を行う前に特徴点を抽出するので、座標変換を行う処理対象を撮影画像の全体から抽出された特徴点に減少させ、処理を高速化することができる。
また、座標変換を行う前に特徴点を抽出するので、座標変換を行う処理対象を撮影画像の全体から抽出された特徴点に減少させ、処理を高速化することができる。
（２）白線検知部２０４は、世界座標系における特徴点の位置関係に基づき、複数の特徴点から構成される白線候補を抽出し（図１３のステップＳ６０２〜Ｓ６０４）、白線候補が白線と判断される指標であるスコア累計値を、当該白線候補を構成する特徴点の特徴点である確からしさを示すスコアの総計として算出し（図１３のステップＳ６０６〜Ｓ６０７）、スコア累計値が予め定めた閾値より大きい白線候補を白線として検出する（図１８のステップＳ８０１）。
そのため、白線候補を構成する各特徴点が特徴点である確からしさに基づき、白線を決定することができる。
そのため、白線候補を構成する各特徴点が特徴点である確からしさに基づき、白線を決定することができる。
（３）白線検知部２０４は、世界座標系で所定距離以内に存在する特徴点であって、当該特徴点の検出に用いる撮影画像を得るカメラ１０１とは異なるカメラ１０１の撮影画像から得られた特徴点が存在する場合に、特徴点のスコアを高く算出する（図１６のステップＳ７０１〜Ｓ７０４）。
車両２に搭載されるカメラ１０１には、レンズへの異物の付着や太陽光の反射など外乱要素が多数存在しており、これら外乱により現実には物体が存在しない個所から特徴点を検出してしまうことがある。しかし、カメラ１０１を構成する別々のカメラの撮影画像からそれぞれ抽出された２つの特徴点が世界座標系において近傍に存在する場合は、その２点は同一の被写体である可能性が高い。すなわち、これら２点は信頼性が高いことを理由として、この特徴点のスコアを高く算出することができる。
車両２に搭載されるカメラ１０１には、レンズへの異物の付着や太陽光の反射など外乱要素が多数存在しており、これら外乱により現実には物体が存在しない個所から特徴点を検出してしまうことがある。しかし、カメラ１０１を構成する別々のカメラの撮影画像からそれぞれ抽出された２つの特徴点が世界座標系において近傍に存在する場合は、その２点は同一の被写体である可能性が高い。すなわち、これら２点は信頼性が高いことを理由として、この特徴点のスコアを高く算出することができる。
（４）白線検知部２０４は、スコア累計値が予め定めた閾値より大きい白線候補であって、他のスコア累計値が予め定めた閾値より大きい白線候補との間隔が、当該区画線認識装置を搭載した車両の走行している走行レーンの間隔と略一致する白線候補を白線として検出する（図１８のステップＳ８０２）。
そのため、白線と同様の幅を有する車両の模様を特徴点として検出した場合に、それらの特徴点から構成される白線候補を棄却することができる。
そのため、白線と同様の幅を有する車両の模様を特徴点として検出した場合に、それらの特徴点から構成される白線候補を棄却することができる。
（５）白線検知部は、閾値をカメラに撮影される白線の長さに基づき決定する（図１５のステップＳ１２０１〜Ｓ１２０５）。
そのため、車両２が走行する環境やカメラ１０１の内部パラメータ、および外部パラメータにあわせて適切な閾値を設定することができる。
そのため、車両２が走行する環境やカメラ１０１の内部パラメータ、および外部パラメータにあわせて適切な閾値を設定することができる。
（変形例１）
区画線認識装置１が備える画像処理装置１０２とＣＰＵ１０４の処理分担が異なってもよい。区画線認識装置１は、図２に示すソフトウエア構成を実現できればよく、たとえば、座標変換部２０２の機能は画像処理装置１０２が備えてもよいし、ＣＰＵ１０４が特徴点抽出部２０１の機能を備えてもよい。
区画線認識装置１が備える画像処理装置１０２とＣＰＵ１０４の処理分担が異なってもよい。区画線認識装置１は、図２に示すソフトウエア構成を実現できればよく、たとえば、座標変換部２０２の機能は画像処理装置１０２が備えてもよいし、ＣＰＵ１０４が特徴点抽出部２０１の機能を備えてもよい。
（変形例２）
区画線認識装置１は、検出した白線と自車両との位置関係をさらに判別してもよい。本変形例では、車両２の世界座標系における位置がＸ＝０となるように、共通座標バッファ２０３に格納された特徴点の座標があらかじめオフセットされていることとする。
図２０は、自車位置と検出した白線との位置関係を判別するフローチャートである。
ステップＳ１７０１では、検知した白線の情報を取得し、ステップＳ１７Ｌｓに進む。
ステップＳ１７ＬｓはＹ座標に関するループ処理の開始ステップであり、ループ終端のステップＳ１７Ｌｅまで、すなわち以下に説明するステップＳ１７０２〜Ｓ１７０７までの処理が、検知した全ての白線について繰り返される。
ステップＳ１７０２では、検出した白線のＸ座標を取得する。なお、前述のとおり世界座標系はＹ軸が白線と平行になるように回転させているので、白線の位置はＸ座標により特定される。
区画線認識装置１は、検出した白線と自車両との位置関係をさらに判別してもよい。本変形例では、車両２の世界座標系における位置がＸ＝０となるように、共通座標バッファ２０３に格納された特徴点の座標があらかじめオフセットされていることとする。
図２０は、自車位置と検出した白線との位置関係を判別するフローチャートである。
ステップＳ１７０１では、検知した白線の情報を取得し、ステップＳ１７Ｌｓに進む。
ステップＳ１７ＬｓはＹ座標に関するループ処理の開始ステップであり、ループ終端のステップＳ１７Ｌｅまで、すなわち以下に説明するステップＳ１７０２〜Ｓ１７０７までの処理が、検知した全ての白線について繰り返される。
ステップＳ１７０２では、検出した白線のＸ座標を取得する。なお、前述のとおり世界座標系はＹ軸が白線と平行になるように回転させているので、白線の位置はＸ座標により特定される。
続くステップＳ１７０３では、白線のＸ座標が自車両を中心に車両２の車幅よりも内側にあるか否かを判断する。本変形例では自車両の位置をＸ＝０としているので、−車幅／２＜Ｘ＜車幅／２を満たすか否かを判断する。この条件を満たすと判断する場合はステップＳ１７０５に進み、その白線を車両２が跨いでいる状態にあると判断する。一方、この条件を満たさないと判断するとステップＳ１７０４に進む。
ステップＳ１７０４では、白線のＸ座標が正であるか否かを判断する。世界座標系は車両２の進行方向右側をＸ軸の正方向と定義しているので、この条件を満たすと判断するとステップＳ１７０７に進み、その白線が車両２の右側にあると判断する。一方、この条件を満たさないと判断するとステップＳ１７０６に進み、その白線が車両２の左側にあると判断する。
ステップＳ１７０４では、白線のＸ座標が正であるか否かを判断する。世界座標系は車両２の進行方向右側をＸ軸の正方向と定義しているので、この条件を満たすと判断するとステップＳ１７０７に進み、その白線が車両２の右側にあると判断する。一方、この条件を満たさないと判断するとステップＳ１７０６に進み、その白線が車両２の左側にあると判断する。
この変形例２によれば、車両２が白線を跨いでいる場合を含めて、抽出された白線と車両２との位置関係を判別することができる。そのため、この位置関係の情報を用いて車両２が走行中の走行レーンや、左右に存在する走行レーンの有無や存在する数を把握することができる。隣接する走行レーンの有無により接近車両を注意する必要性や自車両の車線変更の検討などが変化するので、白線と車両２との位置関係を判別は、例えば車両２の自動運転に役立てることができる。
（変形例３）
第１の実施の形態では、撮影画像から抽出された特徴点を世界座標に変換した（図８のステップＳ３０１、Ｓ３０２）。しかし、撮影画像を世界座標に変換してから特徴点を抽出してもよい。ただし、特徴点の抽出は他のカメラ１０１の撮影画像とは独立して行い、他のカメラ１０１と視野が重複する領域からも特徴点を抽出する。
この変形例３によれば、４台のカメラ１０１の撮影画像を用いて車両２を上から見下ろしたような周囲環境の画像、いわゆる俯瞰画像を作成することを前提とすれば、高い処理負荷がかかる画像の座標変換処理を他の処理に先駆けて開始することができる。
第１の実施の形態では、撮影画像から抽出された特徴点を世界座標に変換した（図８のステップＳ３０１、Ｓ３０２）。しかし、撮影画像を世界座標に変換してから特徴点を抽出してもよい。ただし、特徴点の抽出は他のカメラ１０１の撮影画像とは独立して行い、他のカメラ１０１と視野が重複する領域からも特徴点を抽出する。
この変形例３によれば、４台のカメラ１０１の撮影画像を用いて車両２を上から見下ろしたような周囲環境の画像、いわゆる俯瞰画像を作成することを前提とすれば、高い処理負荷がかかる画像の座標変換処理を他の処理に先駆けて開始することができる。
（第２の実施の形態）
図２１〜図２２を参照して、区画線認識装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、複数のカメラの視野が重なる領域は特定のカメラの撮影画像のみを用いる点で、第１の実施の形態と異なる。
区画線認識装置１のハードウエア構成は第１の実施の形態と同様である。記憶装置１０３に格納されるプログラムの動作が第１の実施の形態と一部異なる。
図２１〜図２２を参照して、区画線認識装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、複数のカメラの視野が重なる領域は特定のカメラの撮影画像のみを用いる点で、第１の実施の形態と異なる。
区画線認識装置１のハードウエア構成は第１の実施の形態と同様である。記憶装置１０３に格納されるプログラムの動作が第１の実施の形態と一部異なる。
図２１は、第２の実施の形態において図８のステップＳ３０２の詳細を示すフローチャートであり、第１の実施の形態における図１０のフローチャートの代わりに実行される処理を表している。第１の実施の形態と同一の処理には同一のステップ番号を付して説明を省略する。
ステップＳ１９００Ａでは、世界座標系におけるカメラ１０１の撮影範囲の分担を設定し、ステップＳ１９Ｌ１ｓに進む。
ステップＳ１９００Ａでは、世界座標系におけるカメラ１０１の撮影範囲の分担を設定し、ステップＳ１９Ｌ１ｓに進む。
図２２は、カメラ１０１の撮影範囲の分担例を示す図である。図２２に示すように、前カメラ１０１−Ｆｒは車両２の前方であって車両を中心に距離Ｌの範囲の前方領域１５０２を、後カメラ１０１−Ｒｒは車両２の後方であって車両を中心に距離Ｌの範囲の後方領域１５０３を、右カメラ１０１−ＳＲは車両２の右側であって前方領域１５０２および後方領域１５０３を除く領域である右領域１５０４を、左カメラ１０１−ＳＬは車両２の左側であって前方領域１５０２および後方領域１５０３を除く領域である左領域１５０１を分担させる。なお、ステップＳ１９００Ａの処理は予め実行しておき、実行結果を記憶装置１０３に格納してもよい。
図２１に戻って説明を続ける。
次に、記憶装置１０３から処理対象のカメラ１０１について、外部パラメータと内部パラメータを取得し（ステップＳ１９０１）、処理対象の特徴点を外部パラメータおよび内部パラメータを用いて世界座標に変換する（ステップ１９０２）。そして世界座標に変換した特徴点のうち、処理対象のカメラ１０１が分担する領域に含まれる特徴点を共通座標バッファ２０３に格納する（ステップ１９０３Ａ）。すなわち、処理対象のカメラ１０１が分担する領域に含まれない特徴点は、共通座標バッファ２０３に格納しない。
上述した第２の実施の形態によれば、区画線認識装置１は、重複する視野はいずれか１つのカメラの撮影画像しか処理しないため、処理が簡便である。
次に、記憶装置１０３から処理対象のカメラ１０１について、外部パラメータと内部パラメータを取得し（ステップＳ１９０１）、処理対象の特徴点を外部パラメータおよび内部パラメータを用いて世界座標に変換する（ステップ１９０２）。そして世界座標に変換した特徴点のうち、処理対象のカメラ１０１が分担する領域に含まれる特徴点を共通座標バッファ２０３に格納する（ステップ１９０３Ａ）。すなわち、処理対象のカメラ１０１が分担する領域に含まれない特徴点は、共通座標バッファ２０３に格納しない。
上述した第２の実施の形態によれば、区画線認識装置１は、重複する視野はいずれか１つのカメラの撮影画像しか処理しないため、処理が簡便である。
上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
上述した各実施の形態および変形例では、車道に描かれた白線の認識について説明したが、白線が描かれる場所は車道に限定されず、構内や屋内であってもよい。また、白線は道路区画線の一例として挙げたものであり、認識する線の色は白に限定されず、黄色やオレンジでもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
上述した各実施の形態および変形例では、車道に描かれた白線の認識について説明したが、白線が描かれる場所は車道に限定されず、構内や屋内であってもよい。また、白線は道路区画線の一例として挙げたものであり、認識する線の色は白に限定されず、黄色やオレンジでもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
１ … 区画線認識装置
２ … 車両
１０１ … カメラ
１０２ … 画像処理装置
１０３ … 記憶装置
１０３Ａ … 道路別区画線情報
１０５Ａ … 白線情報
１０８ … 車両制御ユニット
２０１ … 特徴点抽出部
２０２ … 座標変換部
２０３ … 共通座標バッファ
２０４ … 白線検知部
２ … 車両
１０１ … カメラ
１０２ … 画像処理装置
１０３ … 記憶装置
１０３Ａ … 道路別区画線情報
１０５Ａ … 白線情報
１０８ … 車両制御ユニット
２０１ … 特徴点抽出部
２０２ … 座標変換部
２０３ … 共通座標バッファ
２０４ … 白線検知部
Claims (3)
- 一部の視野が重複するように設置された複数のカメラと、
前記複数のカメラの出力信号から得られたそれぞれの画像から特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部が抽出した特徴点の座標を、前記複数のカメラに共通する世界座標系の座標に変換する座標変換部と、
前記世界座標系で示される複数の前記特徴点の位置関係に基づき白線を検出する白線検知部と、を備え、
前記白線検知部は、
前記世界座標系における前記特徴点の位置関係に基づき、複数の特徴点から構成される白線候補を抽出し、
前記白線候補が白線と判断される指標であるスコア累計値を、当該白線候補を構成する特徴点の特徴点である確からしさを示すスコアの総計として算出する際、前記世界座標系で所定距離以内に存在する特徴点であって、当該特徴点の検出に用いる撮影画像を得るカメラとは異なるカメラの撮影画像から得られた特徴点が存在する場合に、前記特徴点のスコアを高く算出し、
前記スコア累計値が予め定めた閾値より大きい前記白線候補を白線として検出する区画線認識装置。 - 請求項１に記載の区画線認識装置において、
前記白線検知部は、前記スコア累計値が予め定めた閾値より大きい前記白線候補であって、他の前記スコア累計値が予め定めた閾値より大きい前記白線候補との間隔が、当該区画線認識装置を搭載した車両の走行している走行レーンの間隔と略一致する前記白線候補を前記白線として検出する、区画線認識装置。 - 請求項１に記載の区画線認識装置において、
前記白線検知部は、前記閾値を前記カメラに撮影される白線の長さに基づき決定する、区画線認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016036753A JP6611334B2 (ja) | 2016-02-29 | 2016-02-29 | 区画線認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016036753A JP6611334B2 (ja) | 2016-02-29 | 2016-02-29 | 区画線認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017156795A JP2017156795A (ja) | 2017-09-07 |
| JP6611334B2 true JP6611334B2 (ja) | 2019-11-27 |
Family
ID=59810092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016036753A Active JP6611334B2 (ja) | 2016-02-29 | 2016-02-29 | 区画線認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6611334B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145860B (zh) * | 2018-09-04 | 2019-12-13 | 百度在线网络技术（北京）有限公司 | 车道线跟踪方法和装置 |
| JP7255345B2 (ja) * | 2019-05-13 | 2023-04-11 | スズキ株式会社 | 走行車線認識装置、走行車線認識方法およびプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4327389B2 (ja) * | 2001-10-17 | 2009-09-09 | 株式会社日立製作所 | 走行レーン認識装置 |
| JP5469509B2 (ja) * | 2010-03-31 | 2014-04-16 | パナソニック株式会社 | 車線位置検出装置および車線位置検出方法 |
| JP6241172B2 (ja) * | 2013-09-25 | 2017-12-06 | 日産自動車株式会社 | 自車位置推定装置及び自車位置推定方法 |
| JP6314655B2 (ja) * | 2014-05-23 | 2018-04-25 | 日産自動車株式会社 | 標示線検出装置、標示線検出方法 |
-
2016
- 2016-02-29 JP JP2016036753A patent/JP6611334B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017156795A (ja) | 2017-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11200433B2 (en) | Detection and classification systems and methods for autonomous vehicle navigation | |
| US11960293B2 (en) | Systems and methods for navigating lane merges and lane splits | |
| US11669102B2 (en) | Navigating a vehicle based on a detected barrier | |
| US10753758B2 (en) | Top-down refinement in lane marking navigation | |
| US10696227B2 (en) | Determining a road surface characteristic | |
| EP3598074B1 (en) | Controlling host vehicle based on the detection of a vehicle moving towards the host vehicle's lane. | |
| EP3548845B1 (en) | Navigation based on vehicle activity | |
| US20230382422A1 (en) | Systems and methods for vehicle navigation | |
| US20220001872A1 (en) | Semantic lane description | |
| EP3576008B1 (en) | Image based lane marking classification | |
| WO2021096935A2 (en) | Systems and methods for determining road safety | |
| WO2015177648A1 (en) | Systems and methods for curb detection and pedestrian hazard assessment | |
| US11280630B2 (en) | Updating map data | |
| JP2006208223A (ja) | 車両位置認識装置及び車両位置認識方法 | |
| JP4761156B2 (ja) | 地物位置認識装置及び地物位置認識方法 | |
| US20220136853A1 (en) | Reducing stored parameters for a navigation system | |
| JP2020067698A (ja) | 区画線検出装置及び区画線検出方法 | |
| JP6611334B2 (ja) | 区画線認識装置 | |
| WO2020008787A1 (ja) | カメラ装置の標識認識方法及び標識認識装置 | |
| WO2022038415A1 (en) | Systems and methods for processing atomic commands | |
| WO2023067385A2 (en) | Radar-camera fusion for vehicle navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170315 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170921 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180822 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190905 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191028 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6611334 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |