WO2014084121A1 - 車載用制御装置 - Google Patents

Abstract

　車載用制御装置は、車両の周囲を撮像する撮像装置から撮像した画像を取得する画像取得部と、画像取得部により取得した画像から車両の周囲を車両の上方から見た平面図である俯瞰画像を生成する俯瞰画像生成部と、俯瞰画像の中から路面上の白線候補を認識する白線認識部と、白線認識部で認識した白線候補の位置情報を含む情報を保存する白線情報保存部と、白線情報保存部により保存された過去の白線候補の情報と車両の挙動の情報に基づき白線候補の移動位置を予測する白線位置予測部と、白線認識部で認識した白線候補のうち、俯瞰画像において撮像装置から放射方向に存在する白線候補であって、所定の条件を満たす白線候補を除外する白線判定部とを備える。

Description

車載用制御装置

　本発明は、車両に搭載され、車両の周囲の白線を適切に認識する車載用制御装置に関する。

　従来、車両に搭載された撮像装置（カメラ）により撮像された画像を利用して車線や駐車場枠の白線を認識し、これらの白線の認識結果を車両の走行制御や駐車支援に利用される技術が知られている。このような技術において、車線や駐車場枠の白線を精度よく認識する必要がある。一方、撮像された画像を俯瞰画像（鳥瞰画像）に変換した場合、立体物については倒れ込みが生じることが知られている（特許文献１）。

日本国特開２０１２－３６６２号公報

　俯瞰画像を利用した車線や駐車場枠の白線の認識において、立体物の倒れ込み像を誤って白線と認識する可能性がある。また、撮像装置（カメラ）のレンズに付着した雨滴の影響により本来白線ではない像を誤って白線として認識される可能性があることも知られている。これらの本来白線ではない像を適切に白線の認識から除外する必要がある。

　本発明の第１の態様によると、車載用制御装置は、車両の周囲を撮像する撮像装置から撮像した画像を取得する画像取得部と、画像取得部により取得した画像から車両の周囲を車両の上方から見た平面図である俯瞰画像を生成する俯瞰画像生成部と、俯瞰画像の中から路面上の白線候補を認識する白線認識部と、白線認識部で認識した白線候補の位置情報を含む情報を保存する白線情報保存部と、白線情報保存部により保存された過去の白線候補の情報と車両の挙動の情報に基づき白線候補の移動位置を予測する白線位置予測部と、白線認識部で認識した白線候補のうち、俯瞰画像において撮像装置から放射方向に存在する白線候補であって、所定の条件を満たす白線候補を除外する白線判定部とを備える。
　本発明の第２の態様によると、第１の態様の車載用制御装置において、所定の条件とは、白線情報保存部により保存された過去の白線候補と同じ位置にあること、白線位置予測部で予測した白線候補の移動位置から所定距離以上ずれが生じていることの少なくとも一方であるのが好ましい。
　本発明の第３の態様によると、第１の態様の車載用制御装置において、所定の条件とは、車両の移動により予測される傾きの変化とは異なる変化を示すことであるのが好ましい。
　本発明の第４の態様によると、第２の態様の車載用制御装置において、白線判定部は、俯瞰画像を撮像装置の位置から放射状に延びる区分線により複数の領域に区分し、条件を満たす白線候補を検出した領域においては得点を加算し、検出しなかった領域においては得点を減算し、所定の閾値以上の領域の白線候補を付着物によるものと判断するのが好ましい。
　本発明の第５の態様によると、第４の態様の車載用制御装置において、白線判定部は、領域における得点が増加していくときに使用する所定の閾値の値を、領域における得点が減少していくときに使用する所定の閾値の値より大きくするのが好ましい。
　本発明の第６の態様によると、車載用制御装置は、車両の周囲を撮像する撮像装置から撮像した画像を取得する画像取得部と、画像取得部により取得した画像から路面上の白線候補を認識する白線認識部と、白線認識部で認識した白線候補の情報を保存する白線情報保存部と、白線情報保存部により保存された過去の白線候補の情報と車両の挙動の情報に基づき白線候補の移動位置を予測する白線位置予測部と、白線認識部で認識した白線候補のうち、白線位置予測部で予測した白線候補の移動位置から所定距離以上ずれが生じている条件を満たす白線候補を除外する白線判定部とを備える。

　本発明によれば、本来の白線ではない像を適切に白線の認識から除外することができる。

本発明の一実施形態による車載用制御装置１を示すブロック図である。 車載用制御装置1により生成された俯瞰画像１０の例を示す図である。 車載用制御装置１が行う演算処理の制御ブロック図である。 付着物判定部１０７の詳細な制御ブロック図を示す図である。 俯瞰画像を放射状に延びた線により複数の区画に分類する例を示す図である。 スコア計算と判定のオンオフの様子を示す図である。 雨滴の影響により本来白線ではない像を白線として判断される様子を説明する図である。 図７の画像を俯瞰画像に変換した様子を示す図である。 俯瞰画像上で、路面に描かれた白線と、白線として検知されたレンズ水滴の場合の移動の様子を説明する図である。 立体物判定部１０８の詳細な制御ブロック図を示す図である。 立体物であるガードレールの様子を説明する図である。 図１１の画像を俯瞰画像に変換した様子を示す図である。

　図１は、本発明の一実施形態による車載用制御装置１を示すブロック図である。図１に示す車載用制御装置１は、車両に搭載されて使用されるものであり、カメラ２ａ、２ｂ、２ｃおよび２ｄと、車速センサ３と、振動ジャイロ４とが接続されている。また、ＣＡＮ（Controller Area Network）を経由して上位の上位車両制御装置５に接続されている。

　カメラ２ａ～２ｄは、例えば、ＣＣＤやＣＭＯＳなどの撮像素子や周辺回路や光学レンズなどから構成され、車両のボディ、バンパー、ドアミラー等の各部に設置されている。これらのカメラ２ａ～２ｄは、撮像装置と呼ぶ。

　カメラ２ａ～２ｄは、車両の周囲をそれぞれ異なる撮像範囲で撮像（撮影）する。これらの各カメラの撮像範囲は、合わせて車両の全周囲をカバーできるように定められている。本実施形態では、カメラ２ａは車両前方の撮像範囲を、カメラ２ｂは車両左側方の撮像範囲を、カメラ２ｃは車両右側方の撮像範囲を、カメラ２ｄは車両後方の撮像範囲をそれぞれ撮像するものとする。カメラ２ａ～２ｄにより所定のフレームレート間隔でそれぞれ取得された撮像画像は、車載用制御装置１へ出力される。

　車載用制御装置１は、カメラ２ａ～２ｄにより取得された各撮像画像に基づいて、車両の全周囲を俯瞰した様子を示す俯瞰画像（トップビュー画像）を生成する。この俯瞰画像は、カメラ２ａ～２ｄの各撮像画像をその撮像方向に応じて座標変換（俯瞰変換）した上で繋ぎ合わせることによって合成され生成されるものである。

　図２は、車載用制御装置1により生成された俯瞰画像１０の例を示す図である。俯瞰画像１０は、車両１１の前方、左側方、右側方および後方にそれぞれ対応する４つの画像領域１０ａ、１０ｂ、１０ｃおよび１０ｄにより構成されている。これらの画像領域の各画像は、図１のカメラ２ａ～２ｄによってそれぞれ撮像された画像に基づいて作成されたものである。俯瞰画像１０は車両１１の上部から見た平面図である。

　車載用制御装置１は、生成された俯瞰画像に基づいて所定の演算処理を行うことにより、車両周囲の駐車枠や走行車線の白線を認識する。このような駐車枠や走行車線の白線の認識結果は、ＣＡＮを経由して上位の上位車両制御装置５へと出力され、車両の駐車支援や走行制御等に利用される。たとえば、自車から駐車枠までの相対的な位置姿勢に基づいて，駐車枠までの走行経路を計算し，ドライバーにブレーキやシフトポジション変更のタイミングや，舵角の操作量を通知することによって，駐車支援を行うことが可能となる。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、短時間で駐車動作が完了できるようになる。さらには、自車から駐車枠までの相対的な位置姿勢に基づいて，駐車枠までの走行経路を計算し、自動で車両の前進・後退・旋回の制御量を計算し、その計算結果に従って車両運動を自動制御してもよい。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、安全かつ正確に駐車動作を完了できるようになる。

　このように、白線の認識結果は車両の駐車支援や走行制御等に利用されるため、白線の認識結果は精度の高いことが求められる。

　一方、カメラ２ａ～２ｄによってそれぞれ撮像された画像から俯瞰画像を生成するとき、カメラのレンズに付着した雨滴などの影響により、俯瞰画像上に白線のような像が映ることが知られている。そして、この像を誤って白線として認識する可能性がある。また、俯瞰画像を生成するときに、ガードレールや樹木などの立体物が俯瞰画像上に倒れ込むように映ることが知られており、それを誤って白線と認識する可能性もある。立体物とは、ガードレールの支柱や樹木などのように、路面や地面などから上側に延びている要素を持つものを言う。この上側とは垂直に延びるものを含むが、必ずしも垂直に限らなくてもよい。

　本実施の形態の車載用制御装置１は、このような付着した雨滴などの影響による誤った白線の認識や、ガードレールや樹木などの立体物の倒れ込みによる誤った白線の認識を、適切に除外するところに特徴がある。従って、車載用制御装置１は、車載用白線認識装置と呼ぶこともできる。また、カメラ２ａ～２ｄで撮像した画像を処理するため、車載用画像処理装置と呼ぶこともできる。以下、この内容を詳細に説明する。

　車載用制御装置１は、内部にＣＰＵ１ａ、周辺回路１ｂ、メモリ１ｃ、ハードディスクなどの格納装置１ｄなどを有し、メモリ１ｃに格納された所定のプログラムを実行することにより、付着した雨滴などの影響による誤った白線の認識や、ガードレールや樹木などの立体物の倒れ込みによる誤った白線の認識を、適切に除外する。

　図３は、車載用制御装置１が行う演算処理の制御ブロック図である。図３に示すように、車載用制御装置１は、画像取得部１０１、俯瞰画像生成部１０２、白線認識部１０３、白線情報取得部１０４、白線位置保存部１０５、白線位置予測部１０６、付着物判定部１０７、立体物判定部１０８、白線判定部１０９などの各制御ブロックを機能的に有する。これらの各制御ブロックは、車載用制御装置１のＣＰＵ１ａが、各制御ブロックに対応するプログラムを実行することにより実現する。以下、各制御ブロックを説明する。

　画像取得部１０１は、カメラ２ａ～２ｄから撮像画像を時系列に所定の時間間隔ごとに取得する。

　俯瞰画像生成部１０２は、カメラ２ａ～２ｄの各撮像画像をその撮像方向に応じて座標変換（俯瞰変換）し、それらを繋ぎ合わせることによって合成して俯瞰画像を生成するものである。俯瞰画像１０は、図２に示されているように、車両１１の前方、左側方、右側方および後方にそれぞれ対応する４つの画像領域１０ａ、１０ｂ、１０ｃおよび１０ｄにより構成されており、それぞれ図１のカメラ２ａ～２ｄに対応している。

　白線認識部１０３は、俯瞰画像生成部１０２により生成された俯瞰画像を解析し、路面上に描かれた白線を認識する。例えば、俯瞰画像において、横方向に探索したときの輝度変化が所定のしきい値以上であるエッジ点を抽出し、抽出したエッジ点に基づき白線を認識する手法などがある。ただし、俯瞰画像からの白線を認識する手法は公知な内容であり、本実施の形態では各種の公知な手法を採用すればよい。

　白線情報取得部１０４は、このようにして認識された白線の白線情報を取得する。白線情報には、白線の端点の位置情報やそれが実線の白線か破線の白線かなどの情報が含まれる。白線位置保存部１０５は、白線情報取得部１０４により取得された白線情報を車載用制御装置１内の格納装置１ｄに格納する。格納装置１ｄには過去に格納された白線情報も保存されており、今回認識された白線の情報を、過去の白線の情報に加えて保存する。

　白線位置予測部１０６は、格納装置１ｄに格納された過去の白線の白線位置情報と、車両の挙動情報から、該当する白線がどの位置に移動するかを予測する。車両の挙動情報は、車載用制御装置１が、車速センサ３や振動ジャイロ４からの信号にもとづき、公知のデッドレコニング処理を行うことにより得る。すなわち、車両がどのような速度でどのように移動していくかの情報を車両の挙動情報として得る。白線位置予測部１０６は、この車両の挙動情報に基づき、俯瞰画像上の白線がどのような挙動をするかを解析し、最終的な白線の移動位置を計算し、予測する。

　付着物判定部１０７は、白線認識部１０３で白線と認識された白線の中から、カメラ２ａ～２ｄのレンズに付着した雨滴や水滴やその他の付着物などの影響により白線として認識された本来の白線ではない白線を判定する（後述する）。立体物判定部１０８は、白線認識部１０３で白線と認識された白線の中から、俯瞰画像変換のときにガードレールや樹木などの立体物が倒れ込んで映った像が白線として認識された本来の白線ではない白線を判定する（後述する）。

　白線判定部１０９は、付着物判定部１０７や立体物判定部１０８で本来の白線でないと判定された白線を、白線認識部１０３で白線と認識された白線の中から除外する処理を行う。

　次に、付着物判定部１０７のさらに詳細な内容を説明する。図４は、付着物判定部１０７の詳細な制御ブロック図を示す図である。付着物判定部１０７は、白線付着計算部２０１、付着情報記憶部２０２、白線付着判定部２０３などから構成される。これらの制御ブロックも、車載用制御装置１のＣＰＵ１ａが、各制御ブロックに対応するプログラムを実行することにより実現する。

　付着物判定部１０７は、カメラ２ａ～２ｄのレンズなどに雨滴などの水滴が付着した際に、その水滴に写りこんだ光や周囲環境が白っぽくカメラに写ることにより、それを白線として誤検知した白線を判定する。これらの水滴の影響による白線とみなされたものは、俯瞰画像上では、撮像装置から放射線上に延びていることが実験やシミュレーションなどの結果得られている。これは、水滴における路面から垂直方向に延びる像が影響していると考えられる。従って、付着物判定部１０７で判定対象とする白線は、撮像装置から放射線上（放射状）に延びている白線を対象とする。撮像装置から放射線上に延びている白線かどうかは、白線の長尺方向の両端の端点情報からそれらの端点が放射線状の位置にあるかどうかで判断できる。

　白線付着計算部２０１は、白線位置保存部１０５により格納装置１ｄに格納された過去の白線情報を読み出し、今回認識された放射線上にある白線と同じ位置（所定の範囲を持った同じ位置）に、直前の過去から所定の回数分過去にさかのぼって白線が認識されているかどうかを判断する。これにより、放射線上の位置にある白線が、移動せず固定されているかどうかを判断することができる。そして、放射線上にある固定された白線を雨滴等の水滴の影響によるものと判断することができる。

　あるいは、白線位置予測部１０６により、車両の挙動情報から、白線がどの位置に移動するかを予測し、白線付着計算部２０１が、白線の現在の位置が予測した位置から所定値以上ずれているかどうかを計算する。白線の現在の位置が予測した位置から所定値以上ずれている場合は、本来の白線ではなく雨滴などの付着の影響によるものとして判断する。これによっても、放射線上の位置にある白線が、本来の白線ではなく雨滴などの付着の影響によるものとして判断することができる。なお、白線付着計算部２０１の上記２つの判断手法をＡＮＤ条件で判断してもよい。

　また、車両が停止している場合は、放射線上の位置にある本来の白線も、同様に移動せずに固定して認識されたり、白線の現在の位置が予測した位置から所定値以上ずれていないと判断される。従って、このような場合を排除するために、白線付着計算部２０１の処理の条件として、車両が所定の距離（例えば０．２ｍ）以上移動したことも条件とする。

　付着情報記憶部２０２は、白線付着計算部２０１の結果をうけて白線の位置によってその付着情報を記憶する。前述したように、水滴の影響による白線とみなされたものは、俯瞰画像上では、撮像装置から放射線上に延びていることが実験やシミュレーションなどの結果得られている。従って、本実施の形態では、俯瞰画像をカメラから放射状に延びた線により複数の区画に分類し、それらの区画ごとにスコア（得点）をつけることにより、管理するようにしている。以下、この内容を説明する。

　図５は、俯瞰画像をカメラ２ａから放射状に延びた線により複数の区画に分割する例を示す図である。分割した区画に対応して、メモリ１ｃ上に得点エリアを設ける。図５の例は、車両１１の前方を撮像するカメラ２ａの画像に基づく左半分の俯瞰画像を複数の領域に分割している例を示す。領域２１において白線２２が認識され、その白線が白線付着計算部２０１の判断により、雨滴等の水滴の影響によるものと判断された場合に、付着情報記憶部２０２は領域２１のスコアを加算する。領域２１における白線２２の認識は、白線２２の両端の端点の座標が領域２１内にあるかどうかで判断する。

　白線付着判定部２０３は、放射状に区画された各領域が持つ付着情報であるスコアが所定の閾値以上かどうかを判断し、所定の閾値以上の領域にある放射線上にある白線を本来の白線ではなく雨滴などの付着の影響によるものとして判断する。

　以下、スコアについて説明する。白線付着計算部２０１が雨滴等の水滴の影響による白線と判断した白線の存在する領域では、例えば７点を加算する。一方、白線付着計算部２０１が雨滴等の水滴の影響による白線と判断した白線がなかった領域では、２点を減算する。さらに、放射状の白線が確実に本来の破線白線であることが認識された領域では、５点を減算する。さらに、車両が所定の距離（例えば０．２ｍ）以上移動しなかった場合も所定の値を減算する。

　このようにすることで、雨滴等が付着し、付着が維持されると、スコアが加算されていき、所定の閾値以上例えば７０点以上になると、付着判定をオンにする。付着判定がオンされた領域に、放射状にある白線が認識された場合は、その白線を雨滴等の水滴の影響によるものと判断される。

　一方、状況の変化で雨滴が取れた場合にも対処する必要がある。このため、上記のような減算処理をする。これにより、所定の閾値以下例えば５５点以下になると付着判定をオフにする。付着判定がオフされた領域では、放射状に認識された白線であって、白線付着計算部２０１の判断がなされても、雨滴等の水滴の影響によるものとは判断されない。

　このような領域（ゾーン）のスコアで付着判定をするのは、水滴の変化が１回の変化だけで、水滴が付着したとか水滴が取れたとか判断するのは適切でないためである。このような処理を行うことにより、雨滴の影響による判断を安定して適切におこなうことができる。

　なお、本実施の形態では、オンするときの閾値とオフするときの閾値を異ならせるようにしている。例えば、オンする時の閾値を７０点とし、オフするときの閾値をそれよりも小さい５５点とする。このようにヒステリシスを持たせることにより、オンオフのチャタリングを防止することができる。図６は、このようなスコア計算と判定のオンオフの様子を示す図である。

　図７は、上記で説明した雨滴の影響により本来白線ではない像を白線として判断される様子を説明する図である。図７(ａ)は、例えばカメラ２ａによりＴ秒時における車両前方を撮像した様子を示すスルー画（スルー映像）の図である。スルー画とは、カメラ２ａが撮像したそのままの画像（映像）である。図７(ａ)には、道路３１上に実線車線３２および破線車線３３が描かれ、水滴３５－３９が示されている。水滴３５には白線に間違われそうな光の映り込みがある。

　図７(ｂ)は、図７(ａ)のスルー画の画像において、白線認識をした画像を示す。本実施の形態では、前述したとおり俯瞰画像上で白線認識をする例を説明したが、図７(ｂ)は便宜上図７(ａ)の画像において白線認識をする例を示している。図７(ｂ)では、本来の白線Ａ－Ｅが示され、さらに、水滴の影響により白線と認識された白線Ｄが示されている。

　そして、図７(ｃ)において、Ｔ＋１秒後の白線認識の変化が示されている。車両が前進することにより、白線の表示が後退し、白線Ａ、Ｂが少し後退し、白線Ｃが消失している様子が示されている。白線Ｅの下端が取得した画像の境界に接しているまたは境界から所定の範囲内に存在していることは、この白線の長さは取得した画像から認識可能な長さより長いことを意味するため、白線Eは実線であると判断できる。そのため変化がないように見える。一方、白線Ｄの位置は変化していない。

　図８は、上記の図７の画像を俯瞰画像に変換した様子を示す図である。図８(ａ)は図７（ａ）あるいは図７(ｂ)に対応する俯瞰画像であり、図８(ｂ)は図７(ｃ)に対応する俯瞰画像である。図８の俯瞰画像においては、白線Ｄは前方カメラ２ａの位置から放射状に存在し、Ｔ秒からＴ＋１秒車両が移動しても、白線Ａ－Ｃは移動しているが、白線Ｄは同じ位置にあり移動していないことが示されている。これにより、白線Ｄは上記の判断により水滴による影響の白線と判断することができる。

　図９は、俯瞰画像上で、路面に描かれた白線と、白線として検知されたレンズ水滴の場合の移動の様子を説明する図である。図９(ａ)はＴ秒時における本来の白線が示され、図９(ｂ)は車両がＴ＋１秒移動した場合における本来の白線が移動している様子が示されている。一方、図９(ｃ)はＴ秒時におけるレンズ水滴の影響により検知された白線が示され、図９(ｄ)は車両がＴ＋１秒移動した場合におけるレンズ水滴の影響により検知された白線の様子が示されている。図９(ｄ)において、白線位置予測部１０６で予測された白線の位置が点線で示されているが、実際に認識された白線は実線で示された位置であり、図９(ｃ)の位置と変化がない。このように、レンズ水滴の影響により検知された白線は移動しないことが示されている。　

　次に、立体物判定部１０８のさらに詳細な内容を説明する。図１０は、立体物判定部１０８の詳細な制御ブロック図を示す図である。立体物判定部１０８は、白線角度計算部３０１と、白線角度比較部３０２などから構成される。これらの制御ブロックも、車載用制御装置１のＣＰＵ１ａが、各制御ブロックに対応するプログラムを実行することにより実現する。

　白線角度計算部３０１は、白線認識部１０３で認識された白線の角度を計算する。例えば、俯瞰画像の水平方向を基準に計算し、白線の長尺方向の両端の端点を結ぶ線の角度を計算する。また、直前に白線位置保存部１０５で格納装置１ｄに格納された過去の白線の情報を読み出し、同様に角度を計算する。白線角度計算部３０１は、さらに、読み出した過去の白線について、それが立体物であると仮定し、車両の移動に伴い立体物として白線の移動を予測する。このとき、立体物として白線の角度変化も予測して白線の移動を予測する。

　白線角度比較部３０２は、今回認識された白線の中に、白線角度計算部３０１が立体物であると仮定して移動を予測した白線と一致するものがあるかどうかを判断する。そして、一致するものがあった場合は、その白線は立体物の倒れ込み像による白線と判断し、本来の白線から除外する。

　このようにして、白線認識部１０３で認識した白線のうち、車両の移動に伴ってその傾きが変化する白線を、本来の白線ではないとして除外することができる。具体的には、現在の白線と過去の白線の角度変化が、立体物の白線角度変化に近い動きをする白線について、本来の白線ではないとして除外することができる。

　図１１は、上記で説明した立体物であるガードレールの様子を説明する図である。図１１(ａ)は、例えばカメラ２ａによりＴ秒時における車両前方を撮像した様子を示すスルー画（スルー映像）の図である。図１１(ａ)には、道路４１上に実線車線４２および破線車線４３が描かれ、ガードレール４４、４５が示されている。

　図１１(ｂ)は、図１１(ａ)のスルー画の画像において、白線認識をした画像を示す。本実施の形態では、前述したとおり俯瞰画像上で白線認識をする例を説明したが、図１１(ｂ)は便宜上図１１(ａ)の画像において白線認識をする例を示している。

　図１１(ｃ)は、カメラ２ａによりＴ＋１秒時における車両前方を撮像した様子を示すスルー画（スルー映像）の図である。図１１(ｃ)には、車両の進行に伴いガードレール４４、４５が後退している様子が示されている。図１１(ｄ)は、図１１(ｃ)のスルー画の画像において、白線認識をした画像を示す。

　図１２は、上記の図１１の画像を俯瞰画像に変換した様子を示す図である。図１２（ａ）は、Ｔ秒時の俯瞰画像である。ただし、説明の便宜上、ガードレール５０は１本だけ、車線としては右側の破線車線５１－５４のみを示し、破線車線の上部側（車両進行方向の先）には右に傾いた車線５４があるとして示されている。車線５４は、本来の車線である。なお、車線は白線である。図１２(ｂ)は、図１２(ａ)の俯瞰画像で白線認識をし、白線抽出をした結果を示す図である。白線５１－５４が抽出され、さらに、ガードレール５１の垂直方向に延びている支柱（立体物）が白線５６、５７として抽出されている。

　図１２（ｃ）は、Ｔ＋１秒時の白線抽出結果を示す図である。すなわち、車両１１が１秒間移動した後の俯瞰画像における白線抽出結果である。Ｔ秒時の図１２（ｂ）とＴ＋１秒時の図１２（ｃ）を比較すると、白線５１－５４は、車両１１の移動に伴い、車両の後ろに平行移動しているのみで、白線の傾きに変化はない。一方、白線５６、５７は、車両１１の移動に伴い、車両後方側に移動しているが、白線の傾きも変化している様子が伺える。

　図１２（ｃ）の情報が現在取得された情報であるとすると、図１２（ｂ）の情報は直前の過去の情報であり、格納装置１ｄに格納されている。図１２（ｂ）の過去に検出された、特に斜めに向いた白線において、それらが立体物であると仮定して、白線の角度変化も予測して白線の移動を予測すると、白線５６、５７は図１２（ｃ）の位置に、角度も変化しながらくることが予測できる。一方、白線５４は、もし、それが立体物であるとすると、図１２（ｃ）の点線５８上にくることが予測できるが、点線５８上には移動していない。

　このように、白線を立体物として仮定して移動を予測し、予測した位置に該当白線が移動したことが確認できると、それは立体物が白線として判断されたもので、本来の白線から除外する。一方、予測した位置に該当白線が移動したことが確認できない場合は、それは本来の白線として判断する。なお、俯瞰画像上の立体物の挙動は、予め実験やシミュレーションなどで把握できているため、その実験結果や計算結果を利用して立体物として仮定した白線の移動を予測すればよい。

　以上説明した実施の形態によれば、次のような作用効果を奏する。

（１）車載用制御装置1は、車両の周囲を撮像するカメラ２ａ～２ｄ（撮像装置）から撮像した画像を取得し（画像取得部１０１）、取得した画像から車両の周囲を車両の上方から見た平面図である俯瞰画像を生成し（俯瞰画像生成部１０２）、俯瞰画像から路面上の白線を認識し（白線認識部１０３）、認識した白線の情報を格納装置１ｄに保存し（白線位置保存部１０５）、保存された過去の白線の情報と車両の挙動の情報に基づき白線の移動位置を予測し（白線位置予測部１０６）、認識した白線のうち、俯瞰画像においてカメラ２ａ～２ｄから放射方向に存在する白線であって、保存された過去の白線の情報の白線と略同じ位置にあり、予測した白線の移動位置から所定距離以上ずれが生じている条件を満たす白線を、本来の白線ではないとして除外するようにした。これにより、カメラ２ａ～２ｄのレンズに付着した雨滴（水滴）などの影響により本来白線ではない像を誤って白線として認識されることを、簡単な手法で確実に防止することができる。

（２）車載用制御装置１は、俯瞰画像をカメラ２ａ～２ｄ（撮像装置）の位置から放射状に延びる区分線により複数の領域に区分し、雨滴（水滴）などの影響により白線の条件を満たす白線を検出するごとに、その白線が位置する領域において得点を加算し、所定の閾値以上の得点を有する領域に存在する雨滴（水滴）などの影響により白線の条件を満たす白線を、本来の白線ではないとして除外するようにした。これは、雨滴（水滴）の変化が１回の変化だけで、雨滴（水滴）が付着したとか雨滴（水滴）が取れたとか判断するのは適切でないためである。このような処理を行うことにより、雨滴の影響による判断を安定して適切におこなうことができる。

（３）車載用制御装置１は、雨滴（水滴）などの影響により白線の条件を満たす白線を検出しなかった領域においては得点を減算するようにした。これにより、状況の変化で雨滴（水滴）が取れた場合などにも適切に対処することができる。

（４）車載用制御装置１は、領域における得点が増加していくときに使用する閾値の値を、領域における得点が減少していくときに使用する閾値の値より大きくするようにした。すなわち、閾値にヒステリシスを持たせるようにした。これにより、判定をオンしたりオフしたりするときのチャタリングを防止することができる。

（５）車載用制御装置１は、車両の周囲を撮像するカメラ２ａ～２ｄ（撮像装置）から撮像した画像を取得し（画像取得部１０１）、取得した画像から車両の周囲を車両の上方から見た平面図である俯瞰画像を生成し（俯瞰画像生成部１０２）、俯瞰画像から路面上の白線を認識し（白線認識部１０３）、認識した白線のうち、車両の移動に伴ってその傾きが変化する白線を、本来の白線ではないとして除外するようにした。これにより、立体物の倒れ込み像を誤って白線と認識することを簡易な手法で、確実に防止することができる。

（６）車載用制御装置１は、認識した白線の情報を格納装置１ｄに保存し（白線情報保存部）、格納装置１ｄに保存された過去の白線の情報に基づく白線について、車両の移動に伴って、立体物による像とみなして白線の角度変化も含めて移動を予測し、現在認識された白線の情報から移動が予測された白線と合致する白線があるかどうか判定し、合致すると判定された白線を本来の白線ではないとして除外するようにした。これにより、立体物の倒れ込み像を誤って白線と認識することを簡易な手法で、確実に防止することができる。

（７）車載用制御装置１は、白線認識部で認識した白線の情報を格納装置１ｄに保存し（白線情報保存部１０５）、格納装置１ｄに保存された過去の白線の情報から白線角度を計算し、現在認識された同じ白線の情報から白線角度を計算し、現在および過去の白線の角度変化が、所定の立体物の白線角度変化に近い白線について、本来の白線ではないとして除外するようにした。すなわち、格納装置１ｄに保存された過去の白線の情報に基づく白線について、車両の移動に伴って、立体物による像とみなして白線の角度変化も含めて移動を予測し、現在認識された白線の情報から移動が予測された白線と合致する白線があるかどうか判定することは、現在および過去の同じ白線の角度を計算し、その角度変化が立体物の白線角度変化に近いかどうかを判断することと同義である。これによっても、立体物の倒れ込み像を誤って白線と認識することを簡易な手法で、確実に防止することができる。

（変形例）
（１）上記の実施の形態では、カメラ２ａ～２ｄのうち主にカメラ２ａで車両前方を撮像した画像に基づく俯瞰画像について説明をしたが、必ずしもこの例に限定する必要はない。その他のカメラで撮像した画像に基づく俯瞰画像を利用する場合にも適用できる。また、俯瞰画像全体を利用する処理であってもよい。さらに、前進後進のギアの位置により、どのカメラの俯瞰画像を利用するかを判断してもよい。例えば、前進の位置にギアがある場合は車両前方を撮像するカメラ２ａの画像に基づく俯瞰画像を使用し、後進の位置にギアがある場合は車両後方を撮像するカメラ２ｄの画像に基づく俯瞰画像を使用するようにしてもよい。

（２）上記の実施の形態では、４つのカメラ２ａ～２ｄが備えられているとして説明をしたが、必ずしもこの例に限定する必要はない。車両に搭載されるカメラの個数および撮像範囲はこれに限定されない。

（３）上記の実施の形態では、雨滴や水滴の付着による例を説明したが、必ずしもこの例に限定する必要はない。上記説明をした雨滴や水滴と同じようなふるまいをする異物の付着のケースについても適用ができる。また、路面への太陽の映り込みにも応用ができる。路面に映り込んだ太陽の像は、車両が少々移動しても移動せず、かつ、白線と同様に認識される可能性があるからである。

（４）上記の実施の形態では、立体物としてガードレールや樹木の例を挙げて説明をしたが、必ずしもこの例に限定する必要はない。ガードレールや樹木以外の立体物、すなわち、路面や地面から上側にのびる立体物であり、俯瞰画像上その倒れ込みの影響により白線と間違われるようなものすべてに適用できる。

（５）上記の実施の形態では、車載用制御装置１内の１つのＣＰＵ１ａで処理をする例を説明したが、必ずしもこの例に限定する必要はない。車載用制御装置１内に複数のＣＰＵや周辺回路やＬＳＩなどがあり、上記説明した処理を適宜分担して処理をするようにしてもよい。

（６）上記の実施の形態では、付着物判定部１０７の処理として、俯瞰画像で白線を認識し、その白線において雨滴等による影響の白線かどうか判定する例を説明したが、必ずしもこの例に限定する必要はない。俯瞰画像に変換する前のスルー画（スルー映像）において、白線を認識する場合にも適用することができる。上記の実施の形態の図７の説明において、説明の便宜上、スルー画において白線を認識する例も説明した。変形例として、そのスルー画において認識した白線を使用して、雨滴による影響の白線かどうか判定することもできる。

　この場合、雨滴の影響による白線は、スルー画において、路面から垂直方向に延びていることが実験やシミュレーション等で判明している。従って、俯瞰画像における判定の条件としてのカメラ２ａから放射状に延びる白線の代わりに、スルー画上で認識した白線において、路面から垂直方向に延びている白線かどうかを判定すればよい。その他の条件は、上記の実施の形態で説明した内容と同じである。

　すなわち、カメラ２ａにより撮像されたスルー画の画像から路面上の白線を認識し、認識した白線のうち、路面に対して垂直方向に存在するとされる白線であって、保存されている過去の白線の情報の白線と略同じ位置にあり、かつ、予測した白線の移動位置から所定距離以上ずれが生じている条件を満たす白線を、本来の白線ではないとして除外するようにすることもできる。

　なお、路面から垂直方向に延びている白線かどうかは、認識した白線の長尺方向の両端の端点情報から、それらの端点がスルー画上路面から垂直方向に位置しているかどうかを判定すればよい。スルー画において、路面から垂直方向は、基本的に画面の縦方向として考えればよい。ただし、魚眼レンズ等を考えると、左右にいくにつれ若干ななめになる場合もあり、それも考慮するようにしてもよい。

　さらに、複数の領域に分割してスコアをつける場合は、スルー画において路面から垂直方向に延びる区分線で複数の領域に分割するようにすればよい。基本的に、スルー画において、縦方向の区分線により分割すればよい。ただし、魚眼レンズ等を考慮して、左右にいくにつれ若干ななめになる区分線で分割するようにしてもよい。さらに、何本かの横方向の区分線により、横方向にも分割するようにしてもよい。

（７）上記の実施の形態では、立体物判定部１０８の処理として、俯瞰画像で白線を認識し、その白線において立体物の倒れ込みによる影響の白線かどうか判定する例を説明したが、必ずしもこの例に限定する必要はない。この場合も、俯瞰画像に変換する前のスルー画（スルー映像）において、白線を認識する場合にも適用することができる。上記の実施の形態の図１１の説明において、説明の便宜上、スルー画において白線を認識する例も説明した。変形例として、そのスルー画において認識した白線を使用して、立体物の倒れ込みによる影響の白線かどうか判定することもできる。

　これは、スルー画において立体物が白線と認識された場合、スルー画におけるこれらの白線が車両の移動に伴いどのように移動していくかが実験やシミュレーションなどで判明しているからである。すなわち、カメラ２ａにより撮像されたスルー画の画像から路面上の白線を認識し、認識した白線において、その白線が立体物であると仮定した場合の移動を白線の角度変化も含めて車両移動に基づいて予測し、現在認識された白線の情報から移動が予測された白線と合致する白線があるかどうか判定し、合致すると判定された白線を本来の白線ではないとして除外するようにすることができる。

　以上説明した実施の形態や各種の変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。

　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１２年第２５９０６２号（２０１２年１１月２７日出願）

１　制御装置
２ａ、２ｂ、２ｃ、２ｄ　カメラ
３　車速センサ
４　振動ジャイロ
５　車両制御装置
１０１　画像取得部
１０２　俯瞰画像生成部
１０３　白線認識部
１０４　白線情報取得部
１０５　白線位置保存部
１０６　白線位置予測部
１０７　付着物判定部
１０８　立体物判定部
１０９　白線判定部

Claims (6)

1. 　車載用制御装置であって、
   　車両の周囲を撮像する撮像装置から撮像した画像を取得する画像取得部と、
   　前記画像取得部により取得した画像から車両の周囲を車両の上方から見た平面図である俯瞰画像を生成する俯瞰画像生成部と、
   　前記俯瞰画像の中から路面上の白線候補を認識する白線認識部と、
   　前記白線認識部で認識した白線候補の位置情報を含む情報を保存する白線情報保存部と、
   　前記白線情報保存部により保存された過去の白線候補の情報と車両の挙動の情報に基づき白線候補の移動位置を予測する白線位置予測部と、
   　前記白線認識部で認識した白線候補のうち、前記俯瞰画像において前記撮像装置から放射方向に存在する白線候補であって、所定の条件を満たす白線候補を除外する白線判定部とを備える車載用制御装置。
2. 　請求項１に記載の車載用制御装置において、
   　前記所定の条件とは、前記白線情報保存部により保存された過去の白線候補と同じ位置にあること、前記白線位置予測部で予測した白線候補の移動位置から所定距離以上ずれが生じていることの少なくとも一方である車載用制御装置。
3. 　請求項１に記載の車載用制御装置において、
   　前記所定の条件とは、前記車両の移動により予測される傾きの変化とは異なる変化を示すことである車載用制御装置。
4. 　請求項２に記載の車載用制御装置において、
   　前記白線判定部は、前記俯瞰画像を前記撮像装置の位置から放射状に延びる区分線により複数の領域に区分し、前記条件を満たす白線候補を検出した領域においては得点を加算し、検出しなかった領域においては得点を減算し、所定の閾値以上の領域の白線候補を付着物によるものと判断する車載用制御装置。
5. 　請求項４に記載の車載用制御装置において、
   　前記白線判定部は、前記領域における得点が増加していくときに使用する前記所定の閾値の値を、前記領域における得点が減少していくときに使用する前記所定の閾値の値より大きくする車載用制御装置。
6. 　車載用制御装置であって、
   　車両の周囲を撮像する撮像装置から撮像した画像を取得する画像取得部と、
   　前記画像取得部により取得した画像から路面上の白線候補を認識する白線認識部と、
   　前記白線認識部で認識した白線候補の情報を保存する白線情報保存部と、
   　前記白線情報保存部により保存された過去の白線候補の情報と車両の挙動の情報に基づき白線候補の移動位置を予測する白線位置予測部と、
   　前記白線認識部で認識した白線候補のうち、前記白線位置予測部で予測した白線候補の移動位置から所定距離以上ずれが生じている条件を満たす白線候補を除外する白線判定部とを備える車載用制御装置。

Images