JP6045889B2

JP6045889B2 - 車載用制御装置

Info

Publication number: JP6045889B2
Application number: JP2012259044A
Authority: JP
Inventors: 雅幸竹村; 健人緒方; 哲司伊藤
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2012-11-27
Filing date: 2012-11-27
Publication date: 2016-12-14
Anticipated expiration: 2032-11-27
Also published as: CN104871523B; CN104871523A; WO2014084122A1; US20150302257A1; EP2928178A1; JP2014107697A; EP2928178B1; EP2928178A4; US9965690B2

Description

本発明は、車両に搭載され、車両の周囲を撮像する撮像装置における異物の付着の判定を行う車載用制御装置に関する。

従来、車両に搭載された撮像装置（カメラ）により撮像された画像を利用して車線や駐車場の白線を認識し、これらの認識結果がレーン認識や駐車枠検知に利用される技術が知られている。このような技術において、撮像装置（カメラ）に雨滴や汚れなどが付着すると、車線や駐車場の白線の認識の精度が低下し、ひいては、レーン認識や駐車枠検知の精度が低下する。このため、撮像装置（カメラ）の雨滴や汚れなどの付着を検出する手法が種々提案されている（特許文献１）。

特開２０１２−１６６７０５号公報

特許文献１の技術は、破線車線の長さやその間隔の一定性を利用して車載カメラのレンズへの雨滴や汚れの異物の付着を検出するものである。しかし、特許文献１の技術では、破線車線の長さやその間隔を正確に認識する必要があり、処理が複雑になるという問題が生じる。また、破線車線の長さやその間隔の一定性の有無により単に車載カメラのレンズに異物の付着があるかないかを判定するのみで、どの位置に異物の付着があるかを判定するものではない。従って、どの位置に異物の付着があるかの情報を必要とするアプリケーションには利用できず、判定結果の利用範囲が制限されるという問題がある。さらに、道路が汚れたり白線がかすれたりして周期性を有しなくなっている場合に、この手法は利用できないという問題がある。

請求項１の発明は、車載用制御装置に適用され、車両の周囲を撮像する撮像装置から撮像した画像を取得する画像取得部と、撮像装置の撮像範囲の所定の判定範囲を複数の領域に分割する判定範囲分割部と、画像取得部が取得した画像より車両の周囲における所定の特徴を有する特徴点を抽出する特徴点抽出部と、画像取得部が時系列に取得する複数の画像について、複数の領域のうち、特徴点抽出部が抽出した特徴点が存在する領域について得点を累積する得点累積部と、複数の領域の累積された得点結果に基づき撮像装置における異物の付着の判定を行う判定部とを備えることを特徴とするものである。

本発明によれば、簡単な手法で素早く確実に撮像装置に異物の付着を判定することができる。しかも、撮像装置のどの位置に異物が付着しているかの判定もすることができる。

本発明の一実施形態による車載用制御装置１を示すブロック図である。車載用制御装置１が行う演算処理の制御ブロック図である。カメラ２ａの所定の判定範囲を複数の領域に分割する例を示す図である。カメラ２ａで車両前方を撮像した画像の例を示す図である。判定範囲分割部１０１により分割された複数の領域における得点累積結果を示す図である。カメラ２ａで車両前方を撮像した画像の他の例を示す図である。判定範囲分割部１０１により分割された複数の領域における得点累積結果を示す図である。車載用制御装置１で実行される処理のフローチャートを示す図である。

図１は、本発明の一実施形態による車載用制御装置１を示すブロック図である。図１に示す車載用制御装置１は、車両に搭載されて使用されるものであり、カメラ２ａ、２ｂ、２ｃおよび２ｄと、車速センサ３とが接続されている。また、ＣＡＮ（Controller Area Network）を経由して上位の上位車両制御装置４に接続されている。

カメラ２ａ〜２ｄは、例えば、ＣＣＤやＣＭＯＳなどの撮像素子や周辺回路や光学レンズなどから構成され、車両のボディ、バンパー、ドアミラー等の各部に設置されている。これらのカメラ２ａ〜２ｄは、撮像装置と呼ぶ。

カメラ２ａ〜２ｄは、車両の周囲をそれぞれ異なる撮像範囲で撮像（撮影）する。これらの各カメラの撮像範囲は、合わせて車両の全周囲をカバーできるように定められている。本実施形態では、カメラ２ａは車両前方の撮像範囲を、カメラ２ｂは車両左側方の撮像範囲を、カメラ２ｃは車両右側方の撮像範囲を、カメラ２ｄは車両後方の撮像範囲をそれぞれ撮像するものとする。カメラ２ａ〜２ｄにより所定のフレームレート間隔でそれぞれ取得された撮像画像は、車載用制御装置１へ出力される。

車載用制御装置１は、カメラ２ａ〜２ｄにより取得された各撮像画像に基づいて、車両の全周囲を俯瞰した様子を示す俯瞰画像（トップビュー画像）を合成する。この俯瞰画像は、カメラ２ａ〜２ｄの各撮像画像をその撮像方向に応じて座標変換した上で繋ぎ合わせることによって合成されるものである。

車載用制御装置１は、合成された俯瞰画像に基づいて所定の演算処理を行うことにより、車両周囲の駐車枠を認識したり、走行車線を認識したりする。このような駐車枠や走行車線の認識結果は、ＣＡＮを経由して上位の上位車両制御装置４へと出力され、車両の駐車支援や走行制御等に利用される。たとえば、周囲に駐車場が存在する状況であることを自動で認識し、駐車場環境である場合には、モニタに自車周囲の俯瞰映像を自動で切り替えて表示することができる。これにより、公道において駐車場であると誤検知する状況を抑制し、適切なタイミングでユーザへの提示映像を切り替えることができるようになる。また、たとえば、自車から駐車枠までの相対的な位置姿勢に基づいて、駐車枠までの走行経路を計算し、ドライバーにブレーキやシフトポジション変更のタイミングや、舵角の操作量を通知することによって、駐車支援を行うことが可能となる。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、短時間で駐車動作が完了できるようになる。さらには、自車から駐車枠までの相対的な位置姿勢に基づいて、駐車枠までの走行経路を計算し、自動で車両の前進・後退・旋回の制御量を計算し、その計算結果に従って車両運動を自動制御してもよい。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、安全かつ正確に駐車動作を完了できるようになる。

車載用制御装置１は、このように、カメラ２ａ〜２ｄにより取得された各撮像画像に基づいて、車両の駐車支援や走行制御等に利用される情報を提供するため、カメラ２ａ〜２ｄにより取得された各撮像画像には欠陥がないのが望ましい。一方、カメラ２ａ〜２ｄは、車両の外部に設けられるため、車両の走行に伴い、雨滴や泥などの汚れの付着は避けられない。従って、このような雨滴や汚れなどの異物の付着を正確に判定し、その情報を上位のアプリケーションなどに素早く確実に提供する必要がある。

本実施の形態の車載用制御装置１は、このような雨滴や泥の汚れなどの異物の付着を簡易な手法で素早く確実に判定し、上位のアプリケーションに提供するところに特徴がある。従って、車載用制御装置１は、車載撮像装置（カメラ）の異物付着判定装置と呼ぶこともできる。また、雨滴や泥の汚れなどの異物の付着により車線等が隠れている状態を判定するので、付着物による隠れ判定装置と呼ぶこともできる。以下、この内容を詳細に説明する。

車載用制御装置１は、内部にＣＰＵ、周辺回路、メモリなどを有し、メモリに格納された所定のプログラムを実行することにより、雨滴や泥の汚れなどの異物の付着の判定を行い、その結果を上位のアプリケーションに出力する。上位のアプリケーションは、駐車枠を検知するアプリケーションや車線（レーン）を認識したりするアプリケーションである。さらに、車両を検知したり、立体物を検知したり、歩行者を検知したりするアプリケーションなどにも出力される。

図２は、車載用制御装置１が行う演算処理の制御ブロック図である。図２に示すように、車載用制御装置１は、判定範囲分割部１０１、画像取得部１０２、特徴点抽出部１０３、得点累積部１０４、得点減算部１０５、判定部１０６、出力部１０７などの各制御ブロックを機能的に有する。これらの各制御ブロックは、車載用制御装置１のＣＰＵが、各制御ブロックに対応するプログラムを実行することにより実現する。以下、車両前方を撮像するカメラ２ａの異物付着判定を例に挙げて説明する。

判定範囲分割部１０１は、カメラ２ａの撮像範囲の中から異物付着判定を行う判定範囲を設定し、その判定範囲を複数の領域に分割する。また、分割した複数の領域に対応した累積得点を格納する得点エリアをメモリ上に設ける。図３は、カメラ２ａにおける判定範囲を複数の領域に分割する例を示す図である。図３は、魚眼レンズであるカメラ２ａにより、車両前方の路面に車線（白線）２０１が描かれた道路２０２を撮像した画像が示されている。図３の例では、判定範囲分割部１０１は、車両進行方向については、画面上の距離を基準にして等距離間隔に分割し、車両進行方向に直交する方向、すなわち画面上の左右の方向は、路面上の距離を基準にして等距離間隔に分割する。

異物付着判定を行う判定範囲は、必ずしもカメラ２ａの撮像範囲全体を設定する必要はなく、図３で示されるような範囲２０３を設定する。例えば、図３の上下方向（車両の進行方向）においては、魚眼レンズの消失点の手前の所定の位置から自車両のバンパーが写る手前までの位置とし、左右方向（車両の横方向）は車両から例えば約２ｍぐらいまでの位置とする。

カメラ２ａは魚眼レンズを使用しているため、車両の前方方向の地平線上の消失点付近は像が凝縮されるような状態になり、その付近の白線の認識などの精度が低くなるため、判定範囲２０３はその手前とする。ただし、判定範囲２０３は、必ずしも図３の例に限定する必要はなく、路面上の白線が適切に認識できる範囲で適切に設定すればよい。なお、カメラ２ａの設置場所やカメラの向きなどは、車両によって予め設定されているため、その設定値のデータを使用してカメラ２ａの撮像範囲上に異物付着判定を行う判定範囲を設定する。

判定範囲２０３の分割は、図３の例では、車両進行方向（縦方向）に４分割し、車両の横方向に６分割する例が示されている。しかし、分割の内容は、必ずしも図３の例に限定する必要はなく、図３の例より分割領域の数が多くても少なくてもよい。

画像取得部１０２は、カメラ２ａから撮像画像を時系列に所定の時間間隔、例えば１００ｍｓごとに取得する。

特徴点抽出部１０３は、画像取得部１０２が取得した撮像画像を解析し、特徴点を抽出する。本実施の形態では、道路面上に描かれた車線である特徴点を抽出する。すなわち、道路面上の車線を抽出する。車線は、白線や黄色（オレンジ）線の破線や実線である。車線を抽出する方法は、例えば、撮像画像において、横方向に探索したときの輝度変化が所定のしきい値以上であるエッジ点を抽出し、抽出したエッジ点に基づき車線を抽出する手法などがある。ただし、撮像画像からの車線の抽出は公知な内容であり、本実施の形態では各種の公知な手法を採用すればよい。なお、本実施の形態では、車線の抽出は異物付着判定を行う判定範囲２０３内を行えばよい。また、ここで抽出される車線には、道路上に描かれた車道中央線（センターライン）、車線境界線、車道外側線などが含まれる。

得点累積部１０４は、特徴点抽出部１０３で抽出された特徴点、すなわち車線が存在する領域の得点を加算し累積する。すなわち、特徴点抽出部１０３で抽出された車線が、判定範囲分割部１０１が分割した複数の領域のどの領域に位置しているかを判断し、車線が位置している領域について得点を加算し累積する。例えば、１０点を加算する。具体的には、判定範囲分割部１０１がメモリ上に設けた分割した複数の領域に対応した得点エリアに累積得点を格納することになる。なお、判定範囲分割部１０１が分割した複数の領域のうち、車線が位置している領域に投票すると言ってもよい。

得点累積部１０４は、車両が所定の速度（１０ｋｍ／Ｈ）より遅い場合は、加算処理は行わない。例えば、車両が停止しているときには、カメラ２ａから取得する画像は常にほぼ同じ画像となる。このような画像から車線などを抽出して、得点を累積するのは適切ではないためである。また、車速が遅い場合も同様なことが言える。すなわち、車両が所定の速度以上で道路を走行しているときに、累積処理をすることにより、車両方向に連続する領域において車線がまんべんなく検出され累積されるようにし、精度の高い異物付着判定を行うことができるようにするためである。

得点減算部１０５は、判定範囲分割部１０１が分割した複数の領域全部について、加算する得点より小さい得点を減算する処理を行う（通常減算）。すでに、得点がゼロとなっている場合は、そのままゼロとする。例えば、５点を減算する。この結果、特徴点抽出部１０３で抽出された車線が存在する領域においては、５点が加算され、特徴点抽出部１０３で抽出された車線が存在しなかった領域においては５点が減算されることになる。

このような減算処理をすることは、車線が検出され異物の付着がないとして得点が累積された領域において、その後車線が検出されなくなった状態や、異物の付着が生じた状態を反映するためである。ただし、加算する得点より減算する得点の方を小さくし、加算累積に比べ徐々に減算するようにしている。このような減算処理をすることで、異物の付着で車線の検出ができなくなった領域の得点を最終的にはゼロにするようにしている。

得点減算部１０５は、車両が所定の速度（時速１０ｋｍ）より遅い場合も、得点を減算する処理を行う（低速時減算）。このときの減算点は、加算点より小さく通常減算点よりもさらに小さくする。例えば、２点程度を減算する。このように減算処理をするのは、得点累積部１０４が、車両が所定の速度（１０ｋｍ／Ｈ）より遅い場合に、加算処理を行わないのと同じ理由であり、また、減算処理をしないと、すでに累積した得点がそのまま維持されてしまうためである。減算点は通常減算より小さな値としているため、通常減算より徐々に減算するようにしている。ただし、車両が所定の速度（時速１０ｋｍ）より遅い状態（停車状態を含む）が長く続くと、最終的にはすべての領域の累積得点はゼロとなり、リセットされた状態と同じ状態になる。

判定部１０６は、判定範囲分割部１０１により分割された複数の領域における得点累積結果に基づき、カメラ２ａに雨滴や汚れなどの異物の付着があるかどうかを判定する。

図４は、カメラ２ａで車両前方を撮像した画像が示され、画面の左右に実線車線３０１、３０２が車両進行方向に延びていることが示されている。矢印３０３は車両の進行方向を示す。カメラ２ａは魚眼レンズを使用しているため、車両進行方向を表す矢印３０３は判定範囲の左右側では消失点に向けて若干曲線を有する斜線となる。そして、場所３０４に対応するカメラ２ａのレンズ上の位置に汚れがあり、カメラ２ａで撮像された実線車線３０１が場所３０４のところで途切れている例が示されている。

図５は、判定範囲分割部１０１により判定範囲２０３が分割された複数の領域における得点累積結果を示す図であり、図４の状況に対応するものである。図５は、メモリ上の得点エリアの値を判定範囲２０３上に視覚的に表すものである。判定範囲２０３の左側の領域４０１−４０６において連続して得点の累積があることが示されている。これは、実線車線３０２が領域４０１−４０６において、連続して、あるいは、適当な頻度で抽出され、得点が加算累積されていることを示す。具体的には、図４の実線車線３０２が、撮像画像が取得されるごとに、撮像画面上を車両進行方向の逆方向に移動し、車両進行方向に連続する領域４０１−４０６において、車線の抽出が検出され得点された結果である。

一方、判定範囲２０３の右側の領域４０７−４１２においては、領域４０７−４０９には連続して得点の累積があることが示され、領域４１０には得点がないことが示され、領域４１１には得点が非常に小さいことが示され、領域４１２は得点の累積があることが示されている。これは、実線車線３０１が領域４０７−４０９、４１２において、連続して、あるいは、適当な頻度で抽出され、得点が加算累積されていることを示す。領域４１０は実線車線３０１が検出されず、得点が累積されていないことを示す。領域４１１は過去に実線車線３０１が検出されたとして得点されたことがあるがその頻度が非常に少なかったか、いったん検出されたあと後述する減算処理により減算された結果である。これらは、図４の場所３０４に対応するカメラ２ａのレンズ上の位置に汚れがあることにより、領域４１０、４１１は実線車線３０１が検出されず、あるいは、ほとんど検出されず、得点が累積されていないか非常に小さい値しかないことを示す。

図５のような得点累積結果に基づき、判定部１０６がどのように異物の付着領域を判定するかを以下に説明する。車線を検出した場合は、車両の進行方向に連続する領域において得点累積結果があるはずであるとの前提で考える。具体的には、判定範囲２０３の複数の領域を車両進行方向に連続する列ごとに分類し、各列ごとに以下の処理を行う。

各列において、累積得点の最大値の領域を求め、その最大値の値を１として各領域の得点を正規化を行い、正規化した値の平均値を求める。そして正規化の値が０．２以下、すなわち、最大値から０．８以上の差があり、正規化した値の平均値から０．３以上小さい領域を異物の付着がある領域として判定する。平均値から０．３以上小さいという条件を設けるのは、その列において累積得点がある領域が少なすぎる場合を排除するためである。なお、以上の数値は一例であり、この内容に限定する必要はない。また、その他の手法で判定するようにしてもよい。

例えば、各列において、正規化した数値が所定の値以上の領域が所定の数以上連続する場合に、その列には車線が検出されているはずだと判断する。そして、その列において、所定の値以下の正規化値を示す領域を異物の付着がある領域として判定することもできる。

一方、累積得点がある領域がまったくない列の場合は、異物の付着の判定はできないとして処理をする。

なお、図５に示すように、累積得点の高低を視認しやすいようにランク分けし、そのスケールを白線視認度として図示し、図５の内容を車両内のモニター（不図示）に表示すると、異物の付着箇所を一目瞭然で判断することができる。

図６は、図４と同様の図であるが、画面の左側の車線が破線車線３０５の例を示す図である。図７は、図６の状況に対応するものであり、判定範囲分割部１０１により判定範囲２０３が分割された複数の領域における得点累積結果を示す図である。図６の車線３０５は破線車線であるため、１枚の撮像画像において縦の列のすべての領域５０１−５０６で必ず車線が検出されるものではない。しかし、時系列で取得される複数枚の画像で車線の抽出を行うと、すべての領域５０１−５０６で適当な頻度で車線の抽出が検出され得点される。従って、各領域の得点の累積は、実線車線３０２より時間がかかるが、時間をかければ実線車線と同様に累積される。

このようにして、判定部１０６は、カメラ２ａの判定範囲の分割された複数の領域の累積された得点結果に基づき、カメラ２ａにおける異物の付着の判定を行うことができる。

出力部１０７は、判定部１０６の異物の付着があるかないかの判定結果、すなわち、全体として異物の付着があったかないかの情報、異物の付着がないと判断した領域の情報、異物の付着があると判断した領域の情報、異物の判定が不能と判断した領域の情報を上位のアプリケーションへ出力する。上位のアプリケーションが、車載用制御装置１により実行されるのであれば、車載用制御装置１内のプログラム間の受け渡しとなる。一方、上位のアプリケーションが上位の上位車両制御装置４により行われるのであれば、車載用制御装置１から上位車両制御装置４にその情報を出力することになる。

図８は、車載用制御装置１で実行される処理のフローチャートを示す図である。車載用制御装置１が所定のプログラムを実行することにより、フローチャートの内容を実行する。図８の処理は、例えば、車両のイグニッションキースイッチをオンすることにより開始される。

ステップＳ１において、車載用制御装置１は、前述したように、カメラ２ａの撮像範囲の中から異物付着判定を行う判定範囲を設定し、その判定範囲を複数の領域に分割する。また、分割した複数の領域に対応した累積得点を格納する得点エリアをメモリ上に設ける。ステップＳ１は前述の判定範囲分割部１０１の処理に相当する。

ステップＳ２において、車載用制御装置１は、カメラ２ａからの画像を取得する。ステップＳ２は、画像取得部１０２の処理に相当する。ステップＳ３において、特徴点の抽出を行う。ステップＳ３の処理は、特徴点抽出部１０３の処理に相当する。ステップＳ４において、車両の車速が所定の値（例えば時速１０ｋｍ）以上かどうかを判断する。車両の車速が所定の値以上であればステップＳ５に進み、車両の車速が所定の値未満の場合はステップＳ９に進む。

ステップＳ５において、車載用制御装置１は、ステップＳ３において抽出された特徴点が存在する領域に所定の得点を加算する処理を行う。前の値に加算されるため、累積された得点となる。このような処理は、その領域に投票すると言える。ステップＳ５の処理は前述の得点累積部１０４の処理に相当する。ステップＳ６において、分割された複数の領域において一律に所定の得点を減算する処理を行う。ステップＳ６の処理は得点減算部１０５の通常減算の処理に相当する。

ステップＳ７において、ステップＳ５の得点の加算累積処理とステップＳ６の得点減算処理の結果の各領域の累積得点結果に基づき、カメラ２ａに雨滴や汚れなどの異物の付着があるかどうかを判定する。ステップＳ７の処理は前述の判定部１０６の処理に相当する。ステップＳ８において、ステップＳ７の異物の付着の判定結果を上位のアプリケーションへ出力する。ステップＳ８の処理は、前述の出力部１０７の処理に相当する。その後ステップＳ２に戻り処理を繰り返す。

一方、ステップＳ９において、車載用制御装置１は、車両が所定の速度以下の場合の得点減算処理を行い、ステップＳ７に進む。ステップＳ９の処理は得点減算部１０５の低速時減算の処理に相当する。

以上説明した実施の形態によれば、次のような作用効果を奏する。

（１）車載用制御装置１は、車両の周囲を撮像するカメラ２ａ（撮像装置）から撮像した画像を取得し（画像取得部１０２）、カメラ２ａの撮像範囲の所定の範囲を複数の領域に分割し（判定範囲分割部１０１）、取得した画像より車両の周囲における所定の特徴を有する特徴点すなわち車線の特徴点を抽出し（特徴点抽出部１０３）、時系列に取得する複数の画像について、分割した複数の領域のうち、抽出した特徴点が存在する領域について得点を累積（投票）し（得点累積部１０４）、複数の領域の累積された得点結果に基づきカメラ２ａにおける異物の付着の判定を行うようにした。これにより、簡単な手法で素早く確実にカメラ２ａ異物の付着を判定することができる。しかも、カメラ２ａのどの位置に異物が付着しているかの判定もすることができる。さらに、道路が汚れたり車線がかすれたりして車線が一定の周期性を有しなくなっている場合にも、車線の特徴点が抽出さえできれば、確実にカメラ２ａ異物の付着を判定することができる。

（２）車載用制御装置１は、判定範囲の前記複数の領域のうち車両の進行方向に連続する領域の累積された得点結果に基づき異物の付着の判定を行うようにした。これにより、上記（１）で説明したような効果を確実に奏することができる。

（３）車両の周囲における所定の特徴を有する特徴点は、道路上の走行車線とし、車載用制御装置１は、車両が走行車線のある道路を走行しているときに、カメラ２ａにおける異物の付着の判定を行うようにした。これは、車線のある道路上を走行中に判定を行うことを明確にし、これにより上記（１）で説明したような効果を確実に奏することができる。

（４）車載用制御装置１は、車両が道路を所定の速度以上で走行しているときに、得点を累積する処理を行うようにした。例えば、車両が停止しているときには、カメラ２ａから取得する画像は常にほぼ同じ画像となる。このような画像から車線などを抽出して、得点を累積するのは適切でない。また、車速が遅い場合も同様なことが言える。車載用制御装置１が、車両の速度を判定することにより、このような不適切な得点累積処理を防止することができる。すなわち、車両が所定の速度以上で道路を走行しているときに、画像を取得し、累積処理をすることにより、車両方向に連続する領域において車線がまんべんなく検出され累積されることになり、精度の高い異物付着判定を行うことができる。

（５）車載用制御装置１は、車両が道路を所定の速度未満で走行しているときに、累積した得点を減算し、複数の領域において得点を累積および減算した得点結果に基づきカメラ２ａにおける異物の付着の判定を行うようにした。異物の付着は、状況によって変化する。しかし、車速が所定の値より低い状態が続き、異物の付着の判定が適切でない状態長く続く場合に、前に取得した累積得点をそのまま維持しておくのは適切ではない。従って、上記のような構成を取ることにより、累積した得点を徐々に減算し、最終的にはリセットと同等の状態にすることができる。ただし、途中で、車速が所定の値以上になり、異物の付着の判定に適した状況になると、いきなりリセットすることに比べ、今までに累積した得点を引き継ぐことができ、素早く精度の高い異物付着判定を行うことができる。

（６）車載用制御装置１は、判定範囲の複数の領域のうち車両の進行方向に連続する領域の累積された得点（正規化した得点）の最大値および平均値を求め、車両の進行方向に連続する領域において、最大値から例えば０．８以上小さな値を示し、平均値から例えば０．３以上小さな値を示す累積された得点を有する領域を異物の付着がある領域として判定するようにした。このようにすることにより、確実に適切に異物の付着の判定を行うことができる。

（７）車載用制御装置１は、車両進行方向については、画面上の距離もしくは路面上の距離を基準に、車両進行方向に直交する方向については、路面上の距離を基準に、判定範囲を複数の領域に分割するようにした。これにより、車両進行方向に沿ってぼぼ等距離に存在する白線や、路肩、ガードレールからなる特徴点を、レンズ付着物が存在しなければ、縦方向の範囲別にまんべんなく得点（投票）することが可能となり、これら特徴量の累積得点（投票量）から付着物の判定を行うことができる。

（変形例）
（１）上記の実施の形態では、カメラ２ａの異物付着判定の例を説明したが、必ずしもこの例に限定する必要はない。カメラ２ｂ、２ｃ、２ｄについても同様に異物付着判定を行うことができる。特に、車両後方を撮像するカメラ２ｄは全く同様の手法でカメラ２ｄの異物付着判定を行うことができる。

車両側方を撮像するカメラ２ｂ、２ｃについては、撮像された画像において車両進行方向が画像の左右方向となる。従って、判定範囲の複数の領域を車両進行方向に連続する左右方向の行ごとに分類し、各行ごとに上記の判定部１０６の処理を行うようにすればよい。

（２）上記の実施の形態では、４つのカメラ２ａ〜２ｄが備えられているとして説明をしたが、必ずしもこの例に限定する必要はない。車両に搭載されるカメラの個数および判定範囲はこれに限定されない。そして、それぞれのカメラにおいて、車両進行方向を特定し、その方向に連続する領域単位に上記に説明した処理を行えばよい。

（３）上記の実施の形態では、水滴や泥などの汚れの異物の付着判定の例を説明したが、必ずしもこの例に限定する必要はない。水滴や泥などの汚れの異物の付着は、通常カメラ２ａの外側に面したレンズの表面に付着する場合が多い。しかし、何らかの事情により、カメラ２ａ内部の光学系や撮像素子表面に汚れなどの異物が付着する場合がある。本実施の形態の手法を使用すれば、このような異物の付着の判定にも利用することができる。

（４）上記の実施の形態では、路面上に描かれた車線の特徴点を抽出する例を挙げて説明をしたが、必ずしもこの例に限定する必要はない。ガードレールや路肩や道路横のフェンスなどの特徴点を抽出する場合であってもよい。道路上連続的に続くものであり、それらを道路上の特徴点として抽出できるものであれば、どのような特徴点であってもよい。

（５）上記の実施の形態では、得点を正規化した値を使用して判定を行うようにしたが、必ずしもこの例に限定する必要はない。例えば、得点された値をそのまま使用して最大値や平均値を求め判定するようにしてもよい。

（６）上記の実施の形態では、判定範囲分割部１０１は、車両進行方向については、画面上の距離を基準に分割し、車両進行方向に直交する方向は、路面上の距離を基準に分割するようにしたが、必ずしもこの例に限定する必要はない。例えば、車両進行方向も路面上の距離を基準に分割するようにしてもよい。さらには、上記説明したように、車両の進行方向に連続する領域の累積された得点結果に基づき異物の付着の判定を適切に行うことができるのであれば、その他の分割方法で複数の領域に分割するようにしてもよい。

以上説明した実施の形態や各種の変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。

１車載用制御装置
２ａ、２ｂ、２ｃ、２ｄカメラ
３車速センサ
４上位車両制御装置
１０１判定範囲分割部
１０２画像取得部
１０３特徴点抽出部
１０４得点累積部
１０５得点減算部
１０６判定部
１０７出力部

Claims

車載用制御装置であって、
車両の周囲を撮像する撮像装置から撮像した画像を取得する画像取得部と、
前記撮像装置の撮像範囲の所定の判定範囲を複数の領域に分割する判定範囲分割部と、
前記画像取得部が取得した画像より車両の周囲における所定の特徴を有する特徴点を抽出する特徴点抽出部と、
前記画像取得部が時系列に取得する複数の画像について、前記複数の領域のうち、前記特徴点抽出部が抽出した特徴点が存在する領域について得点を累積する得点累積部と、
前記複数の領域の累積された得点結果に基づき前記撮像装置における異物の付着の判定を行う判定部とを備えることを特徴とする車載用制御装置。
請求項１に記載の車載用制御装置において、
前記判定部は、前記判定範囲の前記複数の領域のうち車両の進行方向に連続する領域の累積された得点結果に基づき異物の付着の判定を行うことを特徴とする車載用制御装置。
請求項１または２に記載の車載用制御装置において、
前記車両の周囲における所定の特徴を有する特徴点は、道路上の走行車線であることを特徴とする車載用制御装置。
請求項１から３のいずれかに記載の車載用制御装置において、
前記得点累積部は、車両が道路を所定の速度以上で走行しているときに、前記得点を累積する処理を行うことを特徴とする車載用制御装置。
請求項４に記載の車載用制御装置において、
前記得点累積部は、車両が前記道路を前記所定の速度未満で走行しているときに、前記累積した得点を減算し、
前記判定部は、前記得点累積部が前記複数の領域において得点を累積および減算した得点結果に基づき前記撮像装置における異物の付着の判定を行うことを特徴とする車載用制御装置。
請求項１から５のいずれかに記載の車載用制御装置において、
前記判定部は、前記判定範囲の前記複数の領域のうち車両の進行方向に連続する領域の累積された得点の最大値および平均値を求め、前記車両の進行方向に連続する領域において、前記最大値から第１の所定の値以上小さな値を示し、前記平均値から第２の所定の値以上小さな値を示す累積された得点を有する領域を異物の付着がある領域として判定することを特徴とする車載用制御装置。
請求項１から６のいずれかに記載の車載用制御装置において、
前記判定範囲分割部は、車両進行方向については、画面上の距離もしくは路面上の距離を基準に、車両進行方向に直交する方向については、路面上の距離を基準に、前記判定範囲を複数の領域に分割することを特徴とする車載用制御装置。