JP5680436B2 - 車載カメラレンズ用異物付着判定装置 - Google Patents

Description

本発明は、車載カメラレンズ用異物付着判定装置に係り、特に、車載カメラのレンズに異物が付着しているか否かを判定するのに好適な車載カメラレンズ用異物付着判定装置に関する。

従来から、車線逸脱防止用の警報出力機能等を備えたドライブアシストシステムには、車載カメラの撮影映像に基づく画像認識技術が用いられていた。

この種のドライブアシストシステムにおいては、画像認識結果の信頼度を確保する上で、車載カメラのレンズに雨滴や汚れ等の異物が付着しているか否かを正確に判断することが重要である。蓋し、レンズに異物が付着している場合には、撮影映像中に異物の映像がノイズとして含まれるので、これを原因としたシステムの誤動作（例えば、不要な車線逸脱警報の出力や必要な車線逸脱警報の出力失敗等）およびこの誤動作にともなう不適切な運転操作を防止すべく、何らかの対策（例えば、ノイズを加味した画像処理の実施、認識結果の信頼度低下を通知するアラームまたは画像処理の中止等）を講じる必要があるからである。

そこで、これまでにも、車載カメラのレンズへの異物の付着の有無を判断することに関する従来技術として、例えば、雨滴センサやワイパ作動信号を用いて、レンズに雨滴が付着する可能性があることを検出する技術が提案されている。

また、これ以外にも、例えば、特許文献１に示すように、画像処理により、一定時間間隔の撮影映像同士の差分をとった上で、変化が少ない部分を異物と判断する方法や、特許文献２に示すように、撮影映像を予め記憶されたリファレンス映像と比較することによって異物の有無を判断する方法が提案されている。

特開２００７−１８９３６９号公報 特開２００７−２２８４４８号公報

しかしながら、雨滴センサやワイパ作動信号を用いる場合には、レンズに雨滴が付着する可能性を判断することはできるものの、実際に付着したか否かを判断することまではできず、また、汚れの場合にも付着の有無を判断することはできない。

また、撮影映像の差分から異物の付着の有無を判断する方法は、判断自体を適正に行うことはできるが、映像全体について、差分に基づく変化量を判断する処理を要するため、処理負担が大きくなる。

さらに、リファレンス映像との比較を行う方法は、リファレンス映像の記憶のために大きなメモリ容量を要することになる。

そこで、本発明は、このような点に鑑みなされたものであり、車載カメラのレンズへの異物の付着の有無の判断を、簡便、低コストかつ適正に行うことができる車載カメラレンズ用異物付着判定装置を提供することを目的とするものである。

前述した目的を達成するため、本発明に係る車載カメラレンズ用異物付着判定装置は、車両の周辺を撮影する車載カメラのレンズに異物が付着しているか否かを判定するための車載カメラレンズ用異物付着判定装置であって、前記車載カメラの撮影映像に基づいて、所定の車両周辺領域上に形成された長尺状の所定の検出対象物を検出する検出手段と、この検出手段によって検出された検出対象物の長さもしくは形成間隔についての所定の一定性の有無を判定基準とした前記レンズに前記異物が付着してるか否かの判定または当該所定の一定性の有無および前記検出された検出対象物の形状についての所定の連続性の有無を判定基準とした前記レンズに前記異物が付着しているか否かの判定を行う判定手段とを備え、前記検出対象物は、前記車両周辺領域としての路面上に形成された車線を含み、前記判定手段は、前記検出手段によって前記車線が検出された場合に、当該検出された前記車線が、前記所定の一定性としての破線車線の形状に該当する車線長手方向における長さの一定性を有している場合には、前記レンズに前記異物が付着していないと判定し、一方、当該検出された車線が、当該車線長手方向における長さの一定性を有していないことを条件の少なくとも一部として、前記レンズに前記異物が付着していると判定してもよい。そして、このような構成によれば、撮影映像に基づいて検出された車線が、車線長手方向における長さの一定性を有しているか否か（換言すれば、適正に撮影された破線車線であるか否か）に基づいて、車載カメラのレンズへの異物の付着の有無の判断を道路走行時において簡便、低コストかつ適正に行うことができる。

また、車両の周辺を撮影する車載カメラのレンズに異物が付着しているか否かを判定するための車載カメラレンズ用異物付着判定装置であって、前記車載カメラの撮影映像に基づいて、所定の車両周辺領域上に形成された長尺状の所定の検出対象物を検出する検出手段と、この検出手段によって検出された検出対象物の長さもしくは形成間隔についての所定の一定性の有無を判定基準とした前記レンズに前記異物が付着してるか否かの判定または当該所定の一定性の有無および前記検出された検出対象物の形状についての所定の連続性の有無を判定基準とした前記レンズに前記異物が付着しているか否かの判定を行う判定手段とを備え、前記検出対象物は、前記車両周辺領域としての路面上に形成された車線を含み、前記判定手段は、前記検出手段によって前記車線が検出された場合に、当該検出された前記車線が、前記所定の一定性としての破線車線の形状に該当する車線長手方向における形成間隔の一定性を有している場合には、前記レンズに前記異物が付着していないと判定し、一方、当該検出された車線が、当該車線長手方向における形成間隔の一定性を有していないことを条件の少なくとも一部として、前記レンズに前記異物が付着していると判定してもよい。そして、このような構成によれば、撮影映像に基づいて検出された車線が、車線長手方向における形成間隔の一定性を有しているか否か（換言すれば、適正に撮影された破線車線であるか否か）に基づいて、車載カメラのレンズへの異物の付着の有無の判断を道路走行時において簡便、低コストかつ適正に行うことができる。

さらにまた、前記判定手段は、前記検出された車線が、前記所定の連続性としての実線車線の形状に該当する車線長手方向における形状の連続性を有している場合にも、前記レンズに前記異物が付着していないと判定してもよい。この場合に、前記レンズに前記異物が付着していると判定するための前記条件には、前記検出された車線が、前記車線長手方向における形状の連続性を有していないことが含まれていてもよい。そして、このような構成によれば、撮影映像に基づいて検出された車線が、車線長手方向における形状の連続性を有しているか否か（換言すれば、適正に撮影された実線車線であるか否か）にも基づいて、車載カメラのレンズへの異物の付着の有無の判断を更に適正に行うことができる。

また、前記判定手段は、前記検出手段によって複数車線が検出された場合には、検出された各車線ごとに前記判定を行い、これら各車線ごとの判定結果の中に、前記レンズに前記異物が付着している旨の判定結果が少なくとも１つ含まれている場合には、その判定結果を、前記レンズ全体についての判定結果とみなしてもよい。そして、このような構成によれば、車線が複数検出された場合にも、レンズへの異物の付着の有無の判定を適正に行うことができる。

さらに、車両の周辺を撮影する車載カメラのレンズに異物が付着しているか否かを判定するための車載カメラレンズ用異物付着判定装置であって、前記車載カメラの撮影映像に基づいて、所定の車両周辺領域上に形成された長尺状の所定の検出対象物を検出する検出手段と、この検出手段によって検出された検出対象物の長さもしくは形成間隔についての所定の一定性の有無を判定基準とした前記レンズに前記異物が付着してるか否かの判定または当該所定の一定性の有無および前記検出された検出対象物の形状についての所定の連続性の有無を判定基準とした前記レンズに前記異物が付着しているか否かの判定を行う判定手段とを備え、前記検出対象物は、前記車両周辺領域としての駐車領域上に横列状態に整列形成された複数の駐車枠のそれぞれの横枠線部を含み、前記判定手段は、前記検出手段によって前記各横枠線部が検出された場合に、当該検出された各横枠線部が、前記所定の一定性としての当該横枠線部の長手方向における長さの一定性を有している場合には、前記レンズに前記異物が付着していないと判定し、一方、当該検出された各横枠線部が、当該長手方向における長さの一定性を有していない場合には、前記レンズに前記異物が付着していると判定してもよい。そして、このような構成によれば、撮影映像に基づいて検出された各横枠線部が長手方向における長さの一定性を有しているか否かに基づいて、車載カメラのレンズへの異物の付着の有無の判断を駐車時において簡便、低コストかつ適正に行うことができる。

さらにまた、車両の周辺を撮影する車載カメラのレンズに異物が付着しているか否かを判定するための車載カメラレンズ用異物付着判定装置であって、前記車載カメラの撮影映像に基づいて、所定の車両周辺領域上に形成された長尺状の所定の検出対象物を検出する検出手段と、この検出手段によって検出された検出対象物の長さもしくは形成間隔についての所定の一定性の有無を判定基準とした前記レンズに前記異物が付着してるか否かの判定または当該所定の一定性の有無および前記検出された検出対象物の形状についての所定の連続性の有無を判定基準とした前記レンズに前記異物が付着しているか否かの判定を行う判定手段とを備え、前記検出対象物は、前記車両周辺領域としての駐車領域上に横列状態に整列形成された複数の駐車枠のそれぞれの縦枠線部を含み、前記判定手段は、前記検出手段によって前記各縦枠線部が検出された場合に、当該検出された各縦枠線部が、前記所定の一定性としての当該縦枠線部の横幅方向における形成間隔の一定性を有している場合には、前記レンズに前記異物が付着していないと判定し、一方、当該検出された各縦枠線部が、前記横幅方向における形成間隔の一定性を有していない場合には、前記レンズに前記異物が付着していると判定してもよい。そして、このような構成によれば、撮影映像に基づいて検出された各縦枠線部が横幅方向における形成間隔の一定性を有しているか否かに基づいて、車載カメラのレンズへの異物の付着の有無の判断を駐車時において簡便、低コストかつ適正に行うことができる。

また、前記レンズは、広角レンズであり、前記車載カメラの撮影映像に対する歪み補正を行う歪み補正手段を備え、前記検出手段は、前記歪み補正手段による前記歪み補正後の撮影映像に基づいて前記検出対象物を検出してもよい。そして、このような構成によれば、広角レンズのディストーションを考慮して検出対象物を適正に検出することができる。

さらに、前記検出手段は、車載用ナビゲーション装置の自車位置検出機能と連動し、前記自車位置検出機能によって検出された前記自車位置に対応した種類の前記検出対象物を、当該種類に応じて設定された検出方法によって検出してもよい。そして、このような構成によれば、自車位置に応じた種類の検出対象物を検出することができるので、検出対象物の誤検出または検出失敗や、これにともなう誤判定を防止することができる。

さらにまた、前記検出手段は、前記検出対象物上の所定の障害物を検出可能とされ、前記判定手段は、前記検出手段によって前記障害物が検出された場合には、当該検出対象物を前記判定に用いないようにしてもよい。そして、このような構成によれば、障害物を原因とした誤判定を防止することができる。

本発明によれば、車載カメラのレンズへの異物の付着の有無の判断を、簡便、低コストかつ適正に行うことができる。

本発明に係る車載カメラ用レンズ付着物判定装置の実施形態を示すブロック図 歪み補正を説明するための説明図 異物付着判定に用いられる映像中の破線白線車線を示す模式図 異物付着判定に用いられる映像中の実線白線車線を示す模式図 異物付着判定に用いられる映像中の駐車枠横枠線部を示す模式図 本発明に係る車載カメラ用レンズ付着物判定装置の実施形態を示すフローチャート

以下、本発明に係る車載カメラレンズ用異物付着判定装置の実施形態について、図１乃至図６を参照して説明する。

図１に示すように、本実施形態における車載カメラレンズ用異物付着判定装置１は、自車の周辺を撮影する車載カメラ２を有しており、この車載カメラ２は、魚眼レンズ等の広角のレンズ３を備えた広視野角のカメラとされているとともに、ＣＣＤやＣＭＯＳ等の固体撮像素子（撮像面）を備えたデジタルカメラとされている。この車載カメラ２は、自車の前部（例えば、エンブレム部等）に自車の前方の路面を斜め方向から見下ろすような姿勢で取り付けられた自車の前方を中心とした所定の撮影領域を撮影するフロントカメラであってもよい。また、これ以外にも、車載カメラ２は、自車の左側部（例えば、左ドアミラー等）に自車の左側方の路面を斜め方向から見下ろすような姿勢で取り付けられた自車の左側方を中心とした所定の撮影領域を撮影する左サイドカメラであってもよい。さらに、これら以外にも、車載カメラ２は、自車の右側部（例えば、右ドアミラー等）に自車の右側方の路面を斜め方向から見下ろすような姿勢で取り付けられた自車の右側方を中心とした所定の撮影領域を撮影する右サイドカメラであってもよい。さらにまた、これら以外にも、車載カメラ２は、自車の後部（例えば、リアライセンスガーニッシュ部等）に自車の後方の路面を斜め方向から見下ろすような姿勢で取り付けられた自車の後方を中心とした所定の撮影領域を撮影するバックカメラであってもよい。

また、図１に示すように、車載カメラ２には、カメラ映像取得部４が接続されており、このカメラ映像取得部４は、車載カメラ２の撮影映像を取得するようになっている。

さらに、図１に示すように、カメラ映像取得部４には、歪み補正手段としての歪み補正部５が接続されており、この歪み補正部５には、カメラ映像取得部４から、車載カメラ２の撮影映像が入力されるようになっている。そして、歪み補正部５は、入力された撮影映像に対して、図２に示すように、車載カメラ２の内部パラメータ（画像主点や焦点距離等）を用いた公知の歪み補正を行うようになっている。なお、内部パラメータは、予め歪み補正部５に設定しておけばよい。また、歪み補正部５は、入力された撮影映像中の所定の使用領域（例えば、絞りや自車の映り込み領域等の不要な領域を除いた所定範囲の画素領域）の映像のみを切り出し、この切り出した映像に対して歪み補正を行うようにしてもよい。さらに、歪み補正部５は、歪み補正前の映像における任意の画素と、この画素に歪み補正後において対応する画素との座標（ＸＹ座標）の対応関係が記述された所謂マッピングテーブルを用いることによって歪み補正を行うようにしてもよい。この場合、マッピングテーブルにおける前記座標の対応関係は、歪み補正部５に設定した内部パラメータを用いて規定すればよい。

さらにまた、図１に示すように、歪み補正部５には、検出手段としての対象物検出部６が接続されており、この対象物検出部６には、歪み補正部５から、歪み補正後の撮影映像が入力されるようになっている。そして、対象物検出部６は、入力された歪み補正後の撮影映像に対する画像認識によって、所定の車両周辺領域上に形成された長尺状の所定の検出対象物を検出するようになっている。

ここで、所定の検出対象物の一例としては、所定の車両周辺領域の一例としての路面上に形成された車線がある。また、所定の検出対象物の他の一例としては、所定の車両周辺領域の他の一例としての駐車領域（駐車場）上に横列状態に整列形成された複数の駐車枠のそれぞれの横枠線部がある。さらに、これら以外の所定の検出対象物の一例としては、当該駐車領域上の複数の駐車枠のそれぞれの縦枠線部がある。

また、図１に示すように、対象物検出部６には、車載用ナビゲーション装置の自車位置検出部７が接続されている。この自車位置検出部７は、衛星測位システム（例えば、ＧＰＳ等）を用いた衛星航法と、自律航法センサ（例えば、ジャイロセンサや車速センサ等）の検出結果に基づく自律航法とを適宜組み合わせたハイブリッド航法によって自車位置を検出するようになっている。さらに、自車位置検出部７は、このようして検出された自車位置を、不図示の地図データベースに格納された地図データにおける該当する道路上の位置に補正するマップマッチング処理を行うようになっている。そして、自車位置検出部７は、マップマッチング処理が適正に行われた場合には、マップマッチング処理後の自車位置を最終的な自車位置の検出結果とするようになっている。

このようにして検出された自車位置の検出結果は、対象物検出部６に入力されるようになっている。そして、対象物検出部６は、入力された自車位置の検出結果に対応した種類の検出対象物を、当該種類に応じた設定された検出方法によって検出するようになっている。例えば、対象物検出部６は、自車位置の検出結果が道路上の位置を示す場合（すなわち、自車位置が任意の道路にマッチングされている場合）には、前述した車線の検出を行うようにすればよい。この場合に、対象物検出部６は、車線の端辺に相当するエッジを検出する方法によって車線の検出を行うようにすればよい。このようなエッジの検出は、公知の白線検出方法と同様に、車線映像と路面映像との輝度差等に基づいて行うようにしてもよい。また、対象物検出部６は、自車位置の検出結果が駐車領域上の位置を示す場合には、前述した複数の駐車枠の各横枠線部または各縦枠線部の検出を行うようにすればよい。この場合に、横枠線部および縦枠線部の検出は、車線の検出の場合と同様に、基本的に、枠線部の端辺に相当するエッジを検出する方法によって行うようにすればよい。ただし、横枠線部および縦枠線部を検出する場合には、エッジだけでなく、駐車枠の角部や横枠線部と縦枠線部との交点等の枠線部ならではの特徴点を検出することを要するので、車線の検出の場合とは若干異なる検出方法が用いられることになる。また、自車位置が駐車領域上にあることについては、例えば、自車位置がいずれの道路上にもマッチングされていないことや、検出された自車位置の座標と地図データに格納された駐車場の代表点座標（例えば、出入口の座標）との間の換算距離が閾値以下であること等によって検知してもよい。

ただし、このような構成に限定される必要はなく、対象物検出部６は、自車位置以外の車両情報（例えば、車速、シフト操作情報またはハンドル操舵角情報等）に基づいて、検出すべき検出対象物の種類（車線／枠線部）を認識できるのであれば、当該車両情報に応じた検出対象物の検出を行うようにしてもよい。

さらに、図１に示すように、対象物検出部６には、判定手段としての異物付着判定部８が接続されており、この異物付着判定部８には、対象物検出部６から、検出対象物の検出結果が入力されるようになっている。そして、異物付着判定部８は、入力された検出対象物の検出結果に基づいて、レンズ３に異物が付着しているか否かの判定（以下、異物付着判定と称する）を行うようになっている。このとき、異物付着判定部８は、対象物検出部６によって検出された検出対象物の長さまたは形成間隔についての所定の一定性の有無を判定基準とした異物付着有無判定を行うようになっている。なお、この異物付着判定は、当該検出対象物の形状についての所定の連続性の有無を更なる判定基準としてもよい。

例えば、異物付着判定部８は、対象物検出部６によって車線が検出された場合には、当該検出された車線が、前記所定の一定性としての破線車線の形状に該当する車線長手方向における長さの一定性を有している場合に、レンズ３に異物が付着していないと判定すればよい。一方、異物付着判定部８は、当該検出された車線が、当該車線長手方向における長さの一定性を有していない場合には、このことを条件の全てとして、レンズ３に異物が付着していると判定してもよい。あるいは、異物付着判定部８は、対象物検出部６によって検出された車線が、前記車線長手方向における長さの一定性を有していない場合であっても、前記所定の連続性としての実線車線の形状に該当する車線長手方向における形状の連続性を有している場合には、レンズ３に異物が付着していないと判定してもよい。この場合には、異物付着判定部８は、対象物検出部６によって検出された車線が、前記車線長手方向における長さの一定性を有していないこと（条件の一部）および前記車線長手方向における形状の連続性を有していないこと（条件の一部）の双方（条件の全て）が満たされた場合に、レンズ３に異物が付着していると判定すればよい。ここで、判定精度を高めるために、異物付着判定に用いる映像中の車線は、車両の走行にともなって逐次検出される一連の所定数フレーム分の映像中の車線（換言すれば、自車の速度を反映した所定撮影時間分の長さの車線）とすることが望ましい。

図３および図４は、このような異物付着判定に用いる映像中の車線を模式的に示したものである。

具体的には、図３（ａ）に示す映像中の車線は、実世界上においては破線白線車線であり、この破線白線車線は、道路交通法において、個々の線部の長手方向における長さが一定と定められている。図３（ａ）に示す車線は、車線長手方向における長さ（各線部の長さ）の一定性を満たしており、適正に撮影された破線白線車線の映像と認めることができる。したがって、このような図３（ａ）に示す態様の車線が検出された場合には、異物付着判定部８は、レンズ３に異物が付着していないと判定することになる。なお、当該長さの一定性が満たされていることについては、例えば、次のような方法によって判断することができる。すなわち、まず、映像中の各線部ごとに、車線長手方向における両端部（エッジ）の画素の座標（画像座標系の座標）を検出する。この検出は、車線の検出の過程で行うようにしてもよい。次いで、この検出した座標を、予め取得されている車載カメラ２の内部／外部パラメータを用いて画像座標系から実世界上の三次元ワールド座標系の座標に変換する。次いで、各線部ごとに、車線長手方向における両端部の三次元ワールド座標同士の差分（すなわち、映像中の各線部の実世界上での長さ）を算出する。そして、この算出結果が各線部同士で一致もしくは近似する（所定誤差以内）とみなされる場合には、当該長さの一定性が満たされていると判断する。このような方法を用いる場合には、画像座標と三次元ワールド座標との対応データを予め記憶部に記憶しておき、この対応データを用いて各線部の車線長手方向における両端部の座標の座標変換を行うようにすれば効率がよい。

一方、図３（ｂ）に示す映像中の車線は、実世界上では図３（ａ）の場合と同様の破線白線車線であるが、レンズ３に雨滴が付着していることによって、車線の一部が雨滴によって遮られたような映像となっている。このような図３（ｂ）に示す車線は、車線であると認めることはできるものの、車線長手方向における長さの一定性も形状の連続性（断続的な車線でないこと）も満たしておらず、破線白線車線の映像とも実線白線車線の映像とも認める（判別する）ことができない。なお、このような雨滴等の異物に遮られている場合における車線の線部の長さは、線部における異物との境界が、線部の車線長手方向における一端部として扱われた上で判断される。この境界は、前述した対象物検出部６による車線検出の際におけるエッジ検出の一環として、輝度差等に基づいて検出してもよい。そして、このような図３（ｂ）に示す態様の車線が検出された場合には、異物付着判定部８は、レンズ３に異物が付着していると判定することになる。

また、図４（ａ）に示す映像中の車線は、実世界上においては実線白線車線であり、映像上においても、実世界を忠実に反映して車線長手方向における形状の連続性を有しているので、適正に撮影された実線白線車線であると認めることができる。したがって、このような図４（ａ）に示す態様の車線が検出された場合には、異物付着判定部８は、レンズ３に異物が付着していないと判定すればよい。

一方、図４（ｂ）に示す映像中の車線は、実世界上では図４（ａ）の場合と同様の破線白線車線であるが、図３（ｂ）の場合と同様に、レンズ３に雨滴が付着していることによって、車線の一部が雨滴によって遮られたような映像となっている。このような図４（ｂ）に示す車線は、図３（ｂ）の場合と同様に、車線長手方向における長さの一定性も形状の連続性も満たしていない。このとき、前述のように、車線上に異物との境界（エッジ）が検出されることによって、車線の形状の連続性が満たされていないと判断してもよい。そして、このような図４（ｂ）に示す車線は、図３（ａ）の場合と同様に、破線白線車線の映像とも実線白線車線の映像とも認めることができない。したがって、図４（ｂ）に示す態様の車線が検出された場合には、異物付着判定部８は、レンズ３に異物が付着していると判定することになる。

なお、破線白線車線は、各線部の長さだけでなく、各線部間の間隔すなわち形成間隔についても一定と定められている。したがって、異物付着判定部８は、車線長手方向における長さの一定性に代わる判定基準として、車線長手方向における形成間隔の一定性を用いてもよい。

また、対象物検出部６によって映像中に複数車線が検出された場合には、異物付着判定部８は、検出された各車線ごとに車線長手方向における長さの一定性および形状の連続性を判定基準とした異物付着判定を行うようにすればよい。そして、各車線ごとの判定結果の中に、レンズ３に異物が付着している旨の判定結果が少なくとも１つ含まれている場合には、その判定結果を、レンズ３全体についての判定結果とみなすようにすればよい。

さらに、異物付着判定部８は、対象物検出部６によって複数の駐車枠の各横枠線部が検出された場合には、当該検出された各横枠線部が、前記所定の一定性としての横枠線部の長手方向における長さの一定性を有している場合に、レンズ３に異物が付着していないと判定すればよい。一方、異物付着判定部８は、当該検出された各横枠線部が、当該長手方向における長さの一定性を有していない場合には、レンズ３に異物が付着していると判定すればよい。

図５は、このような異物付着判定に用いる映像中の各横枠線部を模式的に示したものである。

具体的には、図５（ａ）に示す映像中の各横枠線部（白線）１０は、長手方向における長さの一定性を満たしており、適正に撮影された各横枠線部の映像と認めることができる。蓋し、路外駐車場の各駐車スペースは、等間隔に横列配置されていることが通常であるからである。したがって、このような図５（ａ）に示す態様の横枠線部１０が検出された場合には、異物付着判定部８は、レンズ３に異物が付着していないと判定することになる。なお、当該長さの一定性が満たされていることについての具体的な判断方法は、車線の場合と同様な方法を用いることができる。

一方、図５（ｂ）に示す映像中の各横枠線部１０は、レンズ３に雨滴が付着していることによって、一部の横枠線部１０が雨滴によって部分的に遮られたような映像となっており、長手方向における長さの一定性が満たされていない。したがって、このような図５（ｂ）に示す態様の横枠線部１０が検出された場合には、異物付着判定部８は、レンズ３に異物が付着していると判定することになる。なお、図５に示すように、対象物検出部６によって映像中に横列状態の複数の横枠部１０が複数組（図５においては手前側の組と奥側の組との２組）検出された場合には、異物付着判定部８は、検出された各組の横枠部１０ごとに前記長さの一定性を判定基準とした異物付着判定を行うようにすればよい。そして、各組ごとの判定結果の中に、レンズ３に異物が付着している旨の判定結果が少なくとも１組含まれている場合には、その判定結果を、レンズ３全体についての判定結果とみなすようにすればよい。

さらにまた、これ以外にも、異物付着判定部８は、対象物検出部６によって複数の駐車枠の各縦枠線部１４（図５参照）が検出された場合には、当該検出された各縦枠線部１４が、前記所定の一定性としての縦枠線部の横幅方向における形成間隔の一定性を有している場合に、レンズ３に異物が付着していないと判定すればよい。一方、異物付着判定部８は、当該検出された各縦枠線部１４が、横幅方向における形成間隔の一定性を有していない場合には、レンズ３に異物が付着していると判定すればよい。

また、所定の検出対象物として各横枠線部１０と各縦枠線部１４との双方を検出し、それぞれに基づいた異物付着判定を個別に行うような構成をとる場合には、一方の判定において異物の付着が認められた場合に、これをレンズ３全体の判定結果とみなすようにしてもよい。

以上の構成によれば、撮影映像に基づいて検出された車線または枠線部の長さもしくは形成間隔についての一定性の有無および／または形状についての連続性の有無を判断基準とすることにより、レンズ３への雨滴や汚れの付着の有無を適切に判定することができる。また、車線または枠線部の長さ／形状のみを評価すればよいので、従来のような映像全体を対象とした判定を行う場合に比べて処理負担を軽減することができる。さらに、従来のようにリファレンス映像を記憶させておく必要もないため、メモリ容量を大きくする必要はない。

また、上記構成に加えて、更に、対象物検出部６が、検出対象物上の所定の障害物を検出可能とされ、異物付着判定部８が、対象物検出部６によって当該障害物が検出された場合に、当該検出対象物を異物付着判定に用いないように構成されていてもよい。この場合に、所定の障害物の検出には、当該障害物に応じた所定の特徴点の検出等の公知の画像認識技術を用いればよい。また、所定の障害物としては、他車や歩行者等を挙げることができる。このように構成すれば、障害物を原因とした誤判定を有効に防止することができる。

さらに、駐車領域上における検出対象物として、横枠線部の代わりに車止めを採用してもよい。

図１に戻って、異物付着判定部８には、判定結果反映処理部９が接続されており、この判定結果反映処理部９には、異物付着判定部８から、異物付着判定の判定結果が入力されるようになっている。そして、判定結果反映処理部９は、入力された判定結果を反映した処理（以下、反映処理と称する）を行うようになっている。この反映処理の一例としては、異物付着判定部８の判定結果が異物の付着を示す場合に、これを反映して、車載カメラ２の撮影映像に対する画像認識の結果の信頼度が低下していることを通知するアラームを、表示部１１や音声出力部１２を介して出力する処理を考えることができる。また、その他の反映処理の一例としては、車載カメラ用レンズ付着物判定装置１が車線逸脱防止用の警報出力機能を備えたドライブアシストシステムに搭載された態様において、異物付着判定部８によって異物が付着している旨の判定結果が得られた場合に、これを反映して、警報出力のための各処理を中止させる処理を考えることができる。例えば、車線逸脱警報は、画像認識された車線（白線）と自車位置との距離の関係に基づいて出力の有無が判断されるが、異物付着判定部８によって異物が付着している旨の判定がなされた場合には、これらの車線の画像認識処理や警報出力有無の判断処理を中止してもよい。因みに、本実施形態における車載カメラ用レンズ付着物判定装置１は、車線を検出（画像認識）する対象物検出部６を備えているので、この対象物検出部６の検出結果を車線逸脱防止用の警報の出力有無判定に活用することができる。

ところで、本実施形態においては、レンズ３における車線または枠線部の捕捉部位以外の部位については、異物の付着の有無を判断することはできない。しかしながら、ドライブアシストシステムにおける車線逸脱警報の出力機能にとっては、自車と車線または枠線部との位置関係のみが重要となるので、それ以外の部分の異物については、その影響を無視することができる。

また、前述した車載カメラ用レンズ付着物判定装置１の各構成部４〜９は、例えば、これら各構成部４〜９の機能を実行するＣＰＵ、このＣＰＵの実行プログラムやデータが記憶されたＲＯＭおよびＣＰＵの処理結果等の一時的な保存に利用されるＲＡＭ等によって構成してもよい。

次に、本実施形態の作用について、図６を参照して説明する。

本実施形態においては、まず、図６のステップ１（ＳＴ１）において、カメラ映像取得部４により、車載カメラ２の撮影映像を取得する。

次いで、ステップ２（ＳＴ２）において、歪み補正部５により、ステップ１（ＳＴ１）において取得された撮影映像に対する歪み補正を行う。

次いで、ステップ３（ＳＴ３）において、対象物検出部６により、自車位置検出部７の検出結果に基づいて、自車位置が道路上にあるか否かを判定する。そして、ステップ３（ＳＴ３）において肯定的な判定結果が得られた場合には、ステップ４（ＳＴ４）に進み、否定的な判定結果が得られた場合には、ステップ１０（ＳＴ１０）に進む。

ここで、ステップ４（ＳＴ４）以降の処理について先に説明すると、まず、ステップ４（ＳＴ４）においては、対象物検出部６により、車線の検出を行う。

次いで、ステップ５（ＳＴ５）において、異物付着判定部８により、車線が検出されたか否かを判定する。そして、ステップ５（ＳＴ５）において肯定的な判定結果が得られた場合には、ステップ６（ＳＴ６）に進み、否定的な判定結果が得られた場合には、処理を終了する。

次いで、ステップ６（ＳＴ６）において、異物付着判定部８により、ステップ５（ＳＴ５）において検出されたと判定された車線が、車線長手方向における長さの一定性を有しているか否かを判定する。ただし、このステップ６（ＳＴ６）における判定は、ステップ５（ＳＴ５）において所定フレーム数分の一連の映像中の車線が検出されたと判定されることを待って行うようにしてもよい。そして、ステップ６（ＳＴ６）において肯定的な判定結果が得られた場合には、ステップ７（ＳＴ７）に進み、否定的な判定結果が得られた場合には、ステップ８（ＳＴ８）に進む。

ここで、ステップ７（ＳＴ７）に進んだ場合には、このステップ７（ＳＴ７）において、異物付着判定部８により、レンズ３に異物が付着していないと判定して処理を終了する。

一方、ステップ８（ＳＴ８）に進んだ場合には、このステップ８（ＳＴ８）において、異物付着判定部８により、ステップ５（ＳＴ５）において検出されたと判定された車線が、車線長手方向における形状の連続性を有しているか否かを判定する。なお、ステップ８（ＳＴ８）における判定は、ステップ６（ＳＴ６）における判定と順番が前後してもよい。そして、ステップ８（ＳＴ８）において肯定的な判定結果が得られた場合には、ステップ７（ＳＴ７）に進み、否定的な判定結果が得られた場合には、ステップ９（ＳＴ９）に進む。

次いで、ステップ９（ＳＴ９）において、異物付着判定部８により、レンズ３に異物が付着していると判定して処理を終了する。

次に、ステップ１０（ＳＴ１０）以降の処理について説明すると、まず、ステップ１０（ＳＴ１０）において、対象物検出部６により、自車位置検出部７の検出結果に基づいて、自車位置が駐車領域上にあるか否かを判定する。そして、ステップ１０（ＳＴ１０）において肯定的な判定結果が得られた場合には、ステップ１１（ＳＴ１１）に進み、否定的な判定結果が得られた場合には、処理を終了する。

次いで、ステップ１１（ＳＴ１１）において、対象物検出部６により、複数の駐車枠における各横枠線部の検出を行う。

次いで、ステップ１２（ＳＴ１２）において、異物付着判定部８により、複数の横枠線部が検出されたか否かを判定する。そして、ステップ１２（ＳＴ１２）において肯定的な判定結果が得られた場合には、ステップ１３（ＳＴ１３）に進み、否定的な判定結果が得られた場合には、処理を終了する。

次いで、ステップ１３（ＳＴ１３）において、異物付着判定部８により、ステップ１２（ＳＴ１２）において検出されたと判定された各横枠線部のすべてが、長手方向における長さの一定性を有しているか否かを判定する。そして、ステップ１３（ＳＴ１３）において肯定的な判定結果が得られた場合には、ステップ７（ＳＴ７）に進み、否定的な判定結果が得られた場合には、ステップ９（ＳＴ９）に進む。

このような図６の各工程の実行期間は、コンセプトに応じて種々設定することができる。たとえば、自車のＡｃｃがオンになっている状態で、継続的に繰り返し行うようにしてもよいし、あるいは、定期的に行うようにしてもよい。

以上述べたように、本発明によれば、撮影映像に基づいて検出された車線／枠線部の長さまたは形成間隔についての所定の一定性の有無および検出された車線の形状についての所定の連続性の有無の少なくとも一方を判断基準とすることにより、車載カメラ２のレンズ３への異物の付着の有無の判断を簡便、低コストかつ適正に行うことができる。

なお、本発明は、前述した実施の形態に限定されるものではなく、本発明の特徴を損なわない限度において種々変更することができる。

例えば、本実施形態における車載カメラ用レンズ付着物判定装置１の判定結果を、いわゆるトップビュー（もしくはアラウンドビュー）モニタ画面の表示に反映させてもよい。すなわち、一般に、当該モニタ画面の生成には、複数台（例えば、前述した４台）の車載カメラ２の撮影映像を、歪み補正や視点変換等の画像処理を行った上で合成するようになっているが、異物付着判定部８によって異物が付着していると判定された車載カメラ２の撮影映像については、モニタ画面上において非表示としてもよいし、または、モニタ画面上における検出対象物（白線等）の形状を、他の車載カメラ２の撮影映像に基づいて補正してもよい。このとき、異物が付着していると判定された車載カメラ２に該当するモニタ画面上の映像部分については、この映像部分に位置的に対応させるようにして信頼性が低い旨の警報メッセージを重畳表示してもよい。あるいは、異物が付着していると判定された車載カメラ２が１台でも存在する場合には、当該モニタ画面の表示を一切禁止して、警報メッセージのみを表示するようにしてもよい。

１ 車載カメラ用レンズ付着物判定装置
２ 車載カメラ
３ レンズ
６ 対象物検出部
８ 異物付着判定部

Claims (10)

1. 車両の周辺を撮影する車載カメラのレンズに異物が付着しているか否かを判定するための車載カメラレンズ用異物付着判定装置であって、
   前記車載カメラの撮影映像に基づいて、所定の車両周辺領域上に形成された長尺状の所定の検出対象物を検出する検出手段と、
   この検出手段によって検出された検出対象物の長さもしくは形成間隔についての所定の一定性の有無を判定基準とした前記レンズに前記異物が付着してるか否かの判定または当該所定の一定性の有無および前記検出された検出対象物の形状についての所定の連続性の有無を判定基準とした前記レンズに前記異物が付着しているか否かの判定を行う判定手段とを備え、
   前記検出対象物は、前記車両周辺領域としての路面上に形成された車線を含み、
   前記判定手段は、前記検出手段によって前記車線が検出された場合に、当該検出された前記車線が、前記所定の一定性としての破線車線の形状に該当する車線長手方向における長さの一定性を有している場合には、前記レンズに前記異物が付着していないと判定し、一方、当該検出された車線が、当該車線長手方向における長さの一定性を有していないことを条件の少なくとも一部として、前記レンズに前記異物が付着していると判定すること
   を特徴とする車載カメラレンズ用異物付着判定装置。
2. 車両の周辺を撮影する車載カメラのレンズに異物が付着しているか否かを判定するための車載カメラレンズ用異物付着判定装置であって、
   前記車載カメラの撮影映像に基づいて、所定の車両周辺領域上に形成された長尺状の所定の検出対象物を検出する検出手段と、
   この検出手段によって検出された検出対象物の長さもしくは形成間隔についての所定の一定性の有無を判定基準とした前記レンズに前記異物が付着してるか否かの判定または当該所定の一定性の有無および前記検出された検出対象物の形状についての所定の連続性の有無を判定基準とした前記レンズに前記異物が付着しているか否かの判定を行う判定手段とを備え、
   前記検出対象物は、前記車両周辺領域としての路面上に形成された車線を含み、
   前記判定手段は、前記検出手段によって前記車線が検出された場合に、当該検出された前記車線が、前記所定の一定性としての破線車線の形状に該当する車線長手方向における形成間隔の一定性を有している場合には、前記レンズに前記異物が付着していないと判定し、一方、当該検出された車線が、当該車線長手方向における形成間隔の一定性を有していないことを条件の少なくとも一部として、前記レンズに前記異物が付着していると判定すること
   を特徴とする車載カメラレンズ用異物付着判定装置。
3. 前記判定手段は、前記検出された車線が、前記所定の連続性としての実線車線の形状に該当する車線長手方向における形状の連続性を有している場合にも、前記レンズに前記異物が付着していないと判定すること
   を特徴とする請求項１または請求項２に記載の車載カメラレンズ用異物付着判定装置。
4. 前記レンズに前記異物が付着していると判定するための前記条件には、前記検出された車線が、前記車線長手方向における形状の連続性を有していないことが含まれていること
   を特徴とする請求項３に記載の車載カメラレンズ用異物付着判定装置。
5. 前記判定手段は、前記検出手段によって複数車線が検出された場合には、検出された各車線ごとに前記判定を行い、これら各車線ごとの判定結果の中に、前記レンズに前記異物が付着している旨の判定結果が少なくとも１つ含まれている場合には、その判定結果を、前記レンズ全体についての判定結果とみなすこと
   を特徴とする請求項１乃至請求項４のいずれか１項に記載の車載カメラレンズ用異物付着判定装置。
6. 車両の周辺を撮影する車載カメラのレンズに異物が付着しているか否かを判定するための車載カメラレンズ用異物付着判定装置であって、
   前記車載カメラの撮影映像に基づいて、所定の車両周辺領域上に形成された長尺状の所定の検出対象物を検出する検出手段と、
   この検出手段によって検出された検出対象物の長さもしくは形成間隔についての所定の一定性の有無を判定基準とした前記レンズに前記異物が付着してるか否かの判定または当該所定の一定性の有無および前記検出された検出対象物の形状についての所定の連続性の有無を判定基準とした前記レンズに前記異物が付着しているか否かの判定を行う判定手段とを備え、
   前記検出対象物は、前記車両周辺領域としての駐車領域上に横列状態に整列形成された複数の駐車枠のそれぞれの横枠線部を含み、
   前記判定手段は、前記検出手段によって前記各横枠線部が検出された場合に、当該検出された各横枠線部が、前記所定の一定性としての当該横枠線部の長手方向における長さの一定性を有している場合には、前記レンズに前記異物が付着していないと判定し、一方、当該検出された各横枠線部が、当該長手方向における長さの一定性を有していない場合には、前記レンズに前記異物が付着していると判定すること
   を特徴とする車載カメラレンズ用異物付着判定装置。
7. 車両の周辺を撮影する車載カメラのレンズに異物が付着しているか否かを判定するための車載カメラレンズ用異物付着判定装置であって、
   前記車載カメラの撮影映像に基づいて、所定の車両周辺領域上に形成された長尺状の所定の検出対象物を検出する検出手段と、
   この検出手段によって検出された検出対象物の長さもしくは形成間隔についての所定の一定性の有無を判定基準とした前記レンズに前記異物が付着してるか否かの判定または当該所定の一定性の有無および前記検出された検出対象物の形状についての所定の連続性の有無を判定基準とした前記レンズに前記異物が付着しているか否かの判定を行う判定手段とを備え、
   前記検出対象物は、前記車両周辺領域としての駐車領域上に横列状態に整列形成された複数の駐車枠のそれぞれの縦枠線部を含み、
   前記判定手段は、前記検出手段によって前記各縦枠線部が検出された場合に、当該検出された各縦枠線部が、前記所定の一定性としての当該縦枠線部の横幅方向における形成間隔の一定性を有している場合には、前記レンズに前記異物が付着していないと判定し、一方、当該検出された各縦枠線部が、前記横幅方向における形成間隔の一定性を有していない場合には、前記レンズに前記異物が付着していると判定すること
   を特徴とする車載カメラレンズ用異物付着判定装置。
8. 前記レンズは、広角レンズであり、
   前記車載カメラの撮影映像に対する歪み補正を行う歪み補正手段を備え、
   前記検出手段は、前記歪み補正手段による前記歪み補正後の撮影映像に基づいて前記検出対象物を検出すること
   を特徴とする請求項１乃至請求項７のいずれか１項に記載の車載カメラレンズ用異物付着判定装置。
9. 前記検出手段は、車載用ナビゲーション装置の自車位置検出機能と連動し、前記自車位置検出機能によって検出された前記自車位置に対応した種類の前記検出対象物を、当該種類に応じて設定された検出方法によって検出すること
   を特徴とする請求項１乃至請求項８のいずれか１項に記載の車載カメラレンズ用異物付着装置。
10. 前記検出手段は、前記検出対象物上の所定の障害物を検出可能とされ、
    前記判定手段は、前記検出手段によって前記障害物が検出された場合には、当該検出対象物を前記判定に用いないこと
    を特徴とする請求項１乃至請求項９のいずれか１項に記載の車載カメラレンズ用異物判定装置。

Images