JP6744336B2 - 予想されるエッジ軌跡を用いたレンズ汚染の検出 - Google Patents

Description

現代の乗用車は、車両の周囲環境を捉え、運転安全性及び快適性を向上させるための様々な機能を提供するカメラベースの支援システムを装備することが増えている。こうしたシステムの機能は、記録された画像データの分析に基づいている。従って、システムの予測の質は、画像データの品質に直接関係している。

画像品質に影響し、制御が困難な１つの要因は、カメラの光学系の汚染の程度である。カメラは、汚染のリスクが少ない場所に設置してもよく、電気ワイパーで洗浄してもよい。こうした対策にもかかわらず、光学系の汚染を完全に回避することは不可能である。従って、適切な動作を誘発するために、自動的にカメラレンズ上の汚れの粒子を検出することが提案されている。こうしたレンズ汚染の自動検出の例が、特許文献１に開示されている。

欧州特許出願公開第２３５１３５１号明細書

Ｊ．Ｇｕ、Ｒ．Ｒａｍａｍｏｏｒｔｈｉ、Ｐ．Ｎ．Ｂｅｌｈｕｍｅｕｒ及びＳ．Ｋ．Ｎａｙａｒ、「ＲｅｍｏｖｉｎｇＩｍａｇｅ Ａｒｔｉｆａｃｔｓ Ｄｕｅ ｔｏ Ｄｉｒｔｙ Ｃａｍｅｒａ Ｌｅｎｓｅｓ ａｎｄ Ｔｈｉｎ Ｏｃｃｌｕｄｅｒｓ」、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＧｒａｐｈｉｃｓ、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ Ａｓｉａ、２００９年１２月 Ｃ．Ｚｈｏｕ、Ｓ．Ｌｉｎ、「Ｒｅｍｏｖａｌ ｏｆ Ｉｍａｇｅ Ａｒｔｉｆａｃｔｓ Ｄｕｅ ｔｏ Ｓｅｎｓｏｒ Ｄｕｓｔ」、Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔｉｎｇ Ｍａｃｈｉｎｅｒｙ， Ｉｎｃ．、２００７年６月

本明細書は、車両カメラのレンズ上の汚染を検出するための方法及び対応する装置を開示する。

画像フレームを含む画像データは、車両カメラ又は複数の車両カメラからデータ接続、例えば自動車用データバス又はカメラのデータケーブルを介して受信される。
遷移インジケータを用いて、遷移値が画像フレームの画素に割り当てられる。遷移値は、フレームの対応する画素の位置に暗から明まで、又は明から暗まで明確に認識可能な強度遷移があるか否かを示す。その結果、遷移は、対応する位置にコーナー、エッジ又は別の種類の特徴点が存在することを示すことができる。
遷移インジケータは、フレームの画素値に適用され、画像の画素に関連づけられる遷移値を生成する、ラプラス検出器又はハリスコーナー検出器などの演算子又はフィルタである。ここで、画素は、フレームの複数の隣接画素に対応する低解像度画素を表すこともできる。演算子又はフィルタは、遷移値を画素に割り当てる、ある画素近傍の複数の画素の関数によって実現することができる。特に、関数は、畳み込み行列のような行列で表すことができる、画素値の線形関数とすることができる。

三次元座標が、外部のシーンのモデルを用いて画素に割り当てられる。例えば、単純なモデルでは、シーンが地面と、道路脇の家屋や壁などの道路境界に平行に並んでいる表面を有する垂直なオブジェクトを含む領域とに分割される。更なる情報、例えば消尽線又はステレオ画像による表面認識を使用して三次元座標の精度を向上させてもよい。

割り当てられた三次元座標及び車両の移動データが、軌跡を画素に割り当てるために使用される。移動データは、１つ以上の車両センサによって提供される、例えば速度及び操舵角を含むＣＡＮデータ、カメラデータ、カメラデータから導き出されるエゴモーションデータなどである。特に、エゴモーションデータは、サラウンドビューシステムのカメラから導き出されるものであってもよい。単純な例では、始点（ｘ０，ｙ０）と終点（ｘ，ｙ）のような２つの点だけで軌跡を定義することができる。

所定の基準、例えば推定される運動ベクトルの精度の基準に従い、運動ベクトルを画素に割り当てるか否かが決定される。軌跡が割り当てられている画素及びフレームについて、期待値と充足遷移値とが計算される。

期待値は、軌跡の開始画素の遷移値から導き出される。軌跡は、時間的に前方又は後方に伸びてもよく、一組の隣接する画像フレームの画素を含む。

充足遷移値は、開始画素で始まり開始画素のフレームに隣接する一組のフレームにわたって伸びる軌跡に沿った遷移値から導き出される。

期待値及び充足遷移値は、経時的に累積され、時間はフレームインデックスによって表される。カメラレンズの対応する位置の清浄度の値が、累積された期待値に対する累積された充足遷移値の比から導き出される。

現在のフレームにおける画素の位置に関連する軌跡がない場合でも、累積量から導き出される清浄度の値、及び累積量それ自体は、明確に定義された値を持ち得る。利用可能な情報が累積量を更新するのに十分ではない場合、清浄度の値は、前回の更新の結果として得られた以前の値に基づいて計算される。

特に、経時的な累積は、以前の累積値と、期待値又は充足遷移値の新しい値との加重平均から新しい累積値を導き出す際に従う更新規則を含み得る。重み付け係数は、軌跡の始点における遷移値の大きさによって判定される。遷移値が強いほど、新しい値の重みが高くなり、以前の値の重みが小さくなる結果をもたらす、或いは、そうなるように寄与する。

更なる実施形態によると、画素位置（ｘ，ｙ）の期待値Ｔｏｔ（ｘ，ｙ）及び充足遷移値Ｓａｔ（ｘ，ｙ）が、少なくとも２つの量に基づいて更新され、最高値を有する、即ち、最も強い表示度数を与える量が選択される。

第１の量は、画素位置（ｘ，ｙ）に明確に視認可能な遷移があるかどうかを示し、第２の量は、軌跡の始点（ｘ０，ｙ０）における遷移に対応する遷移が（ｘ，ｙ）に見つかるか否かを表す。

一実施形態によると、第１の値が、画素における遷移値が１に等しい場合、以前の累積された充足遷移値と値１との加重和として計算され、遷移値が１未満の場合に、ゼロに設定される。第１の値をゼロに設定することは、値を無視することに等しい。

更なる実施形態によると、画素位置（ｘ，ｙ）の期待値Ｔｏｔ（ｘ，ｙ）と充足遷移値Ｓａｔ（ｘ，ｙ）は、少なくとも３つの量に基づいて更新され、最高値を有する、即ち、最も強い表示度数を与える量が選択される。

第１の量は、画素位置（ｘ，ｙ）に明確に視認可能な遷移があるかどうかを示し、第２の量は、時間的に前進する軌跡に対して軌跡の始点（ｘ０，ｙ０）における遷移に対応する遷移が（ｘ，ｙ）に見つかるか否かを表し、第３の量は、時間的に後退する軌跡に対して軌跡の始点（ｘ０，ｙ０）における遷移に対応する遷移が（ｘ，ｙ）に見つかるか否かを表す。

一実施形態によると、十分に高い期待値に基づく清浄度の値のみが考慮される。累積期待値Ｔｏｔ（ｘ，ｙ）が所定の閾値と比較される。特に、閾値は、０．９以上であってもよい。

期待値が所定の閾値よりも大きい場合、画素の清浄度の値Ｃ（ｘ，ｙ）は、累積された充足遷移値と累積された期待値との比である。期待値が所定の閾値未満の場合、画素の清浄度の値Ｃ（ｘ，ｙ）は、例えば、値を割り当てないか、「未定」という状態を表す値を割り当てることで、「未定」と表される。

特に、遷移値は、フィルタの画像フレームの画素との二次元畳み込みとして計算することができ、結果として得られる遷移値をそれぞれの高解像度又は低解像度画素に割り当てる。画像境界の画素は無視してもよく、境界画素に片側遷移値を割り当てることができ、或いは、境界画素が内側画素となるように、適切な外側境界を設けてもよい。具体的には、ラプラス演算子の大きさに離散近似を与えるフィルタを選択することができる。

明確に視認可能な遷移を識別するため、遷移値の計算は、画素遷移値を検出閾値と比較し、それぞれの遷移の大きさの値が検出閾値より大きい場合にそれぞれの遷移値を１に設定することを更に含んでもよい。これにより、遷移値は０と１の間の値となり、検出確率として解釈することができる。

閾値が提供され、値が正確に閾値と一致する場合、出力値は実装に依存する。多くの場合、結果は、正確な値には影響を受けず、値の範囲にのみ影響を受ける。この場合、出力値は、閾値を超える値又は閾値未満の値と同じにすることも、その間にある何らかの値にすることもできる。

計算を高速化し、軌跡計算に対する要件を緩和するために、方法は、低解像度画素の低解像度遷移値の計算を更に含んでもよい。結果として、更なる計算ステップ、例えば更新式、時間累積及び清浄度の値の計算は、低解像度画素に基づくものとなる。

低解像度遷移値の計算は、画像フレームを共通要素を持たない小領域に分割し、それぞれの小領域における遷移値の最大値を選択することによって低解像度遷移値を計算することを含む。低解像度遷移値は、所定数の画像フレームについて、メモリ、例えば循環バッファに格納される。循環バッファは、「ＦＩＦＯバッファ」の環状バッファとも呼ばれる。次いで、低解像度遷移値は、対応する期待値と対応する充足遷移値を計算するために使用される。

移動データは、様々な方法で提供することができる。一実施形態によると、移動データは、車速センサ及び操舵角センサによって提供される。別の実施形態によると、移動データは、少なくとも１台の車両カメラセンサから導き出されるエゴモーション計算によって提供される。

運動ベクトル又は軌跡の画素への割り当ては、周囲のシーンの単純化モデルを使用して行われる。一実施形態によると、単純化モデルは、水平な地面、垂直に配向されたオブジェクトの左側領域、及び垂直に配向されたオブジェクトの右側領域を含む。

軌跡の予測は、車の直線移動の場合特に単純である。一実施形態によると、車両が本質的に直線上を移動している、或いは所定の限度内で直線上を移動している隣接するフレームの組が識別される。次いで、累積された期待値と累積された充足遷移値が、識別されたフレームについてのみ更新される。

更なる態様において、本明細書は、前述の方法を実行するためのコンピュータ可読コードを有するコンピュータプログラム製品を開示する。

更なる態様によると、本明細書は、評価ユニットを開示する。評価ユニットは、画像データを受信するための入力接続部と、所定数の画像フレームを格納するための循環バッファを備える。

評価ユニットは、適切な電子部品、例えば、マイクロプロセッサ、ＡＳＩＣなどの集積回路と、コンピュータ可読コード及びデータを格納するためのコンピュータメモリ、例えばＥＰＲＯＭ、ＥＥＰＲＯＭＳ、フラッシュメモリなどを提供することにより前述の方法を実行するように作動する。特に、評価ユニットは、画像フレームを含む画像データを車両カメラから入力接続部を介して受信するように作動する。

評価ユニットは、遷移インジケータを使用して遷移値を画像フレームの画素に割り当て、外部シーンのモデルを使用して三次元座標を画素に割り当てる。特に、モデルは、カメラ又は複数のカメラからの入力データを処理し、画像フレームの画素に三次元座標をを割り当てるコンピュータ可読指令で表すことができる。

更に、評価ユニットは、割り当てられた三次元座標と車両の移動データを使用して軌跡を画素に割り当てるように作動する。移動データは、入力接続部を介して受信され、１つ以上の車両センサ、例えばスピードセンサ、操舵角センサ、又はカメラセンサによって提供される。入力接続部は、カメラデータ又は他のデータのための別個の接続線を備えてもよい。特に、速度、操舵角、又はエゴモーションデータは、自動車用データバス、例えばＣＡＮバスによって提供されてもよい。

更に、評価ユニットは、軌跡が割り当てられる画素について、軌跡の開始画素の遷移値から導き出される画素のそれぞれの期待値を計算し、画素位置の充足遷移値を計算するように作動する。充足遷移値は、開始画素のフレームに隣接する循環バッファ内の一組のフレームの開始画素で始まる軌跡に沿った遷移値から導き出される。

更に、評価ユニットは、期待値と充足遷移値を経時的に累積し、累積された期待値に対する累積された充足遷移値の比から清浄度の値を導き出すするように作動する。

具体的には、それぞれの累積値は、Ｓａｔ（ｘ，ｙ）とＴｏｔ（ｘ，ｙ）の配列に格納してもよく、配列は、評価ユニットの電源が入ったときに利用可能なように、永久メモリに格納してもよい。より高速なアクセスのため、評価ユニットの作動中は、配列を読み出し書き込みメモリに供給してもよい。

更に、清浄度の値Ｃ（ｘ，ｙ）を格納するための結果バッファを設けることができ、清浄度の値Ｃ（ｘ，ｙ）を出力するための出力接続部を設けることができる。ただし、双方向データトラフィックの場合は、入力接続部を出力接続部として使用することもできる。特に、評価ユニットは、レンズの汚れに関する情報を使用して画像フレームを評価する更なる画像処理ユニットに接続するための接続部を備えてもよい。

更に、評価ユニットは、車のバッテリ電源から電力を受けるための電力接続部を備えてもよい。

特に、画像フレームを格納するためのバッファは、循環バッファとして設けられてもよい。循環バッファは、それぞれのフレームのメモリ領域へのポインタを使用して実現してもよい。これにより、メモリ内容のシフトを回避することができ、最後のフレームを新たな入フレームで単純に上書きすることができる。

更なる実施形態によると、評価ユニットは、累積された期待値を所定の閾値と比較し、期待値が所定の閾値よりも大きい場合に画素の清浄度の値を累積された期待値に対する累積された充足遷移値の比に設定するように作動する。期待値が所定の閾値未満の場合は、画素の清浄度の値は、「未定」と表される。

更なる実施形態によると、評価ユニットは、遷移値をフィルタと画像フレーム画素の画素との二次元畳み込みとして計算するように作動する。

更に別の実施形態によると、評価ユニットは、画素遷移値を検出閾値と比較し、それぞれの遷移値が検出閾値以上である場合にそれぞれの遷移値を１に設定するように作動する。

更に別の実施形態によると、評価ユニットは、画像フレームを共通要素を持たない小領域に分割し、小領域における遷移値の最大値を選択することによって低解像度遷移値を計算するように作動する。更に、評価ユニットは、所定数の画像フレームについて、低解像度遷移値をバッファに格納し、対応する期待値と対応する充足遷移値を計算するために低解像度遷移値を使用するように作動する。

更に別の実施形態によると、評価ユニットは、車速センサ及び操舵角センサから移動データを受信し処理するように作動する。

更に別の実施形態によると、評価ユニットは、少なくとも１つのカメラセンサ、例えばサラウンドカメラシステムのカメラセンサから移動データを受信し処理するように作動する。

更に別の実施形態によると、評価ユニットは、周囲シーンの単純化モデルに従って運動ベクトルを画像フレームの画素に割り当てるように作動する。単純化モデルは、水平な地面、垂直なオブジェクトの第１の領域、及び垂直なオブジェクトの第２の領域を含む。

更に別の実施形態によると、評価ユニットは、車両が本質的に所定の限度内で直線上を移動している隣接するフレームの組を識別し、識別されたフレームについてのみ累積された期待値と累積された充足遷移値を更新するように作動する。

更なる態様によると、本明細書は、前述の評価ユニットと少なくとも１台の車両カメラを有するキットを開示する。車両カメラは、評価ユニットに専用ケーブルを介して直接、或いは自動車用データバスを介して間接的に接続可能である。キットは、データ伝送ケーブルを更にを含んでもよく、カメラと評価ユニットは、例えば両装置に予め定義されたデータ交換プロトコルを提供することにより、カメラから評価ユニットへのデータ伝送に適合する。

更なる態様において、本願は、評価ユニットが車両の自動車用データバスに接続され、少なくとも１台のカメラが車両に搭載され、少なくとも１台のカメラが評価ユニットに接続されている前述のキットを備えた車両を開示する。

本願の主題は、以下の図に関して説明される。

汚れたレンズのレンズ画像を示す図である。 湿ったレンズのレンズ画像を示す図である。 本願による方法のフロー図である。 カメラ運動ベクトルで単純化されたシーンを示す図である。 車両カメラで撮影された第１のシーンを有する第１のカメラを示す図である。 １０フレーム後の図５のシーンの画素当たりの遷移要求の総数を示す遷移要求図である。 清浄な画素が示されている１０フレーム後の図５のシーンのレンズ汚染図である。 図５の車両カメラで撮影された第２のシーンを有する第２のカメラ画像を示す図である。 ２００フレーム後の図８のシーンの画素当たりの遷移要求の総数を示す遷移要求図である。 清浄な画素とアーチファクト画素が示されている２００フレーム後の図８のシーンを示すレンズ汚染図である。 図５の車両カメラで撮影された第３のシーンを有する第３のカメラ画像を示す図である。 ４００フレーム後の図１１のシーンの画素当たりの遷移要求の総数を示す遷移要求図である。 清浄な画素とアーチファクト画素が示されている４００フレーム後の図１１のシーンを示すレンズ汚染図である。 図５の車両カメラで撮影された第４のシーンを有する第４のカメラ画像を示す図である。 ７００フレーム後の図１４のシーンの画素当たりの遷移要求の総数を示す遷移要求図である。 清浄な画素とアーチファクト画素が示されている７００フレーム後の図１４のシーンを示すレンズ汚染図である。

以下の記載では、本明細書の実施形態を説明するための詳細が提供される。ただし、当業者には明らかなことであるが、こうした詳細がなくても実施形態は実施可能である。

イメージングシステムにおける一般的な前提は、シーンから放出される放射強度が、センサにて直接観察されることである。しかし、多くの場合、シーンとイメージングシステムとの間に物理的な層又は媒体が存在する。例えば、車両カメラや民生用デジタルカメラのレンズ、又は防犯カメラのフロントウィンドウは、経時的に様々な種類の汚染物質、例えば水、指紋、ほこり及び泥を蓄積することが多い。汚れたカメラからのアーチファクトを図１及び２に示す。

こうしたアーチファクトは、ユーザにとっては迷惑となる可能性があるが、より重要なのは、自動的な方法によるシーンの分析を著しく損なう可能性があることである。例えば、自動車の分野では、誤ったシーンの分析が、事故の際の必要なときに、誤認警報や、誤った自動遮断作用のような車両からの望ましくない作用など、セキュリティシステムの誤作動につながることがある。こうしたアーチファクトは、潜在的に生命を脅かす状況を引き起こす可能性がある。

カメラシステムの多くが自動化され、頻繁に検査を受けることがないため、このようなアーチファクトを自動的に検出する方法が必要である。レンズに問題があることを検出する方法は、レンズの洗浄を指示したり、注意或いは無効化が必要であることを人間に通知したり、後に続く方法に画像の特定の部分が使用できないことを通知したりすることができる。

文献には、この問題を扱う方法がほとんど見当たらない。Ｊ．Ｇｕ、Ｒ．Ｒａｍａｍｏｏｒｔｈｉ、Ｐ．Ｎ．Ｂｅｌｈｕｍｅｕｒ及びＳ．Ｋ．Ｎａｙａｒによる「ＲｅｍｏｖｉｎｇＩｍａｇｅ Ａｒｔｉｆａｃｔｓ Ｄｕｅ ｔｏ Ｄｉｒｔｙ Ｃａｍｅｒａ Ｌｅｎｓｅｓ ａｎｄ Ｔｈｉｎ Ｏｃｃｌｕｄｅｒｓ」 （ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＧｒａｐｈｉｃｓ （Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ Ａｓｉａ）、２００９年１２月）（非特許文献１）に開示された方法は、画像シーケンスにおけるアーチファクトを検出し修正することを試みているが、アーチファクトが位置する部分を除いては、経時的な平均画像及び平均画像導関数の大きさを計算する出力がほとんど一定値の画像サイズのアレイであることを必要とする（前述の文書の図６ｂ）及びｃ）参照）。これは、これらの量が非常に多量のフレーム、即ち、長時間後にのみ使用可能であり、シーンが全く無相関でなければならないことを意味する。

第１の条件は、長い検出時間を課す一方、後者の条件は、現実のシナリオのほとんどは、常にほぼ同じ種類の内容、例えば、自動車用アプリケーションの場合は、下にある道路と上にある空を有することから、典型的には全く適用不能である。著者自身、典型的には照明が相関していることを認識し、品質の劣る解決策を提案している。

Ｃ．Ｚｈｏｕ及びＳ．Ｌｉｎによる参考文献「Ｒｅｍｏｖａｌ ｏｆ Ｉｍａｇｅ Ａｒｔｉｆａｃｔｓ Ｄｕｅ ｔｏ Ｓｅｎｓｏｒ Ｄｕｓｔ」 （Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔｉｎｇ Ｍａｃｈｉｎｅｒｙ， Ｉｎｃ．、２００７年６月）（非特許文献２）における方法は、まずセンサのほこりに起因するアーチファクト形成のモデルを定式化し、次いで画像中の文脈情報と色の一貫性の制約を使用することにより、画像におけるほこりの出現を低減する。この方法は、適用範囲がほこり粒子の検出という非常に狭いものであり、計算集約的で、多くの場合不安定な方法を使用して非凸関数を最小化する。

最後に、視覚経路を妨害する媒体はレンズに位置するため、図１に示すように光を完全に遮るか、又は汚れた領域で情報を非常にぼやけたものにする。後者は、媒体に焦点が合っていないこと、および、図２に示すように、水滴のような要素が拡大効果を有するために生じる。現実的な環境から撮影された画像の全体がぼやけている可能性は非常に低いため、ぼやけた領域を検出するアプローチは、画像全体、又は画像の非常に大きな部分を考慮している場合に最も効果的である。

そうしたアプローチは、汚れた領域は非常に多くの場合領域がぼやけていることを暗示するが、ぼやけた領域は領域が汚れていることを暗示しないため、小さな領域に対してはうまく機能しない。画像は、その場所のシーンに質感がないという理由だけでぼやけた領域を含む可能性がある。それは、白色の特徴のない壁、車両のドア、澄んだ空などの画像の場合に起こり得る。そのため、画像内のぼやけた／質感のない領域がシーンの質感の欠如によるものなのか、レンズの汚れによるものなのかを把握することには曖昧さが存在する。この曖昧さは、提案される方法によって解決される。

本明細書によるアーチファクト検出方法を使用することにより、この曖昧さを低減、或いは解決することもできる。アーチファクト検出方法によると、鋭いエッジを有する領域は、アーチファクトがないものとしてマークできる。このステップは、画像上の鋭いエッジは、レンズはその場所が汚れていないことを示すという考察に基づく。

アーチファクト検出方法の重要な態様によると、車両の既知の動きが、エッジ点の軌跡を導き出し、エッジ点が画像の予想される位置に観察されるかどうかをチェックするために使用される。予想される軌跡に沿ったある位置でエッジ点が検出されない場合、その位置は、汚れておりアーチファクトとしてマークされるレンズの位置に対応する。

第１のステップにおいて、画像Ｉ内の導関数Ｅの大きさが、フレーム毎に計算される。特に、導関数Ｅは、導関数を近似するフィルタによる畳み込みによって得ることができる。二次導関数の絶対最大値及び絶対最小値は、エッジ検出にとって特に有用であることがわかっている。全ての空間方向における二次導関数の和は、「ラプラス演算子」とも呼ばれる。

本方法によると、導関数の方向は無視できるので、単純な等方性ラプラシアンフィルタが使用できる。

この近似は等方性である、即ち、垂直導関数、水平導関数及び対角導関数に等しい重みを付与する。二次元ラプラス演算子の他の近似、例えば、

も使用できる。ただし、γは０と１の間である。次いで、導関数Ｅが、

Ｅ＝｜Ｉ＊Ｆ｜， （２）

として計算される。ただし、Ｉ＊Ｆは、フィルタの画素値との二次元畳み込みを表し、「｜｜」は、Ｌ２ノルムのような大きさを表す。画素値Ｉ（ｘ，ｙ）は、強度、例えばグレースケール強度、色チャンネルにおける強度、又は複数の色チャンネルの有効強度を表す。

画素座標ｘ，ｙについて、離散二次元畳み込みを、

と記述することができる。ただし、上記のフィルタについてはｋ＝１であり、座標（−１，−１）は行列Ｆの左上の角に対応する。

ラプラスフィルタに代えて、他の導関数演算子、例えばソーベル又はプレウィット導関数演算子を使用して画像内の変化を識別することができる。

画像フレームの境界に沿った値は、特殊な条件を課すことにより、例えば外側フレームを創出することにより計算することができる。ここで、画素は、外側画素と同じ若しくは類似の値、又はゼロ値を有する。別の実施形態によると、畳み込みは、画像フレームの内側画素についてのみ計算される。

方法は、導関数の実際の値が無視されるという点で、更に単純化することができる。代わりに、遷移の発生が計算される。特に、遷移を見つける確率が、検出閾値ＴｈＥｄｇｅと導関数値Ｅの間の正規化された最小値として計算される。

検出閾値ＴｈＥｄｇｅは、明確に視認可能な遷移のみが検出されるように、十分に高く選択される。

本方法の更なる態様によると、Ｔ_ＨＲｅｓ低解像度バージョンが計算され、各画素は、元の解像度の重なり合わないＮ×Ｎの画素に対応する。一例として、Ｎ×Ｎを２０×２０の画素として選択することができる。低解像度バージョンを使用することにより、計算負荷を減らすことができ、高精度の点の軌跡の制約を取り除くことができる。

画像内の遷移を検出する低解像度の確率は、

として計算される。ただし、式中、各領域

は、Ｎ×Ｎの画素を含む。低解像度の確率は、小領域の全て画素のに割り当てられる。小領域の画素は、有効な「Ｎ×Ｎの画素」（ｘ０，ｙ０）に対応し、単一の低解像度画素としてコンピュータメモリに格納される。

例えば、１２８０×８００の画像フレームは、サイズが１０×１０、１６×１６、２０×２０又は４０×４０の重なり合わない、或いは共通要素を持たない二次小領域に分割することができる。他の分割法によれば、サイズの異なる領域

も存在し得る。これは、画像フレームを余りなくＮ×Ｎの領域に細分できない場合に起こり得る。更に、小領域は、特に画像フレームの境界付近に矩形の小領域を更に含んでもよい。

経時的に軌跡を分析するため、数フレームの遷移を検出する確率がコンピュータメモリに格納される。格納すべきフレームの数を判定する方法を以下で更に説明する。

フレームｆにおける点（ｘ_０，ｙ_０）で遷移する確率が高い場合、その点は、レンズの清浄な領域にある可能性が高い。この場合、レンズが汚れていない限り、遷移点は、次のフレームにおいて自然な軌跡に沿って視認可能となる。

遷移点の軌跡に沿った点（ｘ，ｙ）においてレンズが清浄である条件付き確率は、遷移が点（ｘ_０，ｙ_０）において検出されたという条件で、フレームインデックス

ある近傍のフレーム内のその軌跡における遷移を見つける条件付き確率として表される。数学用語では、この条件付き確率は、

と定義される。換言すれば、右辺は、［ｆ＋１，ｆ＋Ｆ］にインデックスを有する少なくとも１つのフレームが存在する確率を指し、点（ｘ_０，ｙ_０）における遷移が値Ｔ（ｘ_０，ｙ_０）を有するという条件で、かつ、（ｘ，ｙ）が（ｘ_０，ｙ_０）で始まる推定される遷移点の軌跡上にある点であるという条件で、そのフレームがこのフレームインデックスの遷移Ｔ（ｘ，ｙ）を有するようになっている。遷移値Ｔは、０と１の間の任意の値をとり得る。

ベイズの法則を適用し、先に定義した近似を確率Ｔ（ｘ，ｙ）に使用することにより、条件付き確率は、

と計算することができる。同様に、フレームｆにおける点（ｘ_０，ｙ_０）に遷移が存在する何らかの確率を考慮すると、この遷移点は、以前のフレームにおいても一定の軌跡に沿って視認可能であると予想することができる。ｆが現在のフレームを指す場合、以前のフレームのみが利用可能である。

ある範囲のフレーム、この場合はインデックスがｆ＋１とｆ＋Ｆの間のフレームを選択することは、速度推定値が絶対的に正確というわけではなく、速度は変化し得るために遷移が画素（ｘ，ｙ）を横切る時期は正確にはわからないことを考慮することである。

一般に、フレーム内の遷移点の正確な軌跡は、その点の三次元座標とカメラの運動が既知の場合のみ正確にわかる。このため、この問題を扱いやすくする一組の近似が使用される。第１に、低解像度の遷移確率配列を使用することにより、仮定されたベクトルからの偏差が大きいベクトルは、多くの場合、同じ低解像度点に対応し、そのため、高い運動ベクトルの精度に対する要求を軽減する。

第２に、車両が近似直線上を移動しているフレームについてＣ_ｆ（ｘ，ｙ）が計算される。これにより、軌跡推定がより単純になる。車両の運動は、ＣＡＮデータと車速を使用することにより判定することができる。この状況は、ほとんどの場合に発生し、一般に有効な近似に繋がる。しかし、他の全ての運動も起こりうる。

第３の近似によると、床上、左側の垂直な平面上、又は車両からある一定の距離にある右側の垂直な平面上に位置する点のみが考慮される。この後の２つの近似は、方向が本質的に正しく、サイズにわずかな誤差しかない近似運動ベクトルの計算を可能にする。

図４は、推定される三次元の表面と、そこから得られるベクトルを示す。図４のシナリオは、画像処理システムが前進運動を推定するような場合である。図４は、一部のベクトルがほぼゼロであることを示している。これらの領域には軌跡が創出されないので、そこでレンズの汚れを推定することは不可能である。しかし、これが起こるのは、車両が前進運動をしているときには、主に空の領域なので、それほど重要ではない。レンズのすべての領域で汚れを判定するためには、例えば左又は右に曲がるような他のタイプの運動が必要である。

図４のモデルによると、シーンは、地面に対応する第１の領域と、運動の固定点の左側の第２の領域と、固定点の右側の右側領域とに細分される。左側領域及び右側領域では、オブジェクトは垂直方向を向いていると仮定される。

本明細書によるアーチファクト検出は、清浄にされるレンズの全体的確率Ｃ（ｘ，ｙ）が経時的に、蓄積された多数の証拠と共に得られる場合に改善される。近傍のフレーム内の点（ｘ_０，ｙ_０）で遷移が検出されたという事実から、点（ｘ，ｙ）に創出される期待値を遷移要求とする。

このシナリオでは、充足される遷移要求の数Ｓａｔ（ｘ，ｙ）と、その画素に対する遷移要求の総量Ｔｏｔ（ｘ，ｙ）との比として、Ｃ（ｘ，ｙ）を計算することができる。Ｔｏｔ（ｘ，ｙ）及びＳａｔ（ｘ，ｙ）は確率であり、遷移要求の相対数と見なすこともできる。

各画素（ｘ，ｙ）及び各フレームｆについて、以下の値が計算される：

１．遷移の確率が１である、すなわちＴ（ｘ_０，ｙ_０）＝１であると判定された場合、それらの画素ではレンズが清浄であると推定することができる。これらの画素については、

Ｓａｔ_１（ｘ_０，ｙ_０）＝Ｓａｔ（ｘ_０，ｙ_０）（１−ｕｐＥｄｇｅ）＋ｕｐＥｄｇｅ（７）
Ｔｏｔ_１（ｘ_０，ｙ_０）＝Ｔｏｔ（ｘ_０，ｙ_０）（１−ｕｐＥｄｇｅ）＋ｕｐＥｄｇｅ

という量が計算される。ただし、ｕｐＥｄｇｅは、大きな値を持つ無限インパルス応答（ＩＩＲ）更新定数である。ｕｐＥｄｇｅ＝０．５の値を使用し、実験データに従い、図５〜１６を得る。Ｔ（ｘ_０，ｙ_０）＜１の場合、これらの量はゼロに設定され、Ｓａｔ_１（ｘ，ｙ）＝Ｔｏｔ_１（ｘ，ｙ）＝０である。ただし、（ｘ_０，ｙ_０）は画素位置（ｘ，ｙ）に等しい。

式の右辺の配列Ｓａｔ（ｘ，ｙ）及びＴｏｔ（ｘ，ｙ）は、更新ステップ前の値を指す。慣例により、式（７）〜（１２）のような更新式は、コンピュータメモリから値を読み出し、式の右辺の計算を遂行し、結果の値を等式の左辺で表されるメモリ領域に格納せよという指令を表す。

配列Ｓａｔ（ｘ，ｙ）及びＴｏｔ（ｘ，ｙ）は、ゼロ値で初期化され、そのため、Ｓａｔ（ｘ_０，ｙ_０）及びＴｏｔ（ｘ_０，ｙ_０）が以前に更新されていない場合は、等式（７）の左辺の値は定数「ｕｐＥｄｇｅ」に等しい。

２．量Ｓａｔ（ｘ，ｙ）及びＴｏｔ（ｘ，ｙ）は、（ｘ_０，ｙ_０）において検出された遷移のどのくらいが点（ｘ，ｙ）での近傍のフレームにおいて視認可能であるかを反映させるために、０＜Ｔ（ｘ_０，ｙ_０）＜１である点（ｘ_０，ｙ_０）の軌跡に沿った座標（ｘ，ｙ）において更新される。これらの量が更新される量は、Ｔ（ｘ_０，ｙ_０）の値に比例する。従って、強力な遷移は強力な期待値と大きな更新を創出し、弱い遷移は弱い期待値と小さな更新を創出する。

更新式は、２回適用され、次式に従い、過去におけるフレームｆ−Ｆの遷移が続くフレーム［ｆ−Ｆ＋１，ｆ］で検出されるかどうかを検出し、

次式に従い、現在のフレームｆにおける遷移が以前のフレーム［ｆ−Ｆ，ｆ−１］で検出されていたかどうかを検出する。

ただし、ｕｐＴｒａｊは、小さな値に設定される。実験データに従い、ｕｐＴｒａｊ＝０．０５の値を使用して、図５〜１６を得た。Ｔ_ｆ（ｘ_０，ｙ_０）＝０又は１である場合、量Ｓａｔ_３及びＴｏｔ_３はゼロに設定され、Ｓａｔ_３（ｘ，ｙ）及びＴｏｔ_３（ｘ，ｙ）は＝０である。同様に、Ｔ_ｆ−Ｆ（ｘ_０，ｙ_０）＝０又は１である場合量Ｓａｔ_２及びＴｏｔ_２はゼロに設定され、Ｓａｔ_２（ｘ，ｙ）及びＴｏｔ_２（ｘ，ｙ）＝０である。

次いで、各フレームでの有効配列Ｓａｔ及びＴｏｔがこれらの量の最大値として計算される。従って、各画素について、

となる。この計算の後に、経時変化を可能にするためにわずかな減少ステップが続く。

ただし、ｕｐＴｉｍｅは非常に小さい値であり、ｕｐＴｉｍｅ≪１である。ｕｐＴｉｍｅ＝０．００１の値を使用して図５〜１６の実験結果を得た。次いで、特定の点でレンズが清浄である最終的確率が、

によって計算される。点（ｘ，ｙ）において予想される遷移量を表すことにより、Ｔｏｔ（ｘ，ｙ）の値は、Ｃ（ｘ，ｙ）の値に対する信頼性の尺度を提供する。Ｔｏｔ（ｘ，ｙ）の値が小さいほど、その画素ではほとんど遷移が予想されないこと、及び、行われた観察結果が非常に重要であることを示している。Ｔｏｔ（ｘ，ｙ）の値が大きいのは、Ｃ（ｘ，ｙ）が累積されたデータの大きな集合の結果であり、従って、正しい確率が高いことを示唆する。これは、値が上記の単純化する仮定の影響を受けない確率が高いことを示している。

したがって、Ｔｏｔ（ｘ，ｙ）が１に非常に近い場合は、Ｃ（ｘ，ｙ）の値のみを考慮することが推奨される。図５〜１６の実験結果において、Ｃ（ｘ，ｙ）は、Ｔｏｔ（ｘ，ｙ）＞０．９５である点についてのみ考慮されている。

使用及び格納するフレームの数Ｆは、妥協の結果である。一方では、非常に大きなぼやけた領域の検出を可能にするために、Ｆは可能な限り大きくなければならない。より多くのフレームＦが使用されるほど、予想される軌跡は長くなり、ぼやけた領域に深く入り込むことができる。

一方、多くの遷移配列を格納すると、遷移配列の解像度が低くてもメモリが消費される。さらに、実際の運動が経時的に変化する可能性があるので、大きなＦの値を選択すると、実際の運動ベクトルと想定される運動ベクトルの差が大きくなる。

図５〜１６の実験結果において、所定の定数ＦがＦ＝１０の格納されたフレームに設定されている。これは、合計で１１フレームを使用することを意味する。３０フレーム／秒のフレームレートでは、これは０．３７秒に相当し、その時間で車は、５０ｋｍ／ｈの速度で移動する場合、約５．１４ｍ移動した。

図３は、本明細書によるレンズ汚染の検出方法を示す。第１のステップ２０において、３０フレーム／秒のフレームレートで作動する車両カメラから１２８０×８００画素のサイズの画像フレームが受信される。

第２のステップ２１において、ラプラシアン演算子を近似するフィルタの二次元畳み込みを計算することにより、画像フレームの画素について導関数の大きさが計算される。

第３のステップ２３において、遷移閾値「Ｔｈ」および値１で除算された導関数の最小値として遷移確率が計算される。遷移確率は、画素がエッジなどの特徴点に対応する確率と見なすこともできる。

第４のステップ２４において、画像フレームが分離された２０×２０の小領域に細分され、２０×２０の小領域の低解像度の遷移確率が、それぞれの２０×２０の小領域にわたり以前に計算された遷移確率の最大値として計算される。低解像度確率は、有効画素に割り当てられる。

第５のステップ２５において、低解像度確率１を有する画素が、清浄としてマークされる。第６のステップ２６において、前のステップ２４で計算されたＦ＋１の連続画像フレームの低解像度遷移値の組が循環バッファに格納される。

第７のステップ２７において、車速と操舵角をＣＡＮバスから受信し、第８のステップ２８において、ステップ２７の車速と操舵角、及び外部シーンの単純化モデルを用いて推定運動ベクトルが計算される。

単純化モデルに従い、動きがなく、水平又は垂直の向きを有すると仮定されるシーンの領域について運動ベクトルが計算される。特に、道路脇に沿った道路表面および人工構造物は、対応するオブジェクトを提供する

第９のステップ２９において、循環バッファ内のＦ＋１の画像フレームの低解像度遷移値を使用して、推定された軌跡に沿った遷移を見つけ、検出された遷移と予想される遷移とを比較する。

第１０のステップ３０において、検出された遷移と予想される遷移の比が累積され、ここで、第５のステップですでに清浄であるとマークされた領域が考慮される。これらの比は、第１１のステップ３１で、レンズの清浄な場所、汚れている場所、又は汚染状態が十分な確度で導き出せない場所を示す「ｃｌｅａｎＭａｐ」を作成するために使用される。特に、ｃｌｅａｎＭａｐは、どの画素がレンズの清浄な領域に対応し、どの画素がレンズの汚染領域に対応するかを示す値を表すコンピュータメモリのメモリ領域によって表すことができる。

実験
図５〜７の一連の画像は、レンズが水滴を有するサラウンドビューシステムを使用して、フロントカメラのシーケンスの１０フレームを処理した後のアーチファクト検出方法の結果を示す。第２の画像（図６）は、これらの画素で検出された要求を示している。より明るい領域は、主に強い遷移によって生じたものであり、それは、強い遷移がこのマップに大きな影響を与えるためである。図７の第３の画像は、レンズの状態の推定値を示す。このシナリオでは、白いピクセルは、シナリオを確認するのに十分なデータがないことを意味する。これは、図７の閾値のＴｏｔ（ｘ，ｙ）≦０．９５と等価である。灰色のピクセルは、レンズがそのピクセルでは清浄であることを示す。

図８〜１０、１１〜１３および１４〜１６の一連の画像は、より多くの測定値が収集されたことによる推定値の変化を示す。図９、図１２及び図１５の第２の画像は、各画素について予想されたデータ量が次第に完了することを示している。同時に、図１０、１３及び１６の第３の画像は、レンズの状態の推定に向かって収束する。

これらの実験では、被写体ぶれや濡れた路面に起因する質感の欠如のために、完全で信頼できるレンズ汚れの推定が形成されるまでには長い時間がかかる。多くの質感が存在するより単純なシナリオでは、推定は、非常に少ないフレームで形成することができる。換言すれば、１つ又は２つの更新ステップ又は時間累積ステップで良好な推定を得ることが可能である。

結論
図５〜図１６の実験結果は、遷移が密集している位置とそうでない位置の両方において、レンズの汚れ状態を把握する方法の有効性を実証している。当然ながら、内容の少ない領域は検出に時間がかかる。

第１の実施形態によると、遷移は検出されるが追跡されない。遷移点を追跡しないことにより、この方法は単純であるが強力であるという結果が得られる。これに関連して、「追跡すること」は、特徴物が後続のフレーム上のどこで発生するかを見つけるための明示的な検索又は比較を含む。対照的に、第１の実施形態による方法は、予想される軌跡に沿ったどこかで遷移が検出されるという仮定に基づいている。点（ｘ，ｙ）での遷移が実際に点（ｘ０，ｙ０）で検出された遷移に対応することを確認する必要はない。それは、実際には他の点（ｘ１，ｙ１）からの移行の場合もあり得る。

更なる実施形態によると、方法の精度は、和絶対差（ＳＡＤ）、相関、和二乗差分（ＳＳＤ）又はスケール不変特徴変換（ＳＩＦＴ）などのマッチング法で検出された遷移を追跡することによって向上させることができる。これにより、近傍のフレームの遷移が移動した先の画素位置をより正確に予測することができる。

より複雑で一般的でない第２の実施形態は、以下のように機能する。

１． 例えば、ハリスコーナー検出器を使用することにより、画像内の特徴点を見つける。

２．運動の標準構造を使用して、その点の３次元座標を判定する。優先的には、運動の標準構造は、独立した運動を持たない静止したオブジェクトによって提供される。

３．各特徴点の推定された３Ｄ座標と、例えばＣＡＮデータ又は明白なエゴモーション計算を用いて提供される車両の動きを使用して、次のフレームの画像において各特徴点が示す軌跡が決定される。同様に、同じ方法を適用して、前のフレームの画像に示された軌跡を決定することができる。

４．この点の軌跡を用いることにより、第１の実施形態によるアプローチを直接適用することができる。すなわち、各特徴点が軌跡に沿って検出される期待値が計算される。この期待は、レンズが汚れている位置では満たされない。満たされた期待値と各点の総期待値との比を測定することによって、レンズが汚れている場所を検出することができる。

第３の実施形態によると、第２の実施形態によるアプローチが、ステレオシナリオに適用される。

１． 例えば、ハリスコーナー検出器を使用することにより、画像内の特徴点を見つける。

２．ステレオ情報を使用して、その点の３Ｄ座標を決定する。

３．各特徴点の３Ｄ座標と、ＣＡＮデータ又は明白なエゴモーション計算を使用して導き出すことができる車両の動きを使用して、特徴点の軌跡を次のフレームの両方のステレオ画像について予測することができる。同じアプローチを適用して、前のフレームの両方の画像に示される軌跡を判定することができる。

４．点の軌跡を使用することにより、各特徴点がそれぞれの軌跡に沿って検出され、レンズが汚れた場所では満たされない期待値が計算される。満たされた期待値と各ポイントの総期待値との間の比を測定することによって、汚れているレンズの場所を推定することができる。これらの場所は一般に、ステレオカメラの左右の画像で異なる場合がある。

Claims (15)

1. 車両カメラのレンズの汚染を検出する方法であって、
   画像データであって、画像フレームを含む画像データを前記車両カメラから受信することと、
   前記画像フレームの画素に遷移値を割り当て、該遷移値は、フレームの対応する画素の位置に暗から明まで、又は明から暗まで明確に認識可能な強度遷移があるか否かを示すものであることと、
   外部シーンのモデルを使用して前記画素に三次元座標を割り当てることと、
   前記割り当てられた三次元座標と前記車両の移動データであって、１つ以上の車両センサによって提供される移動データとを使用して軌跡を前記画素に割り当てることと、
   軌跡が割り当てられた画素について：
   前記画素の期待値であって、前記軌跡の開始画素の遷移値から導き出される期待値を計算することと、
   前記画素の位置の充足遷移値であって、前記開始画素の前記フレームに隣接する一組のフレームについて、前記軌跡に沿った遷移値から導き出される充足遷移値を計算することと、
   前記期待値と前記充足遷移値を経時的に累積することと、
   前記累積された期待値に対する前記累積された充足遷移値の比から清浄度の値を導き出すことを含む、方法。
2. コンピュータが実行可能なコードを有し、コンピュータで実行されると請求項１に記載の方法が実行されるコンピュータプログラム。
3. 評価ユニットであって、
   画像データを受信するための入力接続部と、
   所定数の画像フレームを格納するためのバッファを備え、
   画像データであって、画像フレームを含む画像データを車両カメラから前記入力接続部を介して受信し、
   前記画像フレームの画素に遷移値を割り当て、該遷移値は、フレームの対応する画素の位置に暗から明まで、又は明から暗まで明確に認識可能な強度遷移があるか否かを示し、
   外部シーンのモデルを使用して前記画素に三次元座標を割り当て、
   前記割り当てられた三次元座標と前記車両の移動データであって、１つ以上の車両センサによって提供される移動データとを使用して軌跡を前記画素に割り当て、
   軌跡が割り当てられた画素について：
   前記画素の期待値であって、前記軌跡の開始画素の遷移値から導き出される期待値を計算し、
   前記画素の位置の充足遷移値であって、前記開始画素の前記フレームに隣接する前記バッファ内の一組のフレームについて、前記軌跡に沿った遷移値から導き出される充足遷移値を計算し、
   前記期待値と前記充足遷移値を経時的に累積し、
   前記累積された期待値に対する前記累積された充足遷移値の比から清浄度の値を導き出すように作動する、評価ユニット。
4. 前記画像フレームを格納するための前記バッファが循環バッファである、請求項３に記載の評価ユニット。
5. 累積された期待値の配列を格納するための第１のメモリ領域と、充足遷移値の配列を格納するための第２のメモリ領域を更に備え、前記それぞれの配列の要素が画素位置に対応する、請求項３又は４に記載の評価ユニット。
6. 前記累積された期待値を所定の閾値と比較し、
   前記累積された期待値が前記所定の閾値よりも大きい場合、前記画素の前記清浄度の値を前記累積された期待値に対する前記累積された充足遷移値の比に設定し、
   前記累積された期待値が前記所定の閾値未満の場合、前記画素の前記清浄度の値を「未定」と表すように作動する、請求項３から５のいずれか一項に記載の評価ユニット。
7. 前記遷移値を、フィルタの画像フレーム画素の画素との二次元畳み込みとして計算するように作動する、請求項３から６のいずれか一項に記載の評価ユニット。
8. 前記画素遷移値を検出閾値と比較し、前記それぞれの遷移値が前記検出閾値以上である場合、前記それぞれの遷移値を１に設定するように作動する、請求項３から７のいずれか一項に記載の評価ユニット。
9. 前記画像フレームを共通要素を持たない小領域に分割し、前記小領域における前記遷移値の最大値を選択することにより低解像度遷移値を計算し、
   所定数の画像フレームについて前記低解像度遷移値を前記バッファに格納し、
   前記低解像度遷移値を使用して前記期待値に対応する期待値と前記充足遷移値に対応する充足遷移値を計算するように作動する、請求項３から８のいずれか一項に記載の評価ユニット。
10. 移動データを車速センサ及び操舵角センサから受信し処理するように作動する、請求項３から９のいずれか一項に記載の評価ユニット。
11. 少なくとも１台のカメラセンサから移動データを受信し処理するように作動する、請求項３から１０のいずれか一項に記載の評価ユニット。
12. 周囲シーンの単純化モデルであって、水平な地面、垂直なオブジェクトの第１の領域、及び垂直なオブジェクトの第２の領域を含む単純化モデルに従い運動ベクトルを前記画像フレームの前記画素に割り当てるように作動する、請求項３から１１のいずれか一項に記載の評価ユニット。
13. 前記車両が本質的に直線上を移動しているフレームを識別し、前記識別されたフレームについて前記期待値と前記充足遷移値を更新するように作動する、請求項３から１１のいずれか一項に記載の評価ユニット。
14. 請求項１３に記載の評価ユニットと、少なくとも１台の車両カメラであって、前記評価ユニットに接続可能な車両カメラを含む、キット。
15. 請求項１４に記載のキットを備え、前記評価ユニットが前記車両の自動車用のデータバスに接続され、前記少なくとも１台のカメラが前記車両に搭載され前記評価ユニットに接続されている、車両。