JP6788619B2 - 静的汚れ検出及び補正 - Google Patents

Description

現代の乗用車は、車両の周囲環境を捉え、運転安全性及び快適性を向上させるための様々な機能を提供するカメラベースの支援システムを装備することが増えている。こうしたシステムの機能は、記録された画像データの分析に基づいている。従って、システムの予測の質は、画像データの品質に直接関係している。

画像品質に影響し、制御が困難な１つの要因は、カメラの光学系の汚染の程度である。カメラは、汚染のリスクが少ない場所に設置してもよく、電気ワイパーで洗浄してもよい。こうした対策にもかかわらず、光学系の汚染を完全に回避することは不可能である。従って、適切な動作を誘発するために、自動的にカメラレンズ上の汚れの粒子を検出することが提案されている。こうしたレンズ汚染の自動検出の例が、欧州特許出願第２３５１３５１号に開示されている。

欧州特許出願第２３５１３５１号

Ｊ． Ｇｕ、Ｒ． Ｒａｍａｍｏｏｒｔｈｉ、Ｐ． Ｎ． Ｂｅｌｈｕｍｅｕｒ及びＳ． Ｋ． Ｎａｙａｒによる参考文献「Ｒｅｍｏｖｉｎｇ Ｉｍａｇｅ Ａｒｔｉｆａｃｔｓ Ｄｕｅ ｔｏ Ｄｉｒｔｙ Ｃａｍｅｒａ Ｌｅｎｓｅｓ ａｎｄ Ｔｈｉｎ Ｏｃｃｌｕｄｅｒｓ」 （ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ （ＰｒｏｃｅｅｄｉｎｇｓｏｆＳＩＧＧＲＡＰＨＡｓｉａ）、２００９年１２月 Ｃ． Ｚｈｏｕ及びＳ． Ｌｉｎによる参考文献「Ｒｅｍｏｖａｌ ｏｆ Ｉｍａｇｅ Ａｒｔｉｆａｃｔｓ Ｄｕｅ ｔｏ Ｓｅｎｓｏｒ Ｄｕｓｔ」 （Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔｉｎｇ Ｍａｃｈｉｎｅｒｙ， Ｉｎｃ．、 ２００７年６月）

第１の態様において、本明細書は、画像アーチファクトを検出するためのコンピュータ実装方法を開示する。

画像フレームを含む画像データが、車両カメラから例えば自動車用データバスを介して受信され、画像フレームの第１の方向における隣接画素間の強度差が所定の上限閾値及び所定の下限閾値と比較される。

第１の方向は、画像フレームの行に対応し得る。更に、画素遷移値も、画像フレームの画素位置に対して第２の方向、即ちｙ方向において、計算することができる。これにより、全体的な検出品質を向上させることができ、ストライプ形状のアーチファクトを回避することができる。第２の方向は、画像フレームの列に対応し得る。

以前に計算された隣接画素の強度差が所定の上限閾値よりも大きい場合、画素遷移値は、第１の値に設定される。隣接画素の強度差が所定の上限閾値よりも小さい場合、画素遷移値は、第２の値に設定され、強度差が所定の上限閾値と所定の下限閾値との間である場合、画素遷移値はゼロに設定される。

特に、上限閾値は正の値に、下限閾値は負の値に設定することができ、正の値及び負の値は、等しい大きさを有することができる。上限閾値と下限閾値も等しくてもよく、特に、両方ともゼロに等しくてもよい。第１の値は、正の値、例えば１又は正の定数ａとして選択することができ、第２の値は、負の値、例えば−１又は第１の値の負数として選択することができる。

強度差が閾値の一方に正確に等しい場合、強度差はそれぞれ第１の値又は第２の値に設定されてもよく、ゼロに設定されてもよい。画素遷移値は、「遷移タイプ」とも呼ばれる。

時間に関するローパスフィルタを適用することにより、画像フレームの対応する画素位置の画素遷移値から累積された画素遷移値が計算され、時間はフレームインデックスによって表される。一実施形態において、ローパスフィルタは、第１の方向及び第２の方向それぞれについてフレームインデックスｆでの累積値として計算される。累積値は、先のフレームインデックスｆ−１での累積値と先のフレームインデックスｆでの画素遷移値との加重和として計算される。特に、先のフレームインデックスｆ−１での累積値の重み因子は、少なくとも０．９５に設定されてもよい。これにより、前回の推定値から大きな寄与がもたらされ、結果としてローパスフィルタが得られる。

更に、累積された画素遷移値は、空間フィルタを画素位置に適用することにより、特に、空間フィルタの畳み込みを計算することにより、画素位置に関して平滑化される。特に、空間フィルタは、例えば円形フィルタによる中心点からの差の関数としてゼロへと低下する０と１の間のフィルタ係数を有するフィルタとして提供することができる。

一実施形態において、時間に関するローパスフィルタリングが、空間フィルタリングの前に遂行される。別の実施形態において、空間フィルタリングが、時間に関するローパスフィルタの前に遂行される。第１のケースでは、累積された画素遷移値を得るためにローパスフィルタが画素遷移値に適用され、累積された画素遷移値に空間フィルタが適用される。第２のケースでは、平滑化された画素遷移値を得るために空間フィルタが画素遷移値に適用され、時間に関するローパスフィルタが平滑化された画素遷移値に適用される。

時間に関して累積され、画素位置（ｘ，ｙ）に関して平滑化された画素遷移値は、「平滑化され累積された画素遷移値」と呼ばれる。この表現は、フィルタリングの両方のシーケンスを指す。

一実施形態において、空間フィルタは、平均化フィルタとして実現され、その場合、フィルタ係数は１に加算される。これは、フィルタが段階的に定義され、座標（ｘ，ｙ）が距離１を有する場合、フィルタ関数の下での総量１に相当する。

画素位置の平滑化された画素遷移値について、画素位置の大きさの値が計算される。平滑化された画素遷移値が一方向に関してのみ計算される場合、大きさの値は、対数係数を取ることによって計算することができる。

平滑化された画素遷移値が第１の方向及び第２の方向に関して計算される場合、大きさの値は、第１の方向及び第２の方向それぞれの二乗値を加算することによって計算することができ、特に、ユークリッドノルムとも呼ばれるＬ２ノルムとして計算することができる。次いで、所与の画素位置（ｘ，ｙ）についての大きさの値を所定の検出閾値と比較することにより、潜在的なアーチファクト領域の画素が識別される。

更なる態様において、本明細書は、画像アーチファクトを補正するためのコンピュータ実装方法を開示する。本方法によると、画像フレームを含む画像データが、車両カメラから例えば自動車用データバスを介して受信される。

それぞれの画素位置について、第１の方向、即ちｘ方向において画素商値が計算される。特に、第１の方向は、画像フレームの行によって提供することができる。画像補正を向上し、ストライプ形状のアーチファクトを回避するため、それぞれの画素位置について、第２の方向、即ちｙ方向においても画素商値が計算される。特に、第１の方向は、画像フレームの列によって提供することができる。

画素商値の分子は、所与の画素位置での画像強度を含み、画素商値の分母は、第１の方向又は第２の方向それぞれにおける隣接画素での画像強度を含む。位置が隣接する画素を使用することにより、方法は「限局化」され、遠く離れている画素位置からの画素を結合しない。この特徴は、連立一次方程式の疎行列に寄与する。

画素商値の中央値が時間に関してそれぞれの画素位置ついて計算され、時間はフレームインデックスによって表される。特に、中央値は、真の中央値に近似するストリーミング中央値として計算することができる
画像フレームの画素位置の減衰係数が、それぞれの画素位置（ｘ，ｙ）の減衰係数における連立一次方程式に対する近似解として計算され、画素位置の減衰係数は、ベクトルとして表される。

連立一次方程式は、第１の組の一次方程式を含み、そこでは、以前に決定された中央値がそれぞれの減衰係数の前因子として現れる。更に、連立一次方程式は、第２の組の一次方程式を含み、これが対応する画素位置での減衰係数の値を決定する。特に、第２の組の一次方程式は、画像アーチファクトを識別するための上述の方法によって決定されてもよい。

所与の時刻ｔでの画像フレームの画素の補正された画素強度は、観察された画素強度を以前に決定された減衰係数Ｂ（ｘ，ｙ）で除算することによって導き出され、減衰係数は０と１の間である。

特定の実施形態において、画素商値の中央値は、最大でフレームインデックスｆの画素商値のストリーミング中央値として得られる。ストリーミング中央値は、以前のフレームインデックスｆ−１の中央値推定値とフレームインデックスｆでの画素商値から導き出される。

ストリーミング中央値は、中央値の真値に近似する。現在の画素商値が以前のストリーミング中央値より大きい場合、現在のフレームインデックスと画素のストリーミング中央値は、所定の値「デルタ」を以前の推定値に加算することにより計算される。現在の画素商値が以前のストリーミング中央値より小さい場合、所定の値「デルタ」が以前のストリーミング中央値から減算される。それ以外は、現在のストリーミング中央値は以前のストリーミング中央値に設定される。

特に、上述の連立一次方程式は、反復法を使用してほぼ解くことができる。多数の反復ステップを、予め、又は収束率に依存して決定してもよい。

一次方程式における減衰係数の前因子は、制限行列の要素と定義することができる。一実施形態において、方法は、連立一次方程式を転置された制限行列で乗算することを含む。結果として得られる連立一次方程式は、反復法を使用して解かれる。特に、反復法は、結果として得られる方程式によって定義される二次形式の最小値を見つけるために使用される共役勾配法によって提供することができる。

更なる態様によると、本明細書は、例えば集積回路、ＡＳＩＣＳ、マイクロプロセッサコンピュータ可読メモリにデータ及びコンピュータ可読指令などを提供することにより、上述の画像アーチファクトを検出する方法を行うための計算ユニットを開示する。

計算ユニットは、画像データを受信するための入力接続部と、検出された画素の位置を出力するための出力接続部とを備える。双方向のデータ接続の場合、出力接続部と入力接続部とは、一致していてもよい。検出された画素の位置は、例えば、データ構造にポインタを提供することなどにより、メモリ領域にマークすることもできる。

計算ユニットは、上述のアーチファクト検出方法を実行するように作動し、特に、計算ユニットは、第１の方向における隣接画素間の強度差を所定の上限閾値及び所定の下限閾値と比較し、強度差に応じて画素遷移値を設定するように作動する。

計算ユニットは、強度差が所定の上限閾値より大きい場合、画素遷移値を第１の値に設定し、強度差が所定の下限閾値より小さい場合、第２の値に設定し、強度差が所定の上限閾値と所定の下限閾値との間である場合、画素遷移値をゼロに設定する。

更に、計算ユニットは、フレームインデックスに関して、又は時間に関してローパスフィルタを適用することにより、それぞれの画素遷移値の累積された画素遷移値を計算する。計算ユニットは、累積された画素遷移値に空間フィルタを適用することにより、平滑化された画素遷移値を計算し、画像フレームの画素位置について平滑化された画素遷移値の大きさの値を計算する。

計算ユニットは、例えば、画素位置の参照値又は検出されたアーチファクトの画素位置の座標を計算ユニットのコンピュータ可読メモリに格納することにより、検出された画素を出力接続部を介して出力する。

次いで、計算ユニットは、大きさの値を所定の検出閾値を比較することにより、潜在的なアーチファクト領域の画素を識別する。

加えて、本明細書は、前述の計算ユニットを備えた車両カメラを開示し、車両カメラは、計算ユニットの入力接続部に接続される。

更なる態様において、本明細書は、画像アーチファクトを補正するための計算ユニットを開示する。計算ユニットは、画像データを受信するための入力接続部と、補正された画像フレームを出力するための出力接続部とを備え、これらは、双方向のデータ接続のために一致していてもよい。

計算ユニットは、上述の画像アーチファクトを補正する方法を実行するように作動する。特に、計算ユニットは、第１の方向における画素商値を計算するように作動し、画素商値は、商から導き出される。商の分子は、所与の画素位置での画像強度を含み、分母は、第１の方向における隣接画素での画像強度を含む。

更に、計算ユニットは、時間に関して画素商値の中央値を計算し、画像フレームのそれぞれの画素位置の減衰係数を計算する。減衰係数は、減衰係数における連立一次方程式に対する近似解として計算され、連立一次方程式は、第１の組の一次方程式と第２の組の一次方程式とを含む。

第１の組の方程式の方程式は、第１の画素位置での減衰係数の値を第１の方向又は第２の方向それぞれにおける近接画素位置又は隣接画素位置での減衰係数の値と関連づける。

第１の組の一次方程式において、中央値は、減衰係数の前因子として現れる。

第２の組の一次方程式は、それぞれの画素位置での減衰係数の値を決定し、これは、他の手段、例えば上述のアーチファクト検出方法を使用することにより既知となる。

次いで、計算ユニットは、観察された画素強度、換言すれば、受信された現在の画像フレームにおける画素強度を、それぞれの画素位置の対応する減衰係数Ｂ（ｘ，ｙ）で除算することにより、補正された画素強度を導き出す。

更に、本明細書は、画像アーチファクトを補正するための計算ユニットを備えた車両カメラを開示し、車両カメラは、計算ユニットの入力接続部に接続される。

本明細書の主題は、以下の図面に関してさらに詳細に説明される。

画像汚染を含む車両カメラの画像を示し、 ｘ方向における図１の画像の画素変動尺度を示し、 ｙ方向における図１の画像の画素変動尺度を示し、 円形フィルタを用いた畳み込みによる図２の画像の平滑化の結果を示し、 円形フィルタを用いた畳み込みによる図３の画像の平滑化の結果を示し、 図４及び５の配列から計算された全体的な画素変動尺度を示し、 図６の全体的な画素変動尺度を閾値処理した結果を示し、 人工の不鮮明マスクを重ねた画像を示し、 図８の画像から導き出される補正された画像を示し、 図８のｘ方向における画素変動尺度ξ＿ｘを示し、 図８のｙ方向における画素変動尺度ξ＿ｙを示し、 人工の不鮮明マスクを示し、 推定された不鮮明マスクを示し、 アーチファクトを含む元の画像を示し、 補正された画像を示し、 図１４のｘ方向における画素変動尺度ξ＿ｘを示し、 図１４のｙ方向における画素変動尺度ξ＿ｙを示し、 推定された画像減衰又は不鮮明マスクを示し、 本明細書による画像欠陥補正システムを示す。

以下の説明では、本明細書の実施形態を説明するための詳細が提供される。ただし、当業者には明らかなことであるが、実施形態は、かかる詳細がなくても実施し得る。

イメージングシステムにおける一般的な前提は、シーンから放出される放射輝度が、センサにて直接観察されることである。しかし、多くの場合、シーンとイメージングシステムとの間に物理的な層又は媒体が存在する。例えば、車両カメラや民生用デジタルカメラのレンズ、又は防犯カメラのフロントウィンドウは、経時的に様々な種類の汚染物質、例えば水、指紋、ほこり及び泥を蓄積することが多い。また、カメラを侵食環境に曝すことは、カメラレンズへの石による傷、亀裂又はひっかき傷のような、光学経路の欠陥の原因となる可能性がある。汚れたカメラに由来するアーチファクトを図１に示す。

こうしたアーチファクトは、ユーザにとっては迷惑となる可能性があり、自動的な方法によるシーンの分析を著しく損なう可能性がある。例えば、自動車の分野では、誤ったシーンの分析が、事故の際の必要なときに、セキュリティシステムの停止や誤作動、誤認警報、又は誤った自動ブレーキ作用のような車両からの望ましくない作用につながることがある。こうしたアーチファクトは、潜在的に生命を脅かす状況を引き起こす可能性がある。

汚れたレンズに対する考えられる予防措置の１つは、所定の時間にレンズを洗浄することである。しかし、多くの自動車用システムのように、カメラシステムの多くが自動化され、頻繁に検査を受けることがないため、このようなアーチファクトを自動的に検出する方法が必要である。同様に、画像アーチファクトを引き起こすレンズ損傷を自動的に検出する方法が必要である。レンズに問題があることを検出する方法では、注意が必要であることを人間に知らせることができ、後に続く方法を無効にしたり、画像の特定の部分が使用できないことを後に続く方法に通知したりすることができる。

屋外監視カメラ、水中カメラ、又は自動車用カメラのような用途や、過去に撮影されたビデオのように、カメラを清掃又は交換することが実用的でなかったり商業的に実現可能でなかったりする場合、本明細書による計算アルゴリズムは、汚れや軽いダメージを受けたレンズに起因するアーチファクトを人工的に除去することによって利点を提供し、その結果、画像を分析する方法が適切に作動可能になる。

画像修復法や穴埋め法とは異なり、本明細書によるアルゴリズムは、画像形成プロセスのための計算モデルを利用して、レンズが汚れていることを検出する、又は、画像情報、特に、撮影された画像において依然として部分的に見えている像点を直接回復させる。

汚れ及びレンズ損傷に起因するアーチファクト、並びに障害物に起因するアーチファクトを、レンズ汚れ若しくは光レンズ損傷の場合は減衰により、閉塞の場合には障害物により、シーンの放射輝度が低下する画像形成モデルを使用して記載することができる。一般に、減衰は、影響を受けた領域を暗くする傾向がある。カメラの焦点ずれのため、この減衰は滑らかに変化し、元のシーン放射輝度の高周波数が劣化した画像において部分的に保持される。

これを、図１に見ることができ、劣化した画像上で背景のエッジが依然として部分的に見えている。

この明細書は、こうした観察結果を利用する２種類の画像補正方法を開示する。第１のタイプの方法によると、レンズが減衰又は閉塞型のアーチファクトを含む位置が検出される。第２のタイプの方法によると、各画素にて画像が減衰される量が検出され、アーチファクトのない画像の推定値が得られる。方法は、自動化された方法で得られる一連の画像から測定された情報のみを使用する。方法は、時間的情報を利用するが、解決を達成するのに少数のフレームしか必要としない。本明細書による方法は、画像が完全に無相関であることを要求するのではなく、例えば動いている車両において予期されるような何らかの動きがあることのみを必要とする。方法は、撮影される画像の統計が自然な画像統計に従うときに最も効果的に機能する。

この問題を扱う文献にはほとんど方法が記載されていない。Ｊ． Ｇｕ、Ｒ． Ｒａｍａｍｏｏｒｔｈｉ、Ｐ． Ｎ． Ｂｅｌｈｕｍｅｕｒ及びＳ． Ｋ． Ｎａｙａｒによる参考文献「Ｒｅｍｏｖｉｎｇ Ｉｍａｇｅ Ａｒｔｉｆａｃｔｓ Ｄｕｅ ｔｏ Ｄｉｒｔｙ Ｃａｍｅｒａ Ｌｅｎｓｅｓ ａｎｄ Ｔｈｉｎ Ｏｃｃｌｕｄｅｒｓ」 （ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ （ＰｒｏｃｅｅｄｉｎｇｓｏｆＳＩＧＧＲＡＰＨＡｓｉａ）、２００９年１２月）による方法ＳＩＧＧＲＡＰＨは、画像シーケンスにおけるアーチファクトを検出し修正することを試みているが、アーチファクトが位置する部分を除いては、経時的な平均画像及び平均画像導関数の大きさを計算する出力がほとんど一定値の画像サイズのアレイであることを必要とする（前述の文書の図６ｂ）及びｃ）参照）。

これは、これらの量が非常に大量のフレーム、即ち長時間後にのみ使用可能であり、シーンが非常に多様で無相関でなければならないことを意味する。第１の条件は、長い検出時間を課す一方、後者の条件は、現実のシナリオのほとんどは、常にほぼ同じ種類の内容、例えば、自動車用アプリケーションの場合は、下にある道路と上にある空を有することから、典型的には全く適用不能である。著者自身、典型的には照明が遍在していることを認識し、質の劣る解決策を提案している。

画像修復技法及び穴埋め技法は、アーチファクトの位置が既知であると仮定し、次いで、影響を受けた領域を隣接する領域から得られる合成推定値で置き換える。対照的に、本明細書による補正方法は、依然として部分的にアクセス可能な元のシーンの情報を利用して元のシーンを回復させる。多くの場合、結果は、元の観察されていない画像の実際の構造をより忠実に再現している。画像が完全に遮られている領域では、修復法を使用することができる。

Ｃ． Ｚｈｏｕ及びＳ． Ｌｉｎによる参考文献「Ｒｅｍｏｖａｌ ｏｆ Ｉｍａｇｅ Ａｒｔｉｆａｃｔｓ Ｄｕｅ ｔｏ Ｓｅｎｓｏｒ Ｄｕｓｔ」 （Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔｉｎｇ Ｍａｃｈｉｎｅｒｙ， Ｉｎｃ．、 ２００７年６月）は、まずセンサのほこりに起因するアーチファクト形成のモデルを定式化し、次いで画像中の文脈情報と色の一貫性の制約を使用することにより、画像におけるほこりの出現を低減することを記載する。この方法は、適用範囲がほこり粒子の検出という非常に狭いものであり、計算集約的で不安定であり得る非凸関数を最小化する。

最後に、高周波数を含むことの少ない画像内の領域を検出する方法もある。レンズ上の水滴及び障害となる汚れはこの効果を有するが、減衰させるアーチファクトは、シーンからの高周波数を通過させる透明タイプの効果を呈する。これは、そうした領域が検出されないことを意味する。

図１〜７は、本明細書の第１の実施形態による、画像減衰を検出する方法を示し、図８〜１８は、本明細書の第２の実施形態による、画像汚染を補正する方法を示す。

図１〜１８において、ｘ方向の画素番号がｘ軸上に示され、ｙ方向画素の番号がｙ軸上に示されている。図１〜１８における画像の画像フォーマットは、およそ１２８０×８００画素である。

第１の実施形態によると、光学経路に減衰要素又は障害要素に起因する外乱が存在するか否かを検出するのに適する検出方法が開示される。減衰要素又は障害要素を記述するためのモデルは、

である。

ただし、Ｉ_ｆは、アーチファクトを有する観察された画像であり、インデックス「ｆ」は、時間インデックス「ｔ」とも呼ばれ、記録された順に画像フレームを番号付けするフレームインデックスであり、，Ｉ_０ｆは、元の観察されていない画像であり、Ｂ∈［０，１］は、減衰マスクであって、０は完全に遮られていることを示し、１は遮られていないことを示す。強度「Ｉ」は輝度値を意味するが、ＲＧＢ又は他の色空間において同様の処理を行うことができる。先の方程式の水平導関数を計算すると、

が導かれる。

ただし、ｘ及びｙは、それぞれ水平画素インデックス及び垂直画素インデックスであり、画素は、垂直方向及び水平方向に連続して番号を付される。

減衰マスクに変化がない場合、すなわち、

の場合、この方程式は

となる。

自然画像統計によると、画素強度は、大部分の画像において連続するピクセル間でほとんど変化せず、例外は非常に少ない。これがＪＰＥＧ圧縮の背景にある原理であり、画像の高周波成分、すなわち、大部分の画像の変動を送信しないことによって機能する。同等に、多くの不良設定問題、例えば画像復元方法または他の回復方法は、画像導関数の「最小絶対収縮及び選択演算子」としても知られるラッソ、又はＬ_１ノルムを最小にすることを強制し、これは、ほとんどの導関数値が約ゼロの大きさを有し、わずかな例外が発生するという観察結果になることを意味する。

各画素強度値Ｉ_０ｆ（ｘ，ｙ）は、平均値がゼロで幾らかの分散がある正規分布Ｎ（０，σ^２）に従う理想化された値及びノイズの加算によって与えられることを考慮すると、典型的なモデルである自然画像の変化は、

と表すことができ、これは、

を暗示し、何よりも、Ｉ_ｆ（ｘ，ｙ）の導関数がほぼ同じ大きさのの正の値と負の値を有すること意味する。

これらの考察は、発生する正の遷移マイナス負の遷移の平均量をカウントすることによって、画像の特定の位置及び方向におけるＢに変化が存在することを検出するために使用される。正の遷移又は負の遷移が例えば２０％優勢である場合、Ｂの値にはばらつきが存在し、したがって減衰が存在する。これは、まず遷移タイプ

を計算することによってなされる。ただし、Ｔは閾値である。実験分析においては、図２及び３を得るために閾値Ｔ＝０が使用される。移動するカメラを用い、数フレームに対して方法を適用した結果、補正された図９及び１５、即ち、図６及び７の時間平均の遷移の大きさ、及び図１３及び１８の推定された不鮮明マスクが得られた。

次いで、時間における無限インパルス応答（ＩＩＲ）フィルタを使用して遷移を累積する。

ただし、上付き文字ｆ及び下付き文字ｆは、フレーム番号を示し、αは、ＩＩＲフィルタのフィードバックフィルタ係数である。

は、０で初期化してもよい。

多数のフレームＦの関数としてαを決定する１つの方法は、Ｆ個のフレームでフィルタリングした後に、正の検出に０．９５の値を達成させるαの値を決定することにより与えられ、これは、式

によって与えられることを示すことができる。

約２０秒に相当する約Ｆ＝６００フレームの更新時間を使用すると、実験分析で使用されるα＝０．９９の値に達する。

として計算される。

図１の画像について

を計算した結果をそれぞれ図２及び３に示す。図２及び３において、黒色は負の遷移を示し、白色は正の遷移を示し、灰色は遷移を示さない。

汚れたレンズに起因する減衰を検出する特定の用途では、減衰は焦点が合っていない。これは、Ｂが滑らかに変化することを意味し、特定の画素での遷移は、同様に符号付きの遷移を近くの画素に伴わなければならない。

滑らかに変化する減衰マップのみを見つけるように方法を制限するため、係数が合計すると１になる円形フィルタＫを用いて

として不鮮明にする。ただし、＊は畳み込みを示し、矢印の左側式は、畳み込みの結果を示す。元の画像が図１によって与えられる場合、結果として得られる平滑化された配列

の強度値をそれぞれ図４及び５に示す。図２及び３において依然として存在する黒色及び白色の画素、並びにストライプ形状のアーチファクトが図４及び５では抑制され除去されており、明るい領域と暗い領域はより連続しており、境界がより滑らかになっている。

ここで、「円形フィルタ」とは、空間寸法ｘ及びｙに関して円形に対称なフィルタを指す。対称な多変量ガウシアンフィルタ又はメキシカンハット形状のフィルタが、円形フィルタの例である。当然ながら、画像解像度とカメラ及びフィルタの特性に応じて任意のフィルタ形状およびタイプを使用することができる。

次いで、画素位置（ｘ，ｙ）での遷移の全体的な大きさＳ_ｆ（ｘ，ｙ）が、ｘ方向及びｙ方向についての個々の大きさのユークリッドノルム

として計算され、Ｓ_ｆ（ｘ，ｙ）≧Ｔ_２の場合、遷移が存在する。図７の実験分析においては、閾値Ｔ_２＝０．２が使用される。符号の計算、多くの画素（この場合）についての加算、及び閾値は、ロバスト統計の文献において符号検定として示されている。記録された画像が図１によって提供される場合、図６は、配列Ｓｆ（ｘ，ｙ）の強度を示し、図７は、閾値処理された配列Ｓｆ（ｘ，ｙ）を示す。

図７は、アルゴリズムが汚れ領域を検出するが、強度が大きく変化する他の時間に依存しない特徴物、例えばレンズの境界線及び画像を撮影した車の境界線も検出することを示す。車の境界線及びレンズの境界線などの特徴物は、画像中に常に存在し、容易に識別してマスク除去することができる。対照的に、図７による閾値処理を使用して、汚れ、傷などによる影響を受けていない画像部分を識別することもできる。

第２の実施形態：減衰の補正
本明細書の第２の実施形態によると、減衰の量を決定し、決定された減衰の量に基づきアーチファクトのない画像の推定値を得るための方法が開示される。この実施形態は、図８〜１８に示される。図８は、「ｔ ｅ ｓ ｔ」という文字を含む不鮮明マスクによる人工的汚染を重ねた画像を示す。図９は、以下に述べる画像回復アルゴリズムに従って図８の画像から導き出される回復させた画像を示す。図１０は、図８のｘ方向における画素変動尺度ξ_ｘを示し、図１１は、図８のｙ方向における画素変動尺度ξ_ｙを示す。画素変動尺度の計算を以下に更に説明する。

図１２は、実際の不鮮明マスクを示し、図１３は以下の方程式（１９）を解くことによって得られる推定不鮮明マスクを示す。図９の最終結果は、以下の式（２１）を解くことによって得られる。図９の最終結果は、以下に述べる方程式（２１）を解くことによって得られる。

図１４〜１８は、元の画像と人工的な不鮮明マスクの代わりに実際の汚染を使用した図８〜１３と同様の結果を示す。図１４は、元の画像を示し、図１５は、以下に述べる画像補正方法使用して補正された画像を示す。図１６は、図１４のｘ方向における画素変動尺度ξ_ｘを示し、図１７は、図１４のｙ方向における画素変動尺度ξ_ｙを示す。図１８は、推定不鮮明マスク又は減衰を示す。

自然な画像統計が保持され、ほとんど例外なく大部分の画像で連続する画素間での画素強度がほとんど変化しない場合、汚染されていない画像内の隣接画素の強度はほぼ等しい、即ち、

であって、これは、この画素での非ゼロ導関数が減衰係数Ｂの影響によって引き起こされることを意味する。これにより、導関数方程式は、この仮定が成立する画素において、

となる。

上記の式は、画像が滑らかに変化する位置では、量ξ_ｘ（ｘ，ｙ）は、ビデオの記録中に時間的に一定であるＢのみに依存することを示している。従って、ξ_ｘ（ｘ，ｙ）も時間的に一定である。ξ_ｘ（ｘ，ｙ）が一定ではない場合、それは、画像が滑らかに変化するという当初の仮定がその特定の画素及びフレームにおいては誤っているからである自然な画像統計によると、これは自然画像ではめったに発生しない。この明細書による方法は、これらの異なる値をξ_ｘ（ｘ，ｙ）の時間に関する外れ値とみなして考慮する。ξ_ｘ（ｘ，ｙ）の中心値を推定するには、外れ値を扱う多くの技法が使用できるが、ほぼ間違いなく最良なのは、内訳のパーセンテージが５０％のロバスト統計である中央値である。

中央値の定義に従いξ_ｘ（ｘ，ｙ）の中央値を推定するには、多数のフレームを格納し、次いで、各画素について位置（ｘ，ｙ）での画素強度値を並べ替えて中心の画素を得ることが必要である。これは実用的な解決策ではない。本明細書によると、以下に説明する方法に従い、中央値に対する近似値が代わりに計算される。

ストリーミング中央値
数字ｐ（ｔ）の一次元の数列

を考え、前回の観察ｔまでに観察された全ての点の中央値の近似値ｍ（ｔ）を推定したいとする。

すると、以下の方法に従って中央値の近似値を計算することができる。中央値推定値ｍ（ｔ）の開始値ｍ（−１）がある値（例えば、ゼロ）で初期化され、次いで新しい観察値ｐ（ｔ）毎に

を計算する。ただし、Δは、適切に選択される値であり、ｔは、フレームインデックスｆなどの時間インデックスである。この方法は、ｍの以前の値全てが格納されていることを必要とせず、点と観察値毎に比較と加算のみを行う。これは、計算及び保存の観点からは、非常に効率的である。また、ｔ→∞となるのに従い、ｍ（ｔ）→ｍｅｄｉａｎ（｛ｐ（０），．．．，ｐ（ｔ）｝）となり、換言すれば、十分に大きなｔ値に対して、中央値推定値が真の中央値の値に近づく。

Δの値に関して、Δが小さすぎる場合、ｍ（ｔ）は、非常にゆっくりと中央値の真の値に向かう傾向がある。Δが大きすぎる場合、ｍ（ｔ）はすぐに真の中央値に向かうが、非常に大きく振動する。

実験的に得られたΔの一定の値が、図８〜１８の例示的な実施形態で使用されるが、可能なアプローチは、迅速な収束のために大きなΔで開始し、次いで、ｍ（ｔ）が安定した後に、Δを小さくして精度を高めることからなる。

ランク付けされたデータのセットを分析することによって得られる他の値の近似値も得ることができる。

上向きの変化と下向きの変化を異なるようにすることによって、他の近似を達成することができる。例えば、第１の四分位数及び第３の四分位数を、それぞれ

のように計算することができる。

減衰係数Ｂの推定
減衰係数Ｂは、時間の経過に伴うξ_ｘ（ｘ，ｙ）の中央値の近似値

を推定するために、以前に計算したストリーミング中央値法を使用して推定される。以前に得られた関係

を使用すると、

という結果になる。これは、Ｂの値が互いにどのように関連しているかを示している。同様の導出が、垂直導関数に対して明らかとなる。

ただし、

の中央値の推定値である。

減衰又は障害物がないと判定された位置においてＢの幾つかの値を１に設定することにより、Ｂ（ｘ，ｙ）についての拘束方程式の集合が得られ、

となる。

画素位置（ｘ，ｙ）は、例えば、第１の実施形態による検出方法を使用することにより得てもよい。

方程式（１５）、（１６）及び（１８）は、方程式

を通じて行列形式で表すことができる。ただし、ｂは、（＃Ｘ×＃Ｙ）×１を有する列ベクトルとして再構成された配列Ｂを表し、ベクトルｂは、Ｂの各行を連続的に取ることによって形成され、Ｓはサイズが（＃ｃｏｎｓｔｒａｉｎｔｓ）×（＃Ｘ×＃Ｙ）の疎行列であり、ｒは次元（＃ｃｏｎｓｔｒａｉｎｔｓ）×１を有する列ベクトルである。

制約の数「＃ｃｏｎｓｔｒａｉｎｔｓ」は、拘束方程式（１５）、（１６）及び（１８）の数に等しい。制約の数は、およそ（＃Ｘ−１）＊＃Ｙの水平方向の制約プラス（＃Ｙ−１）＊＃Ｘの垂直方向の制約プラスＢが既知のＮ個の点に対するＮ個の制約である。

行列Ｓは、方程式（１５）、（１６）及び（１８）の制約をＳに書き込むことよって得られる。各制約は、疎行列Ｓの行ｌに書き込まれ、値が割り当てられていないＳの値は、ゼロの値を有する。特に、行列Ｓは、非ゼロ係数のみを格納することによって、コンピュータメモリに効率的に格納することができる。

一実施形態によると、行列Ｓは以下のように構成される。カウンタ変数ｌは値１で初期化され、新しい制約が追加される度にインクリメントされ、座標（ｘ、ｙ）は（ｘ、ｙ）＝（１，１）で始まる行ごとに画素位置を横切る。方程式（１５）から（ｘ、ｙ）についての制約がある場合、Ｓの座標（ｌ，（ｙ−１）＊＃Ｘ＋ｘ＋１）が１に設定され、座標（ｌ，（ｙ−１）＊＃Ｘ＋ｘ）が

に設定され、座標（１，１）又はｒが０に設定される。この制約を追加した後、ｌが１だけインクリメントされる。

方程式（１６）から（ｘ，ｙ）についての制約がある場合、Ｓの座標（ｌ，（ｙ−１）＊＃Ｘ＋ｘ）が１に設定され、Ｓの座標（ｌ，（ｙ−１）＊＃Ｘ＋ｘ）が

に設定され、座標（ｌ，１）又はｒが０に設定される。この制約を追加した後、ｌが１だけインクリメントされる。方程式（１８）から（ｘ，ｙ）についての制約がある場合、Ｓの座標（ｌ，ｙ＊＃Ｘ＋ｘ）が１に設定され、ｒの座標（ｌ，１）が１に設定され、ｌが１だけインクリメントされる。次いで、（ｘ，ｙ）が次の値に設定され、手順が繰り返される。

結果として得られる方程式（１９）は、一般に過剰に決定されており、直接解かれることはない。代わりに、方程式（１９）の両辺に左からＳ^Ｔを乗算することにより、対称行列Ｓ^ＴＳ：Ｓ^ＴＳｂ＝Ｓ^Ｔ _ｒを得る。この方程式は、最小二乗近似の文脈における正規方程式としても知られている。正規方程式は、反復法を用いて近似的に解かれ、それによりベクトルｂが得られる。例えば、反復法は、二次形式

を最小化するベクトルｂを近似する最小二乗解法、例えば共役勾配法によって提供されてもよい。

配列Ｂは、ベクトルｂを配列形式に再構成することによって列ベクトルｂから得られる。観測されなかった画像は、観察された画像の各画素をその画素の推定されたＢで割り、画素（ｘ，ｙ）の場合は０＜Ｂ（ｘ，ｙ）＜１で割ることによって単純に推定される。

これにより、減衰Ｂ（ｘ，ｙ）を補償することができる。

修正された実施形態によると、必要でない方程式（１８）の拘束方程式が識別され、行列Ｓには含まれない。例えば、アルゴリズムは、アーチファクトの境界領域を識別し、境界領域外側の点（ｘ，ｙ）を方程式（１８）及びベクトルｂから除外する。或いは、逆に、アルゴリズムを用いて減衰なしの内部領域Ｂ＝１を識別し、内部領域の点を方程式（１８）およびベクトルｂから除外してもよい。

好ましくは、少なくとも１つの拘束方程式（１８）が、画像フレームの各行に対して、および存在する場合には、画像フレームの各列に対して提供される。これにより、減衰が事前に分かっていない画素位置において、方程式（１５）および（１６）を使用し、１つ以上の既知の減衰値Ｂ（ｘ、ｙ）を使用して減衰を見つけることができる。

図１９は、一例として、本願による画像欠陥補正システム１０を示す。ビデオカメラのセンサ表面１２がビデオバッファ１４に接続された画像撮影ユニット１３に接続されている。アーチファクト検出ユニット１５とアーチファクト補正ユニット１６が、ビデオバッファ１４に接続されている。ディスプレイ１７がアーチファクト補正ユニット１６に接続されている。破線は、アーチファクト検出ユニット１５の出力をアーチファクト補正ユニット１６への入力として選択的に使用することを示している。

更に、画像評価ユニット１９が、アーチファクト補正ユニット１６に接続されている。様々なドライバー支援ユニット、例えばブレーキ支援ユニット２０、駐車支援ユニット２１、及び交通標識検出ユニット２２が、画像評価ユニット１９に接続されている。ディスプレイ１８は、ユニット２０、２１及び２２の出力データを表示するためにユニット２０、２１、２２に接続されている。

アーチファクト検出ユニット１５は、本明細書の第１の実施形態に従いアーチファクト検出を実行するように作動し、アーチファクト補正ユニット１６は、本明細書の第２の実施形態に従い、例えば、マイクロプロセッサ、集積回路、ＡＳＩＣなどの計算手段、データ及びコンピュータ実行可能コードなどを格納するためのコンピュータ可読メモリなどを提供することにより、アーチファクト補正方法を実行するように作動する。

上記の説明は多くの特異性を含むが、これらは実施形態の範囲を限定するものと解釈すべきではなく、予見可能な実施形態の説明を提供するだけである。とりわけ、実施形態の上記の利点は、実施形態の範囲を限定するものと解釈すべきではなく、記載された実施形態が実施される場合に可能な成果を説明するだけである。したがって、実施形態の範囲は、与えられた例ではなく、特許請求の範囲及びそれらの均等物によって決定されるべきである。

とりわけ、画素行列は、行ごとにではなく列方向に横断されてもよく、行列を横断する方向が逆であってもよい。減衰のための拘束方程式は、次の画素（ｘ，ｙ＋１）又は（ｘ＋１，ｙ）に関して表現される代わりに、先行する画素（ｘ，ｙ−１）または（ｘ＋１，ｙ）に関して表現されてもよい。この場合、第１列又は第１行のための拘束方程式はそれぞれ存在しない。

Claims (12)

1. 画像アーチファクトを検出する方法であって、
   −車両カメラから画像データであって、画像フレームを含む画像データを受信することと、
   −第１の方向における隣接画素間の強度差を所定の上限閾値及び所定の下限閾値と比較することと、
   −前記強度差が前記所定の上限閾値より大きい場合、画素遷移値を第１の値に設定し、前記強度差が前記所定の下限閾値より小さい場合、前記画素遷移値を第２の値に設定し、前記強度差が前記所定の上限閾値と前記所定の下限閾値との間である場合、前記画素遷移値をゼロに設定することと、
   −フレームインデックスに関してローパスフィルタを適用することにより、前記画素遷移値の累積された画素遷移値を計算することと、
   −画素位置に関して空間フィルタを適用することにより、前記累積された画素遷移値を平滑化することと、
   −前記画像フレームの前記画素位置について前記平滑化され累積された画素遷移値の大きさの値を計算することと、
   −前記大きさの値を所定の検出閾値と比較することにより、潜在的なアーチファクト領域の画素を識別すること、を含む方法。
2. −第２の方向における隣接画素間の強度差を前記所定の上限閾値及び前記所定の下限閾値と比較することと、
   −前記強度差が前記所定の上限閾値より大きい場合、前記画素遷移値を前記第１の値に設定し、前記強度差が前記所定の下限閾値より小さい場合、前記画素遷移値を前記第２の値に設定し、前記強度差が前記所定の上限閾値と前記所定の下限閾値との間である場合、前記画素遷移値をゼロに設定することを含む、請求項１に記載の方法。
3. 前記ローパスフィルタの出力値の前記計算が、第１の方向又は第２の方向それぞれについてフレームインデックスｆでの累積値を、先のフレームインデックスｆ−１での前記累積値と先のフレームインデックスｆでの前記平滑化された画素遷移値との加重和として計算することを含む、請求項１又は２に記載の方法。
4. 前記先のフレームインデックスｆ−１での前記累積値の重み因子が少なくとも０．９５である請求項３に記載の方法。
5. 画像アーチファクトを補正する方法であって、
   −車両カメラから画像データであって、画像フレームを含む画像データを受信することと、
   −第１の方向における画素商値であって、商から導き出され、前記商の分子が所与の画素位置での画像強度を含み、分母が前記第１の方向における隣接画素での画像強度を含む画素商値を計算することと、
   −時間に関して前記画素商値の中央値を計算することと、
   −画素位置の減衰係数を、前記減衰係数における連立一次方程式であって、前記中央値が前記減衰係数の前因子として現れる第１の組の一次方程式と、それぞれの画素位置での前記減衰係数の値を決定する第２の組の一次方程式とを含む連立一次方程式に対する近似解として計算することと、
   −観察された前記画素強度をそれぞれの前記画素位置の対応する前記減衰係数Ｂ（ｘ，ｙ）で除算することにより、補正された画素強度を導き出すことを含む、方法。
6. 第２の方向における画素商値であって、商から導き出され、前記商の分子が所与の画素位置での画像強度を含み、分母が前記第２の方向における隣接画素での画像強度を含む画素商値を計算することを含み、前記中央値が前記第１の方向における前記画素商値及び前記第２の方向における前記画素商値について計算される、請求項５に記載の方法。
7. 前記第２の組の一次方程式を決定するために請求項１から４の一項に記載の方法を使用することを含む、請求項５に記載の方法。
8. 前記中央値が、ストリーミング中央値であって、先のフレームインデックスｆ−１の中央値推定値とフレームインデックスｆでの前記画素商値から導き出されるストリーミング中央値として計算される、請求項５から６の一項に記載の方法。
9. 前記画素商値が前記以前のストリーミング中央値より大きい場合には、所定の値デルタを前記以前の推定値に加算することにより、前記画素商値が前記以前のストリーミング中央値より小さい場合には、前記所定の値デルタを減算することにより、それ以外の場合には、前記ストリーミング中央値を前記以前のストリーミング中央値に設定することにより、現在のフレームインデックスの前記ストリーミング中央値が計算される、請求項８に記載の方法。
10. 前記減衰係数の前記前因子が、制限行列によって定義され、前記方法が、前記連立一次方程式を転置された前記制限行列で乗算し、結果として得られる連立一次方程式を反復法を使用して解くことを含む、請求項９に記載の方法。
11. 画像アーチファクトを検出するための計算ユニットであって、
    画像データを受信するための入力接続部と、検出された画素の位置を出力するための出力接続部とを備え、
    −第１の方向における隣接画素間の強度差を所定の上限閾値及び所定の下限閾値と比較し、
    −前記強度差が前記所定の上限閾値より大きい場合、画素遷移値を第１の値に設定し、前記強度差が前記所定の下限閾値より小さい場合、前記画素遷移値を第２の値に設定し、前記強度差が前記所定の上限閾値と前記所定の下限閾値との間である場合、前記画素遷移値をゼロに設定し、
    −フレームインデックスに関してローパスフィルタを適用することにより、前記画素遷移値の累積された画素遷移値を計算し、
    −画素位置に関して空間フィルタを適用することにより、前記累積された画素遷移値を平滑化し、
    −前記画像フレームの前記画素位置について前記平滑化され累積された画素遷移値の大きさの値を計算し、
    −前記大きさの値を所定の検出閾値と比較することにより、潜在的なアーチファクト領域の画素を識別するように作動する、計算ユニット。
12. 画像アーチファクトを補正するための計算ユニットであって、
    画像データを受信するための入力接続部と、補正された画像フレームを出力するための出力接続部を備え、
    −第１の方向における画素商値であって、商から導き出され、前記商の分子が所与の画素位置での画像強度を含み、分母が前記第１の方向における隣接画素での画像強度を含む画素商値を計算し、
    −時間に関して前記画素商値の中央値を計算し、
    −画素位置の減衰係数を、前記減衰係数における連立一次方程式であって、前記中央値が前記減衰係数の前因子として現れる第１の組の一次方程式と、それぞれの画素位置での前記減衰係数の値を決定する第２の組の一次方程式とを含む連立一次方程式に対する近似解として計算し、
    −観察された前記画素強度をそれぞれの前記画素位置の対応する前記減衰係数Ｂ（ｘ，ｙ）で除算することにより、補正された画素強度を導き出すように作動する、計算ユニット。

Images