JP7495948B2 - 変わる景色の赤外線画像の残留像を除去する方法及びデバイス - Google Patents

Description

本開示は一般に、赤外線撮像の分野に関し、特に赤外線画像から残留像を除去する方法及びデバイスに関する。

マイクロボロメータは、景色の画像の熱画像を取り込むために使用される非冷却赤外線（IR）カメラの一種である。このような赤外線カメラは一般に、画素アレイを形成するIR感知検出器のアレイを備えている。画素アレイの各画素は、画素で測定された温度を対応する電気信号、一般に電圧に変換し、次に電気信号、一般に電圧は、ADC （アナログ／デジタル変換器）によってデジタル出力信号に変換される。

マイクロボロメータの各画素は、基板の上で懸架されている膜を有している。膜は、画素に当たる赤外光からエネルギーを吸収する吸収層を有しており、赤外光の強度に応じて吸収層の温度が上昇する。膜は、例えば熱層を更に有しており、熱層は、この温度上昇によって抵抗が変化するという特性を有するため、吸収層に熱的に結合しているこの熱層の抵抗変化を検出することにより、画素を読み取ることができる。

マイクロボロメータなどの非冷却IRセンサは、画素アレイが高温フラックスを受けると発生する、残留像として知られている撮像アーチファクトの影響を受け得る。例えば、このような高温フラックスは、太陽又は別の強い熱源によって生じる場合があり、その結果、該当する画素の抵抗率が変化する。これらの画素の抵抗は、画素の温度が低下した後に通常レベルに戻るまでに時間がかかり、フラックスレベルに応じて画質の低下を引き起こし、画質の低下は数分間又は最大数日間持続し得る。

メカニカルシャッタを備えたカメラの場合、残留アーチファクトを除去するアルゴリズムは比較的単純である。しかしながら、シャッタが設けられていない非冷却IRセンサによって取り込まれた画像から残留アーチファクトを除去するのには技術的な問題がある。

本開示の実施形態の目的は、先行技術における一又は複数の問題に少なくとも部分的に対処することである。

一態様によれば、赤外線撮像デバイスによって取り込まれた一連の画像内の画像から残留アーチファクトを画像処理デバイスによって除去する方法であって、画像の残留ゾーンにインペインティング処理を行って、インペインティング処理が行われた画像を生成し、インペインティング処理が行われた画像に基づき、前記画像の少なくとも一部の画素に関して残留測定値を生成し、前記一連の画像内の複数の画像の残留測定値に基づき夫々生成された残留推定値に基づき、前記少なくとも一部の画素毎に、前記画像の少なくとも一部の画素から残留アーチファクトを除去する、方法を提供する。

一実施形態によれば、前記残留推定値は平均残留推定値である。例えば、前記平均残留推定値は、前記少なくとも一部の画素毎の瞬間平均残留推定値に相当する。

一実施形態によれば、前記画像の少なくとも一部の画素に関して残留測定値を生成する際に、前記画像の少なくとも一部の画素の各画素値から、インペインティング処理が行われた画像の対応する画素の画素値を減算する。

一実施形態によれば、前記方法では、前記画像の残留ゾーンを検出する。

一実施形態によれば、前記残留ゾーンは、前記画像の75％未満の画素を含む。

一実施形態によれば、前記方法では、前記画像及び前記一連の画像内の少なくとも１つの前の画像の残留測定値の移動平均を計算することにより、前記少なくとも一部の画素毎に前記残留推定値を計算する。

一実施形態によれば、前記移動平均は、前記一連の画像内のｍ個の画像のスライディングウィンドウに基づいており、ｍは20～150 の範囲内である。

一実施形態によれば、前記方法では、カルマンフィルタリングを適用することにより、前記少なくとも一部の画素毎に前記残留推定値を計算する。

一実施形態によれば、カルマンフィルタリングを適用することにより、前記残留推定値を計算する際に、前記少なくとも一部の画素の各々の前の補正された残留推定値と残留指数関数的減衰のモデルとに基づいて、前記画像の少なくとも一部の画素の各々の残留値を事前に推定し、前記画像の少なくとも一部の画素毎に、対応する残留測定値に基づき、推定された残留値を補正し、事後推定値を得る。

一実施形態によれば、前記方法では、前記画像から残留アーチファクトを除去する前に、前記一連の画像が変わる景色に対応することを検出する。

更なる態様によれば、画像処理デバイスのプロセッサによって実行されると、上記の方法を実行させるコンピュータ命令を記憶する、非一時的な記憶媒体を提供する。

更なる態様によれば、赤外線撮像デバイスによって取り込まれた一連の画像内の画像、及び前記一連の画像内の少なくとも１つの前の画像の一又は複数の残留測定値を記憶する少なくとも１つのメモリと、一又は複数のプロセッサとを備えており、前記プロセッサは、前記画像の残留ゾーンにインペインティング処理を行って、インペインティング処理が行われた画像を生成し、インペインティング処理が行われた画像に基づき、前記画像の少なくとも一部の画素に関して残留測定値を生成し、前記一連の画像内の複数の画像の残留測定値に基づき夫々生成された残留推定値に基づき、前記少なくとも一部の画素毎に、前記画像の少なくとも一部の画素から残留アーチファクトを除去することにより、前記画像から残留アーチファクトを除去するように構成されている、画像処理デバイスを提供する。

一実施形態によれば、前記残留推定値は平均残留推定値である。例えば、前記平均残留推定値は、前記少なくとも一部の画素毎の瞬間平均残留推定値に相当する。

更なる態様によれば、マイクロボロメータアレイと、上記の画像処理デバイスとを備えている、赤外線撮像デバイスを提供する。

更なる態様によれば、上記の赤外線撮像デバイスを備えている、赤外線カメラを提供する。

別の更なる態様によれば、赤外線撮像デバイスによって取り込まれた一連の画像内の画像から残留アーチファクトを画像処理デバイスによって除去する方法であって、前記画像の画素値と前記一連の画像内の前の画像の画素値との差に基づき、前記画像の少なくとも一部の画素の残留測定値を生成し、前記残留測定値と、前記少なくとも一部の画素の一又は複数の前の残留推定値と、残留指数関数的減衰のモデルとに基づき夫々生成された残留推定値に基づき、前記少なくとも一部の画素毎に、前記画像の少なくとも一部の画素から残留アーチファクトを除去する、方法を提供する。

一実施形態によれば、前記残留推定値は平均残留推定値である。例えば、前記平均残留推定値は、前記少なくとも一部の画素毎の瞬間平均残留推定値に相当する。

一実施形態によれば、前記画像の少なくとも一部の画素ｘの残留測定値を生成する際に、
ω*_n,x＝f_n,x－f_n-1,x ［式１］
を計算し、
f_nは前記画像であり、f_n-1は前記前の画像である。

一実施形態によれば、前記方法では、カルマンフィルタリングを適用することにより、前記少なくとも一部の画素毎に前記残留推定値を生成する。

一実施形態によれば、カルマンフィルタリングを適用することにより、前記残留推定値を生成する際に、前記少なくとも一部の画素の各々の前の補正された残留推定値と、前記残留指数関数的減衰のモデルとに基づき、前記画像の少なくとも一部の画素の各々の残留値を事前に推定し、前記画像の少なくとも一部の画素毎に、対応する残留測定値に基づき、推定された残留値を補正し、事後推定値を得る。

一実施形態によれば、前記方法では、前記画像から残留アーチファクトを除去する前に、一連の画像が静止した景色に対応することを検出する。

別の更なる態様によれば、画像処理デバイスのプロセッサによって実行されると、上記の方法を実行させるコンピュータ命令を記憶する、非一時的な記憶媒体を提供する。

別の更なる態様によれば、赤外線撮像デバイスによって取り込まれた一連の画像内の画像、及び前記一連の画像内の少なくとも１つの前の画像の一又は複数の残留測定値を記憶する少なくとも１つのメモリと、一又は複数のプロセッサとを備えており、前記プロセッサは、前記画像の画素値と前記一連の画像内の前の画像の画素値との差に基づき、前記画像の少なくとも一部の画素の残留推定値を生成し、前記残留推定値と、前記少なくとも一部の画素の一又は複数の前の残留推定値と、残留指数関数的減衰のモデルとに基づき生成された残留推定値に基づき、前記画像の少なくとも一部の画素から残留アーチファクトを除去することにより、前記画像から残留アーチファクトを除去するように構成されている、画像処理デバイスを提供する。

一実施形態によれば、前記残留推定値は平均残留推定値である。例えば、前記平均残留推定値は、前記少なくとも一部の画素毎の瞬間平均残留推定値に相当する。

別の更なる態様によれば、マイクロボロメータアレイと上記の画像処理デバイスとを備えている、赤外線撮像デバイスを提供する。

別の更なる態様によれば、上記の赤外線撮像デバイスを備えている、赤外線カメラを提供する。

前述及び他の特徴及び利点は、添付図面を参照して本発明を限定するものではない実例として与えられる以下の特定の実施形態に詳細に記載されている。

本開示の例示的な実施形態に係るIR撮像デバイスを概略的に示す図である。 例示的な実施形態に係る、より詳細な図１の画像処理回路を概略的に示す図である。 残留アーチファクトを含む画像を示す図である。 画素の残留値の指数関数的減衰を示す図表である。 本開示の例示的な実施形態に係る、画像から残留像を除去する方法のステップを示す一般的なフローチャートである。 一連の300 の画像に亘って残留像の影響を受ける画素ｘのシミュレートされた画素値の例を示す図表である。 残留領域Ｋを有する、マイクロボロメータアレイ全体のシミュレートされた画素値の例を示す図表である。 マイクロボロメータアレイ全体のシミュレートされた画素値の更なる例を示す図表である。 残留推定値と残留平均値との差の分布を示す図表である。 一連のｎ＝1000の連続した画像に沿って１つの画素の残留推定値と様々な方法を使用した残留推定値とを示す図表である。 本開示の例示的な実施形態に従って残留推定値を生成するためにカルマンフィルタリングを行う方法のステップを示すフローチャートである。 カルマンフィルタを適用するための有効な時系列の潜在構造を示す図である。

同様の特徴が、様々な図面で同様の参照符号によって示されている。特に、様々な実施形態で共通の構造的特徴及び／又は機能的特徴は同一の参照符号を有する場合があり、同一の構造特性、寸法特性及び材料特性を有する場合がある。

特に示されていない場合、共に接続された２つの要素を参照するとき、これは、導体以外のいかなる中間要素も無しの直接接続を表し、共に結合又は連結された２つの要素を参照するとき、これは、これら２つの要素が接続され得るか、又は一若しくは複数の他の要素を介して結合又は連結され得ることを表す。

以下の開示では、特に示されていない場合、「前」、「後ろ」、「最上部」、「底部」、「左」、「右」などの絶対位置、若しくは「上方」、「下方」、「高」、「低」などの相対位置を限定する文言、又は「水平」、「垂直」などの向きを限定する文言を参照するとき、この文言は、図面の向き又は通常の使用中のマイクロボロメータの向きを指す。

特に指定されていない場合、「約」、「略」、「実質的に」及び「程度」という表現は、該当する値の１０％の範囲内、好ましくは５％の範囲内を表す。

図１は、赤外光を感知可能な画素アレイ102 を備えたIR撮像デバイス100 を示す。IR撮像デバイス100 は、例えばIRカメラの一部を形成している。ある実施形態では、画素アレイ102 は、７～16μｍ又はそれ以上の範囲内の波長の光などの長波赤外光を感知可能である。

図１の例では、画素アレイ102 は、12行及び12列に配置された144 のマイクロボロメータ画素104 を有している。代替的な実施形態では、画素アレイ102 は、あらゆる数の行及び列の画素を有し得る。典型的には、画素アレイ102 は、例えば640 ×480 のマイクロボロメータ画素、又は1024×768 のマイクロボロメータ画素を有する。

図１の例では、画素アレイ102 の画素の各列は対応する参照構造体106 に関連付けられている。この参照構造体は、機能的には画像素子ではないが、撮像（又はアクティブ）マイクロボロメータ画素104 との構造的類似性によって本明細書では「参照画素」と称される。更に、出力ブロック（出力）108 が、画素アレイ102 の各列及び参照画素106 の各々に連結されており、参照画素106 と共に画素アレイ102 によって取り込まれた信号又は読み取り値を含む生画像RAW を与える。

ボロメータタイプの画素アレイの例が、例えば、本出願人に譲渡されている米国特許第7700919 号明細書により詳細に記載されており、その内容が、特許法によって認められる程度まで参照によって本明細書に組み込まれる。

制御回路（CTRL）110 が、例えば画素アレイ102 、参照画素106 及び出力ブロック108 に制御信号を与える。

生画像RAW は、例えば画像処理回路（画像処理）112 に与えられ、画像処理回路112 は、例えば、画像の画素に２点画像補正、更に残留補正を適用して補正画像Ｓを生成する。

画素アレイ102 の読取ステップ中、画素の行を例えば一度に１つずつ読み取る。

図２は、例示的な実施形態に係る、より詳細な図１の画像処理回路112 を示す。

画像処理回路112 の機能は例えばソフトウェアで実行され、画像処理回路112 は、命令メモリ204 に記憶された命令の制御下で一又は複数のプロセッサを有する処理デバイス202 を有している。代替的な実施形態では、画像処理回路112 の機能は、専用ハードウェアによって少なくとも部分的に実行され得る。このような場合、処理デバイス202 は例えばASIC（特定用途向け集積回路）又はFPGA（フィールドプログラマブルゲートアレイ）を有しており、命令メモリ204 は省略されてもよい。

処理デバイス202 は生入力画像RAW を受けて補正画像Ｓを生成し、補正画像は、例えば撮像デバイスのディスプレイ（不図示）に与えられる。

処理デバイス202 は、例えば、２点画像補正を実行するために使用されるオフセット値（オフセット）208 及びゲイン値（ゲイン）210 を記憶するデータメモリ（メモリ）206 に更に連結されている。

ある実施形態では、シャッタが設けられていない画像補正を実行する。例えば、オフセット値は、構造的な列分散を表すベクトルV_COL、及び画素アレイ102 によって導入される構造的な二次元非列分散を表す行列OFF_DISPの形態である。列分散は例えば、行の列参照画素が一般に完全には均一ではないにも関わらず、各列の参照画素106 を使用することによって主に生じる。例えば、二次元非列分散は、例えば技術的な処理分散によって生じる画素アレイのアクティブボロメータ間の局所的な物理的差及び／又は構造的差によって主に生じる。

シャッタが設けられていない画像補正技術、特にベクトルV_COL及び行列OFF_DISPの生成、並びにこのベクトル及び行列に基づく画素値の補正の例が、2015年４月24日に出願されて本出願人に譲渡されている米国特許出願第14／695539号により詳細に記載されており、その内容が特許法によって認められる程度まで参照によって本明細書に組み込まれる。

代替的な実施形態では、シャッタの使用を伴う解決策を含む様々なタイプの２点画像補正を実行することができる。

メモリ206 は、例えば、以下により詳細に記載されるように、一又は複数の予め取り込まれた画像の画素に関して計算された一又は複数の残留推定値212 を更に記憶している。ある実施形態では、メモリ206 は、以下により詳細に記載されるように、残留減衰を表すモデルＷを更に記憶している。

図３は、残留アーチファクト302 が存在する画像300 を示す。例えば、この画像は、マイクロボロメータアレイによって取り込まれて、マイクロボロメータアレイがアクティブである間に、グレア、特に比較的強い熱のフラックスをマイクロボロメータアレイが受けた。マイクロボロメータアレイの各画素の熱層の抵抗は、温度に応じて変化すべきであり、温度が高くなると抵抗が低くなる。画像300 では、読み易さのために、階調が反転されており、高温はより暗い画素で表されている。比較的高い熱のフラックスは、該当する画素の抵抗を著しく持続的に低下させ、マイクロボロメータアレイ全体のフラックスの経路に対応する暗い跡302 を画像300 に生じさせる。太陽の熱に起因する場合、このようなアーチファクトはサンバーンと称されることが多い。

図４は、例示的な実施形態に係る、時間に応じた、図１のアレイ102 などのマイクロボロメータアレイの画素ｘの残留値ω_ｘの例を示す図表である。残留値ω_xは、以下の式によってモデル化され得る指数関数的減衰を有する。

ここで、t₀は、グレアが画素に当たった瞬間の後に画素が通常の温度に戻る時間であり、ｘ＝（行，列）は画素の座標ベクトルであり、α、β及びτはパラメータである。

は特性関数である。図４の例では、τは10であり、αは１であり、βは0.5 である。

残留像は付加的な障害である。従って、残留像の影響を受ける画像の画素値f_x(t) は、以下のようにモデル化され得る。
f_x(t)＝ω_x（t－t₀；τ，α，β）＋Ｇ_ωｘ（t－t₀）S_x(t) ［式４］
ここで、S_x(t) はグレア無しの画像であり、Ｇ_ωｘはグレアによるゲイン変化行列であり、f_x(t) は、例えば上述したような２点画像補正に対応する。ゲイン変化行列に基づき補正を行う方法が、仏国特許発明第2987210 号明細書により詳細に記載されており、その内容が、特許法によって認められる程度まで参照によって本明細書に組み込まれる。しかしながら、項Ｇ_ωｘ（t－t₀）S_x(t)によって表される画素の感度の変化は、ω_xに対して小さいとみなすことができ、以下では、その寄与は、Ｇ_ωを１とみなして無視される。

図１のデバイス100 などのIR撮像デバイスを使用してIR画像を取り込む場合、識別され得る複数の異なる使用事例がある。

IRカメラが動いているため、及び／又は景色が変わっているため、画素アレイの視野内の画像が変化しているとみなされ得る動的状況（以下、事例１）を検討することができる。このタイプの動的状況では、残留像ω_x(t)及び画像S_x(t) の両方が経時的に変化しているので、上記のモデルが適切である。
f_x(t)＝ω_x(t)＋S_x(t) ［式５］

別の状況（以下、事例２）は、画素アレイの視野内の画像が実質的に一定である場合に対応する。従って、残留像のみが経時的に変わっている。このような事例では、残留像の影響を受ける画像の画素値f_x(t) は、以下のようにモデル化され得る。
f_x(t)＝ω_x(t)＋S_x ［式６］
ここで、グレア無しの画像S_xは一定であると仮定され得る。

事例１及び事例２の両方で、画像の流れが、例えば取り込まれて、映像ファイルを形成すべく記憶される、及び／又はIRカメラの画像ディスプレイに略リアルタイムで中継される。

第３の状況（以下、事例３）は、IRカメラの視野内の画像及び残留像の両方が経時的に一定とみなされ得る程に十分にゆっくりと変わっている場合、言い換えれば、時間減衰が評価の時間枠内で測定され得ない程遅い場合に対応する。この事例の画像の画素値f_xは、以下のようにモデル化され得る。
f_x＝ω_x＋S_x ［式７］

事例１及び事例２に関して残留像によって生じたアーチファクトを少なくとも部分的に除去する方法について、より詳細に説明する。失われた画素情報に関する追加の時間情報が含まれない１つの画像の画像レタッチに相当する事例３は、本開示では扱われない。

以下、ｔ＝ｎ及びｔ＋δｔ＝ｎ＋１を示すことによって、時間をサンプリングする。従って、時間ｔ及び画素ｘの行列Ｍの値は、M(t,x)ではなくM_n,xと示される。

一般的概要
図５は、本開示の例示的な実施形態に係る一連の画像で残留像を補正する方法500 のステップを示す一般的なフローチャートである。この方法は、例えば図１及び図２の画像処理回路112 によって実行される。或いは、この方法は、IRカメラの一部を形成しても又は形成しなくてもよい別のタイプの処理デバイスによって実行され得る。

画像の取込
ステップ501 で、画像f_nを取り込むときに本方法が開始する。この画像は、例えば、前述した２点画像補正などの画像補正が適用された生画像RAW_nに相当する。

変化の検出
ステップ501 の後、例えば、画像f_n及び予め取り込まれた画像f_n-1に基づき、変わる景色の存在を検出するステップ502 を実行する。ステップ502 の後、例えば現在の画像ｎの各画素ｘにおける現在の残留平均値μ_{ω，ｎ，ｘ}の推定を含む、残留推定法503 を実行する。ステップ502 における変わる景色の検出結果を使用して、残留推定ステップ503 を実行する二者択一の方法504 及び方法505 のいずれかを選択する。特に、変わる景色がステップ502 で検出された場合、その後の残留推定法503 で、図５の方法504 に相当する事例１の方法を適用する。逆に、静止した景色が検出された場合、その後の残留推定法503 で、図５の方法505 に相当する事例２の方法を適用する。

例えば、ステップ502 で、時間的変化を、時間的ノイズレベルより上に設定された閾値、例えば時間的ノイズレベルの２倍又は３倍に設定された閾値と比較することにより、景色の動態を検出することができる。このような評価を、平均的な時間的変化などに基づいて画像に関して全体的に行うことができ、この場合、画像の全ての画素を、例えば同一の方法（事例１の方法504 又は事例２の方法505 ）に従って処理する。或いは、画像の個々の画素又は個々のサブ領域での時間的変化に基づいて、局所的な評価を行うことができ、事例１の方法504 又は事例２の方法505 のいずれを適用するかの選択を、画素単位又はサブ領域単位で行うことができる。

方法504 については、事例１と題したサブセクションで以下に更に詳細に説明し、方法505 については、事例２と題したサブセクションで以下に更に詳細に説明する。

図５は、方法504 及び方法505 の両方の実行を含む方法を示しているが、これらの方法の選択を、景色の変化の検出結果に基づいてフレーム毎に行って、代替的な実施形態では、方法504 又は方法505 のみを行うことができる。

残留補正
ステップ503 の後、例えば、残留推定値に基づく画像の補正を含むステップ506 を実行する。例えば、画像S_nを生成すべく、画像f_nの画素ｘ毎に以下の式を適用して、画像を補正する。
S_n,x＝f_n,x－μ_{ω，ｎ，ｘ} ［式８］

ステップ506 の後、ｎが増加し、その後の画像ｎを取り込んだ後、ステップ501 ～ステップ506 を、例えば繰り返す。

事例１
残留ゾーンの検出
事例１では、方法503 で、ステップ510 ～ステップ513 を含む図５の方法504 を適用する。

ステップ510 では、一又は複数の残留ゾーンを更新する。

例えば、残留ゾーンを示す画像f_n毎にマスクを生成する。これらの残留ゾーンは、画素が残留像によって影響を受ける実際のゾーンより大きくなり得る。しかしながら、ある実施形態では、残留ゾーンは、画像の多くとも75％の画素に相当する。例えば太陽の軌道を追跡して、画素値が周囲の領域より著しく高いゾーンを検出することにより、マスクを、例えば生成することができるが、エッジ検出に基づく技術を含む他の技術を更に使用することもできる。

インペインティング処理
次に、ステップ511 で、画像内のこれらの残留ゾーンにインペインティング処理を適用する。インペインティング処理は、本技術分野で知られている画像再構築技術であり、目標とするゾーンの外側からの画像情報に基づいて目標とするゾーン内の画素値を補正することを含む。例として、インペインティング処理の方法が、C. Guillemot及びO. Le Meur著の「Image inpainting: Overview and recent advances」という題名の2014年の刊行物（IEEE signal processing magazine, 31(1), 127-144）により詳細に記載されており、その内容が、特許法によって認められる程度まで参照によって本明細書に組み込まれる。

残留測定
ステップ512 で、画像f_nの画素ｘにおけるノイズの多い残留測定値ω*_n,xを、インペインティング処理が行われた画像に基づいて画素毎に処理する。例えば、このノイズの多い残留測定値を、画素単位で以下の減算を実行することにより計算する。
ω*_n,x＝f_n,x－S*_n,x ［式９］
ここで、S*_n,x は画素ｘでｎ番目のインペインティング処理が行われた画像である。

残留推定
ステップ513 で、残留推定ステップ530 を適用することにより、残留値を推定する。例えば、残留推定値は、画素ｘ毎の瞬間平均残留推定値μ_{ω，ｎ，ｘ}を含む。残留推定ステップ530 で、例えば、現在の残留測定値ω*_n,xと前の残留推定値ω_n-1,x との加重和として現在の残留推定値ω_n,xを画素ｘ毎に生成する。ある実施形態では、残留推定ステップ530 で、単に前のｍ個の画像の残留測定値の平均値{ω*_k,x}_k=n-M:nとして推定値ω_n,xを生成する。代替的な実施形態では、残留推定ステップ530 で、残留時間的減衰のモデルを考慮したカルマンフィルタに基づいて推定値ω_n,xを生成する。例えば、指数モデルＷを使用してもよい。カルマンフィルタを使用すると、ω_n,xの推定量は、例えばω_n,xを完全に特徴付ける平均μ_{ω，ｎ，ｘ}及び分散σ² _{ω，ｎ，ｘ}である。

方法504 により、画素アレイの視野内の画像が変わっているとき、画素値の時間的変化がμ_{ω，ｎ，ｘ}を中心とする正規分布を有するノイズとみなされ得るという本発明者らによる観測結果に基づき、残留像を除去することが可能である。

図６は、例えば毎秒25フレームの画像取込率で取り込まれた一連の300 の画像ｎに亘って残留像の影響を受ける画素ｘのシミュレートされた画素値の例を示す図表である。図６のドットは300 の画素値を表し、連続曲線602 は残留推定平均値を経時的に表す。図６の破線曲線604 は、指数関数的減衰を有する真の残留値ω_xを表す。所与の画像に関してこの真の残留値ω_xの適度に正確な推定値を得ることにより、景色の画像を表す基礎となる画素情報を与えるべく、推定値を画素値から減算することができる。

実際、画素アレイの視野内の画像が経時的に変わっていることを考慮すると、景色は、以下のように定められる定常ノイズとみなされ得る。
S_n,x～Ｎ（μ_S,σ² _S） ［式１０］
ここで、「～」は、「に応じて分散している」を表し、Ｎ（μ，σ²）は、ここでは時間及び空間に亘って一定である平均値μ及び分散σ²を有する正規分布である。

しかしながら、残留像は、経時的に減衰する平均値を有するため、非定常ノイズである。
ω_n,x～Ｎ（μ_{ω，ｎ，ｘ}，σ² _ω） ［式１１］

従って、画像f_nの画素ｘでの観測される画像は、２つの独立した確率変数の合計である。
f_n,x＝S_n,x＋ω_n,x～Ｎ（μ_S＋μ_{ω，ｎ，ｘ}，σ² _Ｓ＋σ² _ω） ［式１２］

図７は、マイクロボロメータアレイ全体の０～Ｐの画素（画素ｘ）のシミュレートされた画素値を示す図表であり、ゾーンＫの画素がサンバーンの経路にあると仮定されている。

図７は、破線曲線704 によって表される景色の画像の平均値μ_S,n 及び連続曲線706 によって表される残留平均値μ_{ω，ｎ，ｘ}の合計である観測された画像f_n,xの例を連続曲線702 によって示す。従って、景色の画像の平均値μ_S,n,x を推定することにより、以下の式を計算してμ_{ω，ｎ，ｘ}を得ることが可能である。
μ_{ω，ｎ，ｘ}＝f_n,x－μ_S,n,x ［式１３］

図５の方法504 のステップ513 では、本発明者らは、図８を参照してより詳細に記載されるインペインティング処理を使用して、景色の画像の平均値μ_S,n の推定値を得ることを提案している。

図８は、マイクロボロメータアレイ全体の０～Ｐの画素（画素ｘ）の画素値を示す図表であり、図７の例と同様に、ゾーンＫの画素がサンバーンの経路にあると仮定されている。

図８の連続曲線802 は、観測された画像f_nの線を表し、破線曲線804 は、この線にインペインティング処理が行われて以下の通り表現され得るS*_nと示される線を表す。

ここで、ＫバーはサンバーンゾーンＫの外側のゾーンである。言い換えれば、サンバーンゾーンの外側のゾーンからの画素情報を使用して、ゾーンＫのインペインティング処理を行う。

図８の曲線806 は、Ｓの連続したサンプルを表す。これらの曲線は、インペインティング曲線804 が偏っていないことを示す。
E[S*]＝μ_S ［式１５］
ここで、E[ ]は期待値である。

破線曲線808 は残留値ω_nを表し、連続曲線810 は、減算f_n－S*_n の結果を表す。

画像のインペインティング処理が行われた部分が景色の画像の平均値μ_S の不偏推定値を与えると仮定され得る。
S*_n～Ｎ（μ_S，σ² _S） ［式１６］
従って、μ_{ω，ｎ，ｘ}の不偏測定値は以下の通りである。
ω*_n,x＝f_n,x－S*_n,x～Ｎ（μ_{ω，ｎ，ｘ}，σ² _S＋σ² _ω） ［式１７］

図９は、残留測定値ω*_n,xと正規分布に対応する残留平均値μ_{ω，ｎ，ｘ}との差の大きさの分布を示す図表である。実際、あらゆる瞬間に、
ω*_n＝f_n－S*_n ［式１８］
に相当するω*_nの測定値は、残留期待値E[ω*_n,x]＝μ_{ω，ｎ，ｘ}の不偏ノイズ測定値を与える。

この値は経時的に変わるので、本発明者らは、図１０を参照してより詳細に記載されるように、現在の測定値ω*_nと前の推定値μ_{ω，ｎ－１}との加重和に基づき、新たな画像f_n毎にこの値を推定することを提案している。

図１０は、一連のｎ＝1000の連続したフレームに沿って１つの画素ｘの残留推定値z_nを示す図表である。各連続曲線は、図５のステップ530 で値μ_{ω，ｎ，ｘ}を推定する異なる方法に対応している。ドットは、生の残留測定値ω*_n,xに対応する。線1002は、以下のように表現され得る、これらの生の残留測定値ω*_n,xの平均値を表す。

図１０の破線曲線1004は、画素ｘの真の残留減衰を表す。

図１０の連続曲線1006は、以下のように表現され得る、10の画像のウィンドウに基づく移動平均を表す。

連続曲線1006は高速収束を与えるが、比較的ノイズが多い。

図１０の曲線1008は、以下のように表現され得る、100 の画像のウィンドウに基づく移動平均を表す。

曲線1008は、比較的速い収束を依然として与えて、連続曲線1006よりもノイズが少ない。しかしながら、この曲線は偏っており、このように偏ったリスクが最終的な補正画像に現れる。

ある実施形態では、収束速度とノイズとの間で適切な妥協策を得るために、ｍ個の画像のスライディングウィンドウに基づいて、移動平均を使用することができる。ここで、ｍは20～150 の範囲内であり、例えば20～80の範囲内である。ある実施形態では、画像の数ｍは経時的に可変であり、例えば、一連の画像が進むにつれて経時的に増加する。ある実施形態では、例えば結果が依然としてある程度偏る場合、及び、スライディングウィンドウのサイズを較正する必要がある場合、スライディングウィンドウに基づくこの手法に欠点がある場合がある。

図１０の曲線1010はカルマンフィルタの適用に対応し、カルマンフィルタは、移動平均と比較して比較的遅い収束を有するが、曲線1004によって表される真の残留減衰に比較的高い精度で収束する。カルマンフィルタは、一連の画像内の複数の画像の残留測定値、更に残留指数関数的減衰のモデルＷを考慮する。ステップ530 でのカルマンフィルタの使用を、図１１及び図１２を参照してより詳細に説明する。

カルマンフィルタリング
図１１は、図５のステップ513 でカルマンフィルタを使用して残留平均値μ_{ω，ｎ，ｘ}を推定する方法のステップを示すフローチャートである。この方法は、例えば図１及び図２の画像処理回路112 によって実行される。或いは、この方法は、IRカメラの一部を形成しても又は形成しなくてもよい別のタイプの処理デバイスによって実行され得る。

カルマンフィルタは、ノイズが多い（観測された）測定値ω_n ^*を使用して複数のハイパーパラメータを知ることにより、線形－ガウス動的時系列の各ステップｎで潜在（隠れ）状態ベクトルω_nを推定するのによく適している。このような時系列は、マルコフ連鎖の一種であり、以下の簡単な手順で完全に記述され得る。
ω_n ＝Ａω_n-1＋ｖ
ω*_n＝Ｈω_n＋η ［式２２］
ω₀ ＝μ_ω，0＋ｕ
ここで、Ａは遷移行列であり、Ｈは測定行列であり、パラメータｖ，ｕ，ηは夫々、共分散行列Γ，Σ_ω，０，Ｒの複数のゼロ平均の通常の付加ノイズである。

図１２は、このような時系列の例を示し、（この例では大きさ１の）隠れ状態ベクトルは円であり、観測された測定値はドットである。時間（ｔ－δｔ）からの入力が、前の補正された残留推定値ω（ｔ－δｔ）であり、遷移行列Ａは、時間（ｔ－δｔ）での前の推定値を時間ｔでの新たな推定値に関連付ける。この時系列では全てがガウスであるので、状態ベクトルは、決定される未知の値である平均ベクトルμ_ω及び共分散行列Σ_ωによって完全に特徴付けられる。

各ステップｎで、（時定数）ハイパーパラメータΓ，Ｒ，Ｕ，Ａ，Ｈ，μ₀ を知ることにより、潜在状態ω_n を、以下の式を使用して推定してもよいことが、[Murphy, Machine Learning, a probabilistic perspective, 2012 p.638]に示されている。
μ^－ _{ω，ｎ，ｘ}＝Ａω_n-1,x
Σ^－ _{ω，ｎ，ｘ}＝ＡΣ_{ω，ｎ－１，ｘ}Ａ^T＋Γ
μ_{ω，ｎ，ｘ}＝μ^－ _{ω，ｎ，ｘ}＋Ｋ_n,x（ω*_n,x－Ｈμ^－ _{ω，ｎ，ｘ}）
Σ_{ω，ｎ，ｘ}＝（Ｉ－Ｋ_n,xＨ）Σ^－ _{ω，ｎ，ｘ} ［式２３］

ここで、
Ｋ_n,x＝Σ^－ _{ω，ｎ，ｘ}Ｈ^Ｔ（ＨΣ^－ _{ω，ｎ，ｘ}Ｈ^Ｔ＋Ｒ）^－１ ［式２４］
は、カルマンゲインであり、Ｉは単位行列である。

言い換えれば、各ステップｎで、測定値ω_n ^*及び事前推定値（μ^- _{ω，ｎ，ｘ}，Σ^- _{ω，ｎ，ｘ}）から新たな事後推定値（μ_{ω，ｎ，ｘ}，Σ_{ω，ｎ，ｘ}）を推定する。

残留フィルタリングへの適用
共分散行列
本開示では、隠れ変数ωは各画素の残留値であり、スカラーである。従って、共分散行列Γ，Ｒ，Σ_ω，０，Σ_ωは、γ，ｒ，σ_ω，０ ^２，σ_ω ^２と夫々示される分散のみである。

遷移行列Ａ
本開示では、隠れ状態はスカラーであり、遷移行列Ａは更にａと示されるスカラーであり、残留値のモデルＷに直接関連付けられている。図４に関連して上述されているように、以下のように表現される。

本例では、パラメータβは１と仮定され、以下のようにω（ｔ＋δｔ）のモデルをもたらす。
ω（ｔ＋δｔ）＝ａω（ｔ） ［式２７］
ここで、ａ＝１－（δｔ／τ）

遷移行列ａは、例えばアレイの全ての画素に共通である。或いは、画素毎に異なる遷移行列ａ_xを記憶することができる。

測定行列Ｈ
上述したように、測定値ω_n ^*は更に、測定行列Ｈを使用して隠れ状態に直接関連する実際のスカラ値である。
ω^* _n,x＝Ｈω_n,x＋η ［式２８］
ここで、Ｈは１である。

初期化
図１１の方法530 のステップ1101で、カルマンフィルタの隠れ状態を初期化することによって、カルマンパラメータを初期化する。例えば、以下の通り、全ての画素ｘに関して初期平均値μ_ω，０及び分散値σ_ω，０ ^２を初期化してもよい。

事前推定
ステップ1102で、ノイズの多い残留測定値とカルマンパラメータ及びカルマンハイパーパラメータとに基づき、残留平均値に関して新たな事前推定値を生成する。例えば、新たな事前推定値を、残留平均値に関して時間ｎ＋１で生成する。
μ^－ _{ω，ｎ，ｘ}＝ａμ_{ω，ｎ－１，ｘ}
σ^－ _{ω，ｎ，ｘ} ^２＝ａ^２σ^２ _{ω，ｎ－１，ｘ}＋γ ［式３１］
ここで、γはモデルの分散であり、例えばユーザ定義である。

事後推定
ステップ1103で、残留値の前の新しい平均値及び分散値を、カルマンパラメータ、カルマンハイパーパラメータ、及びインペインティング処理が行われた画像に基づき決定された現在の残留測定値ω_n,x ^*に基づき補正する。
μ_{ω，ｎ，ｘ}＝（1－K_n,x）μ^－ _{ω，ｎ，ｘ}＋K_n,xω^* _n,x
σ² _{ω，ｎ，ｘ}＝（1－K_n,x）σ^－ _{ω，ｎ，ｘ} ² ［式３２］
ここで、
K_n,x＝σ^－ _{ω，ｎ，ｘ} ²（σ^－ _{ω，ｎ，ｘ} ^２＋γ）^-1 ［式３３］
は、カルマンゲインである。

言い換えれば、残留事後推定値を、前の推定値と測定値とのバランスとして生成し、バランスをカルマンゲインＫによって調整する。

手順
図１１を再度参照して、ステップ1103後、カルマンパラメータを、例えば更新する。その後、図５に示されているように、次の画像ｎ＋１に関して、更新されたカルマンパラメータに基づきステップ1102及びステップ1103を繰り返して、方法530 を繰り返してもよい。実際、パラメータ初期化ステップ1101を、例えば図５の方法の第１の反復のみで行う。

事例２
事例２では、図５のステップ503 は、本開示の更なる例示的な実施形態に従って、一連の画像の残留像を補正する方法に相当する方法505 を含む。この方法を、例えば図１及び図２の画像処理回路112 によって実行する。或いは、この方法を、IRカメラの一部を形成しても又は形成しなくてもよい別のタイプの処理デバイスによって実行することができる。

方法505 は、ステップ520 及びステップ521 を含む。

ステップ520 で、前の画像f_n-1に基づき画素毎に画像f_nの残留測定値を計算する。例えば、以下の減算を行うことにより、画像の画素ｘ毎に残留測定値ω*_n,xを計算する。
ω*_n,x＝f_n,x－f_n-1,x ［式３４］

ステップ521 で、各画素の残留値ω_n,xを、残留測定値及び指数関数的減衰モデルＷに基づき推定する。例えば、残留推定値は、画素ｘ毎の瞬間平均残留推定値μ_{ω，ｎ，ｘ}を含む。ある実施形態では、図１１に関連して上述したように、カルマンフィルタを使用して、残留値の平均μ_{ω，ｎ，ｘ}及び分散σ² _{ω，ｎ，ｘ}を推定する。しかしながら、静止した景色の場合、測定値ω* は非常にノイズが多く、従って、事例２では、遷移行列ａは、一般に事例１より正確であるべきである。従って、ある実施形態では、残留指数関数的減衰の局所的な遷移行列ａ_ｘ＝１－δｔ／τ_ｘを、画素ｘ毎にメモリ206 に記憶する。これらの遷移行列を、例えば、τ_xを推定するために残留像の発生直後に第１のフレームの２以上に関して指数関数的減衰を回帰することを含む前処理中に推定する。更に、事例２では、遷移行列は、以下の通りである。
Ｈ_x ＝１－exp（δｔ／τ_ｘ） ［式３５］

本明細書に記載されている実施形態の利点は、残留像が、変わる景色（事例１）又は静止した景色（事例２）の場合に連続する画像で比較的簡単且つ効果的に補正され得るということである。

様々な実施形態及び変形例が記載されている。当業者は、これらの実施形態のある特徴を組み合わせることができると理解し、他の変形例が当業者に容易に想起される。例えば、全ての画素に関して共通の指数関数的減衰モデルＷを与えるか、又は画素ｘ毎に異なるモデルを与えるかの選択は、必要な精度及びIR画素アレイの特性に応じて決められることは、当業者に明らかである。

本特許出願は、内容が参照によって本明細書に組み込まれている2019年４月30日に出願されて出願番号第FR1904565号が割り当てられている仏国特許出願の優先権を主張している。

Claims (15)

1. 赤外線撮像デバイスによって取り込まれた一連の画像内の画像(f_n)から残留アーチファクトを画像処理デバイス(112) によって除去する方法であって、
   － 画像(f_n)の残留ゾーン(K) にインペインティング処理を行って、インペインティング処理が行われた画像を生成し、
   － インペインティング処理が行われた画像に基づき、前記画像(f_n)の少なくとも一部の画素に関して残留測定値（ω^* _n,x）を生成し、
   － 前記一連の画像内の複数の画像の残留測定値（ω^* _n,x）に基づき夫々生成された残留推定値（μ_{ω，ｎ，ｘ}）に基づき、前記少なくとも一部の画素毎に、前記画像(f_n)の少なくとも一部の画素から残留アーチファクトを除去する、方法。
2. 前記残留推定値は、前記少なくとも一部の画素毎の瞬間平均残留推定値に相当する平均残留推定値（μ_{ω，ｎ，ｘ}）である、請求項１に記載の方法。
3. 前記画像(f_n)の少なくとも一部の画素に関して残留測定値（ω^* _n,x）を生成する際に、前記画像(f_n)の少なくとも一部の画素の各画素値から、インペインティング処理が行われた画像の対応する画素の画素値を減算する、請求項１又は２に記載の方法。
4. 前記画像(f_n)の残留ゾーン(K) を検出する、請求項１～３のいずれか１つに記載の方法。
5. 前記残留ゾーン(K) は、前記画像の75％未満の画素を含む、請求項４に記載の方法。
6. 前記画像(f_n)及び前記一連の画像内の少なくとも１つの前の画像の残留測定値（ω^* _n,x）の移動平均を計算することにより、前記少なくとも一部の画素毎に前記残留推定値（μ_{ω，ｎ，ｘ}）を計算する、請求項１～５のいずれか１つに記載の方法。
7. 前記移動平均は、前記一連の画像内のｍ個の画像のスライディングウィンドウに基づいており、ｍは20～150 の範囲内である、請求項６に記載の方法。
8. カルマンフィルタリングを適用することにより、前記少なくとも一部の画素毎に前記残留推定値（μ_{ω，ｎ，ｘ}）を計算する、請求項１～５のいずれか１つに記載の方法。
9. カルマンフィルタリングを適用することにより、前記残留推定値（μ_{ω，ｎ，ｘ}）を計算する際に、
   － 前記少なくとも一部の画素の各々の前の補正された残留推定値と残留指数関数的減衰のモデル(W) とに基づいて、前記画像(f_n)の少なくとも一部の画素の各々の残留値を事前に推定し、
   － 前記画像(f_n)の少なくとも一部の画素毎に、対応する残留測定値（ω^* _n,x）に基づき、推定された残留値を補正し、事後推定値（μ_{ω，ｎ，ｘ}）を得る、請求項８に記載の方法。
10. 前記画像(f_n)から残留アーチファクトを除去する前に、前記一連の画像が変わる景色に対応することを検出する、請求項１～９のいずれか１つに記載の方法。
11. 画像処理デバイス(112) のプロセッサによって実行されると、請求項１～１０のいずれか１つに記載の方法を実行させるコンピュータ命令を記憶する、非一時的な記憶媒体。
12. 赤外線撮像デバイスによって取り込まれた一連の画像内の画像(f_n)、及び前記一連の画像内の少なくとも１つの前の画像の一又は複数の残留測定値（ω^* _n,ｘ）を記憶する少なくとも１つのメモリ(206) と、
    一又は複数のプロセッサ(202) と
    を備えており、
    前記プロセッサは、
    － 前記画像(f_n)の残留ゾーン(K) にインペインティング処理を行って、インペインティング処理が行われた画像を生成し、
    － インペインティング処理が行われた画像に基づき、前記画像(f_n)の少なくとも一部の画素に関して残留測定値（ω^* _n,x）を生成し、
    － 前記一連の画像内の複数の画像の残留測定値（ω^* _n,x）に基づき夫々生成された残留推定値（μ_{ω，ｎ，ｘ}）に基づき、前記少なくとも一部の画素毎に、前記画像(f_n)の少なくとも一部の画素から残留アーチファクトを除去する
    ことにより、前記画像(f_n)から残留アーチファクトを除去するように構成されている、画像処理デバイス。
13. 前記残留推定値は、前記少なくとも一部の画素毎の瞬間平均残留推定値に相当する平均残留推定値（μ_{ω，ｎ，ｘ}）である、請求項１２に記載の画像処理デバイス。
14. － マイクロボロメータアレイ(102) と、
    － 請求項１２又は１３に記載の画像処理デバイス(112) と
    を備えている、赤外線撮像デバイス。
15. 請求項１４に記載の赤外線撮像デバイスを備えている、赤外線カメラ。

Images