JP6887597B2 - 非均一な補正のための赤外線画像の処理方法、及び画像処理デバイス - Google Patents

非均一な補正のための赤外線画像の処理方法、及び画像処理デバイス Download PDF

Info

Publication number
JP6887597B2
JP6887597B2 JP2015093484A JP2015093484A JP6887597B2 JP 6887597 B2 JP6887597 B2 JP 6887597B2 JP 2015093484 A JP2015093484 A JP 2015093484A JP 2015093484 A JP2015093484 A JP 2015093484A JP 6887597 B2 JP6887597 B2 JP 6887597B2
Authority
JP
Japan
Prior art keywords
column
pixel
image
scale factor
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015093484A
Other languages
English (en)
Other versions
JP2015212695A (ja
Inventor
アモーリ サラガグリア
アモーリ サラガグリア
アラン デュランド
アラン デュランド
Original Assignee
リンレッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リンレッド filed Critical リンレッド
Publication of JP2015212695A publication Critical patent/JP2015212695A/ja
Application granted granted Critical
Publication of JP6887597B2 publication Critical patent/JP6887597B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
    • G01J5/22—Electrical features thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
    • G01J5/22—Electrical features thereof
    • G01J5/24—Use of specially adapted circuits, e.g. bridge circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/144—Image acquisition using a slot moved over the image; using discrete sensing elements at predetermined points; using automatic curve following means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/02—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only
    • H04N3/08—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only having a moving reflector
    • H04N3/09—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only having a moving reflector for electromagnetic radiation in the invisible region, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/444—Compensating; Calibrating, e.g. dark current, temperature drift, noise reduction or baseline correction; Adjusting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)

Description

本開示は、赤外線画像センサの分野に関し、特には、赤外光を感知可能な画素の画素アレイによって取り込まれる画像のオフセット補正及びゲイン補正を行なう方法及びデバイスに関する。
赤外線(IR)撮像の分野では、シャッタ又はシャッタのようなハードウェアを使用することなく、取り込まれた画像のオフセット補正を行うことは、マイクロボロメータのような非冷却式IR撮像デバイス、更には冷却式IR撮像デバイスに関する主な課題である。このような撮像デバイスは、画素アレイを形成するIR感知可能な検出器のアレイを備えている。
特開２０１３−８８１９２号公報
画像のオフセット補正の原因である画素アレイの画素間の空間的な非均一性は、経時的に変わるだけでなく、温度に応じても変わる。この問題は一般に、撮像デバイスの内部のメカニカルシャッタを使用して対処されており、次に較正に使用され得る比較的一定のシーンの参照画像を得るためにシャッタが閉じている間に画像を周期的に取り込むことを含んでいる。しかしながら、更なる重量及びコスト、並びにシャッタの壊れ易さのようなシャッタを使用する欠点が複数ある。更にある適用では、シャッタが閉じて較正が行われている間に失われる時間のため、シャッタの使用は受け入れ難い。この較正期間中、シーンの画像を取り込むことができない。
オフセット補正を行うための画像処理技術が、シャッタの使用の代案として提案されている。しかしながら、既存の技術は複雑であり且つ／又は画像を適切に補正していない。従って、本技術分野では、赤外線画像のオフセット補正の改良された方法が必要である。
先行技術における一又は複数の必要性に少なくとも部分的に対処することが本明細書の実施形態の目的である。
一態様によれば、画像処理方法において、処理デバイスによって、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、前記列オフセット値及び前記画素オフセット値を適用して補正画像を生成し、前記第１のスケール因子を以下の式に基づいて決定することを特徴とする方法を提供する。
Figure 0006887597
一実施形態によれば、前記方法では、前記列オフセット値に基づいて補正された第１の画像を生成し、前記第２のスケール因子を前記第１の画像に基づいて生成する。
一実施形態によれば、前記方法では、前記列ベクトル及び前記二次元分散行列を、前記画素アレイと関連付けられた参照画素とによって導入されるオフセットを表わす参照画像に基づいて決定する。
一実施形態によれば、前記方法では、前記補正画像を、Ic'＝IB(x,y)−αICOL(x,y)−βIDISP(x,y)の式に基づいて生成し、Ic' は前記補正画像であり、IB(x,y)は前記入力画像であり、αは前記第１のスケール因子であり、ICOL(x,y) は、前記列ベクトルをその行の各々に有する行列であり、βは前記第２のスケール因子であり、IDISP(x,y)は前記二次元分散行列である。
一実施形態によれば、前記方法では、前記列ベクトルは、第１の周囲温度で得られた第１の参照画像に基づく第１の列ベクトルと第２の周囲温度で得られた第２の参照画像に基づく第２の列ベクトルとの差を表わし、前記二次元分散行列は、前記第１の参照画像に基づく第１の分散行列と前記第２の参照画像に基づく第２の分散行列との差を表わす。
一実施形態によれば、前記補正画像を以下の式に基づいて生成する。
Figure 0006887597
一実施形態によれば、前記方法では、前記補正画像に基づいて、前記補正画像に残る列アーティファクトを除去するための少なくとも１つの列補正オフセット値を決定する。
一実施形態によれば、前記方法では、前記少なくとも１つの列補正オフセット値を決定する際に、前記補正画像の画素の少なくとも一部の画素毎に、前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果に基づいて重みを決定し、前記少なくとも一部の画素毎に、隣り合う列の対応する行における画素値に関する差を計算し、該差を前記重みによって重み付けし、重み付けされた差を列毎に積分し、前記少なくとも１つの列補正オフセット値を生成する。
一実施形態によれば、前記方法では、前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果は、近隣画素毎に計算された勾配値及び水平方向の分散値に基づいている。
一実施形態によれば、前記方法では、前記第１のスケール因子を決定する際に、前記入力画像の行に沿って高域通過フィルタを適用し、前記列ベクトルに前記高域通過フィルタを適用し、フィルタ処理された画像の列平均値を決定し、フィルタ処理された画像の列平均値と前記列ベクトルのフィルタ処理された値との差の最小化に基づいて、前記第１のスケール因子を決定する。
一実施形態によれば、前記方法では、前記第２のスケール因子を決定する際に、前記入力画像の画素毎に、且つ前記二次元分散行列の要素毎に、少なくとも１つの隣接画素に基づいて勾配値を決定し、前記入力画像の勾配値と前記二次元分散行列の勾配値との差の最小化に基づいて、前記第２のスケール因子を決定する。
一実施形態によれば、前記方法では、前記第２のスケール因子を以下の式に基づいて決定する。
Figure 0006887597
一実施形態によれば、前記方法では、前記列オフセット値及び前記画素オフセット値を更なる入力画像に適用する。
一実施形態によれば、前記方法では、以下の最小化問題を解決することにより、前記補正画像にゲイン補正を行うためのゲイン補正値γを決定する。
Figure 0006887597
更なる態様によれば、画像処理方法において、処理デバイスによって、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、前記列オフセット値及び前記画素オフセット値を適用して補正画像を生成し、前記第２のスケール因子を以下の式に基づいて決定することを特徴とする方法を提供する。
Figure 0006887597
更なる態様によれば、列ベクトル及び二次元分散行列を記憶するメモリと、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、前記列オフセット値及び前記画素オフセット値を適用することにより補正画像を生成するように構成された処理デバイスとを備えており、前記第１のスケール因子を以下の式に基づいて決定することを特徴とする画像処理デバイスを提供する。
Figure 0006887597
更なる態様によれば、列ベクトル及び二次元分散行列を記憶するメモリと、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、前記列オフセット値及び前記画素オフセット値を適用することにより補正画像を生成するように構成された処理デバイスとを備えており、前記第２のスケール因子を以下の式に基づいて決定することを特徴とする画像処理デバイスを提供する。
Figure 0006887597
前述及び他の特徴及び利点は、添付図面を参照して限定ではなく例示として与えられる本実施形態の以下の詳細な記載から明らかになる。
例示的な実施形態に係る撮像デバイスを概略的に示す図である。 例示的な実施形態に応じて図１の撮像デバイスの画素アレイの一部をより詳細に概略的に示す図である。 例示的な実施形態に応じて図１の撮像デバイスの画像処理ブロックをより詳細に概略的に示す図である。 例示的な実施形態に係る画像処理方法の動作を示すフローチャートである。 更なる例示的な実施形態に係る画像処理方法の動作を示すフローチャートである。 例示的な実施形態に応じて列残余を除去する方法の動作を示すフローチャートである。 例示的な実施形態に応じて図６の動作をより詳細に示すフローチャートである。
以下の記載における実施形態の内の一部はマイクロボロメータタイプの画素アレイに関して述べられているが、本明細書に記載されている方法が、冷却式のデバイスを含む他のタイプのIR撮像デバイスに等しく適用され得ることは当業者にとって明らかである。
図１は、赤外光を感知可能な画素アレイ102 を備えたIR撮像デバイス100 を示している。例えば、ある実施形態では、画素アレイは、７〜13μm の波長の光のような長波赤外光を感知可能である。
図示を簡単にするために、12行及び12列に配置された144 の画素104 のみの画素アレイ102 が図１に示されている。他の実施形態では、画素アレイ102 は、あらゆる数の行及び列の画素を有し得る。一般的には、画素アレイは、例えば640 ×480 の画素、又は1024×768 の画素を有する。
画素アレイ102 の画素の各列は対応する参照構造体106 に関連付けられている。機能的には画素ではないが、この参照構造体は、撮像（又はアクティブ）画素104 との構造的な類似性によって「参照画素」と本明細書では称される。更に、出力ブロック108 が、画素アレイ102 の各列及び参照画素106 の各々に接続されており、生画像IBを与える。
制御回路110 が、例えば画素アレイ102 、参照画素106 及び出力ブロック108 に制御信号を与える。生画像IBは例えば画像処理ブロック112 に与えられ、画像処理ブロック112 は、生画像の画素にオフセット及びゲインを適用して補正画像ICを生成する。
図２は、撮像デバイスがマイクロボロメータである例に応じて、画素アレイ102 の２つの列C1，C2、これらの列に関連付けられた参照画素及び出力回路を更に詳細に示している。
画素アレイ102 の画素の各列は夫々の列ライン202 に接続されている。例えば、各画素104 は、対応する列ライン202 と接地ノードとの間に直列に接続されたスイッチ204 、トランジスタ206 及びボロメータ208 を有している。
ボロメータは本技術分野ではよく知られており、例えば基板の上方に掛け渡されてIR吸収物質の層を有する膜を含んでおり、膜は、ボロメータの抵抗が赤外線の存在に関連した膜の温度上昇によって変更する特性を有する。
各行の画素のスイッチ204 は例えば共通の選択信号によって制御される。例えば、図２では、第１の行の画素が制御信号S1によって制御されて、第２の行の画素が制御信号S2によって制御される。
トランジスタ206 は、ボロメータの端部の一方で一定電圧を誘導して他方の端部を接地することにより、アクティブボロメータの電位降下を制御するためのバイアス電圧VFIDをそのゲートで受けるNMOSトランジスタである。
各列に関連付けられた参照画素106 は、対応する列ライン202 とスキミング電圧VSK との間で直列に接続されたトランジスタ210 及びブラインドボロメータ212 を有している。スキミング電圧VSK によって、ブラインドボロメータの一端部で一定電圧を誘導することにより、アクティブ画素及び参照画素によって形成されたボロメータブリッジの最も高い電位が設定される。トランジスタ210 は例えば、ブラインドボロメータの他端部で一定電圧を誘導することにより、ブラインドボロメータの電位降下を制御するためのバイアス電圧GSK をそのゲートで受けるPMOSトランジスタである。
ブラインドボロメータ212 は、例えば画素アレイのアクティブボロメータ208 と同様の構造を有しているが、例えば反射壁から形成されたシールドによって及び／又は意図的なヒートシンキングによって、例えば基板に高熱伝導性を与えてボロメータを例えば基板と直接接触させて形成することによって画像シーンからの赤外線を感知しないように構成されている。
各列ライン202 は、図１の出力ブロック108 の出力回路を形成する部分に更に接続されている。図２の例では、出力回路は夫々、対応する列ライン202 に接続された負入力端子と基準電圧VBUSを受ける正入力端子とを有する容量性トランスインピーダンス増幅器（CTIA）214 を備えている。増幅器214 の出力は、列の出力電圧Voutを与える。コンデンサ216 及びスイッチ218 が、増幅器214 の負入力端子と出力端子との間に互いに並列に接続されている。
画素アレイ102 の読取り操作中に、夫々の行の画素は、コンデンサ216 の電圧をリセットすべく出力ブロック108 の各出力回路のスイッチ218 を作動及び停止することにより、且つ読み取られるべき行の適切な制御信号S1，S2などを有効にすることにより例えば一度に１つずつ読み出される。参照画素の電流ICOMPとアクティブ画素の電流IAC との差が、有限積分時間にコンデンサ216 によって積分されて、画素値を表わす出力電圧Voutが生成される。
図３は、例示的な実施形態に応じて図１の画像処理ブロック112 をより詳細に示している。
画像処理ブロック112 の機能は例えばソフトウェアで実行され、画像処理ブロック112 は、命令メモリ304 に記憶された命令の制御下の一又は複数のプロセッサを有する処理デバイス302 を備えている。他の実施形態では、画像処理ブロック112 の機能は専用のハードウェアによって少なくとも部分的に実行され得る。このような場合には、処理デバイス302 は例えばASIC（特定用途向け集積回路）又はFPGA（フィールドプログラマブルゲートアレイ）を有しており、命令メモリ304 が省略されてもよい。
処理デバイス302 は生入力画像IBを受けて補正画像ICを生成し、補正画像は、例えば撮像デバイスのディスプレイ（不図示）に与えられる。処理デバイス302 はデータメモリ306 に更に接続されており、データメモリ306 は、画素アレイ102 によって導入された構造的な列広がりを表わす列ベクトルVCOLと、画素アレイ102 によって導入された構造的な二次元非列分散を表わす二次元分散行列IDISPとを記憶する。列広がりは例えば主に、各列の参照画素の行が一般的には完全に均一ではないけれども、各列の参照画素106 を使用することに起因する。二次元非列分散は、例えば技術的処理分散に起因する画素アレイのアクティブボロメータ間の局所的な物理的及び／又は構造的な差によって主に生じる。データメモリ306 は例えば、以下に更に詳細に述べるゲイン行列を更に記憶する。
図４は、例示的な実施形態に係る画像処理方法の動作を示すフローチャートである。この画像処理方法は、例えば上記の画像処理ブロック112 によって実行される。
生画像IBが図１の画素アレイ102 によって取り込まれ、画素アレイは、画素アレイの各列が対応する参照画素に関連付けられていると仮定する。
更に、列ベクトルVCOL及び二次元分散行列IDISP が利用可能であると仮定する。列ベクトルVCOL及び二次元分散行列IDISPを例えば、撮像デバイスの初期設定段階中に取り込まれる単一の参照画像IREF(x,y) に基づいて生成する。参照画像は、例えば黒体源又は均一な放射性シーンの前で制御温度で取り込まれる画像である。主に一時的なノイズを取り除くために、参照画像は、例えば約50フレームのような複数のフレームを平均することにより得られる。この参照画像IREF(x,y) は、例えば以下の式に従って構造的な列要素及び二次元分散要素を有するとみなされる。
Figure 0006887597
但し、ICOL(x,y) ：画素アレイの列間の参照列広がりを表わす行列
IDISP(x,y)：画素アレイの画素毎の参照二次元分散を表わす二次元分散行列
行列ICOLは、画像の列の数ｎに等しい長さを有する列ベクトルVCOLによって表され得る。例えば、行列ICOL(x,y) は画像の行の数に等しい数ｍの行を有しており、各行は列ベクトルVCOLを有する。列ベクトルVCOLの生成には例えば、参照画像IREFを処理して列要素を抽出することが含まれる。列要素は例えば、列毎の列の画素値の平均値に等しい。二次元分散行列IDISPの生成には例えば、参照画像の各画素値から対応する列広がり値VCOL(x) を減算することが含まれる。
図４の第１のステップ401 では、生画像IBに関して、生画像IBの列広がりVCOLのレベルを表わすスケール因子αを決定する。一実施形態では、スケール因子αの値を、生画像IBの列要素ICOLの量の最小化に基づいて決定する。スケール因子αの値を以下の最小化関数として表現することができる。
Figure 0006887597
上記に示されているように、列ベクトルVCOL(x) が列毎に単一の値を定めるので、行列ICOL(x,y) は列ベクトルVCOL(x) として表され得る。この最小化問題の解決を容易にして計算を単純化するために、生画像IBを、例えば各列の平均をとることによりベクトルの形態に変換する。更に高域フィルタを、例えば画像に水平方向に、言い換えれば行の方向に適用し、更に列ベクトルVCOL(x) に適用する。その後、最小化問題を、例えば変換された画像の列の平均値に基づいて以下の通り計算する。
Figure 0006887597
但し、T() ：列ベクトルVCOL及び入力画像IB(x,y) に適用される高域フィルタ
ｍ：画像の行の数
例えば、フィルタ関数はT(X)＝X*hpとして、言い換えれば行列Ｘの水平方向の高域フィルタhpとの畳込みとして定められる。一例では、フィルタ関数hpは、ｘ方向の寸法に沿ってローカルウィンドウ内の中心画素に適用される係数［0.0456 -0.0288 -0.2956 0.5575 -0.2956 -0.0288 0.0456］によって定められる。より一般的には、フィルタは、例えば画像の垂直方向の縁部を鮮鋭化する、言い換えれば列ノイズを抽出するように構成された高域フィルタである。
最小化問題を、例えばスケール因子αに関して以下の直接解法に基づいて解決する。
Figure 0006887597
言い換えれば、スケール因子αの決定には、例えば高域フィルタを生画像にその行に沿って適用して更に参照列ベクトルに適用し、フィルタ処理された画像の列平均値を決定し、その結果、参照列ベクトルと同一の大きさのベクトルを得て、その後、２つの列ベクトル間の差、つまりフィルタ処理された画像の列平均値とフィルタ処理された列ベクトルの列平均値との差の最小化としてスケール因子を決定することが含まれる。
以下に更に詳細に述べるように、スケール因子αにより、画像に関して列オフセット値α・ICOL(x,y) を決定することができる。
図４を再度参照すると、その後のステップ402 では、生画像IBに関して生画像の参照二次元分散行列IDISP の寄与レベルを表すスケール因子βを決定する。
スケール因子βを決定するために、取り込まれる画像は、例えば自然シーンの統計値を有する自然画像であり、画素間の局所的に高い変化量、つまり画素とその近隣画素との変化量が一定の二次元分散の結果であると仮定する。スケール因子βの値を、例えば全体画像に亘るこの分散の影響を減らすように決定する。採用された手法では、例えば以下の式に基づいて画像内の全変化量(TV)を最小化する。
Figure 0006887597
但し、▽()は画素勾配値である。最小化問題の適した近似法として、スケール因子βを例えば以下の式の最小化として処理する。
Figure 0006887597
このような最小化問題を、例えばスケール因子βに関する以下の直接解法に基づいて解決する。
Figure 0006887597
但し、▽x ：画像の水平方向の、言い換えれば各行に沿った隣接画素間の画素勾配値
▽y ：画像の垂直方向の、言い換えれば各列に沿った隣接画素間の画素勾配値
従って、ステップ402 には、生入力画像の画素毎に、且つ参照二次元分散行列の要素毎に少なくとも１つの隣接画素に基づいて勾配値を決定して、生入力画像の勾配値と参照二次元分散行列の勾配値との差の最小化に基づいてスケール因子βを決定することが含まれる。
この例では、スケール因子βを生画像IBに基づいて決定する。しかしながら、他の実施形態では、列オフセット値α・ICOL(x,y) を除去した後にスケール因子βを画像に基づいて決定することができる。従って、スケール因子βに関する直接解法は以下のようになる。
Figure 0006887597
但し、ICC：各画素(x,y) が例えばIcc(x,y)＝IB(x,y)−α×ICOL(x,y)の式に基づいて補正された画像
ICOL(x,y) ：列ベクトルVCOL(x) をその行の各々に有する行列
ある実施形態では、ステップ402 の計算の際に、上側閾値未満の画素勾配値のみを考慮する。実際には、例えば、非常に高い勾配値が画像内のシーンに関する縁部に相当すると仮定する。例えば、この上側閾値を、参照二次元分散行列IDISPに関して計算された最も高い勾配値の約３倍であるように選択する。
その後のステップ403 では、α・ICOL(x,y) に等しい列オフセット値と、β・IDISP(x,y)に等しい画素オフセット値とに基づいて補正画像IC' を生成する。例えば、補正画像をIc' ＝IB(x,y)−αICOL(x,y)−βIDISP(x,y)の式を用いて計算する。
Figure 0006887597
ある実施形態では、ステップ401 〜ステップ403 で十分なオフセット補正を行ってもよく、この場合、補正画像IC' を図１の画像処理ブロック112 の出力で画像ICとして与える。他の実施形態では、例えば追加のステップ404 及び／又は追加のステップ405 を続いて行って、最終画像ICを生成する。
ステップ404 では、例えば、補正画像IC' から画像補正係数γを減算して、その結果の各画素値にゲイン行列を乗算する前に、補正画像IC' から画像補正係数γを計算することによりゲイン補正を補正画像に適用する。例えば、以下の最小化問題を解決することによりこのゲイン補正値である画像補正係数γを得る。
Figure 0006887597
従って、画像補正係数γに関する直接解法が以下のようになる。
Figure 0006887597
このようなゲイン行列を、例えば当業者にとって通常のことであるように、黒体源のような均一源の前で２つの異なる温度で取り込まれた２つの参照画像間の差から決定する。
その後、補正画像のゲイン行列との乗算に基づいて補正画像IC" を生成する。例えば、補正画像IC" を、IC"＝（IC'−γ）×Gainの式を用いて計算する。
ステップ405 では、例えば画像に残る列残余及び／又は分散残余のようなオフセット残余を除去する。
図５は、更なる例示的な実施形態に係る画像のオフセット補正の方法のステップを示すフローチャートである。
処理ブロック（αを計算する）502 に表されているように、例えば入力画像IB及び列ベクトルVCOLを使用して、スケール因子αを生成する。その後、列ベクトルVCOLにスケール因子αを乗算して、列オフセット値α・VCOL(y) を生成する。その後、これらのオフセット値を生画像IBから減算して列広がり補正画像ICC を得る。
処理ブロック（βを計算する）504 に表されているように、例えば列広がり補正画像ICC 及び二次元分散行列IDISPを使用して、スケール因子βを生成する。次に、二次元分散行列IDISP にスケール因子βを乗算して、画素オフセット値β・IDISP(x,y)を生成する。その後、これらのオフセット値を列広がり補正画像ICCから減算して補正画像IC' を生成する。
更に、列オフセット値α・VCOL(y) 及び画素オフセット値β・IDISP(x,y)を共に加算して、参照画像オフセット値（RIオフセット値）506 を得る。
図５には示されていないが、その後、図４のステップ404 に関して上述されているようなゲイン補正を補正画像IC' に任意に適用して、画像補正係数γを画像に適用する。
処理ブロック508 に表わされているように、その後、列残余補正値（CRオフセット値）510 及び列残余補正画像ICRを生成するために、例えば補正画像IC' に基づいて列残余補正を行う。実際には、各列の回路に関連付けられたあるオフセットが画像に存在し続けて、画像中で目に見える垂直方向のストライプになる可能性がある。例えば列残余補正を行ってこのような列アーティファクトを除去する。
処理ブロック512 によって表わされているように、その後、例えば列残余補正画像ICRに基づいて二次元分散残余補正を行い、二次元分散残余オフセット値（DRオフセット値）514 を生成する。分散残余補正を、例えばエッジを保存してノイズを除去する平滑化フィルタ、例えば異方性拡散フィルタを用いて行う。
図５の例では、参照画像オフセット値506 、列残余オフセット値510 及び分散残余オフセット値514 を共に合算して、画像に適用されるべき合算されたオフセット値SOV(x,y)を得る。その後、これらのオフセット値SOV(x,y)を生画像IBから減算する。しかしながら、合算されたオフセット値SOV(x,y)を決定することによる利点は、このようなオフセット値がこれらのオフセット値を生成すべく使用される画像とは異なる画像に適用されてもよいということである。例えば、生画像IBが撮像デバイスによって取り込まれたビデオシーケンスのフレームであるという場合、例えばシーケンス中のその後の画像からオフセット値SOV(x,y)を減算する。このため、取り込まれた生画像と利用可能な補正画像との時間遅延が低減される。
他の実施形態では、参照画像オフセット値506 を現在の生画像又は後続の生画像に適用し、その結果得られた補正画像IC' にゲイン補正を行い、列残余オフセット値及び分散残余オフセット値を例えばゲイン補正画像に適用する。
図５のステップ508 で行われる列残余補正を、図６及び７のフローチャートを参照して更に詳細に述べる。
図６は、画像に、例えば上記の処理によって得られる補正画像ICに適用されるべき列残余オフセット値を計算する方法のステップを示すフローチャートである。これらのステップを、例えば上記に述べた図３の画像処理ブロック112 によって実行する。
第１のステップ601 では、画素の近隣画素によって定められた画像の局所ゾーンの均一性の推定結果に基づいて、画像の各列の画素毎に重みwx,yを計算する。列間の差異が構造的な（一定の）列残余によるものである可能性が高くなるにつれて、均一性が高くなり、画素に関連付けられた重みが大きくなる。例えば、その計算は、対象の画素を含む９×３の近隣画素に画素毎に基づいており、言い換えれば、対象の画素の左側及び右側の４つまでの画素と対象の画素の上下の１つまでの画素とにより定められた矩形状のゾーンに画素毎に基づいている。例えば各画素の近隣画素に関して局所勾配及び水平方向の局所分散を計算することにより均一性を推定する。ある実施形態では、より詳細には以下に述べるように、低域フィルタによって列を垂直方向にフィルタ処理した後、重みを画像に基づいて計算する。
その後のステップ602 では、対応する重みによって各列と次の列との平均差を重み付けして、列毎に対応する列／列オフセット値▽Colw(x) を得る。例えば、列／列オフセットベクトル▽Colw(x)を以下の式に基づいて決定する。
Figure 0006887597
但し、wx,y：上記のステップ601 で計算された重み
Ix+1,y：次の列x+1の位置ｙにおける画素値
Ix,y：現在の列ｘの位置ｙにおける画素値
言い換えれば、各列／列オフセット値▽Colw(x) は、列ｘの画素値と列x+1 の画素値との重み付けされた差の平均値として決定される。行の最後の列オフセット値は、例えば０に設定される。
更なるステップとして、列／列オフセットが単に列と次の列との前方オフセットを表わすので、オフセットベクトルの各項を、例えば後方に積分する。つまり最後から２番目の項から始めて第１の項に達するまで各列オフセット値を前の列オフセット値に累積的に加算することにより積算し、OffCol(n)＝０及びOffCol(x−1)＝OffCol(x)＋▽Colw(x−1)の式を用いて最終列オフセット項OffCol(x) を得る。
これらのオフセット値は例えば、図５に510 が付された列残余オフセット値を与え、このような列残余オフセット値は例えば他のオフセット値と合算されて、生画像IB又はその後の生画像から減算されるべき合算されたオフセット値SOV(x,y)を得る。或いは、その後のステップ603 で、クリアな画像ICRを生成するために列広がりVCOL及び二次元分散行列IDISP に基づいて既に補正されている補正画像IC' にオフセット値を適用する。更に図６の破線の矢印によって表わされているように、ある実施形態では、より構造的な列残余を除去するために、ステップ601 及びステップ602 を、生成されたクリアな画像に基づいて一又は複数回繰り返す。
図７は、例示的な実施形態に応じて図６のステップをより詳細に示すフローチャートである。
図示されているように、画素が存在するゾーンの均一性に基づいて重みを計算する図６のステップ601 は、例えばサブステップ701 〜サブステップ704 を有する。
サブステップ701 には、画像の列に沿って低域フィルタを垂直方向に適用することが含まれる。このような低域フィルタを適用することにより、例えば画像センサに固有の固定パターンノイズ（FPN ）の影響を減らす。このフィルタ処理ステップは任意である。フィルタは、例えばカーネルサイズwG及びその標準偏差σにより定められるガウスフィルタである。一例では、フィルタは９のカーネルサイズwG及び２の標準偏差を有する。
Figure 0006887597
Figure 0006887597
但し、Gx及びGy：夫々ｘ及びｙのソーベル演算子
Ｉ：例えばサブステップ701 でフィルタ処理された後の画像
Figure 0006887597
Figure 0006887597
サブステップ703 では、例えば以下の式に基づいて水平方向の局所分散の値及び局所勾配の値の各々に水平方向の形態的拡張を行う。
Figure 0006887597
Figure 0006887597
水平方向の形態的拡張は、シーンの高コントラストの垂直構造体の存在下で高い水平方向の勾配値及び／又は高い分散値を有するゾーンの影響を水平方向に近隣画素まで広げることにより、（通常光学収差によって引き起こされる）重み計算へのボケの影響を減らすという効果を有する。
Figure 0006887597
Figure 0006887597
或いは、勾配値及び分散値にスカラを適用することにより勾配値及び分散値に異なる影響を与えることができる。例えば、以下の式によって重みを決定する。
Figure 0006887597
但し、ａ及びｂはスカラであり、例えばａ＋ｂ＝１である。例えば、ｂをａより大きいように、例えば５倍以上大きいように選択することにより、水平方向の分散影響を適用することができる。
図７を再度参照すると、重みwx,yは重みマップ705 を形成する。ある実施形態では、重みを画像の全ての画素毎に計算する一方、他の実施形態では、計算時間を短縮するために、ある画素のみに、例えば画像の１行おき、２行おき又は３行おきの画素に重みを加えるようにサブステップ701 〜サブステップ704 を適合することが可能である。
その後のステップは図６のステップ602 であり、このステップでは、列／列オフセット値▽Colw(x) を例えば上記に記載の以下に示す式に基づいて決定する。
Figure 0006887597
項（Ix+1,y−Ix,y）は、列ｘと列x+1 との前方差分であり、例えば、図７のステップ706 で補正画像IC' に基づいて計算される。ある実施形態では、ある閾値未満の前方差分のみが、所与の列の平均を計算する際に対象となる。実際、ある閾値を超えた値が、除去されるべきでない画像シーンの垂直方向の縁部を表わすとみなされ得る。例えば一列と次の列との最大予想列差より僅かに大きいように閾値を選択する。その後、オフセット値OffCol(x) を、上記に説明されているように例えば列／列オフセット値▽Colw(x) を積分することにより計算する。
上述したように、ステップ603 でベクトルのオフセット値OffCol(x) を例えば補正画像IC' から減算して、列アーティファクトが画像から取り除かれたクリアな画像ICR を生成するか、又は、オフセット値を図５に表わされているように他のオフセット値に加算することができる。
本明細書に述べられているようなオフセット補正方法の利点は、メカニカルシャッタの使用を必要とせず、非常に効果的であると分かっていることである。
特に、本明細書に述べられているタイプの画素アレイでは、温度による画素及び参照画素の変化量がアレニウス式に従い、活性化エネルギーが全ての画素で基本的には同一であり、基本的には全ての参照画素で同一であり、画素間分散が各画素について記述するアレニウス式の一定の前因子内に完全に又は少なくとも基本的に含まれているとみなされ得ることを意味すると本発明者らは見出した。従って、画素アレイによって導入されるオフセットを一次元要素及び二次元要素に分解して、スケール因子α及びスケール因子βを誘導してこれらの要素を表わすことにより、効果的なオフセット補正が、メカニカルシャッタを使用することなく達成され得る。
このように少なくとも１つの例示的な実施形態について述べているが、当業者は様々な変更、調整及び改良を容易に想到する。
例えば、マイクロボロメータの具体例が図２に関して述べられているが、本明細書に述べられている方法はマイクロボロメータの様々な他の実施、又は他のタイプのIR撮像デバイスに適用され得ることは当業者にとって明らかである。
更に、様々な実施形態に関して述べられている様々なステップが、他の実施形態では、それらの有効性に影響を与えることなく異なる順序で行われ得ることは当業者にとって明らかである。例えば、スケール因子α及びスケール因子βを決定する順序を変えることができる。

Claims (17)

  1. 画像処理方法において、
    処理デバイスによって、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
    該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、
    該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
    前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
    該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
    前記列オフセット値及び前記画素オフセット値を適用して補正画像を生成し、
    前記第１のスケール因子を以下の式に基づいて決定することを特徴とする方法。
    Figure 0006887597
     但し、α：前記第１のスケール因子
    T() ：前記列ベクトルV COL 及び前記入力画像I B (x,y)の行に適用される高域通過フィルタ
  2. 前記列オフセット値に基づいて補正された第１の画像を生成し、
    前記第２のスケール因子を前記第１の画像に基づいて生成することを特徴とする請求項１に記載の方法。
  3. 前記列ベクトル及び前記二次元分散行列を、前記画素アレイと関連付けられた参照画素とによって導入されるオフセットを表わす参照画像に基づいて決定することを特徴とする請求項１又は２に記載の方法。
  4. 前記補正画像を、Ic'＝IB(x,y)−αICOL(x,y)−βIDISP(x,y)の式に基づいて生成し、
    Ic' は前記補正画像であり、IB(x,y)は前記入力画像であり、αは前記第１のスケール因子であり、ICOL(x,y) は、前記列ベクトルをその行の各々に有する行列であり、βは前記第２のスケール因子であり、IDISP(x,y)は前記二次元分散行列であることを特徴とする請求項１乃至３のいずれかに記載の方法。
  5. 前記列ベクトルは、第１の周囲温度で得られた第１の参照画像に基づく第１の列ベクトルと第２の周囲温度で得られた第２の参照画像に基づく第２の列ベクトルとの差を表わし、
    前記二次元分散行列は、前記第１の参照画像に基づく第１の分散行列と前記第２の参照画像に基づく第２の分散行列との差を表わすことを特徴とする請求項１又は２に記載の方法。
  6. 前記補正画像を以下の式に基づいて生成することを特徴とする請求項５に記載の方法。
    Figure 0006887597
  7. 前記補正画像に基づいて、前記補正画像に残る列アーティファクトを除去するための少なくとも１つの列補正オフセット値を決定することを特徴とする請求項１乃至６のいずれかに記載の方法。
  8. 前記少なくとも１つの列補正オフセット値を決定する際に、
    前記補正画像の画素の少なくとも一部の画素毎に、前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果に基づいて重みを決定し、
    前記少なくとも一部の画素毎に、隣り合う列の対応する行における画素値に関する差を計算し、
    該差を前記重みによって重み付けし、重み付けされた差を列毎に積分し、前記少なくとも１つの列補正オフセット値を生成することを特徴とする請求項７に記載の方法。
  9. 前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果は、近隣画素毎に計算された勾配値及び水平方向の分散値に基づいていることを特徴とする請求項８に記載の方法。
  10. 前記第１のスケール因子を決定する際に、
    前記入力画像の行に沿って高域通過フィルタを適用し、
    前記列ベクトルに前記高域通過フィルタを適用し、
    フィルタ処理された画像の列平均値を決定し、
    フィルタ処理された画像の列平均値と前記列ベクトルのフィルタ処理された値との差の最小化に基づいて、前記第１のスケール因子を決定することを特徴とする請求項１乃至９のいずれかに記載の方法。
  11. 前記第２のスケール因子を決定する際に、
    前記入力画像の画素毎に、且つ前記二次元分散行列の要素毎に、少なくとも１つの隣接画素に基づいて勾配値を決定し、
    前記入力画像の勾配値と前記二次元分散行列の勾配値との差の最小化に基づいて、前記第２のスケール因子を決定することを特徴とする請求項１乃至１０のいずれかに記載の方法。
  12. 前記第２のスケール因子を以下の式に基づいて決定することを特徴とする請求項１乃至１１のいずれかに記載の方法。
    Figure 0006887597
     但し、β：前記第２のスケール因子
    IB：前記入力画像
    IDISP ：前記二次元分散行列
    ▽x ：前記入力画像の行方向での隣接画素間の画素勾配値
    ▽y ：前記入力画像の列方向での画素勾配値
  13. 前記列オフセット値及び前記画素オフセット値を更なる入力画像に適用することを特徴とする請求項１乃至１２のいずれかに記載の方法。
  14. 以下の最小化問題を解決することにより、前記補正画像にゲイン補正を行うためのゲイン補正値γを決定することを特徴とする請求項１乃至１３のいずれかに記載の方法。
    Figure 0006887597
     但し、var ：分散値
    IC' ：前記補正画像
    Gain：ゲイン行列
  15. 画像処理方法において、
    処理デバイスによって、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
    該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、
    該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
    前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
    該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
    前記列オフセット値及び前記画素オフセット値を適用して補正画像を生成し、
    前記第２のスケール因子を以下の式に基づいて決定することを特徴とする方法。
    Figure 0006887597
     但し、β：前記第２のスケール因子
    I B ：前記入力画像
    I DISP ：前記二次元分散行列
    ▽ x ：前記入力画像の行方向での隣接画素間の画素勾配値
    ▽ y ：前記入力画像の列方向での画素勾配値
  16. 列ベクトル及び二次元分散行列を記憶するメモリと、
    対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
    該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、
    該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
    前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
    該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
    前記列オフセット値及び前記画素オフセット値を適用することにより補正画像を生成する
    ように構成された処理デバイスと
    を備えており、
    前記第１のスケール因子を以下の式に基づいて決定することを特徴とする画像処理デバイス。
    Figure 0006887597
     但し、α：前記第１のスケール因子
    T() ：前記列ベクトルV COL 及び前記入力画像I B (x,y)の行に適用される高域通過フィルタ
  17. 列ベクトル及び二次元分散行列を記憶するメモリと、
    対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
    該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、
    該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
    前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
    該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
    前記列オフセット値及び前記画素オフセット値を適用することにより補正画像を生成する
    ように構成された処理デバイスと
    を備えており、
    前記第２のスケール因子を以下の式に基づいて決定することを特徴とする画像処理デバイス。
    Figure 0006887597
     但し、β：前記第２のスケール因子
    I B ：前記入力画像
    I DISP ：前記二次元分散行列
    ▽ x ：前記入力画像の行方向での隣接画素間の画素勾配値
    ▽ y ：前記入力画像の列方向での画素勾配値
JP2015093484A 2014-04-30 2015-04-30 非均一な補正のための赤外線画像の処理方法、及び画像処理デバイス Active JP6887597B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1453917 2014-04-30
FR1453917A FR3020735B1 (fr) 2014-04-30 2014-04-30 Procede de traitement d'une image infrarouge pour une correction des non uniformites

Publications (2)

Publication Number Publication Date
JP2015212695A JP2015212695A (ja) 2015-11-26
JP6887597B2 true JP6887597B2 (ja) 2021-06-16

Family

ID=51659717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015093484A Active JP6887597B2 (ja) 2014-04-30 2015-04-30 非均一な補正のための赤外線画像の処理方法、及び画像処理デバイス

Country Status (8)

Country Link
US (1) US10015425B2 (ja)
EP (1) EP2940991B1 (ja)
JP (1) JP6887597B2 (ja)
KR (1) KR102391619B1 (ja)
CN (1) CN105049752B (ja)
CA (1) CA2889654C (ja)
FR (1) FR3020735B1 (ja)
RU (1) RU2677576C2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6356926B2 (ja) * 2015-10-29 2018-07-11 富士フイルム株式会社 赤外線撮像装置および赤外線撮像装置による信号補正方法
CN106855435B (zh) * 2016-11-15 2019-04-09 北京空间机电研究所 长波线阵红外相机星上非均匀性实时校正方法
CN108665422B (zh) * 2017-08-30 2022-05-10 西安电子科技大学 傅里叶域内逆向感知的单帧红外非均匀性检测方法
US10672164B2 (en) * 2017-10-16 2020-06-02 Adobe Inc. Predicting patch displacement maps using a neural network
WO2019127059A1 (zh) * 2017-12-26 2019-07-04 西安电子科技大学 基于引导滤波和高通滤波的红外图像非均匀性校正方法
KR102110399B1 (ko) * 2018-06-19 2020-05-13 전주대학교 산학협력단 검사 대상체의 내부 또는 표면 결함을 측정하기 위한 적외선 열화상 보정 방법
FR3083901B1 (fr) 2018-07-10 2021-10-08 Schneider Electric Ind Sas Methode de traitement d'une image
KR101955498B1 (ko) * 2018-07-19 2019-03-08 엘아이지넥스원 주식회사 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법
FR3088512B1 (fr) * 2018-11-09 2020-10-30 Schneider Electric Ind Sas Procede de traitement d'une image
CN109767403B (zh) * 2019-01-23 2022-12-16 西安科技大学 一种基于场景的红外焦平面阵列条状噪声消除方法
CN111080561A (zh) * 2019-11-08 2020-04-28 上海航天控制技术研究所 一种时域高通滤波方法
CN111008944B (zh) * 2019-12-25 2023-07-14 武汉高德红外股份有限公司 一种红外焦平面探测器不稳定像元查找方法及系统
FR3111699A1 (fr) 2020-06-23 2021-12-24 Schneider Electric Industries Sas Procede de traitement d’une image brute collectee par un detecteur a bolometres et dispositif associe
JP2022022530A (ja) * 2020-06-25 2022-02-07 シャープ株式会社 カメラ、画像処理方法、プログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体
CN112150377B (zh) * 2020-08-27 2024-03-29 北京空间机电研究所 一种红外图像非均匀性校正系数解析解交替迭代优化方法
CN112393807B (zh) * 2020-11-23 2021-11-23 昆明物理研究所 红外图像处理方法、装置、系统以及计算机可读存储介质
FR3118558B1 (fr) * 2020-12-24 2023-03-03 Safran Electronics & Defense Procédé d’étalonnage d’une matrice de photodétecteurs, dispositif d’étalonnage et système d’imagerie associés

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471240A (en) * 1993-11-15 1995-11-28 Hughes Aircraft Company Nonuniformity correction of an imaging sensor using region-based correction terms
JP3024532B2 (ja) * 1995-12-15 2000-03-21 日本電気株式会社 熱型赤外線撮像装置
JP3226859B2 (ja) * 1997-11-17 2001-11-05 日本電気株式会社 撮像装置
JP3149919B2 (ja) * 1997-12-03 2001-03-26 日本電気株式会社 固体撮像素子及びこれを用いた読み出し回路
US7015960B2 (en) * 2003-03-18 2006-03-21 Candela Microsystems, Inc. Image sensor that uses a temperature sensor to compensate for dark current
JP4396425B2 (ja) * 2004-07-07 2010-01-13 ソニー株式会社 固体撮像装置及び信号処理方法
GB0625936D0 (en) * 2006-12-28 2007-02-07 Thermoteknix Systems Ltd Correction of non-uniformity of response in sensor arrays
JP4991435B2 (ja) * 2007-08-02 2012-08-01 キヤノン株式会社 撮像装置
US8655614B2 (en) * 2007-11-30 2014-02-18 The Boeing Company Position only fit, POF, algorithm for blur spot target tracking and discrimination
US8086073B2 (en) 2008-02-07 2011-12-27 Seiko Epson Corporation Non-uniform image resizer
US7995859B2 (en) * 2008-04-15 2011-08-09 Flir Systems, Inc. Scene based non-uniformity correction systems and methods
WO2009143323A1 (en) * 2008-05-22 2009-11-26 Matrix Electronic Measuring, L.P. Stereoscopic measurement system and method
US8094215B2 (en) * 2008-10-02 2012-01-10 Altasens, Inc. Digital column gain mismatch correction for 4T CMOS imaging systems-on-chip
JP5640316B2 (ja) * 2009-02-24 2014-12-17 株式会社ニコン 撮像装置
US20130314536A1 (en) * 2009-03-02 2013-11-28 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9237284B2 (en) * 2009-03-02 2016-01-12 Flir Systems, Inc. Systems and methods for processing infrared images
JP5670456B2 (ja) * 2009-08-25 2015-02-18 アイピーリンク・リミテッド カラー画像のノイズを低減すること
CN103392335B (zh) * 2011-02-25 2017-06-13 福通尼斯荷兰公司 实时获取和显示图像的设备及方法
KR101936971B1 (ko) * 2011-03-30 2019-01-09 소니 주식회사 A/d 변환기, 고체 촬상 장치 및 구동 방법, 및 전자 기기
JP5871496B2 (ja) * 2011-06-24 2016-03-01 キヤノン株式会社 撮像装置及びその駆動方法
CN102385701B (zh) * 2011-10-14 2013-09-18 华中科技大学 扫描型红外成像系统的非均匀校正方法
FR2987210B1 (fr) 2012-02-22 2014-02-21 Ulis Procede de correction de la derive d'un detecteur de rayonnement infrarouge comportant une matrice de bolometres resistifs d'imagerie et dispositif mettant en oeuvre un tel procede
JP6045220B2 (ja) * 2012-06-27 2016-12-14 キヤノン株式会社 撮像素子および撮像装置
CN102779332A (zh) * 2012-07-09 2012-11-14 中国人民解放军国防科学技术大学 时域卡尔曼滤波修正的非线性拟合红外非均匀校正方法
WO2014018836A1 (en) * 2012-07-26 2014-01-30 Leap Motion, Inc. Object detection and tracking
AU2013295565B2 (en) * 2012-07-26 2017-06-22 DePuy Synthes Products, Inc. Camera system with minimal area monolithic CMOS image sensor
CN102855610B (zh) * 2012-08-03 2015-11-04 南京理工大学 采用参数正确性因子的红外图像非均匀性校正方法
CN103076096A (zh) * 2013-01-07 2013-05-01 南京理工大学 基于中值直方图均衡的红外非均匀性校正算法

Also Published As

Publication number Publication date
JP2015212695A (ja) 2015-11-26
CN105049752A (zh) 2015-11-11
US20150319387A1 (en) 2015-11-05
CA2889654C (fr) 2022-11-29
RU2015115885A (ru) 2016-11-20
KR20150125609A (ko) 2015-11-09
KR102391619B1 (ko) 2022-04-27
FR3020735B1 (fr) 2017-09-15
EP2940991B1 (fr) 2017-09-27
RU2677576C2 (ru) 2019-01-17
CN105049752B (zh) 2019-09-27
EP2940991A1 (fr) 2015-11-04
US10015425B2 (en) 2018-07-03
RU2015115885A3 (ja) 2018-11-01
FR3020735A1 (ja) 2015-11-06
CA2889654A1 (fr) 2015-10-30

Similar Documents

Publication Publication Date Title
JP6887597B2 (ja) 非均一な補正のための赤外線画像の処理方法、及び画像処理デバイス
Zuo et al. Improved interframe registration based nonuniformity correction for focal plane arrays
WO2010101786A1 (en) Systems and methods for processing infrared images
Tendero et al. Efficient single image non-uniformity correction algorithm
Wang Stripe noise removal for infrared image by minimizing difference between columns
Sui et al. Adaptive grayscale adjustment-based stripe noise removal method of single image
Liu et al. Interframe phase-correlated registration scene-based nonuniformity correction technology
CN113379636B (zh) 一种红外图像非均匀性校正方法、装置、设备及存储介质
RU2717346C2 (ru) Коррекция плохих пикселей в устройстве захвата инфракрасных изображений
San Martin et al. Statistical recursive filtering for offset nonuniformity estimation in infrared focal-plane-array sensors
CN115002360A (zh) 一种基于稳健估计的红外视频非均匀性校正方法
US20180316882A1 (en) Detection of bad pixels in an infrared image-capturing apparatus
Chen et al. An adaptive regression method for infrared blind-pixel compensation
Zhou et al. Local spatial correlation-based stripe non-uniformity correction algorithm for single infrared images
JP7461376B2 (ja) 静止した景色の赤外線画像の残留像を除去する方法及びデバイス
US11875483B2 (en) Method and device for removing remanence in an infrared image of a changing scene
RU2744483C1 (ru) Способ компенсации геометрического шума в видеопоследовательности инфракрасных изображений, основанный на анализе наблюдаемой сцены
Kumar et al. Correcting infrared focal plane array sensor non uniformities based upon adaptive filter
Zhou et al. Nonuniformity correction algorithm with nonlinear model for infrared focal plane arrays
Rossi et al. Improved nonuniformity correction using bilateral filters
JP6036998B2 (ja) 撮像装置、画像補正方法及び、画像補正プログラム
Liu et al. Non-uniformity correction algorithm for IRFPA based on motion controllable micro-scanning and perimeter diaphragm strips
Pipa et al. Joint bias and gain nonuniformity correction of infrared videos using tensorial-RLS technique
Goyal Embedded system design realization of non uniformity correction algorithm
San Martin et al. Wavelet-FFT Filter Applied to Non Uniformity Correction in Infrared Imaging System

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150617

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201112

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201112

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201120

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210202

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210304

R150 Certificate of patent or registration of utility model

Ref document number: 6887597

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150