JP6909379B2 - イメージングノイズ低減システムおよび方法 - Google Patents

Description

［関連出願の相互参照］
本特許出願は、２017年1月30日に出願され、その内容は参照によりその全体が本開示に組み込まれる仮米国特許出願第6２ / 45２,3２6号に関連し、その優先権を主張する。

本発明は、国立衛生研究所によって授与された助成金番号GM1 19785および国防高等研究計画局によって授与された助成金番号HR0011−6２−3−6２30の下で政府の支援を受けてなされた。政府は本発明に一定の権利を有する。

本出願は、撮像装置に関し、特に、相補型金属酸化物半導体（ＣＭＯＳ）、電荷結合素子（ＣＣＤ）、電子増倍ＣＣＤ（ＥＭＣＣＤ）、およびアレイセンサーを含む他の撮像装置に関する。

このセクションは、本開示のより良い理解を促進するのに役立ち得る態様を紹介する。したがって、これらの記述はこの観点から読まれるべきであり、従来技術であるかまたはそうでないかについての承認として理解されるべきではない。

科学的相補型金属酸化物半導体（Scientific complementary metal−oxide semiconductor ／ｓＣＭＯＳ）カメラは、生物科学で急速に人気を集めている。ｓＣＭＯＳセンサーは、電荷結合素子（ＣＣＤ）や電子増倍ＣＣＤ（ＥＭＣＣＤ）などの従来の検出器に比べて、イメージング速度、感度、視野を大幅に向上させる。これらの２つのクラスのセンサーの主な違いには、光子−電気変換プロセスから各センサー（つまりピクセル）によって生成される電荷がどのように取り扱かわれるかが含まれる。ＣＣＤおよびＥＭＣＣＤでは、各センサーで蓄積された電荷がセンサーのアレイ全体に転送されるが、ｓＣＭＯＳおよびCMOSアレイでは一般に、いくつかのトランジスタがアナログ信号を前増幅（事前増幅／予備増幅／pre-amplify）し、前増幅されたアナログに関連するアナログ信号をデジタル信号（ＡＤＣ）に変換する。一方の技術の他方に対するいくつかの利点には、ＣＣＤベースの技術が高品質の低ノイズ画像を生成できる一方で、ＣＭＯＳベースの技術がノイズの影響を受けやすいことが含まれる。ＣＭＯＳベースの技術では、一部の領域が事前増幅されたＡＤＣトランジスタで占められているため、単位面積あたりのセンサーに当たる光子の数が少なくなる。ＣＣＤベースの技術は、より高い電力を消費する（２桁の大きさまで）。ＣＭＯＳベースのセンサーはさまざまな半導体製造施設で製造できるが、ＣＣＤベースの技術はより成熟している。

ＣＭＯＳベースの技術では、ＣＭＯＳセンサがピクセル依存ノイズを導入するため、各ピクセルは、主にオフセット、ゲイン、および分散という独自のノイズ統計を有する。修正されずに残されると、このｓＣＭＯＳ固有のノイズは、イメージングアーティファクト（人工的画像）を発生させ、定量化と視覚化のバイアスを生じる。各ピクセルでこのノイズを特徴付け、単分子局在（single-molecule localization）の尤度関数にノイズ統計を組み込むために、一連のアルゴリズムが開発された。ただし、これらのアルゴリズムは、単一粒子追跡や単一分子スイッチングナノスコピーなどの点オブジェクトを含む画像でのみ機能する。通常の顕微鏡画像またはその他の任意の形状の一般的な画像で機能する一般的なアルゴリズムは存在しない。

したがって、ＣＣＤおよびＣＭＯＳベースの技術の両方について任意の構造を含む顕微鏡画像からのノイズを劇的に低減するアルゴリズムおよびシステムに対する満たされていないニーズがある。

カメラ画像のノイズを低減するシステムが開示されている。システムは、１つ以上のプロセッサと、プロセッサに動作可能に結合された電子検出器を備えたカメラを含み、プロセッサはカメラ画像のノイズを低減するように構成され、プロセッサは複数のピクセルからのピクセルデータを表すカメラから入力画像データを受信し、ゲインとオフセットの所定のマップに基づいて各ピクセルの電圧オフセットとゲインを考慮してピクセルデータを変更することにより、ピクセルデータを事前補正し（又は、ゲインとオフセットの所定のマップに基づいて各ピクセルの電圧オフセットとゲインを修正してピクセルデータを変更することにより、ピクセルデータを事前補正し／又は、ゲインとオフセットの所定のマップに基づいて各ピクセルの電圧オフセットとゲインを修正するためにピクセルデータを変更することによりピクセルデータを事前補正し）コスト関数を最小化することにより出力画像の推定を取得し、前記推定された画像を他の推定および出力された画像セグメントに出力およびステッチ（又は、つなぎ合わせ／stitch）し、ステッチされた推定された画像を含むノイズ低減画像を出力するように構成される。

一実施形態によれば、上記システムにおいて、出力画像を推定するステップは、
Ａ−前記セグメントに対してノイズマスクを取得し、
Ｂ−反復セグメント画像の離散フーリエ変換（ＤＦＴ）を取得し、
Ｃ−前記ノイズマスクを前記セグメントの前記ＤＦＴに適用することにより、前記セグメントのノイズの寄与を取得し、
Ｄ−ピクセル値に基づいて前記セグメントのために負の対数尤度関数を計算し（ただし、前記負の対数尤度関数は、前記反復セグメント画像と初期セグメント画像間の統計を用いた負の類似度（尤度）の尺度を表す）、
Ｅ−前記負の対数尤度関数に前記ノイズの寄与を加えることにより、コスト関数を計算し、
Ｆ−ピクセル値を調整し、それによって新しい反復セグメント画像を取得し、反復最小化プロセスでステップＢ〜Ｅを繰り返すことにより、コスト関数を最小化し、
Ｇ−前記コスト関数が最小化されたときにノイズが低減されたセグメント画像を出力することを含む

一実施形態によれば、上記システムにおいて、ノイズマスクはカメラの光学伝達関数（ＯＴＦ）に基づいている。

一実施形態によれば、上記システムにおいて、ノイズマスクは、以下によって表されるハイパスレイズドコサインフィルタ（又は、はいパスコサインロールオフフィルター／high-pass raised cosine filter）に基づく。

ただし、ｋｒ＝√（ｋ_ｘ ^２＋ｋ_ｙ ^２）であり、Ｍはノイズマスクであり、βおよびＴはＮＡおよびγに基づく調整可能なパラメータであり、ＮＡは開口数を表し、λは検出波長を表す。２つのタイプのＯＴＦマスクが考えられる。第１のマスクは、β＝１およびＴ＝λ／５．６ＮＡとするＯＴＦ加重マスク（ＯＴＦ重み付けマスク）である。他方のマスクは、β＝０．２およびＴ＝（１−β）λ／４ΝΑとするＯＴＦノイズオンリーマスク（ノイズのみマスク／noise-only mask）である。

一実施形態によれば、上記システムにおいて、前記ハイパスレイズドコサインフィルタは、β＝１およびＴ＝λ／５．６ＮＡで表されるＯＴＦ加重マスクに基づいている。

一実施形態によれば、上記システムにおいて、前記ハイパスレイズドコサインフィルタは、β＝０．２およびＴ＝（１−β）λ／４ΝΑで表されるＯＴＦノイズオンリーマスクに基づいている。

一実施形態によれば、上記システムにおいて、前記ハイパスレイズドコサインフィルタは、以下によって表される調整可能なＯＴＦマスクに基づいている。

ただし、幅ｗは１０^−６から２で調整でき、高さｈは０から１で調整可能である。

一実施形態によれば、上記システムにおいて、前記ハイパスレイズドコサインフィルタは、幅および高さの少なくとも２つのパラメータに基づく調整可能なＯＴＦマスクに基づいている。

一実施形態によれば、上記システムにおいて、前記幅は１０^−６から２ＮＡ／λで変化することができ、前記高さは０．７から１で変化することができる。

一実施形態によれば、上記システムにおいて、前記ハイパスレイズドコサインフィルタは、ユーザ定義マスクに基づいている。

一実施形態によれば、上記システムにおいて、前記ゲインおよびオフセットの所定のマップは、カメラ製造業者によって提供されるか、または前記複数のピクセルのそれぞれを特徴付けることによって取得される。

一実施形態によれば、上記のシステムでは、前記事前補正は、以下によって実行される。

ただし、Ｄｉは、事前補正されたピクセルデータｉ、Ａｉは未補正のピクセル、Ｏｉはピクセルｉのオフセット、ｇｉはピクセルｉのゲインを表す。

一実施形態によれば、上記のシステムでは、ＬｘＬ画像の前記ＤＦＴが以下によって表される。

ただし、ｘ＝ｍΔｘ、ｙ＝ｎΔｙ、ｋｘ＝ｐ／ＬΔｘ、ｋｙ＝ｑ／ＬΔｙ、ｍ、ｎ、ｐ、ｑは１ずつ増加するインデックス、ｐ、ｑ∈［−Ｌ／２，Ｌ／２−１］であり、ΔχとΔは２次元での画像のピクセルサイズを表す。

一実施形態によれば、上記のシステムにおいて、Δχが実質的にΔｙと同じである。

一実施形態によれば、上記のシステムでは、ノイズの寄与は次のように表される。

一実施形態によれば、上記システムにおいて、尤度関数は以下によって表される。

ただし、ｉはピクセルインデックス、Ｎは画像のピクセル数、γｉはキャリブレーション量である。

一実施形態によれば、上記システムにおいて、 γｉがσｉ^２／ｇｉ^２であり、σｉ^２及びｇｉは、それぞれピクセルｉの分散とゲインである。

一実施形態によれば、上記のシステムでは、負の対数尤度関数は次のように表される。

ただし、Ｄｉは、

で表される事前補正されたピクセルデータであり、Ａｉは未補正ピクセルを表し、Ｏｉはピクセルｉのオフセットを表し、ｇｉはピクセルｉのゲインを表す。

一実施形態によれば、上記システムにおいて、前記入力画像の前記セグメント化は、１ｘｌから前記カメラの検出器の最大サイズまでのサイズのセグメントに基づいている。

一実施形態によれば、上記のシステムでは、カメラにより追加されるノイズは最大約８０％低減される。

カメラ画像からノイズを低減する方法も開示されている。この方法は、
複数のピクセルからのピクセルデータを表す電子検出器を有するカメラからの入力画像データを受信し、
入力画像データを複数のセグメントにセグメント化し、複数のセグメントのそれぞれについて、
初期セグメント画像を確立し、
ゲインとオフセットの所定のマップに基づいて各ピクセルの電圧オフセットとゲインを考慮してピクセルデータを変更することにより、ピクセルデータを事前補正し（又は、ゲインとオフセットの所定のマップに基づいて各ピクセルの電圧オフセットとゲインを修正してピクセルデータを変更することにより、ピクセルデータを事前補正し／又は、ゲインとオフセットの所定のマップに基づいて各ピクセルの電圧オフセットとゲインを修正するためにピクセルデータを変更することによりピクセルデータを事前補正し）、
コスト関数を最小化することにより出力画像の推定を取得し、前記推定された画像を他の推定及び出力された画像セグメントに出力およびステッチし、
前記ステッチされた推定された画像を含むノイズ低減画像を出力することを含む。

一実施形態によれば、上記の方法において、出力画像を推定するステップは以下を含む。Ａ−前記セグメントに対してノイズマスクを取得し、
Ｂ−反復セグメント画像の離散フーリエ変換（ＤＦＴ）を取得し、
Ｃ−前記ノイズマスクを前記セグメントの前記ＤＦＴに適用することにより、前記セグメントのノイズの寄与を取得し、
Ｄ−ピクセル値に基づいて前記セグメントのために負の対数尤度関数を計算し（ただし、負の対数尤度関数は、前記反復セグメント画像と初期セグメント画像間の負の類似度（尤度）尺度を表す）、
Ｅ−前記負の対数尤度関数に前記ノイズの寄与を加えることにより、コスト関数を計算し、
Ｆ−ピクセル値を調整し、それによって新しい反復セグメント画像を取得し、反復最小化プロセスでステップＢ〜Ｅを繰り返すことにより、コスト関数を最小化し、
Ｇ−前記コスト関数が最小化されたときにノイズが低減されたセグメント画像を出力すること

一実施形態によれば、上記の方法では、ノイズマスクはカメラの光学伝達関数（ＯＴＦ）に基づいている。

一実施形態によれば、上記の方法において、ノイズマスクは、以下によって表されるハイパスレイズドコサインフィルタに基づく。

ただし、ｋｒ＝√（ｋ_ｘ ^２＋ｋ_ｙ ^２）であり、Ｍはノイズマスクであり、βおよびＴはＮＡおよびγに基づく調整可能なパラメータであり、ＮＡは開口数を表し、λは検出波長を表す。

一実施形態によれば、上記の方法では、 前記ハイパスレイズドコサインフィルタは、β＝１およびＴ＝λ／５．６ＮＡで表されるＯＴＦ加重マスクに基づいている。

一実施形態によれば、上記の方法では、前記ハイパスレイズドコサインフィルタは、β＝０．２およびＴ＝（１−β）λ／４ΝΑで表されるＯＴＦノイズオンリーマスクに基づいている。

一実施形態によれば、上記の方法では、ハイパスレイズドコサインフィルタは、以下によって表される調整可能なＯＴＦマスクに基づいている。

ただし、幅ｗは１０^−６から２で調整でき、高さｈは０から１で調整可能である。

一実施形態によれば、上記の方法において、前記ハイパスレイズドコサインフィルタは、幅および高さの少なくとも２つのパラメータに基づく調整可能なＯＴＦマスクに基づく調整可能なマスクに基づく。

一実施形態によれば、上記の方法において、前記幅は１０^−６から２ＮＡ／λで変化することができ、前記高さは０．７から１で変化することができる。

一実施形態によれば、上記の方法では、前記ハイパスレイズドコサインフィルタは、ユーザ定義マスクに基づいている。

一実施形態によれば、上記の方法では、前記ゲインおよびオフセットの所定のマップは、カメラ製造業者によって提供されるか、または前記複数のピクセルのそれぞれを特徴付けることによって取得される。

一実施形態によれば、上記の方法において、事前補正は以下によって実行される。

ただし、Ｄｉは、事前補正されたピクセルデータｉ、Ａｉは未補正のピクセル、Ｏｉはピクセルｉのオフセット、ｇｉはピクセルｉのゲインを表す。

一実施形態によれば、上記の方法において、ＬｘＬ画像のＤＦＴは以下によって表される。

ただし、ｘ＝ｍΔｘ、ｙ＝ｎΔｙ、ｋｘ＝ｐ／ＬΔｘ、ｋｙ＝ｑ／ＬΔｙ、ｍ、ｎ、ｐ、ｑは１ずつ増加するインデックス、ｐ、ｑ∈［−Ｌ／２，Ｌ／２−１］であり、ΔχとΔｙは２次元での画像のピクセルサイズを表す。

一実施形態によれば、上記の方法において、Δχが実質的にΔｙと同じである。

一実施形態によれば、上記の方法では、ノイズの寄与は次のように表される。

一実施形態によれば、上記の方法では、尤度関数は以下によって表される。

ただし、ｉはピクセルインデックス、Ｎは画像のピクセル数、γｉはキャリブレーション量である。

一実施形態によれば、上記の方法において、γｉがσｉ^２／ｇｉ^２であり、σｉ^２及びｇｉは、それぞれピクセルｉの分散とゲインである。

一実施形態によれば、上記の方法では、負の対数尤度関数は次のように表される。

ただし、Ｄｉは、

で表される事前補正されたピクセルデータであり、Ａｉは未補正ピクセルを表し、Ｏｉはピクセルｉのオフセットを表し、ｇｉはピクセルｉのゲインを表す。

一実施形態によれば、上記の方法では、前記入力画像の前記セグメント化は、１ｘ１から前記カメラの検出器の最大サイズまでのサイズのセグメントに基づいている。

一実施形態によれば、上記の方法において、カメラにより付加されたノイズは最大約８０％低減される。

図１Ａを参照すると、未加工の科学的な相補型金属酸化物半導体（ｓＣＭＯＳ）画像とフーリエ空間のその成分が示され、左パネルに任意の画像が示され、右パネルに光学伝達関数（ＯＴＦ）境界が示され、その中にノイズと信号の両方が存在し、その外側はノイズのみが存在する。

図１Ｂは、図１Ａのノイズ補正画像を示す画像である。

図２Ａは、４００を超えるｓＣＭＯＳフレームの時間標準偏差（ＳＴＤ）マップである（ゲインとオフセットによって事前補正されている）。マップのスケールは、有効光子数の単位で最小（ＳＴＤが２．３、黒）から最大（ＳＴＤが１２．３）である。

図２Ｂは、４００を越えるｓＣＭＯＳカメラフレームのノイズ補正（本明細書ではＮＣＳとも言う）の時間的ＳＴＤマップである。

図２Ｃは、図２Ａおよび２Ｂからの領域ｉおよびｉｉの拡大図（左パネル、左上がｉで左下がｉｉ）および分散が大きいピクセルはノイズ低減後に効果的に削除されたさらに拡大された画像（右パネル）である。

図２Ｄは、５０フレーム以上のトリミングされた領域ｉおよびｉｉから選択されたピクセルのピクセル強度トレースである。

図３Ａおよび３Ｂは、ｔｄＥｏｓでタグ付けされたＣＯＳ−７細胞の末端結合タンパク質３を従来の広視野蛍光顕微鏡で撮像したときの低光子レベルでのノイズ補正前後のピクセル変動比較である。図３Ａを参照すると、ゲインおよびオフセットが事前補正された単一のｓＣＭＯＳフレームが、１０ｍｓの露光時間および時点ｔ＝０ｓでの比較目的のために提供されている。図３Ｂを参照すると、ｓＣＭＯＳフレームからの図３Ａの選択された領域の時系列が、ｓＣＭＯＳノイズの大幅な低減を示す対応するノイズ低減フレームとともに提供され、一方で、基礎となる信号は維持されている。

図４Ａ、４Ｂ、および４Ｃは、それぞれ、本開示によるノイズ低減アルゴリズム（本開示では典型的にＮＣＳと呼ばれる）のステップを提供する概略フローチャートおよび別のフローチャートである。図４Ｂを参照すると、入力画像の個々のセグメントのコスト関数を最小化することにより、推定に基づいてノイズ低減画像を生成する方法のフローチャートが示されている。図４Ｃを参照すると、図４Ｂに示された推定のステップを示す別のフローチャートが示されている。

図５Ａ、５Ｂ、および５Ｃは、２種類のＯＴＦマスクに関連付けられたデータである。図５Ａは、従来の広視野蛍光顕微鏡で撮像されたｔｄＥｏｓでタグ付けされたＣＯＳ−７細胞のペルオキシソーム膜タンパク質のフレームのセットである。図５Ａは、４００以上のｓＣＭＯＳフレームの時間標準偏差マップ、ＯＴＦ加重マスクおよびノイズオンリーマスクを備えたＮＣＳフレーム（それぞれ左パネル、中央パネル、および右パネル）を示す。
図５Ｂは、図５Ａと同様のｓＣＭＯＳのシーケンスの平均及びＮＣＳフレーム、並びに、実空間（上パネル）及びフーリエ空間（下パネル）における対応する振幅である。図５Ｃは、ｓＣＭＯＳおよびＮＣＳフレーム（ＯＴＦ加重マスクおよびノイズオンリーマスクでのＮＣＳフレーム）からのフーリエ空間での径平均振幅と正規化周波数のグラフを提供する。

図６Ａおよび６Ｂは、フーリエ空間におけるシミュレーションデータと実験データの両方の比較に関連するデータを表す。イチジク。図６Ａは、ＣＯＳ−７細胞におけるＥＢ３−ｔｄＥｏｓの従来の蛍光画像のｓＣＭＯＳフレームとＮＣＳフレームの比較である。図６Ｂは、理想的なｓＣＭＯＳフレームとシミュレートされた微小管画像のＮＣＳフレームの比較である。

図７Ａ、７Ｂ、７Ｃ、および７Ｄは、実験データとシミュレーションデータの両方を使用した解像度比較に関連するデータである。図７Ａは、ｓＣＭＯＳカメラからの１００ｎｍ黄緑色蛍光ビーズ画像およびＮＣＳ補正画像に関連する実験データを示している。図７Ｂは、各ビーズ画像の垂直次元にわたって平均化することにより生成され、それらの幅、σｓＣＭＯＳおよびσＮＣＳを抽出するガウス関数で適合された強度プロファイルの正規化強度対ピクセル数グラフを示す。図７Ｃは、シミュレーションパラメータに基づいたシミュレーションデータを示している。図７Ｄは、シミュレートされたデータの強度プロファイルの正規化強度対ピクセル数のグラフを示している。

図８Ａ、８Ｂ、８Ｃ、８Ｄ、８Ｅ、および８Ｆは、データシミュレーション手順の図である。６４ｘ６４ピクセルの微小管のｓＣＭＯＳフレームをシミュレートするために、バイナリ画像のピクセルサイズが与えられたピクセルの８倍小さいワーム様チェーンモデル（ＷＬＣモデル／worm-like chain model）を使用してシミュレートされた座標からバイナリ（５１２ｘ５１２）画像８Ａが生成された。続いて、バイナリ画像は図８Ｂに示される正規化されたＰＳＦで畳み込まれた。そして、図８Ｃに示すように、Ｓｎｏｒｍとして示される６４×６４の画像を生成するために８でビニングされた。Ｓｎｏｒｍ画像は、図８Ｄに示されるように、与えられた強度ｉが乗算され、与えられた背景ｂｇが加えられて、理想的な画像Ｓｉｄｅａｌが生成された。次いで、理想的な画像は、図８Ｅに示されるように、ポアソンノイズでコラプションされてＳＰｏｉｓｓｏｎを形成する。次に、ＳＰｏｉｓｓｏｎイメージは、ｓＣＭＯＳゲインマップｇが乗算され、各ピクセルのガウスノイズＧ（０、σｒ^２）が加えられる（各ピクセルは、平均がゼロで分散はσｒ^２（σｒ^２は各ピクセルで異なる）に等しいガウス分布から抽出されたランダムな値である。）次に、図８Ｆに示すように、オフセットマップｏが加えられた。

図９Ａ、９Ｂ、および９Ｃは、シミュレートされたデータの対数尤度比（ＬＬＲ）の比較を示す。図９Ａは、ノイズなし（理想）、読み出しおよびポアソンノイズ（ｓＣＭＯＳ）、ノイズ補正後（ＮＣＳ）、およびポアソンノイズのみ（ポアソン）（最も左のパネル、左のパネル、右のパネル、および最も右のパネル、それぞれ）の条件下でのシミュレートされた微細管の画像である。図９Ｂは、図９Ａの各画像の対数尤度比マップである。図９Ｃは、ｓＣＭＯＳ、ＮＣＳ、およびポアソンの条件下での図９Ｂの個々のピクセルのＬＬＲのヒストグラムである。

図１０は、本開示のアルゴリズムで使用されるセグメント化スキームの図を示す。

図１１Ａは、幅が１０^−６〜２、単位がＮＡ／λ、高さが０．７〜１の様々な調整可能なＯＴＦマスクを示している。

図１１Ｂは、ＯＴＦマスクの径平均対正規化周波数のグラフであり、異なるＯＴＦマスクの径平均プロットを示す。

図１１Ｃは、ゼロに等しい幅を有するＯＴＦ加重マスクを示し、高さは検出器のサンプリングレートに依存する。

図１１Ｄは、２に等しい幅（ΝΑ／λ単位）を持つノイズオンリーＯＴＦマスクであり、高さは検出器のサンプリングレートにも依存する。

図１２Ａ、１２Ｂ、および１２Ｃは、本開示による、検出器の様々なサンプリングレートでのＮＣＳ結果の比較を表す。図１２Ａは、様々なサンプリングレートで撮像されたシミュレートされたビーズのフーリエ空間における振幅を示している。ＯＴＦ半径は、２ＮＡ／λ（赤い円）に等しい定数である。ＯＴＦ加重マスク（グラデーションオーバーレイ）で重みが大きいピクセルの数は、サンプリングレートとともに減少する。図１２Ｂは、様々なサンプリングレートでのＯＴＦマスクの径平均プロットである。サンプリングレートが低下するにつれ、ＯＴＦマスクはより中央で切り捨てられる（トランケートされる／truncated）。図１２Ｃは、様々なサンプリングレートでのｓＣＭＯＳフレームとそれに対応するＮＣＳフレームを示している。

図１３は、様々なα値でのＮＣＳ結果の比較を示す画像のセットである。

図１４Ａ、１４Ｂ、１４Ｃ、および１４Ｄは、ｓＣＭＯＳフレーム、ＮＣＳフレーム、１ピクセルに等しいシグマを持つ２ＤガウスカーネルによってぼかされたｓＣＭＯＳフレームおよびＯＴＦ半径に等しいカットオフ周波数を持つローパスフィルタ後のｓＣＭＯＳフレームそれぞれの比較に基づく本開示のアルゴリズムに基づくノイズ低減と比較したローパスフィルタに関連するデータを示す。

図１５Ａおよび１５Ｂは、ＮＣＳ結果と３つのセグメンテーションサイズおよび２つの反復数との比較に関連するデータを示している。図１５Ａは、１００のｓＣＭＯＳフレームの時間ＳＴＤマップである。イチジク。図１５Ｂは、さまざまな条件での１００のＮＣＳフレームの時間ＳＴＤマップである。

図１６は、アルゴリズムの結果（理想的なノイズのないイメージと比較）、未処理のｓＣＭＯＳデータ（理想的なノイズのないイメージと比較）、および理想的なカメラ（理想的なノイズのないイメージと比較）のトータルの測定された対数尤度比の比較グラフである。Ｙ軸は、３つのケースすべてについて１０００回の試行のヒストグラムカウントを表す。従って、カメラにより追加されたノイズは最大約８０％削減される。

図１７は、一実施形態による例示的な撮像システムの構成要素を示す図である。

本開示の原理の理解を促進する目的で、図面に示された実施形態を参照し、特定の言語を使用してこれを説明する。それにもかかわらず、それにより、本開示の範囲の限定が意図されないことが理解されるであろう。

本開示において、用語「約」は、値または範囲のある程度の変動度、例えば、述べられた値または述べられた範囲の限界の１０％以内、５％以内、または１％以内を許容する。

本開示において、「実質的に」という用語は、値または範囲の変動度、例えば、述べられた値または述べられた範囲の限界の９０％以内、９５％以内、または９９％以内を許容し得る。

本明細書では、電荷結合素子（ＣＣＤ）および相補型金属酸化膜半導体（ＣＭＯＳ）ベースの技術の両方の任意の構造を含む顕微鏡画像からノイズを劇的に低減する新しいアルゴリズムおよびシステムを説明する。この新しい方法とシステムは、さまざまな顕微鏡分野のピクセル依存ノイズを補正して、画質を劇的に改善する。

科学的相補型金属酸化膜半導体（ｓＣＭＯＳ／scientific complementary metal-oxide semiconductor）カメラで記録された画像は、主に２種類のノイズ、すなわち、光の量子性に起因するポアソンノイズと、カメラの読み出しプロセス中に導入される読み出しノイズを含む。

無視できる有効読み出しノイズを有するが、顕著な電子増倍ノイズを有する電子増倍電荷結合デバイス（ＥＭＣＣＤ／electron-multiplying charged-coupled device）カメラと比較して、科学的ＣＭＯＳ（ｓＣＭＯＳ）カメラは、ピクセルに依存するカメラ統計を特徴とする（各ピクセルには独自のオフセット、分散（バリアンス／variance）およびゲインがある）。これは主に、ＥＭＣＤＣＤカメラでは、各ピクセルは同じ読み出しユニットを使用して連続的に処理されるのに対し、各ピクセルの独立した読み出しユニットによるものである。

したがって、ｓＣＭＯＳカメラのピクセルは、予想される入射光子（フォトン）がなくても、「フリッカー」しているように見え、このノイズのレベルはピクセル間で１−２ＡＤＵ^２から１０００−２０００ＡＤＵ^２で大きく変化する（ＡＤＵは、アナログ ツー デジタル ユニットの略であり、カメラからの出力カウントである）。このノイズは画質を大幅に低下させ、特に蛍光顕微鏡検査、天文学、ハイパースペクトル検出など、低光子数の効率的な検出を必要とする用途では、ｓＣＭＯＳカメラを使用した定量的研究を困難にする。

ノイズ補正におけるＣＭＯＳベースの撮像デバイスの一分類である科学的ＣＭＯＳ（ｓＣＭＯＳ）の基本的な課題は、２つの変数のうちの１つの推定である（変数の合計が既知）；ｓＣＭＯＳカメラからの各ピクセルは、それぞれポアソン分布とガウス分布に従う光電子及び読み出しノイズによって与えられる２つの変数の合計を表すデジタルカウントを生じさせる。光電子ベースのノイズ（ショットノイズまたはポアソンノイズとも呼ばれる）は、センサーに到達する少数の個々の光子の量子効果に関連している。読み出しノイズは、前述の事前増幅およびアナログデジタル変換（ＡＤＣ）中に生成される電子ノイズに関連している。ポイントエミッターの検出の場合、光電子は例えばガウス関数としてモデル化される回折限界スポットを形成する。ピクセル依存ノイズの場合、最尤推定器（maximum-likelihood estimator）は理論的限界で正確に分子中心を抽出できる。ただし、任意の構造では、単一エミッタの仮定は失われる。

本開示による一般化されたノイズ補正アルゴリズムは、光学伝達関数（ＯＴＦ）を使用する。ＯＴＦは、イメージングシステム（画像システム／画像化システム）がさまざまな空間周波数をどのように処理するかを指定する。顕微鏡の開口数と検出波長によって規定されるＯＴＦのサポートは、顕微鏡システムの周波数応答限界を支配する。サンプルからの光信号は周波数限界（制限）内にのみ存在し、一方、ノイズからの寄与のみがこの限界外に存在する。この周波数限界の例が図１Ａに示されている。図１Ａを参照すると、生のｓＣＭＯＳ画像とそのフーリエ空間のコンポーネントが示されている。ここで、左のパネルには任意の画像が示され、右のパネルにはＯＴＦ境界（OTF boundary）が示されており、その境界内にはノイズ及び信号の両方が存在し、境界外にはノイズのみ（ノイズオンリー／Noise-only）が存在する。左パネルの挿入画像（填め込み画像）は、読み出しノイズの分散マップ（ｖｍａｐ）を示している。フーリエ空間の画像には、ノイズと信号の両方からの寄与（Signal + noise contri.）が含まれる。分散マップのマップは、２．８〜２，０００カメラカウント２乗（アナログ−デジタルユニット（ＡＤＵ））で線形にスケーリングする。独立の読み出しノイズを仮定すると、本開示によるアルゴリズムは、ノイズの寄与を最小化し、画像推定の尤度を最大化して、読み出しノイズに埋もれた基礎となる信号を回復する。この変化は図１Ｂに見られる。図１Ｂを参照すると、図１Ａのノイズ補正画像を示す画像が示されている。本開示によるアルゴリズムは、最初に、実際のシステムの有効カットオフ周波数の控えめな推定を表す理論的なＯＴＦ周辺（境界）の外側または近くのフーリエ空間における画像のノイズの寄与を抽出する。次に、ｓＣＭＯＳノイズモデル−ピクセルごとの複数の読み出し単位を有するセンサーのピクセル依存のオフセット、ゲイン、分散を含む）に基づいて、画像全体の尤度関数が計算される。フーリエ空間におけるノイズの寄与と負の対数尤度の合計を最小化することにより、ノイズ補正された画像が生成され（その例は図１Ｂに示されている）、復元されたイメージではピクセル依存のノイズはほとんど検出できない。

図２Ａ〜２Ｄでは、従来の広視野蛍光顕微鏡でｔｄＥｏｓでタグ付けされたＣＯＳ−７細胞におけるペルオキシソーム膜タンパク質の蛍光顕微鏡画像の時間変動を示す例示的な画像のセットが提供される。具体的には、図２Ａ（時間ＳＴＤマップ−ｓＣＭＯＳフレーム）は、４００以上のｓＣＭＯＳフレームの時間標準偏差（ＳＴＤ）（ゲインおよびオフセットにより事前補正された）マップを示している。マップのスケールは、有効光子数の単位で最小（ＳＴＤが２．３、黒）から最大（ＳＴＤが１２．３）である。図２Ｂ（時間ＳＴＤマップ−ＮＣＳフレーム）を参照すると、ｓＣＭＯＳカメラフレームの４００を超えるノイズ補正（本明細書ではＮＣＳとして代替的に特定される）の時間ＳＴＤ（一時的ＳＴＤ）マップが示されている。図２Ｃ（ｓＣＭＯＳ、アルゴリズム）を参照すると、図２Ａおよび２Ｂの領域ｉおよびｉｉの拡大図（左パネル、ｉは左上およびｉｉは左下）およびさらに拡大した画像（右パネル）は、ノイズの低減後に分散の大きいピクセルが効果的に除去されることを示す（以下で説明）。図２Ｄを参照すると、５０フレームを超えるトリミングされた（クロップされた／cropped）領域ｉおよびｉｉからの選択されたピクセルのピクセル強度トレースが示されている。読み出しノイズが高いピクセル（ピクセル１および３）では、ノイズの低減後、値の変動が大幅に減少するが、読み出しノイズが低いピクセル（ピクセル２および４）では、ピクセル値の変動はほぼ同じままである。ノイズ補正の前後で、読み出しノイズが高い場合と低い場合の両方で、平均のピクセル値（pixel value）はほぼ同じままである。

図３Ａおよび３Ｂを参照すると、ｔｄＥｏｓでタグ付けされたＣＯＳ−７細胞の末端結合タンパク質３を従来の広視野蛍光顕微鏡で撮像したときの低光子レベルでのノイズ補正前後のピクセル変動比較が提供されている。図３Ａを参照すると、ゲインおよびオフセットについて事前補正された単一のｓＣＭＯＳフレームが、１０ｍｓの露光時間および時点ｔ＝０ｓで比較目的のために提供されている。図３Ｂを参照すると、ｓＣＭＯＳフレームからの図３Ａの選択された領域の時系列が、基礎となる信号は維持しつつｓＣＭＯＳノイズの大幅な低減を示す対応するノイズ低減フレームとともに提供されている。

図４Ａおよび４Ｂを参照すると、それぞれ、本開示によるノイズ低減アルゴリズム（本開示では典型的にＮＣＳと呼ばれる）のステップを提供する概略図およびフローチャートが示されている。一般に、本開示のアルゴリズムは以下の機能を実行する：
１）各ピクセルの事前に特徴付けられた値（一部のＣＭＯＳカメラメーカーは現在これらのパラメータマップを提供している）を使用してオフセットとゲインを補正し、事前補正されたイメージＤを取得する。その際、アルゴリズムはＤの中の非正値のすべてのピクセルを１０^−６などの小さいを非ゼロ値に割り当てる。（又は、アルゴリズムにより、Ｄの中の非正値のすべてのピクセルは、１０^−６などの小さいを非ゼロ値に割り当てられる）。
２）入力画像をＭ×Ｍピクセルのサブ画像にセグメント化（分割）する。Ｍは任意の正の整数であり得る。一実施形態によれば、Ｍの値は約１から約２５６の間である。
３）以下で与えられるコスト関数ｆを最小化することにより推定値を取得する：
ｆ＝ＬＬＳ＋ασΝ、
ここで、ＬＬＳは単純化された負の対数尤度（negative LL）を表し、
σΝは、それぞれＯＴＦ周辺（境界）の近くと外側のノイズの寄与を表し、Ｍと目的のノイズ補正強度に基づいて変更できる値を有し得る経験的な重み係数である。汎用の準ニュートンルーチンを使用してｆを最小化できる。推定の初期値は、セグメントの値に設定される。
４）各セグメントについて、ステップ３を反復する。すべてのセグメントは独立しているため、グラフィック処理装置（ＧＰＵ）、中央処理装置（ＣＰＵ）、または特定用途向け集積回路（ＡＳＩＣ）を介して並列処理できる。通常、回帰は約２０回の反復内で収束する。

これらのステップのそれぞれは、ここでより詳細に説明される。
１）事前補正

ピクセル依存のゲインおよびオフセットマップは、センサーのタイプおよびそれらの工場内較正プロセスに応じて、研究室で特徴付けられるか、製造業者から取得される。これらのマップを持つことにより、上記の反復プロセス内の計算の数が削減される。簡単にするために、単一のゲインマップと分散マップがｓＣＭＯＳアレイに関連付けられていることを理解されたい。この概念は、複数の増幅器（アレイ増幅器など）を有する複数のセンサーに拡張できる。ｓＣＭＯＳカメラから取得した画像Ａには、Ｎ個のピクセルが含まれている。ピクセル依存のカメラオフセット及びゲインは、ｏとｇで示される。ここで、ｏｉおよびｇｉは、ピクセルｉの特定の値を示す。ピクセルｉのパラメータＤｉは、以下の式に基づいて計算される。

結果として生じる画像Ｄは、以下に記載される反復プロセスにおいて後に使用される。
２）画像のノイズ低減

回折限界（回折制限）撮像システムは、それより高い周波数の信号を収集できない基本的なカットオフ周波数を持っている。カットオフ周波数は、画像システムの検出波長（λ）と開口数（ＮＡ）によって定義される。このカットオフ周波数は、画像のノイズ部分を抽出するために使用される。顕微鏡画像の２Ｄフーリエ変換では、回折限界システムからの信号は、画像システムの光学伝達関数（ＯＴＦ）によって定義される円形領域にのみ含まれる。ＯＴＦは、画像システムの瞳孔関数の自己相関である。理想的な画像システムの場合、瞳孔半径はΝΑ／λであるため、ＯＴＦ半径はこの量の２倍の２ＮＡ／λである。ＬｘＬ（Ｌは偶数の正の整数）ピクセルの画像μが与えられると、その２Ｄ離散フーリエ変換は

ここで、μ＾（本翻訳文では、「μ」の上に「＾」が付された記号を「μ＾」で代用する。）は２Ｄ画像の離散フーリエ変換、
ｘ＝ｍＡｘ、
ｙ＝ｎＡｙ、
ｋｘ＝ｐ／ＬΔｘ、
ｋｙ＝ｑ／ＬΔｙ、
ｍ、ｎ、ｐ、ｑは１ずつ増加し、
ｐ、ｑ∈［−Ｌ／２、Ｌ／２−１］、ΔχおよびΔｙは、２次元の画像のピクセルサイズを表し、一般にΔχ＝Ａｙである。ＯＴＦマスクイメージ（ｋｘ、ｋｙ）は、以下で説明するように、レイズドコサインフィルターから生成され、ノイズの寄与は次から計算できる。

３）ＯＴＦマスクでのレイズトコサインフィルターの実施
ハイパスレイズドコサインフィルタを使用して、ノイズ補正（ＮＣＳ）アルゴリズムでのノイズの寄与を計算するためのＯＴＦマスクを生成する。ハイパスレイズドコサインフィルタを使用すると、ユーザはマスク境界のシャープネスとフィルター処理の度合いを調整できる。ＯＴＦマスクは以下から生成される：

ここで、ｋｒ＝√（ｋ_ｘ ^２＋ｋ_ｙ ^２）である。２種類のＯＴＦマスクが考慮される。最初のマスクはＯＴＦ加重マスクと呼ばれ、β＝１およびＴ＝λ／５．６ＮＡである。もう１つは、ノイズオンリーマスク（ノイズのみマスク）と呼ばれ、β＝０．２およびＴ＝（１−β）４ΝΑである。ＯＴＦ加重マスクは、ノイズ補正に関して最高のパフォーマンスを提供する。しかし、それは少量の信号情報を犠牲にし、解像度のわずかな低下（約２−５ｎｍの低下）をもたらすが−以下で説明する図７Ａ〜７Ｄを参照−、ノイズオンリーマスクの場合、信号部分はそのまま残されるが、ノイズ補正効率も低下する。一実施形態では、理論上のカットオフ周波数に基づくＯＴＦ加重マスクがＯＴＦマスクとして使用される。本開示によるシステムにより、ユーザは、上述の２つの事前作成されたＯＴＦマスクと、ユーザが定義する別の２種類の調整可能なＯＴＦマスク（調整可能なＯＴＦマスクおよび以下でさらに説明するユーザ定義ＯＴＦマスク）から選択することができる。

図５Ａ、５Ｂ、および５Ｃを参照すると、これら２つのタイプのＯＴＦマスクに関連するデータが提供されている。特に、図５Ａを参照すると、ｔｄＥｏｓでタグ付けされたＣＯＳ−７細胞のペルオキシソーム膜タンパク質は、従来の広視野蛍光顕微鏡で画像化された。図５Ａは、４００以上のｓＣＭＯＳフレームの時間標準偏差マップ、ＯＴＦ加重マスクおよびノイズオンリーマスクを備えたＮＣＳフレーム（それぞれ左パネル、中央パネル、および右パネル）を示す。スケールは、有効光子数の単位で最小（ＳＴＤが２．３、暗い）から最大（ＳＴＤが１２．３、白）までである。図５Ｂを参照すると、図５Ａと同様のＮＣＳフレーム及びｓＣＭＯＳのシーケンスの平均、並びに、フーリエ空間におけるそれらの対応する振幅が提供されている。再度ｓＣＭＯＳフレーム、ＯＴＦ加重マスクでのＮＣＳフレーム及びノイズオンリーマスクでのＮＣＳフレーム（それぞれ左パネル、中央パネル、右パネル）に対し、平均画像は、ｓＣＭＯＳ及びＮＣＳフレームの公平な比較のために、ピクセル依存ノイズをキャンセルするために使用された。図５Ｃは、ｓＣＭＯＳおよびＮＣＳフレーム（ＯＴＦ加重マスクおよびノイズオンリーマスクでのＮＣＳフレーム）からのフーリエ空間での振幅の径平均（動径平均／radial average）と正規化周波数のグラフを提供する。

図６Ａおよび６Ｂを参照すると、フーリエ空間での実験データとシミュレーションデータの比較が提供されている。４００フレームにわたる平均化された実験画像を使用して、そのフーリエ空間振幅の明確な画像を提供するために、ピクセル依存ノイズをキャンセルした。図６Ａを参照すると、ＣＯＳ−７細胞におけるＥＢ３−ｔｄＥｏｓの従来の蛍光画像のｓＣＭＯＳフレームとＮＣＳフレームの比較が提供されている。実空間画像は、４００以上のｓＣＭＯＳフレームの平均化によって得られ、フーリエ空間の画像は実空間画像のフーリエ変換の振幅部分である。ＮＣＳフレームの場合、フーリエ空間振幅の径平均は、ＯＴＦカットオフ周波数（２ΝΑ／λ）の後に大幅に減少する。我々は、フーリエ空間画像の明確な視覚化を促進するために、平均化された画像を使用してピクセルごとのｓＣＭＯＳノイズをキャンセルした。図６Ｂを参照すると、シミュレートされた微小管画像の理想的、ｓＣＭＯＳ及びＮＣＳフレームの比較が提供されている。実空間画像は、理想的なケース（ノイズなし）、ｓＣＭＯＳフレーム、ノイズ補正画像を含むシミュレーションデータの単一フレームであり、下段はフーリエ空間でのそれらの振幅を示す。ＮＣＳ後のフーリエ空間画像の振幅は、半径外側で低下し、その値は、理想的な画像と比較して、周波数範囲全体にわたってより高いままである。バーは、有効光子カウントを示す。

図７Ａ、７Ｂ、７Ｃおよび７Ｄを参照すると、実験データとシミュレーションデータの両方を使用した解像度比較に関連するデータが示されている。特に、図７Ａを参照すると、ｓＣＭＯＳカメラからの１００ｎｍ黄緑色蛍光ビーズ画像およびＮＣＳ補正画像に関連する実験データが提供されている。ｓＣＭＯＳフレームとＮＣＳフレームの公正な比較のためにｓＣＭＯＳフレームの読み出しノイズをキャンセルするために、両方のケースで画像を２００フレームにわたって平均した。強度プロファイルは、各ビーズ画像の垂直次元（垂直方向）で平均化することにより生成され、ガウス関数でフィッティング（fit）され、図７Ｂに提供される正規化強度対ピクセル数のグラフに示されるそれらの幅であるσｓＣＭＯＳおよびσＮＣＳが抽出された。図７Ｃを参照すると、以下で説明するシミュレーションパラメータに関連するシミュレーションデータが提供されている。このパラメータに基づいてシミュレートされたビーズ画像は以下で議論される。シミュレートされたビーズ画像は、ｓＣＭＯＳおよびＮＣＳフレームからお２０フレームにわたって平均された。実験データとシミュレーションデータの両方から、σＮＣＳはσｓＣＭＯＳよりわずかに大きく、５．５ｎｍと４ｎｍの解像度の低下をもたらし、回折限界の約２５０ｎｍと比較して、わずかな低下は無視できる可能性がある。

シミュレートされたデータでは、微小管をシミュレートするために虫様連鎖モデル（ＷＬＣモデル／worm-like chain model）を使用した。ＷＬＣモデルは、ｘ、ｙ座標のセットを生成する。これらの座標に基づいて、１つ以上のポイントがピクセル内にある場合はピクセル値が１に設定され、そうでない場合はピクセル値がゼロに設定されるバイナリイメージを生成する。バイナリイメージのピクセルサイズははるかに細かく、通常は出力画像のピクセルサイズ（１００ｎｍ）の８倍小さい。次に、画像は、１２．５ｎｍのピクセルサイズでＮＡ＝１．４、λ＝７００ｎｍのパラメータに基づいて生成されたＰＳＦ画像で畳み込まれまる。すべてのピクセル値の合計が１に等しくなるようにＰＳＦ画像が正規化される。結果の画像は、ピクセルサイズが１２．５ｎｍの回折限界微小管画像である。その後、画像は８でビニングされ（binned）、Ｓｎｏｒｍとして示される１００ｎｍのピクセルサイズを有する画像が生成される。強度Ｉ＝１００、および背景ｂｇ＝１０が与えられると、回折限界システムからの理想的な画像は以下から生成される：

次に、画像はＳＰｏｉｓｓｏｎとして示されるポアソンノイズでコラプション（破損）される。ゲインマップｇ、分散マップσｒ^２、およびオフセットマップｏを指定すると、ｓＣＭＯＳカメラの最終画像は次から生成される。

ここで、Ｇ（０、σｒ^２）は、ゼロに等しい平均とσｒ^２での対応する値に等しい分散を有するガウス分布からランダム変数のイメージを生成する。図８（図８Ａ、８Ｂ、８Ｃ、８Ｄ、８Ｅ、および８Ｆ）を参照すると、データシミュレーション手順の図が示されている。６４ｘ６４ピクセルの微小管のｓＣＭＯＳフレームをシミュレートするために、バイナリ画像のピクセルサイズが与えられたピクセルの８倍小さいＷＬＣモデルを使用してシミュレートされた座標からバイナリ（５１２ｘ５１２）画像８Ａが生成された。続いて、図８Ｂに示されるように、バイナリ画像は正規化されたＰＳＦで畳み込まれる。そして、図８Ｃに示すように、Ｓｎｏｒｍとして示される６４×６４の画像を生成するために８でビニングされる。Ｓｎｏｒｍ画像は、図８Ｄに示されるように、与えられた強度ｉが乗算され、与えられた背景ｂｇが加えられて、理想的な画像Ｓｉｄｅａｉを生成する。次いで、理想的な画像は、図８Ｅに示されるように、ポアソンノイズでコラプションされてＳＰｏｉｓｓｏｎを形成する。次に、ＳＰｏｉｓｓｏｎイメージは、ｓＣＭＯＳゲインマップｇが乗算され、各ピクセルのガウスノイズＧ（０、σ２）が加えられる（各ピクセルは、ゼロに等しい平均とσｒ^２（σｒ^２は各ピクセルで異なる）に等しい分散を有するガウス分布から抽出されたランダムな値である。）次に、図８Ｆに示すように、オフセットマップｏが加えられる。結果のイメージは、ＳｓＣＭＯＳと称されるシミュレートされたｓＣＭＯＳフレームである。

画像のノイズ部分を抽出するための理論的なカットオフ周波数を使用することができる（このカットオフ値は、理想的な画像システムに基づいて導かれるカットオフ値である）が、実際の画像システムに対しては、システムおよびサンプルにより誘発される収差（aberrations）のために、実効的カットオフ周波数は２ＮＡ／λより小さくなり得る。したがって、本開示のアルゴリズムにより、ユーザは次のオプションから選択することができる：ＯＴＦ加重マスク（デフォルト）、ノイズのみのＯＴＦマスク、調整可能なＯＴＦマスクおよびユーザ定義のＯＴＦマスク。調整可能なＯＴＦマスクは下記に基づく。

ここで、幅ｗは１０^−６から２に、高さｈは０から１に調整できる。調整可能なＯＴＦマスクには、幅ｗと高さｈの２つのユーザ入力が必要である。これら２つのユーザ入力は、図１１Ａ、１１Ｂ、１１Ｃおよび１１Ｄを参照して示される。特に、図１１Ａを参照すると、幅が１０^−６から２であり（単位がＮＡ／λ）、高さが０．７〜１である様々な調整可能なＯＴＦマスクが示される。幅はゼロより大きい必要がある。図１１Ｂを参照すると、ＯＴＦマスクの径平均対正規化周波数のグラフが提供され、ＯＴＦマスクの異なる選択肢の径平均プロットを示している。図１１Ｃを参照すると、幅がゼロに等しく、高さは検出器のサンプリングレートに依存するＯＴＦ加重マスクが示されている。検出器のさまざまなサンプリングレートでのＮＣＳ結果の比較は、以下で説明する図１２Ａ−１２Ｃに提供されている。これは、ＯＴＦマスクのデフォルトおよび推奨オプションである。図１１Ｄを参照すると、幅が２（ＮＡ／λの単位）に等しいノイズのみＯＴＦマスクが示されており、高さはやはり検出器のサンプリングレートに依存している。

ナイキストサンプリングレート（Nyquist sampling rate）に基づくと、画像のピクセルサイズは、システム解像度の半分以下になるように選択されることが多い。システムの解像度は、当業者に知られているレイリー基準、０．６１λ／ＮＡによって特徴付けることができる。我々は、検出器のサンプリングレートを、レイリー基準を画像のピクセルサイズで除算した値として定義する（たとえば、２は最小ナイキストサンプリングレートである）。我々は、さまざまなサンプリングレートでＮＣＳアルゴリズムのパフォーマンス（特性／性能）を調査した。ＮＣＳアルゴリズムは、１．４〜２．９の幅広いサンプリングレートを許容することが判明した。ただし、補正力は２．０未満のサンプリングレートから徐々に低下し始める。これは、サンプリングレートが２．０未満の場合、（図１２Ａ−１２Ｃに示すように）ＯＴＦ境界はほとんどフーリエ空間の画像境界の外側にあり、主に画像のノイズ部分から考慮されるピクセルが少なくなり、その結果、コスト関数におけるノイズの寄与の割合が減少し、これにより、図１３に示されるようにα値が減少するのと同様の効果がもたらされる。図１３を参照すると、様々なα値でのＮＣＳ結果の比較を示す画像のセットが提供されている。コスト関数では、係数にノイズの寄与部分が乗算される。α＝０の場合、コスト関数は既に最小であるため、ＮＣＳアルゴリズムは元の画像に影響を与えず、結果のＮＣＳフレームはｓＣＭＯＳフレームと同じである。α値が増加すると、ノイズ補正能力も増加する。ただし、α値が大きすぎる場合、ＮＣＳアルゴリズムはノイズの寄与を強調しすぎて、解像度が低下する。Ａは１０^−６〜１０^６の範囲であり得る。１．４などの有意に低サンプリングレートでは（図１２Ａ〜１２Ｃに示されるように）、ＯＴＦ加重マスクの高さは〜０．２まで減少し、ＮＴＳアルゴリズムにおける最適化性能を大幅に制限する。さらに、１．７３未満のサンプリングレートの場合、ＯＴＦ境界の外側にピクセルが存在しないため、この場合、ノイズオンリーマスクではなくＯＴＦ加重マスクを使用することが推奨され、これは、後者はノイズの寄与を提供せず、コスト関数が最小化できなくなるためである。全体的に、効率的なノイズ補正を行うには、サンプリングレートを２より大きくすることが推奨される。

上述のように、図１２Ａ、１２Ｂ、および１２Ｃを参照すると、検出器の様々なサンプリングレートでのＮＣＳ結果の比較が提供されている。検出器のサンプリングレートは、レイリー基準を画像のピクセルサイズで割ったものと定義され（たとえば、２が最小ナイキストレートである）、レイリー基準は０．６１λ／ＮＡである。特に、図１２Ａでは、様々なサンプリングレートで撮像されたシミュレートされたビーズのフーリエ空間の振幅が示されている。ＯＴＦ半径は、２ＮＡ／λ（赤い円）に等しい定数である。ＯＴＦ加重マスクで重みが大きいピクセルの数（グラデーションのオーバーレイ／重ね合わせ）は、サンプリングレートとともに減少する。図１２Ｂでは、様々なサンプリングレートでのＯＴＦマスクの径平均プロットが提供されている。サンプリングレートが減少すると、ＯＴＦマスクはより中央でトランケートされる（切り捨てられる）。図１２Ｃでは、様々なサンプリングレートでのｓＣＭＯＳフレームと対応するＮＣＳフレームが示されている。図１２Ｃは、ＮＣＳアルゴリズムが２のサンプリングレートまで良好に機能し、２の後に徐々に減少することを示している。

上記２つのユーザ入力（径ｗおよび高さｈ）は、ＯＴＦマスクの形状を変化させる。上級ユーザ向けには、ユーザ定義のＯＴＦマスクのオプションは追加の柔軟性を提供し、ユーザが生成したＯＴＦマスクでの収差システムの補正パフォーマンスがさらに向上する。

本開示のアルゴリズムの場合、完全なＯＴＦ関数ではなく、アルゴリズムは、有効カットオフ周波数（ＯＴＦ境界）の推定のみを必要とする。ＯＴＦ境界を推定する方法を以下に説明する。まばらに分布したビーズの高い対雑音信号（高い信号／雑音）画像から始めて、このカットオフ周波数は次の手順で推定できる。
（１）ｓＣＭＯＳカメラからの静止画像シーケンスの平均画像を計算する。
（２）フーリエ変換のモジュラス（又は、係数／modulus）（複素フーリエ係数の絶対値）を計算する。
（３）（２）から得られた画像の対数の径平均を計算する。
（４）縮小するウィンドウを使用して、径平均曲線を滑らかにし（たとえば、ウィンドウ内の標準偏差を計算し）、滑らかな曲線の転換点からカットオフ周波数を見つける。

一実施形態に従って収差システムのＯＴＦ境界の正確な推定を得るために、約４０ｎｍから約１００ｎｍの直径と、１μｍ^２あたり１〜３ビーズの密度の目的の生体サンプルの放射スペクトルに一致するスペクトルを有する焦点での蛍光ビーズを撮像することができる。

上述のような本開示の一態様に従う回折限界を有する最適化された顕微鏡システムの場合、中心から縁部にかけて増加する勾配を有するＯＴＦ加重マスクを使用することができる。ＯＴＦ加重マスクとノイズオンリーマスクとの間の比較は、図５Ａ−５Ｃに関して上述されている。これらの図を調べると、上記のように、ＯＴＦ加重マスクが画像の解像度を維持しながらノイズをより効果的に補正していることがわかる。
（４）画像の負の対数尤度
上記のように、ｓＣＭＯＳカメラ上の単一ピクセルからのピクセル読み出し（単位：ＡＤＵ）は、それぞれポアソン分布とガウス分布に従う２つのランダム変数の合計としてモデル化される。したがって、ピクセル読み出しの確率（確かさ）は、ポアソン分布とガウス分布の畳み込みとして記述できる。畳み込みに必要な無限和の計算の複雑さを軽減するために、この確率関数の分析的近似が適用される。したがって、推定画像μと画像Ｄの間の尤度は以下から計算される。

ここで、ｉはピクセルインデックス、Ｎは画像のピクセル数、γｉはキャリブレーション量であり、σｉ^２／ｇｉ^２に等しく、σｉ^２及びｇｉは、ｓＣＭＯＳカメラのピクセルｉの分散とゲインである（これは単一または複数の分散およびゲインマップから生成され得る）。

本開示のアルゴリズムは、ピクセルごとに複数の有効な読み出しユニットを有するセンサー（例えば、特定のＣＭＯＳセンサーのデュアルカラム増幅器）と互換性がある。このアルゴリズムは、ＡＤＵレベルに依存するゲインと分散を考慮した単一のマップまたは複数のマップから生成されたゲインと分散マップ（単数または複数）の入力を許容する。ソフトウェアまたはハードウェアにおいて、各ピクセルの信号レベル（ＡＤＵ）に基づいて複数のゲインおよび分散マップを使用するためのサンプルコードが提供される。このコードは、ＡＤＵでのＮ（Ｎ＞１）の信号レベルのセットを各ＡＤＵレベルの対応するゲインと分散マップとともに提供することをユーザに求める。たとえば、０〜１５００ＡＤＵおよび１５００−Ｍａｘ ＡＤＵ（ユーザ定義、カメラメーカーから入手）の信号レベルのデュアルアンプセンサーの場合、コードは２セットの対応するゲインと分散マップを取り込む。各入力ｓＣＭＯＳフレームについて、コードはＡＤＵカウントに従って各ピクセルのために使用する適切なゲインと分散を決定する。入力ｓＣＭＯＳフレームのスタックと同じサイズを有する結果として得られるゲインおよび分散のスタックは、本開示のアルゴリズムの入力として使用される。時間に非依存のノイズの振る舞いを仮定すると、本開示のアルゴリズムは、単一のゲインおよび分散マップを使用するのと同じ方法で実行される。ほとんどの場合、低光子レベル（たとえば、フレームあたりピクセルあたり＜７５０光子）での単一のゲインおよび分散マップは、一般に、本開示のアルゴリズムが概ね効果的である低光での研究（例えば、生細胞蛍光イメージングおよびライトシート顕微鏡（light sheet microscopy））に適用できる。

本開示のアルゴリズムにおける尤度関数の計算は、隣接するフレーム間のピクセル値に相関がないと仮定する。このような相関の場合、アルゴリズムは、コスト関数を変更することにより、この追加情報を組み込むように適合され得る。これを実現するには、ノイズとその確率密度関数の相関挙動を正確に理解する必要がある。現在の単一フレームベースの操作を複数のフレームを使用したグローバル最適化に拡張することにより、開発したアルゴリズムのさらなる強化を実現できる。

最適化のために、対数尤度関数の負（マイナス）が使用され、スターリングの近似では、次の関係が得られる。

Ｄとγは定数であるため、目的関数ではそれらは省略される。上記の関係は、次のように還元される。

ここで、ＬＬｓは単純化された負の対数尤度関数を示す。μは読み出し前の光電子の推定値であるため、非負である。したがって、各反復中のμｉ≧０を確保するため、Ｄの非正値を持つピクセルを１０^−６に設定することにより、Ｄｉが０より大きくなるように制約される。
本開示のアルゴリズムの性能は、対数尤度比が以下から得られる対数尤度比試験に基づくシミュレートされたデータの理想的な画像と異なる種類のノイズ及びノイズ低減後の画像を有する画像を比較することにより調べられた：

ここで、ｕはノイズのない理想的な画像を表し、
Ｘは、推定画像、理想的な画像、読み出し及びポアソンノイズを含む画像、またはポアソンノイズのみを含む画像のいずれかである。

図９Ａ、９Ｂ、および９Ｃを参照すると、シミュレートされたデータの対数尤度比（ＬＬＲ）の比較が提供されている。特に、図９Ａを参照すると、ノイズなし（理想）、読み出しおよびポアソンノイズ（ｓＣＭＯＳ）、ノイズ補正後（ＮＣＳ）、およびポアソンノイズのみ（ポアソン）の条件下でシミュレートされた微小管画像が表示されている（最も左のパネル、左のパネル、右のパネル、および最も右のパネル）。ピクセル依存ノイズは、ノイズ補正アルゴリズムを使用して効果的に除去される。バーは、有効光子数を示す。図９Ｂを参照すると、図９Ａの各画像の対数尤度比マップが示されている。理想的なケースでは、ＬＬＲは各ピクセルについてゼロである。ピクセルＬＬＲは、ノイズ低減後に大幅に低減され、補正中に組み込まれた追加の顕微鏡情報により、ポアソンの場合よりもわずかに小さくなる。図９Ｃを参照すると、ｓＣＭＯＳ、ＮＣＳ、およびポアソンの条件下での図９Ｂの個々のピクセルのＬＬＲのヒストグラムが示されている。

ＬＬＲ値が小さいほど、画像Ｘは理想画像ｕに近くなる。ＬＬＲ（対数尤度比）の値は、ノイズ低減後に大幅に低減し、補正中に組み込まれる上記で説明した追加の顕微鏡情報により、ポアソンノイズ制限画像の値よりもわずかに小さくなる−セクション２：画像のノイズ低減を参照。

（５）画像のセグメンテーション（セグメント化）
ｓＣＭＯＳノイズ補正アルゴリズムでは、変数の数は画像内のピクセルの数に等しい。２５６ｘ２５６ピクセルの画像の場合、合計６５５３６個の変数の最適化は計算負荷が高い。計算時間を短縮するために、各画像はそれぞれＭ×Ｍピクセルを含む小さなサブ画像にセグメント化（分割）され、そのため、これらのサブ画像はＣＰＵまたはＧＰＵを介して並列処理できる。

図１０を参照すると、本開示のアルゴリズムで使用されるセグメント化スキームの図が提供されている。左パネルに、一般的なセグメンテーションの手法が表示される。入力ｓＣＭＯＳフレームは小さなサブ画像にセグメント化され、並列化されたノイズ補正アルゴリズムに送られる。次に、処理されたセグメントが結合されて、全体のＮＣＳフレームが形成される。右パネルでは、画像境界での高速フーリエ変換アーティファクトを回避するための各セグメントの詳細な前処理手順が示されている。

セグメンテーションサイズは、本開示のアルゴリズムにおける調整可能なパラメータである。

我々は、ＮＣＳアルゴリズムと一般的なノイズ低減に使用されるローパスフィルタとの違いを実証した。ローパスフィルタは、画像をシャープな２Ｄガウスで畳み込むか、フーリエ空間でローパスフィルタを乗算することで生成される。最初の方法では、１ピクセルのシグマを有するガウスぼかしカーネルを実装し、２番目の方法では、カットオフ周波数がＯＴＦ半径，２ＮＡ／λに等しいローパスフィルタを使用した。我々は、両方のローパスフィルタがｓＣＭＯＳノイズの補正に失敗したことを確認した（ＮＣＳアルゴリズムとローパスフィルタの比較のために一連の画像が提供されている図１４Ａ〜１４Ｄを参照）。ローパスフィルタとＮＣＳアルゴリズムの基本的な違いを説明するために、シミュレートされたビーズのデータはシミュレートされた高分散マップ（３０００−６０００ＡＤＵ^２）を使用している。図１４Ａ、１４Ｂ、１４Ｃ、および１４Ｄを参照すると、ｓＣＭＯＳフレーム、ＮＣＳフレーム、１ピクセルに等しいシグマを持つ２ＤガウスカーネルによってぼかされたｓＣＭＯＳフレーム、およびＯＴＦ半径に等しいカットオフ周波数を持つローパスフィルタ後のｓＣＭＯＳフレームがそれぞれ提供される。各画像の切り出し（ｃｕｔｏｕｔ）の領域は、より大きいボックス上の領域の２ｘズーム（２倍に拡大したもの）である。ガウスぼかしとＯＴＦフィルターの両方がｓＣＭＯＳノイズ（小さなボックスと矢印）を効果的に除去できないのに対し、ＮＣＳアルゴリズムはｓＣＭＯＳノイズの変動を大幅に低減できることが示されている。さらに、ガウスぼかし法は元の画像の解像度も減少させる（長円）。ローパスフィルタは、高読み出しノイズピクセルを補正するのではなく、高読み出しノイズピクセルをぼやけたスポットに置き換える。さらに、ローパスフィルタを使用すると、画像解像度の大幅な低下が観察され（ガウスぼかし）、フィルターされた画像のリンギングのアーティファクト（ギブス現象）も現れる。対照的に、ＮＣＳアルゴリズムは画像解像度を変更せずに維持しながらｓＣＭＯＳノイズを効果的に低減できることが見出され得た。

本開示のアルゴリズムの計算速度は、セグメント化および並列処理により著しく向上させることができる。３．４ ＧＨｚ ＣＰＵで動作する６コアでのさまざまなセグメンテーションサイズと反復数の下での本開示のアルゴリズムのパフォーマンスを調査した。テストされた条件（下の表を参照）では、セグメント化サイズが大きくなるにつれ、そして予想どおり、反復回数が増えるにつれて速度が低下することがわかった。したがって、できるだけ少ない反復を使用することが推奨される。ただし、反復回数が少ないと、特に読み出し分散が比較的大きい場合に、ノイズ補正のパフォーマンス（性能）が低下する。一実施形態によれば、少なくとも約１０回の反復が実行される。別の実施形態によれば、デフォルトの反復回数は約１５に設定される。

図１５（図１５Ａおよび１５Ｂ）を参照すると、３つのセグメンテーションサイズおよび２つの反復回数でのＮＣＳの結果の比較が提供されている。シミュレートされたビーズのデータは、シミュレートされた高分散マップ（３０００〜６０００ＡＤＵ^２）を使用している。時間標準偏差（ＳＴＤ）マップは、１００のｓＣＭＯＳフレームとＮＣＳフレームから生成される。スケールは、最小（ＳＴＤが１．５、黒）から最大（ＳＴＤが６、白）までである。特に図１５Ａを参照すると、１００のｓＣＭＯＳフレームの時間的ＳＴＤマップが示されている。これは、多くの高読み出しノイズピクセル（ＳＴＤ＞６）を示している。図１５Ｂを参照すると、様々な条件での１００のＮＣＳフレームの時間的ＳＴＤマップが示されている。ノイズ補正のパフォーマンスは、セグメントサイズが大きくなると徐々に向上し、反復回数が増えると急速に向上することがわる。ただし、高読み出しノイズピクセルのほとんどは、５回の反復後に除去される。

本開示のアルゴリズムのノイズ補正性能は、セグメンテーションサイズとともにゆっくりと増加するが、８×８未満のセグメンテーションサイズでは、コスト関数は数回の反復で局所的最小値を達成することがわかった。

セグメンテーションによるエッジ効果を除去するために、各セグメントはエッジ上でパディング（pad）されて（Ｍ＋２）×（Ｍ＋２）画像を形成する。パディングされたピクセルは次のように生成される。
１）元の画像に対して非エッジのピクセルの場合、それは、元の画像の隣接するピクセルでパディングされる。
２）元の画像に対してエッジのピクセルの場合、それは、それ自体でパディングされる。この変更は、フーリエ変換によるエッジ効果を回避するためのものである。パディングされた画像は、ノイズ低減アルゴリズムにおいてＤとして使用される。最終出力画像では、パディングされたエッジは破棄される。この変更を実行することにより、最終画像のエッジピクセルを除き、エッジ効果が除去される。

図１６は、アルゴリズムの結果（理想的なノイズのないイメージと比較）、生のｓＣＭＯＳデータ（理想的なノイズのないイメージと比較）、および理想的なカメラ（理想的なノイズのないイメージと比較）の合計測定対数尤度比の比較グラフである。Ｙ軸は、３つのケースすべての１０００回の試行のヒストグラムカウントを表す。ｓＣＭＯＳのＬＬＲの分布は、理想的なカメラの場合（ポアソン）からかなり離れているのに対し、アルゴリズム（ＮＣＳ）の結果は、理想的なカメラに近づいている。これは、アルゴリズムのパフォーマンス（性能）がｓＣＭＯＳセンサーを理想的なケース（ポアソン）に近づけることを示している。図１６は、最大約８０％のカメラ付加ノイズのノイズ低減について示している。

図１７は、データを分析し、本明細書で説明される他の分析を実行するための例示的な撮像システム１０１のコンポーネント、および関連するコンポーネントを示す図である。システム１０１は、プロセッサ１８６、周辺システム１２０、ユーザインターフェースシステム１３０、およびデータストレージシステム１４０を含む。周辺システム１２０、ユーザインターフェースシステム１３０、およびデータストレージシステム１４０は、プロセッサ１８６に通信可能に接続される。プロセッサ１８６は、以下で説明するように、例えばインターネットまたは専用線などのネットワーク１５０（破線で示す）に通信可能に接続することができる。イメージング（画像化）用のｓＣＭＯＳカメラまたは他のデータまたは画像処理デバイス、および本明細書の他のデバイスは、それぞれ１つまたは複数のプロセッサ１８６または１つまたは複数のシステム１２０、１３０、１４０を含むことができ、それぞれ１つまたは複数のネットワークに接続することができる。本明細書で説明するプロセッサ１８６および他の処理デバイスは、それぞれ１つまたは複数のマイクロプロセッサ、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、プログラマブル論理アレイ（ＰＬＡ）、プログラマブルアレイ論理デバイス（ＰＡＬ）、またはデジタルシグナルプロセッサ（ＤＳＰ）を含むことができる。

プロセッサ１８６は、本明細書で説明される様々な態様のプロセスを実施することができる。プロセッサ１８６および関連するコンポーネントは、例えば、ｓＣＭＯＳ撮像を実施し、ｓＣＭＯＳカメラから受信したデータを処理するプロセスを実行することができる。

プロセッサ１８６は、例えば、中央処理装置（ＣＰＵ）、マイクロコントローラ（ＭＣＵ）、デスクトップコンピュータ、ラップトップコンピュータ、メインフレームコンピュータ、携帯情報端末、デジタルカメラ、携帯電話、スマートフォン、または電気、磁気、光学、生物学的コンポーネントなどで実装されているかどうかにかかわらず、データの処理、データの管理、またはデータの処理のためのその他のデバイスなど、データを自動的に操作するための１つ以上のデバイスでよく、あるいは、そのような１つ以上のデバイスを含むことができる。

「通信可能に接続された」という語句は、デバイスまたはプロセッサ間でデータを通信するための有線または無線の任意のタイプの接続を含む。これらのデバイスまたはプロセッサは、物理的に近接しているかどうかに関係なく配置でき。例えば、周辺システム１２０、ユーザインターフェースシステム１３０、およびデータストレージシステム１４０などのサブシステムは、プロセッサ１８６とは別個に示されているが、プロセッサ１８６内に完全にまたは部分的に具現化または統合することができる。一例では、プロセッサ１８６は、オンチップバスを介して、システム１２０、１３０、または１４０の機能を実装する１つ以上のコアに接続された中央処理装置を含むＡＳＩＣを含む。

周辺システム１２０は、プロセッサ１８６にデジタルコンテンツ記録を提供するか、またはプロセッサ１８６から受信した信号または他の命令に応じてアクションをとるように構成または適合される１つ以上のデバイスを含むか、通信可能に接続することができる。周辺システム１２０は、撮像装置（ｓＣＭＯＳカメラを含む）、信号プロセッサおよびコンバータ、または他のデータプロセッサを含むことができる。プロセッサ１８６は、周辺システム１２０内のデバイスからデジタルコンテンツ記録を受信すると、データストレージシステム１４０にそのようなデジタルコンテンツ記録を保存することができる。

プロセッサ１８６は、周辺システム１２０を介して、画像システムのサブシステムを制御することができる。例えば、プロセッサ１８６は、関心対象の画像化を指示することができる。プロセッサ１８６は、画像化されたオブジェクトのデータを受け取り、処理することができる。

ユーザインターフェースシステム１３０は、ユーザ１３８とプロセッサ１８６またはシステム１０１の他のコンポーネントとの間で、いずれかの方向または両方向に情報を伝達することができる。ユーザインターフェースシステム１３０は、マウス、キーボード、（例えば、ネットワークまたはヌルモデムケーブルを介して接続される）別のコンピュータ、データがプロセッサ１８６に入力される任意のデバイスまたはデバイスの組み合わせを含むことができる。ユーザインターフェースシステム１３０は、ディスプレイデバイス、プロセッサアクセス可能メモリ、またはデータがプロセッサ１８６によって出力される任意のデバイスまたはデバイスの組み合わせも含むことができる。ユーザインターフェースシステム１３０およびデータストレージシステム１４０は、プロセッサアクセス可能メモリを共有することができる。

様々な態様において、プロセッサ１８６は、ネットワークリンク１１６（破線で示される）を介してネットワーク１５０に結合される通信インターフェース１１５を含むか、それに接続される。例えば、通信インターフェース１１５は、統合サービスデジタルネットワーク（ＩＳＤＮ）端末、電話回線を介してデータを通信するためのアダプターまたはモデム、ローカルエリアネットワーク（ＬＡＮ）、たとえばイーサネット（登録商標）ＬＡＮ、またはワイドエリアネットワーク（ＷＡＮ）を介してデータを通信するためのネットワークインターフェイス、または、無線リンク（ＷＩＦＩまたはＧＳＭ（登録商標）（モバイル通信用グローバルシステム）など）を介してデータを通信する無線を含むことができる。通信インターフェース１１５は、ネットワークリンク１１６を介して様々なタイプの情報を表すデジタルまたはアナログデータストリームをネットワーク１５０に運ぶ電気、電磁または光信号を送受信できる。ネットワークリンク１１６は、スイッチ、ゲートウェイ、ハブ、ルーター、またはその他のネットワークデバイスを介してネットワーク１５０に接続できる。

様々な態様において、システム１０１は、例えばネットワーク１５０を介して、システム１０１と同じタイプのコンポーネントを含むことができるがそれと同一である必要のない他のデータ処理システム（図示せず）と通信できる。システム１０１および図示されていない他のシステムは、ネットワーク１５０を介して通信可能に接続されている。システム１０１および図示されていない他のシステムは、コンピュータプログラム命令を実行して、本明細書に記載のｓＣＭＯＳ画像化を実行することができる。

プロセッサ１８６は、ネットワーク１５０、ネットワークリンク１１６、および通信インターフェース１１５を介して、メッセージを送信し、プログラムコードを含むデータを受信することができる。例えば、サーバは、アプリケーションプログラム（例えば、ＪＡＶＡ（登録商標）アプレット）のために要求されたコードを接続されているサーバに接続された有形の不揮発性コンピュータ読み取り可能な記憶媒体に記録し得る。サーバは、媒体からコードを取得し、ネットワーク１５０を介して通信インターフェース１１５に送信することができる。受信したコードは、受信時にプロセッサ１８６により実行されるか、後の実行のためにデータ記憶システム１４０に格納される。

データ記憶システム１４０は、情報を記憶するように構成または適合された１つまたは複数のプロセッサアクセス可能メモリを含むか、それに通信可能に接続することができる。メモリは、たとえば、シャーシ内にまたは分散システムの一部として存在できる。「プロセッサアクセス可能メモリ」という語句は、プロセッサ１８６がデータを転送できる（たとえば、周辺システム１２０のコンポーネントを使用して）任意のデータストレージデバイスを含むことを意図している。プロセッサでアクセス可能なメモリには、揮発性または不揮発性、取り外し可能または固定、または電子、磁気、光学、化学、機械、またはその他の１つ以上のデータストレージデバイスを含み得る。例示的なプロセッサアクセス可能メモリは、これらに限定されないが、レジスタ、フロッピー（登録商標）ディスク、ハードディスク、テープ、バーコード、コンパクトディスク、ＤＶＤ、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュ）、およびランダムアクセスメモリ（ＲＡＭ）を含む。データ記憶システム１４０内のプロセッサアクセス可能メモリの１つは、有形の非一時的コンピュータ可読記憶媒体、すなわち、プロセッサ１８６に提供可能な命令を記憶することに関与する非一時的デバイスまたは製品であり得る。

一例では、データ記憶システム１４０は、コードメモリ１４１、例えば、ＲＡＭ、および、例えば、ハードドライブなどの有形のコンピュータ可読回転記憶装置または媒体であるディスク１４３を含む。この例では、コンピュータプログラム命令は、ディスク１４３からコードメモリ１４１に読み込まれる。プロセッサ１８６は、コードメモリ１４１にロードされたコンピュータプログラム命令の１つ以上のシーケンスを実行し、その結果、本明細書で説明するプロセスステップを実行する。

このようにして、プロセッサ１８６はコンピュータで実行されるプロセスを実行する。例えば、本明細書に記載の方法のステップ、本明細書のブロック図のブロック、およびそれらの組み合わせは、コンピュータプログラム命令によって実装することができる。コードメモリ１４１は、データも保存できる。

本明細書で説明される様々な態様は、システムまたは方法として実施され得る。したがって、本明細書のさまざまな態様は、完全にハードウェアの態様、完全にソフトウェアの態様（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアとハードウェアの態様を組み合わせた態様の形をとることができる。ここでは、これらの態様は、「サービス」、「回路」、「サーキット」、「モジュール」、または「システム」と一般的に呼ぶ。

さらに、本明細書の様々な態様は、コンピュータ可読媒体、例えば有形の非一時的コンピュータ記憶媒体または通信媒体に格納されたコンピュータ可読プログラムコード（「プログラムコード」）を含むコンピュータプログラム製品として具現化され得る。コンピュータ記憶媒体には、揮発性メモリ、不揮発性メモリ、またはその他の永続的または補助的なコンピュータ記憶媒体などの有形の記憶ユニット、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータなどの情報を記憶するための任意の方法または技術で実装されるリムーバブルおよび非リムーバブルのコンピュータ記憶媒体を含めることができる。コンピュータ記憶媒体は、そのような製品において従来公知のように、例えばＣＤ−ＲＯＭをプレスするか、フラッシュメモリに電子的にデータを書き込むことにより製造することができる。コンピュータ記憶媒体とは対照的に、通信媒体は、コンピュータ読み取り可能な命令、データ構造、プログラムモジュール、または搬送波または他の送信メカニズムなどの変調データ信号の他のデータを具体化し得る。本明細書で定義されるように、「コンピュータ記憶媒体」は通信媒体を含まない。つまり、コンピュータ記憶媒体には、変調されたデータ信号、搬送波、または伝搬信号自体のみからなる通信媒体は含まれない。

プログラムコードは、プロセッサ１８６（および場合によっては他のプロセッサ）にロードできるコンピュータプログラム命令を含むことができ、プロセッサ４８６にロードすると、本明細書の様々な態様の機能、動作、または動作ステップをプロセッサ１８６（または他のプロセッサ）に実行させる。本明細書で説明する様々な態様の動作を実行するためのプログラムコードは、１つまたは複数のプログラミング言語の任意の組み合わせで記述でき、実行のためにディスク１４３からコードメモリ１４１にロードできる。プログラムコードは、例えば、全部をプロセッサ１８６上で、部分的にプロセッサ１８６上で、部分的にネットワーク１５０に接続されたリモートコンピュータ上で、または全部をリモートコンピュータ上で実行させ得る。

本開示は、本明細書に記載の態様の組み合わせを含む。「特定の態様」（または「実施形態」または「バージョン」）などへの言及は、本発明の少なくとも１つの態様に存在する特徴を指す。「ある側面」（または「実施形態」）または「特定の側面」などへの別個の言及は、必ずしも同じ側面または複数の側面を指すとは限らない。ただし、特に明記しない限り、このような側面は相互に排他的ではない。「方法」または「方法（複数）」などを指す際に単数形または複数形を使用することは限定的ではない。本開示では、特に明記しない限り、「または」という言葉を非排他的な意味で使用する。

本開示では、様々なプロセスがプロセッサで実行されることが示されている。これらは汎用プロセッサまたは特定のアプリケーション集積回路であり得ることを理解されたい。また、ここで説明したプロセスは、フィールドプログラマブルゲートアレイで実装できることも理解されたい。これらのプロセスは、これらのさまざまなハードウェアソリューションでリアルタイムで実行または計算され、ビデオ処理または静止画像に使用できる。特定用途向け集積回路の場合、プロセスは、当業者に知られている様々なトポロジーに基づいて分割することができる。次に、これらのさまざまな特定用途向け集積回路が互いに通信して、ここで説明するプロセス全体を実行する。あるいは、２つ以上のフィールドプログラマブルゲートアレイをインターフェースして、本明細書で説明するプロセスを実行することができる。さらに代替として、汎用プロセッサ、フィールドプログラマブルゲートアレイ、および特定用途向け集積回路の組み合わせを利用して、本明細書で説明するプロセスのステップを実行することができる。

また、ｓＣＭＯＳをカメラプラットフォームとして説明したが、本明細書に記載の技術は、当業者に知られている様々な他のプラットフォームに適用できることも理解されたい。例えば、本明細書で説明される技術およびプロセスは、電荷結合素子プラットフォームに適用され得る。読み出しノイズは、ｓＣＭＯＳカメラと比較して、電荷結合素子プラットフォームでは相違しうる、同じ技術を適用して、電荷結合素子カメラのノイズを低減できる。同様に、他のカメラプラットフォームも本開示の範囲内にある。加えて、本開示全体にわたって顕微鏡法が議論されてきたが、本開示は、望遠カメラなどの他の領域にも適用されることを理解されたい。

当業者は、上記の特定の実施形態に対して多数の修正を行うことができることを認識するであろう。実施法は、説明されている特定の制限に限定されるべきではない。他の実装も可能である。
下記は、本願の出願当初に記載の発明である。
＜請求項１＞
カメラ画像のノイズを低減するシステムであって、
１つ以上のプロセッサと、
プロセッサに動作可能に結合された電子検出器を備えたカメラを有し、
プロセッサはカメラ画像のノイズを減らすように構成されており、
前記プロセッサは、
複数のピクセルからのピクセルデータを表すカメラからの入力画像データを受信し、
前記入力画像データを複数のセグメントにセグメント化し、複数のセグメントのそれぞれについて、
初期セグメント画像を確立し、
ゲインとオフセットの所定のマップに基づいて各ピクセルの電圧オフセットとゲインを修正するためにピクセルデータを変更することによりピクセルデータを事前補正し、
コスト関数を最小化することにより出力画像の推定を取得し、前記推定された画像を他の推定および出力された画像セグメントに出力およびステッチし、
ステッチされた推定された画像を含むノイズ低減画像を出力するよう構成された、
システム。
＜請求項２＞
出力画像を推定するステップが、
Ａ−前記セグメントに対してノイズマスクを取得し、
Ｂ−反復セグメント画像の離散フーリエ変換（ＤＦＴ）を取得し、
Ｃ−前記ノイズマスクを前記セグメントの前記ＤＦＴに適用することにより、前記セグメントのノイズの寄与を取得し、
Ｄ−ピクセル値に基づいて前記セグメントのために負の対数尤度関数を計算し（ただし、前記負の対数尤度関数は、前記反復セグメント画像と初期セグメント画像間の統計を用いた負の類似度（尤度）の尺度を表す）、
Ｅ−前記負の対数尤度関数に前記ノイズの寄与を加えることにより、コスト関数を計算し、
Ｆ−ピクセル値を調整し、それによって新しい反復セグメント画像を取得し、反復最小化プロセスでステップＢ〜Ｅを繰り返すことにより、コスト関数を最小化し、
Ｇ−前記コスト関数が最小化されたときにノイズが低減されたセグメント画像を出力することを含む、請求項１に記載のシステム。
＜請求項３＞
前記ノイズマスクは、前記カメラの光学伝達関数（ＯＴＦ）に基づく、請求項２に記載のシステム。
＜請求項４＞
前記ノイズマスクは、以下によって表されるハイパスレイズドコサインフィルタに基づく、請求項３に記載のシステム。
＜数２８＞

ただし、ｋｒ＝√（ｋ_ｘ ^２＋ｋ_ｙ ^２）であり、Ｍはノイズマスクであり、βおよびＴはＮＡおよびγに基づく調整可能なパラメータであり、ＮＡは開口数を表し、λは検出波長を表す。
＜請求項５＞
前記ハイパスレイズドコサインフィルタは、β＝１およびＴ＝λ／５．６ＮＡで表されるＯＴＦ加重マスクに基づいている、請求項４に記載のシステム。
＜請求項６＞
前記ハイパスレイズドコサインフィルタは、β＝０．２およびＴ＝（１−β）λ／４ΝΑで表されるＯＴＦノイズオンリーマスクに基づいている、請求項４に記載のシステム。
＜請求項７＞
前記ハイパスレイズドコサインフィルタは、以下によって表される調整可能なＯＴＦマスクに基づく、請求項４に記載のシステム。
＜数２９＞

ただし、幅ｗは１０^−６から２で調整でき、高さｈは０から１で調整可能である。
＜請求項８＞
前記ハイパスレイズドコサインフィルタは、幅および高さの少なくとも２つのパラメータに基づく調整可能なＯＴＦマスクに基づく、請求項４に記載のシステム。
＜請求項９＞
前記幅は１０^−６から２ＮＡ／λで変化することができ、前記高さは０から１で変化することができる、請求項７に記載のシステム。
＜請求項１０＞
前記ハイパスレイズドコサインフィルタは、ユーザ定義マスクに基づく、請求項４に記載のシステム。
＜請求項１１＞
前記ゲインおよびオフセットの所定のマップは、カメラ製造業者によって提供されるか、または前記複数のピクセルのそれぞれを特徴付けることによって取得される、請求項１に記載のシステム。
＜請求項１２＞
前記事前補正は、以下によって実行される請求項１に記載のシステム。
＜数３０＞

ただし、Ｄｉは、事前補正されたピクセルデータｉ、Ａｉは未補正のピクセル、Ｏｉはピクセルｉのオフセット、ｇｉはピクセルｉのゲインを表す。
＜請求項１３＞
ＬｘＬ画像の前記ＤＦＴが以下によって表される、請求項４に記載のシステム。
＜数３１＞

ただし、ｘ＝ｍΔｘ、ｙ＝ｎΔｙ、ｋｘ＝ｐ／ＬΔｘ、ｋｙ＝ｑ／ＬΔｙ、ｍ、ｎ、ｐ、ｑは１ずつ増加するインデックス、ｐ、ｑ∈［−Ｌ／２，Ｌ／２−１］であり、ΔχとΔｙは２次元での画像のピクセルサイズを表す。
＜請求項１４＞
Δχが実質的にΔｙと同じである、請求項１３記載のシステム。
＜請求項１５＞
前記ノイズの寄与は、以下によって表される、請求項１３に記載のシステム。
＜数３２＞

＜請求項１６＞
尤度関数が以下によって表される、請求項１５に記載のシステム。
＜数３３＞

ただし、ｉはピクセルインデックス、Ｎは画像のピクセル数、γｉはキャリブレーション量である。
＜請求項１７＞
γｉがσｉ^２／ｇｉ^２であり、σｉ^２及びｇｉは、それぞれピクセルｉの分散とゲインである、請求項１６に記載のシステム。
＜請求項１８＞
前記負の対数尤度関数は、以下によって表される、請求項１７に記載のシステム。
＜数３４＞

ただし、Ｄｉは、
＜数３５＞

で表される事前補正されたピクセルデータであり、Ａｉは未補正ピクセルを表し、Ｏｉはピクセルｉのオフセットを表し、ｇｉはピクセルｉのゲインを表す。
＜請求項１９＞
前記入力画像の前記セグメント化は、１ｘｌから前記カメラの検出器の最大サイズまでのサイズのセグメントに基づいている、請求項１８に記載のシステム。
＜請求項２０＞
カメラにより付加されたノイズが約８０％まで低減される、請求項１８に記載のシステム。
＜請求項２１＞
カメラ画像からノイズを減少させる方法であって、
複数のピクセルからのピクセルデータを表す電子検出器を有するカメラからの入力画像データを受信し、
入力画像データを複数のセグメントにセグメント化し、複数のセグメントのそれぞれについて、
初期セグメント画像を確立し、
ゲインとオフセットの所定のマップに基づいて各ピクセルの電圧オフセットとゲインを修正するためにピクセルデータを変更することによりピクセルデータを事前補正し、
コスト関数を最小化することにより出力画像の推定を取得し、前記推定された画像を他の推定及び出力された画像セグメントに出力およびステッチし、
前記ステッチされた推定された画像を含むノイズ低減画像を出力することを含む、方法。
＜請求項２２＞
出力画像を推定するステップが、
Ａ−前記セグメントに対してノイズマスクを取得し、
Ｂ−反復セグメント画像の離散フーリエ変換（ＤＦＴ）を取得し、
Ｃ−前記ノイズマスクを前記セグメントの前記ＤＦＴに適用することにより、前記セグメントのノイズの寄与を取得し、
Ｄ−ピクセル値に基づいて前記セグメントのために負の対数尤度関数を計算し（ただし、負の対数尤度関数は、前記反復セグメント画像と初期セグメント画像間の負の類似度（尤度）尺度を表す）、
Ｅ−前記負の対数尤度関数に前記ノイズの寄与を加えることにより、コスト関数を計算し、
Ｆ−ピクセル値を調整し、それによって新しい反復セグメント画像を取得し、反復最小化プロセスでステップＢ〜Ｅを繰り返すことにより、コスト関数を最小化し、
Ｇ−前記コスト関数が最小化されたときにノイズが低減されたセグメント画像を出力することを含む、請求項２１に記載の方法。
＜請求項２３＞
前記ノイズマスクは、前記カメラの光学伝達関数（ＯＴＦ）に基づく、請求項２２に記載の方法。
＜請求項２４＞
前記ノイズマスクは、以下によって表されるハイパスレイズドコサインフィルタに基づく、請求項２３に記載の方法。
＜数３６＞

ただし、ｋｒ＝√（ｋ_ｘ ^２＋ｋ_ｙ ^２）であり、Ｍはノイズマスクであり、βおよびＴはＮＡおよびγに基づく調整可能なパラメータであり、ＮＡは開口数を表し、λは検出波長を表す。
＜請求項２５＞
前記ハイパスレイズドコサインフィルタは、β＝１およびＴ＝λ／５．６ＮＡで表されるＯＴＦ加重マスクに基づいている、請求項２４に記載の方法。
＜請求項２６＞
前記ハイパスレイズドコサインフィルタは、β＝０．２およびＴ＝（１−β）λ／４ΝΑで表されるＯＴＦノイズオンリーマスクに基づいている、請求項２４に記載の方法。
＜請求項２７＞
前記ハイパスレイズドコサインフィルタは、以下によって表される調整可能なＯＴＦマスクに基づく、請求項４に記載のシステム。
＜数３７＞

ただし、幅ｗは１０^−６から２で調整でき、高さｈは０から１で調整可能である。
＜請求項２８＞
前記ハイパスレイズドコサインフィルタは、幅および高さの少なくとも２つのパラメータに基づく調整可能なＯＴＦマスクに基づく、請求項２４に記載の方法。
＜請求項２９＞
前記幅は１０^−６から２ＮＡ／λで変化することができ、前記高さは０から１で変化することができる、請求項２８に記載の方法。
＜請求項３０＞
前記ハイパスレイズドコサインフィルタは、ユーザ定義マスクに基づく、請求項２４に記載の方法。
＜請求項３１＞
前記ゲインおよびオフセットの所定のマップは、カメラ製造業者によって提供されるか、または前記複数のピクセルのそれぞれを特徴付けることによって取得される、請求項２１に記載の方法。
＜請求項３２＞
前記事前補正は、以下によって実行される請求項２１に記載のシステム。
＜数３８＞

ただし、Ｄｉは、事前補正されたピクセルデータｉ、Ａｉは未補正のピクセル、Ｏｉはピクセルｉのオフセット、ｇｉはピクセルｉのゲインを表す。
＜請求項３３＞
ＬｘＬ画像の前記ＤＦＴが以下によって表される、請求項４に記載のシステム。
＜数３９＞

ただし、ｘ＝ｍΔｘ、ｙ＝ｎΔｙ、ｋｘ＝ｐ／ＬΔｘ、ｋｙ＝ｑ／ＬΔｙ、ｍ、ｎ、ｐ、ｑは１ずつ増加するインデックス、ｐ、ｑ∈［−Ｌ／２，Ｌ／２−１］であり、ΔχとΔｙは２次元での画像のピクセルサイズを表す。
＜請求項３４＞
Δχが実質的にΔｙと同じである、請求項３３に記載の方法。
＜請求項３５＞
前記ノイズの寄与は、以下によって表される、請求項３３に記載のシステム。
＜数４０＞

＜請求項３６＞
尤度関数が以下によって表される、請求項３５に記載の方法。
＜数４１＞

ただし、ｉはピクセルインデックス、Ｎは画像のピクセル数、γｉはキャリブレーション量である。
＜請求項３７＞
γｉがσｉ^２／ｇｉ^２であり、σｉ^２及びｇｉは、それぞれピクセルｉの分散とゲインである、請求項３６に記載の方法。
＜請求項３８＞
前記負の対数尤度関数は、以下によって表される、請求項３７に記載の方法。
＜数４２＞

ただし、Ｄｉは、
＜数４３＞

で表される事前補正されたピクセルデータであり、Ａｉは未補正ピクセルを表し、Ｏｉはピクセルｉのオフセットを表し、ｇｉはピクセルｉのゲインを表す。
＜請求項３９＞
前記入力画像の前記セグメント化は、１ｘｌから前記カメラの検出器の最大サイズまでのサイズのセグメントに基づいている、請求項３８に記載の方法。
＜請求項４０＞
カメラにより付加されたノイズが約８０％まで低減される、請求項３８に記載の方法。

Claims (41)

1. カメラ画像のノイズを低減するシステムであって、
   １つ以上のプロセッサと、
   プロセッサに動作可能に結合された電子検出器を備えたカメラを含む撮像システムを有し、
   プロセッサはカメラ画像のノイズを減らすように構成されており、
   前記プロセッサは、
   複数のピクセルからのピクセルデータを表すカメラからの光の量子性に起因するポアソンノイズを有する入力画像データを受信するステップであって、各ピクセルは関連するピクセルで生じたガウスノイズと関連付けられており、前記カメラは周波数ドメインにおいて境界を規定する光学伝達関数（ＯＴＦ）を規定し、前記境界の内側にはノイズ及び信号の両方が存在し、前記境界の外側にはノイズのみが存在し、前記ノイズはポアソンノイズ及びガウスノイズである、該ステップと、
   前記入力画像データを複数のセグメントにセグメント化し、複数のセグメントのそれぞれについて、
   初期セグメント画像を確立し、
   ゲインとオフセットの所定のマップに基づいて各ピクセルの電圧オフセットとゲインを修正するためにピクセルデータを変更することによりピクセルデータを事前補正し、
   前記境界の外側のノイズを減少させることでコスト関数を最小化することにより出力画像の推定を取得し、前記推定された画像を他の推定および出力された画像セグメントに出力およびステッチし、
   ステッチされた推定された画像を含むノイズ低減画像を出力するステップを実行するよう構成された、
   システム。
2. 出力画像を推定するステップが、
   Ａ−前記セグメントに対してノイズマスクを取得し、
   Ｂ−反復セグメント画像の離散フーリエ変換（ＤＦＴ）を取得し、
   Ｃ−前記ノイズマスクを前記セグメントの前記ＤＦＴに適用することにより、前記セグメントのノイズの寄与を取得し、
   Ｄ−ピクセル値に基づいて前記セグメントのために負の対数尤度関数を計算し（ただし、前記負の対数尤度関数は、前記反復セグメント画像と初期セグメント画像間の統計を用いた負の類似度（尤度）の尺度を表す）、
   Ｅ−前記負の対数尤度関数に前記ノイズの寄与を加えることにより、コスト関数を計算し、
   Ｆ−ピクセル値を調整し、それによって新しい反復セグメント画像を取得し、反復最小化プロセスでステップＢ〜Ｅを繰り返すことにより、コスト関数を最小化し、
   Ｇ−前記コスト関数が最小化されたときにノイズが低減されたセグメント画像を出力することを含む、請求項１に記載のシステム。
3. 前記ノイズマスクは、前記カメラの前記光学伝達関数（ＯＴＦ）に基づく、請求項２に記載のシステム。
4. 前記ノイズマスクは、以下によって表されるハイパスレイズドコサインフィルタに基づく、請求項３に記載のシステム。
   

   

   ただし、ｋｒ＝√（ｋ_ｘ ^２＋ｋ_ｙ ^２）であり、Ｍはノイズマスクであり、βおよびＴはＮＡおよびγに基づく調整可能なパラメータであり、ＮＡは開口数を表し、λは検出波長を表す。
5. 前記ハイパスレイズドコサインフィルタは、β＝１およびＴ＝λ／５．６ＮＡで表されるＯＴＦ加重マスクに基づいている、請求項４に記載のシステム。
6. 前記ハイパスレイズドコサインフィルタは、β＝０．２およびＴ＝（１−β）λ／４ΝΑで表されるＯＴＦノイズオンリーマスクに基づいている、請求項４に記載のシステム。
7. 前記ハイパスレイズドコサインフィルタは、以下によって表される調整可能なＯＴＦマスクに基づく、請求項４に記載のシステム。
   

   

   ただし、幅ｗは１０^−６から２で調整でき、高さｈは０から１で調整可能である。
8. 前記ハイパスレイズドコサインフィルタは、幅および高さの少なくとも２つのパラメータに基づく調整可能なＯＴＦマスクに基づく、請求項４に記載のシステム。
9. 前記幅は１０^−６から２ＮＡ／λで変化することができ、前記高さは０から１で変化することができる、請求項７に記載のシステム。
10. 前記ハイパスレイズドコサインフィルタは、ユーザ定義マスクに基づく、請求項４に記載のシステム。
11. 前記ゲインおよびオフセットの所定のマップは、カメラ製造業者によって提供されるか、または前記複数のピクセルのそれぞれを特徴付けることによって取得される、請求項１に記載のシステム。
12. 前記事前補正は、以下によって実行される請求項１に記載のシステム。
    

    

    ただし、Ｄｉは、事前補正されたピクセルデータｉ、Ａｉは未補正のピクセル、Ｏｉはピクセルｉのオフセット、ｇｉはピクセルｉのゲインを表す。
13. ＬｘＬ画像の前記ＤＦＴが以下によって表される、請求項４に記載のシステム。
    

    

    ただし、ｘ＝ｍΔｘ、ｙ＝ｎΔｙ、ｋｘ＝ｐ／ＬΔｘ、ｋｙ＝ｑ／ＬΔｙ、ｍ、ｎ、ｐ、ｑは１ずつ増加するインデックス、ｐ、ｑ∈［−Ｌ／２，Ｌ／２−１］であり、ΔχとΔｙは２次元での画像のピクセルサイズを表す。
14. Δχが実質的にΔｙと同じである、請求項１３記載のシステム。
15. 前記ノイズの寄与は、以下によって表される、請求項１３に記載のシステム。
    

    
16. 尤度関数が以下によって表される、請求項１５に記載のシステム。
    

    

    ただし、ｉはピクセルインデックス、Ｎは画像のピクセル数、γｉはキャリブレーション量である。
17. γｉがσｉ^２／ｇｉ^２であり、σｉ^２及びｇｉは、それぞれピクセルｉの分散とゲインである、請求項１６に記載のシステム。
18. 前記負の対数尤度関数は、以下によって表される、請求項１７に記載のシステム。
    

    

    ただし、Ｄｉは、
    

    

    で表される事前補正されたピクセルデータであり、Ａｉは未補正ピクセルを表し、Ｏｉはピクセルｉのオフセットを表し、ｇｉはピクセルｉのゲインを表す。
19. 前記入力画像の前記セグメント化は、１ｘｌから前記カメラの検出器の最大サイズまでのサイズのセグメントに基づいている、請求項１８に記載のシステム。
20. カメラにより付加されたノイズが約８０％まで低減される、請求項１８に記載のシステム。
21. カメラ画像からノイズを減少させる方法であって、
    複数のピクセルからのピクセルデータを表すカメラからの光の量子性に起因するポアソンノイズを有する入力画像データを受信するステップであって、各ピクセルは関連するピクセルで生じたガウスノイズと関連付けられており、前記カメラは周波数ドメインにおいて境界を規定する光学伝達関数（ＯＴＦ）を規定し、前記境界の内側にはノイズ及び信号の両方が存在し、前記境界の外側にはノイズのみが存在し、前記ノイズはポアソンノイズ及びガウスノイズである、該ステップと、
    入力画像データを複数のセグメントにセグメント化し、複数のセグメントのそれぞれについて、
    初期セグメント画像を確立し、
    ゲインとオフセットの所定のマップに基づいて各ピクセルの電圧オフセットとゲインを修正するためにピクセルデータを変更することによりピクセルデータを事前補正し、
    前記境界の外側のノイズを減少させることでコスト関数を最小化することにより出力画像の推定を取得し、前記推定された画像を他の推定及び出力された画像セグメントに出力およびステッチし、
    前記ステッチされた推定された画像を含むノイズ低減画像を出力するステップを含む、方法。
22. 出力画像を推定するステップが、
    Ａ−前記セグメントに対してノイズマスクを取得し、
    Ｂ−反復セグメント画像の離散フーリエ変換（ＤＦＴ）を取得し、
    Ｃ−前記ノイズマスクを前記セグメントの前記ＤＦＴに適用することにより、前記セグメントのノイズの寄与を取得し、
    Ｄ−ピクセル値に基づいて前記セグメントのために負の対数尤度関数を計算し（ただし、負の対数尤度関数は、前記反復セグメント画像と初期セグメント画像間の負の類似度（尤度）尺度を表す）、
    Ｅ−前記負の対数尤度関数に前記ノイズの寄与を加えることにより、コスト関数を計算し、
    Ｆ−ピクセル値を調整し、それによって新しい反復セグメント画像を取得し、反復最小化プロセスでステップＢ〜Ｅを繰り返すことにより、コスト関数を最小化し、
    Ｇ−前記コスト関数が最小化されたときにノイズが低減されたセグメント画像を出力することを含む、請求項２１に記載の方法。
23. 前記ノイズマスクは、前記カメラの前記光学伝達関数（ＯＴＦ）に基づく、請求項２２に記載の方法。
24. 前記ノイズマスクは、以下によって表されるハイパスレイズドコサインフィルタに基づく、請求項２３に記載の方法。
    

    

    ただし、ｋｒ＝√（ｋ_ｘ ^２＋ｋ_ｙ ^２）であり、Ｍはノイズマスクであり、βおよびＴはＮＡおよびγに基づく調整可能なパラメータであり、ＮＡは開口数を表し、λは検出波長を表す。
25. 前記ハイパスレイズドコサインフィルタは、β＝１およびＴ＝λ／５．６ＮＡで表されるＯＴＦ加重マスクに基づいている、請求項２４に記載の方法。
26. 前記ハイパスレイズドコサインフィルタは、β＝０．２およびＴ＝（１−β）λ／４ΝΑで表されるＯＴＦノイズオンリーマスクに基づいている、請求項２４に記載の方法。
27. 前記ハイパスレイズドコサインフィルタは、以下によって表される調整可能なＯＴＦマスクに基づく、請求項４に記載のシステム。
    

    

    ただし、幅ｗは１０^−６から２で調整でき、高さｈは０から１で調整可能である。
28. 前記ハイパスレイズドコサインフィルタは、幅および高さの少なくとも２つのパラメータに基づく調整可能なＯＴＦマスクに基づく、請求項２４に記載の方法。
29. 前記幅は１０^−６から２ＮＡ／λで変化することができ、前記高さは０から１で変化することができる、請求項２８に記載の方法。
30. 前記ハイパスレイズドコサインフィルタは、ユーザ定義マスクに基づく、請求項２４に記載の方法。
31. 前記ゲインおよびオフセットの所定のマップは、カメラ製造業者によって提供されるか、または前記複数のピクセルのそれぞれを特徴付けることによって取得される、請求項２１に記載の方法。
32. 前記事前補正は、以下によって実行される請求項２１に記載のシステム。
    

    

    ただし、Ｄｉは、事前補正されたピクセルデータｉ、Ａｉは未補正のピクセル、Ｏｉはピクセルｉのオフセット、ｇｉはピクセルｉのゲインを表す。
33. ＬｘＬ画像の前記ＤＦＴが以下によって表される、請求項４に記載のシステム。
    

    

    ただし、ｘ＝ｍΔｘ、ｙ＝ｎΔｙ、ｋｘ＝ｐ／ＬΔｘ、ｋｙ＝ｑ／ＬΔｙ、ｍ、ｎ、ｐ、ｑは１ずつ増加するインデックス、ｐ、ｑ∈［−Ｌ／２，Ｌ／２−１］であり、ΔχとΔｙは２次元での画像のピクセルサイズを表す。
34. Δχが実質的にΔｙと同じである、請求項３３に記載の方法。
35. 前記ノイズの寄与は、以下によって表される、請求項３３に記載のシステム。
    

    
36. 尤度関数が以下によって表される、請求項３５に記載の方法。
    

    

    ただし、ｉはピクセルインデックス、Ｎは画像のピクセル数、γｉはキャリブレーション量である。
37. γｉがσｉ^２／ｇｉ^２であり、σｉ^２及びｇｉは、それぞれピクセルｉの分散とゲインである、請求項３６に記載の方法。
38. 前記負の対数尤度関数は、以下によって表される、請求項３７に記載の方法。
    

    

    ただし、Ｄｉは、
    

    

    で表される事前補正されたピクセルデータであり、Ａｉは未補正ピクセルを表し、Ｏｉはピクセルｉのオフセットを表し、ｇｉはピクセルｉのゲインを表す。
39. 前記入力画像の前記セグメント化は、１ｘｌから前記カメラの検出器の最大サイズまでのサイズのセグメントに基づいている、請求項３８に記載の方法。
40. カメラにより付加されたノイズが約８０％まで低減される、請求項３８に記載の方法。
41. カメラ画像のノイズを低減するシステムであって、
    １つ以上のプロセッサと、
    プロセッサに動作可能に結合された電子検出器を備えたカメラを有し、
    プロセッサはカメラ画像のノイズを減らすように構成されており、
    前記プロセッサは、
    複数のピクセルからのピクセルデータを表すカメラからの入力画像データを受信し、
    前記入力画像データを複数のセグメントにセグメント化し、複数のセグメントのそれぞれについて、
    初期セグメント画像を確立し、
    ゲインとオフセットの所定のマップに基づいて各ピクセルの電圧オフセットとゲインを修正するためにピクセルデータを変更することによりピクセルデータを事前補正し、
    コスト関数を最小化することにより出力画像の推定を取得し、前記推定された画像を他の推定および出力された画像セグメントに出力およびステッチし、
    ステッチされた推定された画像を含むノイズ低減画像を出力するよう構成され、
    出力画像を推定するステップが、
    Ａ−前記セグメントに対してノイズマスクを取得し、
    Ｂ−反復セグメント画像の離散フーリエ変換（ＤＦＴ）を取得し、
    Ｃ−前記ノイズマスクを前記セグメントの前記ＤＦＴに適用することにより、前記セグメントのノイズの寄与を取得し、
    Ｄ−ピクセル値に基づいて前記セグメントのために負の対数尤度関数を計算し（ただし、前記負の対数尤度関数は、前記反復セグメント画像と初期セグメント画像間の統計を用いた負の類似度（尤度）の尺度を表す）、
    Ｅ−前記負の対数尤度関数に前記ノイズの寄与を加えることにより、コスト関数を計算し、
    Ｆ−ピクセル値を調整し、それによって新しい反復セグメント画像を取得し、反復最小化プロセスでステップＢ〜Ｅを繰り返すことにより、コスト関数を最小化し、
    Ｇ−前記コスト関数が最小化されたときにノイズが低減されたセグメント画像を出力することを含む、システム。

Images