JP5420730B2 - 画像の平均信号対雑音比値を推定するための方法およびカメラ - Google Patents

Description

本発明は、出力画像の平均信号対雑音比値を推定するための方法に関する。本発明は、出力画像の平均信号対雑音比値を推定するために構成されたカメラにも関する。

画像センサを使用してデジタルカメラで取り込まれた画像は、読み出し雑音σ_ｒおよび／または光子ショット雑音σ_ｐｈなど、様々なソースからの雑音を拾い上げる。これらの画像の多くのさらなる用途では、画像内の雑音を低減させる必要がある。画像内の雑音を低減させるためには雑音フィルタリングが使用される。雑音フィルタリングを画像に適用する場合、雑音フィルタリング方法および雑音フィルタリングの強さを画像内に存在するどのくらいの雑音に適合させるかが重要である。信号対雑音比値（ＳＮＲ値）は、画像内の雑音に対する画像信号の強さを定量化することができ、したがって雑音フィルタリングを画像に適用する場合に重要なパラメータである。特に、雑音フィルタリングを画像に適用するときに画像全体の平均ＳＮＲ値を推定することが非常に有用となりうる。平均ＳＮＲ値の別の使用分野では、平均ＳＮＲ値を、カメラ内のデイ／ナイト機能を作動させるべきときの示度として使用する。平均ＳＮＲ値が小さい、すなわち減少することは、画像雑音が大きい、すなわち画像信号に対して増大することを示しており、例えば、カメラのナイト機能を作動させる必要があることを示すことができる。平均ＳＮＲ値の別の使用分野では、許容雑音レベルを発生させる露光時間を見出すための自動露光アルゴリズムで平均ＳＮＲ値を使用する。

確率変数Ｓに対するＳＮＲ値は、

と定義される（画像化に使用される定義）。上式で、Ｅ［Ｓ］は信号Ｓの期待値であり、σは信号Ｓの標準偏差である。画像処理パイプラインにおいては、処理能力の点で、式（Ａ）を使用して画像データからＳＮＲ値を計算するのに非常に費用がかかり、しがたって推定ＳＮＲ値が必要とされる。カメラが１回露光を使用して出力画像を生成する場合、これは、その場面における平均輝度値を信号の期待値として使用し、かつ事前に計算した読み取り雑音値を信号の標準偏差として使用することによって行われることが多い。しかし、こうした手法は、多重露光ＨＤＲ画像などの多重露光画像には役に立たない。これは、多重露光画像が異なる露光から異なる露光時間でスティッチされた画像で構成されるからであり、このことは、例えば、雑音レベルおよび／または雑音源がスティッチ画像の異なる露光領域の間で異なる可能性があることを含意し、ＳＮＲ値がスティッチ画像の異なる露光領域の間で異なることも含意する。

したがって、画像の平均ＳＮＲ値を推定するための代替方法が必要である。

上記に鑑みて、本発明の一目的は、画像の平均ＳＮＲ値を推定するための方法およびカメラを提供することである。

本発明の別の目的は、複数の画像からスティッチされている出力画像の平均ＳＮＲ値を推定するのに適している方法およびカメラを提供することである。

特に、本発明の第１の態様によれば、複数の画像画素を含む出力画像の平均信号対雑音比値を推定するための方法であって、画像の各画像画素が画素値を有する、方法が提供される。この方法は、ビンに分けられた画像ヒストグラムを提供するステップであって、画像ヒストグラムが出力画像の画像画素間の画素値の分布に関する情報を含み、各ビンが所定の範囲内の画素値を有する画像画素の組を含む、ステップと、信号対雑音比値を画像ヒストグラムの各ビンに帰属させるステップと、画像ヒストグラムのビンごとに、そのビンの信号対雑音比値にそのビンの画像画素の組内の複数の画像画素で重みづけするステップと、ビンの重みづけされた信号対雑音比値を合計するステップと、ビンの重みづけされた信号対雑音比値の合計を出力画像の画像画素の総数または画像ヒストグラムのビン内の画像画素の総数で割るステップと、を含む。

これによれば、画像の推定平均ＳＮＲ値を与える方法が実現される。出力画像の推定平均ＳＮＲ値を与えることにより、出力画像に対して雑音フィルタリングを行うために、この平均信号対雑音比値を使用することが可能になる。さらに、推定平均ＳＮＲ値は、カメラ内のデイ／ナイト機能を作動させるために使用することもできる。別の使用分野では、平均ＳＮＲ値を自動露光アルゴリズムで使用する。上述の方法での重要な利点は、上述の方法が画像の推定平均ＳＮＲ値を低い計算費用で与えることである。

出力画像は複数の画像画素を含むどんな種類の画像でもよく、出力画像の各画像画素は画素値を有する。出力画像は、複数の他の画像をスティッチすることによって得られた画像とすることができる。この種のスティッチ出力画像は、２つ以上の画像をスティッチすることによって得られた多重露光ＨＤＲ画像、パノラマ画像、あるいは他の種類の画像などの多重露光画像とすることができる。出力画像は画像の一部とすることもできる。すなわち、出力画像は別の画像からの切り抜きとすることができる。

出力画像の画像画素の画素値は通常、画像センサからの出力信号または出力信号を組み合わせたものである。画像センサは通常、センサ画素に分割される。画像センサのセンサ画素はそれぞれ、画素値を出力するように構成される。画素値は、画像センサの対応するセンサ画素内の受け取られた光子の数の関数である。画素値は例えば、画像センサユニットからのアナログ‐デジタルユニットまたは画像センサからの出力を表す他の量によって具現化することができる。センサ画素のうちの少なくともいくつかの画素値は、画像センサによって取り込まれた画像の対応する画像画素の画素値を構成する。すなわち、いくつかのセンサ画素からの画素値は、例えば、画像センサの暗電流および／または他の特性を計算するために使用することができ、いくつかのセンサ画素からの他の画素値は、例えば、画像に無関係と見なすことができ、他のいくつかのセンサ画素の画素値は、画像センサによって取り込まれた画像の画素値を導き出すために使用することができる。

出力画像の画像画素間の画素値の分布に関する情報を含む画像ヒストグラムは、出力画像を取り込むために使用される画像センサによって与えることができる。多重露光画像の場合、画像ヒストグラムは複数回の露光を混合した後の画素値の分布を表す。画像ヒストグラム内の各ビンは画素値範囲を表す。したがって、画像ヒストグラムは、各ビン内に画素値を有する画像画素数に関する情報を含む。

本発明の一実施形態によれば、前記出力画像は、複数の画像の画像画素に由来する画素値を有する画像画素を含むことができる。したがって、出力画像は、複数の画像をスティッチすることによって形成された画像とすることができる。したがって、出力画像は、２つ以上の画像を混合することによって形成された多重露光ＨＤＲ画像やパノラマ画像などの多重露光画像とすることができる。

本発明の別の実施形態によれば、前記複数の画像は異なる露光時間を有することができる。これは、多重露光ＨＤＲ画像などの多重露光画像の場合である。

本発明の別の実施形態によれば、前記出力画像内の第１の画素の画素値は前記複数の画像のうちの第１の画像の画素からの画素値とすることができ、前記出力画像内の第２の画素の画素値は前記複数の画像のうちの第２の画像の画素からの画素値とすることができる。すなわち、出力画像は、出力画像を形成するために使用される前記複数の画像のうちのただ１つの画像からの画像データを含む画素を含む。これは、どんな種類の多重露光出力画像にも当てはまる。

本発明の別の実施形態によれば、前記出力画像の画素のうちの少なくとも１つの画素の画素値は、前記複数の画像のうちの少なくとも２つの画像からの画素の画素値を混合することによって得られた画素値とすることができる。すなわち、出力画像は、出力画像を形成するために使用される前記複数の画像のうちの少なくとも２つの画像からの画像データを含む画素を含む。前記複数の画像のうちの少なくとも２つの画像からの画素の画素値は、当業者によって知られている様々な方法で混合することができる。前記複数の画像のうちの少なくとも２つの画像からの画素の画素値を混合するこの種の一方法について、以下で諸実施形態の記述において説明する。前記複数の画像のうちの少なくとも２つの画像からの画素の画素値を混合する他の方法が、米国特許出願公開第２００９／００５９０３９号明細書および米国特許出願公開第２０１０／０３１０１９０号明細書に記述されている。２つ以上の画素からの画素値を混合するのは、どんな種類の多重露光画像に対しても行うことができる。多重露光ＨＤＲ画像の場合、これは、複数の画像のうちの少なくとも２つの画像からの画素データが出力画像のより高いダイナミックレンジを達成するために使用される遷移領域に対応する。パノラマ画像の場合、これは、パノラマ画像を構成する画像のうちの少なくとも２つの画像からの寄与を有する画像の領域、すなわちパノラマ画像を構成する少なくとも２つの画像の重複する領域に対応する。

本発明の別の実施形態によれば、信号対雑音比値を、前記複数の画像のうちの少なくとも２つ画像からの画素の値を混合することによって得られた画素値を有する前記画素を含む前記画像ヒストグラムの前記ビンのうちのビンに帰属させるという行為は、前記複数の画像のうちの前記少なくとも２つの画像からの前記画素の前記画素値の信号対雑音比値を混合するステップを含むことができる。

本発明の別の態様によれば、コンピュータ可読記録媒体が提供される。コンピュータ可読記録媒体には、処理能力を有する装置で実行されると、上述した諸実施形態のうちのいずれか１つによる方法を実施するためのプログラムが記録されている。

本発明の別の態様によれば、複数の画素を含む出力画像の平均信号対雑音比値を推定するために構成されたカメラであって、画像の各画素が画素値を有する、カメラが提供される。このカメラは、前記出力画像の画素の画素値を導き出すために使用される画素値を取り込むように構成された画像センサと、出力画像の画素間の画素値の分布に関する情報を含む画像ヒストグラムを提供するように構成された画像ヒストグラムプロバイダであって、画像ヒストグラムの各ビンが所定の範囲内の画素値を有する画素の組を含む、画像ヒストグラムプロバイダと、信号対雑音比値を画像ヒストグラムの各ビンに帰属させるように構成された信号対雑音比値アトリビュータと、画像ヒストグラムのビンごとに、そのビンの信号対雑音比値にそのビンの画素の組内の画素数で重みづけし、ビンの重みづけされた信号対雑音比値を合計し、ビンの重みづけされた信号対雑音比値の合計を出力画像の画素の総数または画像ヒストグラムのビン内の画素の総数で割ることにより、前記平均信号対雑音比値を計算するように構成された計算機と、を備える。

本発明の一実施形態によれば、カメラは、前記出力画像を形成するために前記画像センサによって取り込まれた複数の画像に由来する画素の画素値を混合するように構成された画像コンバイナをさらに備えることができる。

本発明の別の実施形態によれば、前記複数の画像は異なる露光時間を使用して取り込むことができる。

本発明の別の実施形態によれば、画像コンバイナは、前記複数の画像のうちの第１の画像の画素からの画素値を使用して前記出力画像の第１の画素の画素値を形成しかつ前記複数の画像のうちの第２の画像の画素からの画素値を使用して前記出力画像の第２の画素の画素値を形成するように構成されることができる。

本発明の別の実施形態によれば、画像コンバイナは、前記出力画像の画素のうちの少なくとも１つの画素の画素値を形成するために、画像センサによって取り込まれた前記複数の画像のうちの少なくとも２つの画像の画素からの画素値を混合するように構成することができる。

本発明の別の実施形態によれば、信号対雑音比値アトリビュータは、信号対雑音比を、前記出力画像の画素のうちの前記少なくとも１つの画素を含む画像ヒストグラムのビンのうちのビンに帰属させるために、前記出力画像の画素のうちの前記少なくとも１つの画素の前記画素値を得るために使用される前記複数の画像のうちの前記少なくとも２つの画像の画素の画素値の信号対雑音比値を混合するように構成される。

本発明の別の実施形態によれば、カメラは、画素値の関数である信号対雑音比値の表あるいは信号対雑音比値を画素値の関数として計算するための定義済み関数およびパラメータ値を含むメモリをさらに備える。

本発明の別の実施形態によれば、画像ヒストグラムの各ビンの信号対雑音比値が画像センサの温度に依存する。

次に、本発明のこれらおよびその他の態様について、本発明の諸実施形態を示す添付図面を参照しながらより詳細に説明する。これらの図は、本発明を特定の実施形態に限定すると見なされるべきでなく、代わりに本発明を説明しかつ理解するために使用される。図全体を通して同じ番号は同じ要素を意味する。

本発明の一実施形態によるカメラの概略図である。 本発明の一実施形態による方法を示す概略流れ図である。

式（Ａ）を使用して平均ＳＮＲ値を計算するのはプロセッサ容量の点で費用がかかり、多重露光画像のようなスティッチ出力画像に正確な結果を与えることはない。

本発明は、出力画像の平均ＳＮＲ値の推定を低い処理費用で行うという問題を解決する。特に、本発明は、スティッチ出力画像、特に、異なる露光時間で記録された複数の画像からの画像データを含むスティッチ出力画像の推定平均ＳＮＲ値を与えるために使用することができる。

スティッチ出力画像は、画像のダイナミックレンジを向上させる多重露光技術、高ダイナミックレンジ（ＨＤＲ）、広ダイナミックレンジ（ＷＤＲ）または拡張ダイナミックレンジ技術と呼ばれることもある技術領域を使用して生成することができる。別法として、スティッチ出力画像は、全景を実現するために、パノラマ技術を使用して、すなわち複数の画像をスティッチして生成することもできる。例えば、雑音レベルおよび／または雑音源がスティッチ画像の異なる露光領域間で異なる可能性があることを含意する、例えば異なる露光時間を使用して取り込まれた画像データを含むスティッチ出力画像の性質により、ＳＮＲ値はスティッチ出力画像の異なる画像画素の間で異なる。多重露光画像などのスティッチ出力画像の画像画素の画素値のＳＮＲ値に関するより詳細な議論については下記を参照されたい。したがって、推定平均ＳＮＲ値は出力画像のＳＮＲを平均して表すのに役立つ。推定平均ＳＮＲ値は、例えば、出力画像の雑音フィルタリングのための入力および／またはカメラ内のデイ／ナイト機能を作動させ、および／または自動露光アルゴリズムで適切な露光時間を見出すための入力として使用することができる。

本発明での重要な利点は、本発明が出力画像の推定平均ＳＮＲ値を低い計算費用で与えることである。

要約すると、推定平均ＳＮＲ値を計算するための本発明の方法は、出力画像内の画像画素の画素値の分布を表す画像ヒストグラムと、画像ヒストグラムの各画素値範囲の期待ＳＮＲ値、すなわち画像ヒストグラムの各ビンの期待ＳＮＲ値を計算するための事前に計算した表または１つ以上の定義済み関数およびパラメータと、を使用することを含む。次いで、推定平均ＳＮＲ値は、画像ヒストグラムのビンごとに、そのビンの信号対雑音比値にそのビンの画像画素の組内の画像画素数で重みづけし、ビンの重みづけされた信号対雑音比値を合計し、ビンの重みづけされた信号対雑音比値の合計を出力画像の画像画素の総数または画像ヒストグラムのビン内の画像画素の総数で割ることによって計算される。

出力画像内の画素値の分布を表す画像ヒストグラムは、画像センサまたは画像処理パイプラインによって与えることができる。出力画像が多重露光画像などのスティッチ出力画像である場合、画像ヒストグラムは、複数回の露光を混合した後の画素値の分布を表す。画像ヒストグラム内の各ビンは画素値範囲を表す。画素値は、画像センサの対応するセンサ画素内の受け取られた光子の数の関数である。画素値は例えば、画像センサからのアナログ‐デジタルユニットまたは画像センサの出力を表す他の量によって具現化することができる。

画像ヒストグラム内の各ビンのＳＮＲ値のための事前に計算した表または定義済み関数およびパラメータは、画像センサの較正データ、画像センサの特性および／または画像センサの温度を使用して計算または事前定義することができる。スティッチ出力画像が、例えば異なる露光時間を有する画像のように、異なる画像からの画像データを含む場合、異なる画像のうちの少なくとも２つの画像画素の画素値を混合することによって形成された画像画素を含む１つまたは複数のビンのＳＮＲ値は、例えばスケーリングおよび／または補間により、ビンの画像画素を形成するために使用される異なる画像のうちの少なくとも２つの画像画素の画素値のＳＮＲ値を混合することによって計算される。例えば、異なる露光時間を使用して取り入れられた画像のように、異なる画像からの画素の画素値を混合する方法について以下で論じる。さらに、異なる画像、特に異なる露光時間を有する画像からの画像画素の画素値の信号対雑音比値を混合する方法についても以下で論じる。

異なる画素値の関数であるＳＮＲ値の事前に計算した表および／または所定の関数およびパラメータは、カメラの実行時間中に計算し、および／または製作中に決定しカメラに保存することができる。

図１には、画像の各画像画素が画素値を有している、複数の画像画素を含む出力画像の平均ＳＮＲ値を推定するためのカメラ１の一実施形態が示されている。

カメラ１は、一般に任意の種類のデジタルカメラである。カメラ１は、１回露光技法または多重露光技法を使用して、静止画像および／またはビデオ画像を取り込むことができるかもしれない。さらに、カメラ１は、デジタルネットワークに接続可能とすることができる。さらに、カメラ１は、携帯用カメラ、固定カメラ、またはパン／チルト機能を有するカメラとすることができる。カメラ１は、監視目的、マシンビジョン、ストアコンプライアンス、ビジネス情報などの用途を監視するためのカメラとすることができる。本発明の理解を容易にするために、本発明に関連していないカメラの標準機能については記述しない。カメラ１は、ハウジング２、レンズ３、画像センサ４、画像コンバイナ６、画像ヒストグラムプロバイダ８、信号対雑音比値アトリビュータ１０、計算機１２、プロセッサ１４、およびメモリ１６を備える。

プロセッサ１４は、カメラ１の他の構成要素のいずれかによって生成されているデータを処理し、および／または伝えるように構成される。

画像センサ４は、画像を取り込むように構成される。画像センサ４は、例えば、入射光を記録するための電荷結合素子（ＣＣＤ）センサ、相補型金属酸化膜半導体（ＣＭＯＳ）センサ、または類似のものとすることができる。画像センサ４は複数のセンサ画素を含む。画像センサ４は、各センサ画素の画素値を出力するように構成される。各センサ画素の画素値は、前記センサ画素によって受け取られた光子の数の関数である。センサ画素のうちの少なくともいくつかの画素値は、画像センサによって取り込まれた画像の対応する画像画素の画素値を構成する。すなわち、センサ画素のうちのいくつかからの画素値は、例えば、画像センサの暗電流および／または他の特性を計算するために使用することができ、センサ画素のうちのいくつかからの他の画素値は、例えば、画像と画像センサによって取り込まれた画像の画素値とに無関係と見なすことができる。

本発明のいくつかの応用例では、画像センサ４によって取り込まれた単一画像が出力画像と見なされ、これは、本発明が画像センサによって取り込まれた単一画像からの画像データを含む出力画像の平均ＳＮＲ値を推定するために使用される場合に当てはまる。

画像センサ４によって取り込まれた複数の画像からスティッチ出力画像を形成するために、カメラは画像コンバイナ６を備える。画像コンバイナ６は、出力画像の画像画素を形成するために、前記画像センサ４によって取り込まれた複数の画像に由来する画像画素の画素値を混合するように構成され、出力画像はこのときスティッチ出力画像である。スティッチ出力画像は通常、複数の画像から推定された画素値を有する画像画素を含む。スティッチ出力画像は、例えば、前記複数の画像のうちの第１の画像だけに由来する画素値を有する画像画素、前記複数の画像のうちの第２の画像だけに由来する画素値を有する画像画素、および／または前記複数の画像のうちの少なくとも２つの画像からの画素値の組合せに由来する画素値を有する画像画素を含むことができる。これは通常、多重露光ＨＤＲ画像または多重露光パノラマ画像を形成する場合に当てはまる。したがって、画像コンバイナ６は、前記複数の画像のうちの第１の画像の画像画素に基づく画素値を使用して前記出力画像の第１の画像画素の画素値を形成し、かつ前記複数の画像のうちの第２の画像の画像画素に基づく画素値を使用して前記出力画像の第２の画像画素の画素値を形成するように構成される。さらに、画像コンバイナ６は、前記出力画像の画像画素のうちの少なくとも１つの画像画素の画素値を形成するために、画像センサによって取り込まれた前記複数の画像のうちの少なくとも２つの画像の画像画素に基づく画素値を混合するように構成される。

画像ヒストグラムプロバイダ８は、出力画像の画像画素間の画素値の分布に関する情報を含む画像ヒストグラムを提供するように構成される。多重露光画像の場合、画像ヒストグラムは複数回の露光を混合した後の画素値の分布を表す。画像ヒストグラムの各ビンは、所定の範囲内の画素値を有する画像画素の組を含む。したがって、画像ヒストグラム内の各ビンは画素値範囲を表す。したがって、画像ヒストグラムは、各ビン内に画素値を有する画像画素数に関する情報を含む。

信号対雑音比値アトリビュータ１０は、信号対雑音比値を画像ヒストグラムの各ビンに帰属させるように構成される。一般に、ビンの範囲内の画素値が選択され、対応するＳＮＲ値がその画素値に対して計算される。ビンの範囲内のどの画素値を使用すべきであるかは、本発明の様々な実施によって異なることがある。例えば、ビンの範囲内の最大値または最小値を使用することができる。別の実施例ではビンの範囲の中央の画素値を使用する。

計算機１２は、出力画像の前記平均信号対雑音比値を計算するように構成される。この計算は、画像ヒストグラムのビンごとに、そのビンの信号対雑音比値にそのビンの画像画素の組内の画像画素数で重みづけし、ビンの重みづけされた信号対雑音比値を合計し、ビンの重みづけされた信号対雑音比値の合計を出力画像の画像画素の総数で割ることによって行われる。別法として、ビンの重みづけされた信号対雑音比値の合計は、画像ヒストグラムのビン内の画像画素の総数で割ることもできる。典型的には、これらの２つの選択肢は同じ値を与える。これは、出力画像内の画像画素の総数と画像ヒストグラムのビン内の画像画素の総数が同じであるべきであるからである。

メモリ１６は、画素値範囲、例えばビンの画素値の関数であるＳＮＲ値の前記事前に計算した表を含む。別法として、メモリ１６は、信号対雑音比値を画素値の関数として計算するための１つ以上の定義済み関数およびパラメータ値を含む。メモリ１６は、前記事前に計算した表ならびに前記１つ以上の定義済み関数およびパラメータの両方を含みうることが実現される。メモリ１６は、異なる画像センサの温度に対する異なる表を含むこともできる。これは、ＳＮＲ値が画像センサの温度に依存するからである。これらの表は、以下で定義されるように、式（Ａ）とともに式（Ｇ）、（Ｈ）、（Ｉ）および（Ｊ）を使用して事前に計算することができる。定義済み関数は、以下で定義されるように、式（Ａ）、（Ｇ）、（Ｈ）、（Ｉ）および（Ｊ）に基づく関数とすることができる。

本発明の一実施形態によれば、画像コンバイナ６および／または画像ヒストグラムプロバイダ８は、画像センサ４の１つ以上の一体的な部分とすることができる。

本発明の一実施形態によれば、計算機１２は、カメラ１のプロセッサ１４内に実装することができる。

図２は、出力画像の平均ＳＮＲ値を推定するための方法の一実施形態を示す。この方法は、ビンに分けられた画像ヒストグラムを提供するステップ１００であって、画像ヒストグラムが出力画像の画像画素間の画素値の分布に関する情報を含み、各ビンが所定の範囲内の画素値を有する画像画素の組を含む、ステップ１００と、信号対雑音比値を画像ヒストグラムの各ビンに帰属させるステップ１０２と、画像ヒストグラムのビンごとに、そのビンの信号対雑音比値にそのビンの画像画素の組内の画像画素数で重みづけするステップ１０４と、ビンの重みづけされた信号対雑音比値を合計するステップ１０６と、ビンの重みづけされた信号対雑音比値の合計を出力画像の画像画素の総数で割るステップ１０８と、を含む。上述のように、別法として、ビンの重みづけされた信号対雑音比値の合計は、画像ヒストグラムのビン内の画像画素の総数で割ることもできる。

本発明の一実施形態によれば、前記出力画像は、例えば異なる露光時間を有する画像のように、複数の画像の画像画素に由来する画素値を有する画像画素を含む。出力画像の画像画素の画素値を得るためには、前記出力画像の画像画素のうちのいくつかの画素値が、前記複数の画像のうちの第１の画像の画像画素から取り出される。出力画像の画像画素の他の画素値は、前記複数の画像のうちの第２の画像の画像画素から画素値を取り出すことによって得ることができる。そして最後に、出力画像の画像画素の画素値のうちのいくつかは、前記複数の画像のうちの前記第１の画像と前記第２の画像の両方からの画像画素に基づく画素値を混合することによって得ることができる。

出力画像が複数の画像からスティッチされた画像である場合、信号対雑音比値を、前記複数の画像のうちの少なくとも２つの画像から得られる画像画素の画素値を混合することによって得られた画素値を有する画像画素を含む画像ヒストグラムの前記複数のビンのうちのビンに帰属させるという行為は、前記複数の画像のうちの前記少なくとも２つの画像から得られる前記画像画素の前記画素値の信号対雑音比値を混合するステップを含む。

多重露光画像の推定ＳＮＲ値
上述のように、確率変数Ｓに対するＳＮＲ値は、

と定義される（画像化に使用される定義）。

上式で、Ｅ［Ｓ］は信号Ｓの期待値であり、σは信号Ｓの標準偏差である。画像センサから出力されている各センサ画素の画素値の信号、すなわちデジタル符号出力またはアナログ‐デジタルユニット（ＡＤＵ）は、センサ固有の変換率Ｃ_ｆを使用して生成された対応する数の電子に変換される。

上式で、Ｇ_ｆは、画像ヒストグラムが計算される前に信号に加えられる任意のアナログ利得またはデジタル利得である。

画像ヒストグラム内の各ビンのＳＮＲ値を計算する場合、各ビンに対応する画素値は期待値として使用することができる。これは、ビン内の画像画素のうちの多くが、少数の画像画素を有するビンに対して生じうる同じ画素値および場合により誤った寄与を有するので、もっともな想定であり、出力画像の平均ＳＮＲ値を計算する場合に後で重みづけされる。

信号、この場合は画素値の標準偏差については、読み出し雑音σ_ｒおよび光子ショット雑音σ_ｐｈしか説明されない（というのは、暗電流が光学的に黒の基準センサ画素を用いてセンサから除去されることが多いからである）。当業者は、さらなるファクタが標準偏差を推定するときを考慮できることに気付いている。

読み出し雑音σ_ｒは、通常は各センサに対して事前に計算され、通常は例えば画像を取り込む画像センサの温度に依存する。光子ショット雑音σ_ｐｈは、センサ画素に入射する光子の数がポアソン分布に追従するために出現している。したがって、

である。

これらの雑音源を集めることが、全雑音の

を与える。

スティッチ出力画像を実現するために複数の画像をスティッチする場合、スティッチ出力画像の画像画素の画素値は、前記複数の画像からの画像画素の画素値を混合することにより得ることができる。例えば、多重露光画像、例えば多重露光ＨＤＲ画像を形成する場合、異なる露光時間を有する画像に由来する画像画素の画素値が使用される。スティッチ出力画像内の各画像画素の各画素値の推定ＳＮＲ値を計算するには、画像スティッチが実行されるのを説明する必要がある。スティッチ出力画像の画像画素の画素値は、スティッチ出力画像を構成する複数の画像から取り出される。スティッチ出力画像のいくつかの画像画素には、前記複数の画像のうちの第１の画像からの画素値が使用され、スティッチ出力画像の他の画像画素には、前記複数の画像のうちの第２の画像からの画素値が使用される。さらに、スティッチ出力画像の他の画像画素には、前記複数の画像のうちの少なくとも２つの画像の画像画素に基づく画素値間の補間画素値が使用されうる。多重露光画像の場合、２回の隣接する露光の２つの画像画素の間の補間画素値が、前記複数の画像のうちの１つ以上から寄与を有する画像画素の画素値を得るために使用される。画像画素が前記複数の画像のうちの少なくとも２つの画像からの画像画素に基づく画素値を補間することによって得られた画素値を有する場合、前記複数の画像のうちの前記少なくとも２つの画像からの各画素値からの雑音が混合される。したがって、前記複数の画像のうちの少なくとも２つの画像の画像画素に基づく画素値を補間することによって得られているスティッチ出力画像の画像画素の画素値の雑音は、その特定の画像画素の画素値を得るために使用される画素値の混合雑音である。

以下は、２回の露光Ｔ_１とＴ_２の間に画素値が補間された場合の多重露光画像の画像画素のＳＮＲ値を推定する方法の一実施例である。画素値は、２回の露光の間に重みづけされた（尺度）値であるものとする。
Ｓ＝αＳ［Ｔ_１］＋ε_ｒβＳ［Ｔ_２］；α＋β＝１ （Ｅ）

重み係数αおよびβは、全重みが、Ｔ_１露光に対する画素値だけが使用されるＴ_１の終点でＴ_１に与えられるように選択され、その逆も同じである。露光時間比ε_ｒは既知の係数である。より短い露光Ｔ_２内の信号は、Ｔ_１データに合致するように調整される必要がある。さらに、

は、事実上、２つの露光の間の画像ビュー内に動きがない、と言っているものとする。これは、平均で正確な値を与える。

したがって、生成された対応する数の電子に変換される集合信号（Ｆ）の場合、（（Ｂ）、（Ｅ）および（Ｆ）を使用して）

を得る。

次に標準偏差について、ここで助けになるように、無相関な確率変数の標準偏差の下記の特性が使用される。

最後に、（Ｄ）および（Ｇ）を使用して、

を得る。

そして（Ｆ）を使用して、

を得る。

次いで、式（Ｇ）、（Ｈ）、（Ｉ）および（Ｊ）は、画像ヒストグラム内の画素値に対して、その画素値を有するスティッチ出力画像の画像画素を含む画像ヒストグラムのビンに関連するＳＮＲ値を計算するために、式（Ａ）とともに使用することができる。

スティッチ出力画像の画像画素が前記複数の画像のうちのただ１つに由来する画素値を有する場合、対応する重み係数をゼロに設定するだけでよい。

露光が３回以上であれば、複数の補間領域をもたらすので、当業者はそれが上述したのと同じように処理されうることに気付く。

多重露光画像の画像画素のＳＮＲ値を混合する方法は、参照により本出願に組み込まれる米国特許出願公開第２００９／００５９０３９号明細書および米国特許出願公開第２０１０／０３１０１９０号明細書により詳細に論じられている。

図面および本明細書には、本発明の好ましい実施形態および実施例が開示されており、特定の用語が用いられているが、それらは、一般的で記述的な意味でのみ使用され、限定する目的で使用されるものではなく、本発明の範囲は以下の特許請求の範囲に記述されている。

１ カメラ
２ ハウジング
３ レンズ
４ 画像センサ
６ 画像コンバイナ
８ 画像ヒストグラムプロバイダ
１０ 信号対雑音比値アトリビュータ
１２ 計算機
１４ プロセッサ
１６ メモリ

Claims (15)

1. 複数の画像画素を含む出力画像の平均信号対雑音比値を推定するための方法であって、出力画像の各画像画素が画素値を有し、
   ビンに分けられた画像ヒストグラムを提供するステップであって、画像ヒストグラムが出力画像の画像画素間の画素値の分布に関する情報を含み、各ビンが所定の範囲内の画素値を有する画像画素の組を含むステップと、
   各ビンの所定の範囲内の画素値に基づいて、信号対雑音比値を画像ヒストグラムの各ビンに帰属させるステップと、
   画像ヒストグラムのビンごとに、ビンの信号対雑音比値にビンの画像画素の組内の画像画素数で重みづけするステップと、
   ビンの重みづけされた信号対雑音比値を合計するステップと、
   ビンの重みづけされた信号対雑音比値の合計を、出力画像の画像画素の総数または画像ヒストグラムのビン内の画像画素の総数で割るステップと
   を含む方法。
2. 前記出力画像が、複数の画像の画像画素に由来する画素値を有する画像画素を含む、請求項１に記載の方法。
3. 前記複数の画像が、異なる露光時間を使用して取り込まれている、請求項２に記載の方法。
4. 前記出力画像内の第１の画像画素の画素値が前記複数の画像のうちの第１の画像の画像画素に基づく画素値であり、前記出力画像内の第２の画像画素の画素値が前記複数の画像のうちの第２の画像の画像画素に基づく画素値である、請求項２または３に記載の方法。
5. 前記出力画像の画像画素のうちの少なくとも１つの画素の画素値が、前記複数の画像のうちの少なくとも２つの画像から得られる画像画素の画素値を混合することによって得られた画素値である、請求項２から４のいずれか一項に記載の方法。
6. 前記複数の画像のうちの少なくとも２つの画像から得られる画像画素の画素値を混合することによって得られた画素値を有する前記画像画素を含む画像ヒストグラムの前記複数のビンのうちのビンに、信号対雑音比値を帰属させる行為が、前記複数の画像のうちの前記少なくとも２つの画像から得られる前記画像画素の前記画素値の信号対雑音比値を混合するステップを含む、請求項５に記載の方法。
7. 処理能力を有する装置で実行されると、請求項１から６のいずれか一項に記載の方法を実施するためのプログラムが記録されているコンピュータ可読記録媒体。
8. 複数の画像画素を含む出力画像の平均信号対雑音比値を推定するカメラ（１）であって、画像の各画像画素が画素値を有し、
   前記出力画像の画像画素の画素値を導き出すために使用される画素値を取り込む画像センサ（４）と、
   出力画像の画像画素間の画素値の分布に関する情報を含む画像ヒストグラムを提供する画像ヒストグラムプロバイダ（８）であって、画像ヒストグラムの各ビンが所定の範囲内の画素値を有する画像画素の組を含む、画像ヒストグラムプロバイダ（８）と、
   各ビンの所定の範囲内の画素値に基づいて、信号対雑音比値を画像ヒストグラムの各ビンに帰属させる信号対雑音比値アトリビュータ（１０）と、
   画像ヒストグラムのビンごとに、前記ビンの信号対雑音比値に前記ビンの画像画素の組内の画像画素数で重みをかけ、ビンの重みづけされた信号対雑音比値を合計し、ビンの重みづけされた信号対雑音比値の合計を出力画像の画像画素の総数または画像ヒストグラムのビン内の画像画素の総数で割ることにより、前記平均信号対雑音比値を計算する計算機（１２）と
   を備えるカメラ。
9. 前記出力画像を形成するために前記画像センサ（４）によって取り込まれた複数の画像に由来する画像画素の画素値を混合する画像コンバイナ（６）をさらに備える、請求項８に記載のカメラ。
10. 前記複数の画像が異なる露光時間を使用して取り込まれる、請求項９に記載のカメラ。
11. 画像コンバイナ（６）が、前記複数の画像のうちの第１の画像の画像画素に基づく画素値を使用して前記出力画像の第１の画像画素の画素値を形成し、前記複数の画像のうちの第２の画像の画像画素に基づく画素値を使用して前記出力画像の第２の画像画素の画素値を形成する、請求項９または１０に記載のカメラ。
12. 画像コンバイナ（６）が、前記出力画像の画像画素のうちの少なくとも１つの画像画素の画素値を形成するために、画像センサによって取り込まれた前記複数の画像のうちの少なくとも２つの画像の画像画素に基づく画素値を混合する、請求項９から１１のいずれか一項に記載のカメラ。
13. 信号対雑音比値アトリビュータ（１０）が、前記出力画像の画像画素の前記少なくとも１つの画像画素を含む画像ヒストグラムの複数のビンのうちのビンに、前記信号対雑音比値を帰属させるために、前記出力画像の画像画素のうちの前記少なくとも１つの画像画素の前記画素値を得るために使用される前記複数の画像のうちの前記少なくとも２つの画像の画像画素の画素値の信号対雑音比値を混合する、請求項１２に記載のカメラ。
14. 画素値の関数である信号対雑音比値の表、あるいは信号対雑音比値を画素値の関数として計算するための１つ以上の定義済み関数およびパラメータ値を含むメモリ（１６）をさらに備える、請求項８から１３のいずれか一項に記載のカメラ。
15. 画像ヒストグラムの各ビンの信号対雑音比値が画像センサ（４）の温度に依存する、請求項８から１４のいずれか一項に記載のカメラ。

Images