JP4058257B2

JP4058257B2 - 撮像素子におけるノイズ低減方法

Info

Publication number: JP4058257B2
Application number: JP2001344419A
Authority: JP
Inventors: ビーギンデルエドワード; シーギャラガーアンドリュー
Original assignee: イーストマンコダックカンパニー
Priority date: 2000-11-21
Filing date: 2001-11-09
Publication date: 2008-03-05
Anticipated expiration: 2021-11-09
Also published as: EP1209903B1; DE60104632T2; EP1209903A1; JP2002199287A; US6646246B1; DE60104632D1

Description

【０００１】
【発明の属する技術分野】
本発明は、一般に撮像（image capture）に関し、より詳細には、散在的にサンプリングされた拡張ダイナミックレンジのディジタルイメージ（sparsely sampled extended dynamic range digital image）からノイズを除去する方法に関する。
【０００２】
【従来の技術】
電荷結合素子（ＣＣＤ）及びＣＭＯＳイメージセンサなどの撮像素子は、ディジタルカメラ、スキャナ、ビデオカメラなどの製品に広く見られる。従来からの写真フィルム製品に比べると、これら撮像素子のダイナミックレンジには制限がある。一般的な電子撮像素子は約７ストップ(絞り：stop）のダイナミックレンジを持つ。これは、結果的な信号のクリッピングを避けるために、通常シーンの露光をかなりの精度で決定しなければならないことを意味する。これに対し、自然シーンは、９ストップ以上のダイナミックレンジを示すことが多いが、これは、主として光強度が大きく異なる多数の光源が被写体シーンを照射するためである。また、反射ハイライト（specular highlights）も自然シーンのダイナミックレンジに寄与している。
【０００３】
感光フィルムのスキャンに使用する電子センサは、信号強度の高いダイナミックレンジにも対処しなければならない。Ｍｉｌｃｈによる米国特許第５，２２１，８４８号（１９９３年６月２２日発行）には、電子イメージセンサのダイナミックレンジを拡張すべく設計された方法及び装置が開示される。感光フィルムのスキャンを主たる目的とするこの特許には、線形アレイを備える電荷結合素子スキャナを用いたワンパスフィルムスキャナ（one pass film scanner）の方法が開示されている。アレイの１つが高い光強度に対応し、別のアレイが低い光強度に対応する。これら２つのアレイからの情報を合成してディジタル化することで、ダイナミックレンジが拡張されたディジタルイメージを生成する。上記特許に開示された方法及び装置は、スペクトル感度は同じだが光強度に対する固有応答が異なるフォトサイト(photosite）を有する電子イメージセンサに関し、きわめて高いダイナミックレンジでディジタルイメージを生成できる。
【０００４】
電子撮像素子により生成された信号に含まれるノイズは、ノイズ低減アルゴリズムの適用により除去できる。ノイズ低減アルゴリズムの一例として、雑誌論文"Digital Image Smoothing and the Sigma Filter"(Computer Vison, Graphics,and Image Processing, vol.24,1983,pp.255-269)に記載のジョンセンリー（Jong-Sen Lee）によるシグマフィルタがある。リーによる論文には、中心画素を中心とする矩形ウィンドウからサンプリングされた非線形画素の平均化技術を使用するノイズ低減フィルタが開示されている。局所的に近接する画素を、その画素と中心画素との差に基づく数値平均から、包含あるいは除外する。シグマフィルタは、主たるノイズ源がガウスの加法ノイズである画像処理アプリケーションに対して設計されたものである。ノイズ低減制御パラメータを信号強度の関数にすることにより、信号依存ノイズ源を取り込むことができる。しかしながら、信号独立ノイズと信号依存ノイズのいずれの場合にも、予想されるノイズ標準偏差が最適な結果を得ることが分かっていなければならない。
【０００５】
【発明が解決しようとする課題】
リーによる上記のシグマノイズ低減方法は、拡張ダイナミックレンジの電子撮像素子により生成された信号には直接、最適に適用できない。これは、フォトサイトの種類が異なるとノイズ特性が異なるという事実のためである。したがって、拡張したダイナミックレンジでイメージを記録可能な電子イメージセンサにより生成されたイメージに対し、改良されたノイズ低減方法が求められている。
【０００６】
【課題を解決するための手段】
上記の要望は、光の露出に対して所定の応答を有し高速応答ディジタル画素値を生成する高速応答フォトサイトと、同じ光の露出に対しより遅い応答を有し、低速応答ディジタル画素値を生成する低速応答フォトサイトとを備える撮像素子により生成された、散在的にサンプリングされた拡張ダイナミックレンジディジタルイメージからノイズを除去する方法であって、高速及び低速応答ディジタル画素値を有する、散在的にサンプリングされた拡張ダイナミックレンジディジタルイメージを提供するステップと、ディジタルノイズフィルタ方法を使用し、関心画素と同一のノイズ特性を有する画素であって関心画素の局所的近接領域内の画素の画素値を用い、関心画素が低速応答ディジタル画素値を有するときは低速応答ディジタル画素値のみを用いてノイズ低減した低速応答ディジタル画素値を生成し、関心画素が高速応答ディジタル画素値を有するときは高速応答ディジタル画素値のみを用いてノイズ低減した高速応答ディジタル画素値を生成して、前記散在的にサンプリングされた拡張ダイナミックレンジディジタルイメージからノイズを除去するステップと、前記ノイズ低減した低速応答ディジタル画素値と前記ノイズ低減した高速応答ディジタル画素値とを組み合わせてノイズ低減した散在的にサンプリングされたディジタルイメージを生成するステップと、を備えることを特徴とする方法を提供することにより達成される。
また、ディジタルノイズフィルタ方法は、関心画素と、その関心画素について局所的に近接する複数の局所近接画素とを特定するステップと、複数の局所的近接画素の各ディジタル画素値を、関心画素のディジタル画素値と比較し、各局所的近接画素の各ディジタル画素値と関心画素の画素値との絶対差を計算するステップと、ノイズ低減した画素値を計算するために、絶対差を計算するステップで計算された絶対差を用いるステップと、を含むことが好ましい。
また、計算された絶対差を用いるステップは、さらに、計算された絶対差を予め定められた閾値と比較し、ノイズ低減した画素値を計算するために、計算された絶対差が閾値以下のときには、局所的近接画素の各ディジタル画素値のみを用いることが好ましい。
また、閾値の決定は、複数のノイズ特性値を準備し、複数のノイズ特性値の中の１つを選択するために、各局所的近接画素の各ディジタル画素値を用い、選択されたノイズ特性値を閾値として用いることが好ましい。
【０００７】
【発明の実施の形態】
ディジタルイメージは、１つ以上のディジタルイメージチャネルで構成され、各ディジタルイメージチャネルは、画素の二次元アレイで構成される。各画素値は、その画素の幾何学的領域に対応した撮像素子（imaging capture device）が受光する光の量に関連付けられる。カラー撮像のアプリケーションでは、ディジタルイメージは、一般に、赤、緑、青のディジタルイメージチャネルから構成される。例えば、シアン、マゼンタ、イエローのディジタルイメージチャネルなど他の構成も実施されている。モノクロのアプリケーションでは、ディジタルイメージは１つのディジタルイメージチャネルで構成される。動画の撮像は、ディジタルイメージの時間的な連続であると考えられる。当業者であれば、本発明が、上述のいずれのディジタルイメージアプリケーションにも適用できると共に、これらに限定されないことが理解できよう。
【０００８】
本発明では、ディジタルイメージチャネルを行及び列に並べられた２次元アレイの画素値として記載しているが、当業者であれば、本発明をモザイク（非直線）アレイに適用しても同様の効果を得られることが理解できよう。
【０００９】
電子センサを用いる撮像素子はよく知られているので、ここでの記載は、特に発明の装置を形成する要素、または本発明の装置と直接的に協働する要素に関する。ここに示されない要素または記載されない要素については、当業界で知られるものから選択可能である。なお、ここで用いるイメージとは、２次元アレイ状の値である。あるイメージは、別のイメージの２次元の部分集合であってもよい。本発明は、プログラムされたディジタルコンピュータまたはカスタム集積ディジタル画像処理回路を使用して実施することができる。かかるコンピュータプログラムを以下の開示に基づき作成することは、プログラミング技術の十分なスキル範囲である。コンピュータは、パーソナルコンピュータなどの汎用ディジタルコンピュータでも、ディジタルイメージの処理用に特別に設計された特殊目的のディジタルコンピュータでもよい。本発明は、ディジタルカメラ内で全体としてまたは一部として実施できる。
【００１０】
本発明の本質的な要素を、図１の機能ブロック図に示す。被写体またはシーンからの光はレンズ２に入射し、電荷結合素子（ＣＣＤ）などの撮像素子１０にて写真イメージを形成する。なお、ＣＭＯＳ素子など、他の素子を撮像素子１０として使用してもよい。レンズ２と撮像素子１０との間に設けられた光ローパスフィルタ６は、エイリアシングの発生を低減するため、結像した光に対してわずかなぶれ（blurring）を与える。Ａ／Ｄ変換器１４は撮像素子１０からの結像光に対応する電圧信号を入力し、この電圧信号に対応するイメージ信号を生成する。Ａ／Ｄ変換器１４の出力は、散在的にサンプリングされた、拡張ダイナミックレンジのディジタルイメージ２０１（図２参照）である。散在的にサンプリングされたイメージとは、複数タイプのフォトサイトを備えた単一のイメージセンサを有する撮像素子で撮影したイメージであると定義される。本発明によれば、散在的サンプリングという用語は、さらに応答の速い及び遅いフォトサイトが散在するイメージセンサにより生成されたイメージをも意味する。ここでは、このようなイメージを、散在的にサンプリングされた拡張ダイナミックレンジディジタルイメージと呼ぶ。散在的にサンプリングされた拡張ダイナミックレンジディジタルイメージは、カラーフィルタアレイ及び応答の速いフォトサイトと応答の遅いフォトサイトとを有するイメージセンサにより生成してもよい。
【００１１】
ディジタルイメージプロセッサ２００は、Ａ／Ｄ変換器１４から散在的にサンプリングされた拡張ダイナミックレンジディジタルイメージを入力し、これにノイズフィルタリングを施すことにより、ノイズの低減された、散在的サンプリング拡大ダイナミックレンジディジタルイメージを生成する。このノイズの低減された散在的サンプリング拡大ダイナミックレンジディジタルイメージがディジタルイメージプロセッサ２００で処理され、ノイズの低減したディジタルイメージ２０２が生成される。
【００１２】
図１に示すＡ／Ｄ変換器１４は、撮像素子１０により生成された電圧信号を、イメージ信号、すなわち、撮像素子１０のフォトサイトにより生成された電圧信号に対応するディジタル画素値の列に変換する。より詳細には、Ａ／Ｄ変換器１４は、入射光の強度に対してほぼ線形である撮像素子１０からの電圧信号を、個別のディジタルイメージ信号、例えば、線形符号化値が０から１０２３の範囲である１０ビット信号に変換する。また、Ａ／Ｄ変換器１４は、当業界で一般的に行われているように、線形符号値領域のイメージ信号を、８ビット対数信号などの非線形符号値領域のイメージ信号に変換する処理を行ってもよい。例えば、次式を用いて、１０ビットの線形イメージ信号ａ（ｘ，ｙ）を、８ビットの対数イメージ信号ｂ（ｘ，ｙ）に変換できる。ここで、（ｘ，ｙ）は撮像素子１０に関する信号位置の行及び列指標（index）を特定する。
【００１３】
【数１】

なお、（撮像素子の線形応答領域における）各露光ストップは、線形イメージ信号ａ（ｘ，ｙ）を倍増させ、この結果、対数的に符号化されたイメージ信号ｂ（ｘ，ｙ）は５１増加する。この場合、５１の値は、露光のストップ(絞り）当たりの符号値（ｃｖｓ）の数を表している。
【００１４】
図１のディジタルイメージプロセッサ２００を図２により詳細に示す。イメージ信号は、散在的にサンプリングされた拡張ダイナミックレンジディジタルイメージ２０１の形でノイズ低減モジュール２１０に入力される。ノイズ低減モジュール２０１は、イメージ信号にノイズフィルタリングを施してノイズを除去し、ノイズ低減イメージ信号を、ノイズが低減した散在的にサンプリングされた拡張ダイナミックレンジディジタルイメージとして生成する。ノイズが低減された、散在的にサンプリングされた拡大ダイナミックレンジディジタルイメージは、ダイナミックレンジ拡張フィルタアレイ（ＤＲＥＦＡ）プロセッサ２２に入力される。ＤＲＥＦＡプロセッサ２２は、信号のダイナミックレンジを拡張し、サンプル値を補間することによりノイズ低減されたイメージ信号を処理する。続いて、ＤＲＥＦＡプロセッサ２２は、この修正されたノイズ低減イメージ信号をＣＦＡ補間器２６に送り、ここで、色値が補間され、各画素における色値を得る。ＣＦＡ補間器２６の出力が、ノイズ低減したディジタルイメージ２０２である。
【００１５】
ＣＦＡ補間器２６の目的は、検出した写真イメージの各位置に対する色を完全に描写（full description）することである。好ましい実施形態においては、撮像素子１０は、フォトサイトと呼ばれる感光要素のアレイにより構成される。バイヤー（Bayer）による米国特許第３，９７１，０６５号（１９７６年７月２０日発行）に記載されるように、各フォトサイトは通常赤、緑、または青のフィルタで被覆されている。バイヤー特許のカラーフィルタアレイにおいては、フォトサイト上に緑のフィルタがチェッカーボードのパターンに配置され、赤と青のフィルタはこのチェッカーボードパターンの間隙を埋めるように１ラインずつ交互に配置されている。このようなカラーフィルタの場合、緑のフィルタサイトは、赤と青のいずれのフィルタサイトの２倍になる。本願に記載される方法は、原色の構成や原色の数、原色の組み合わせが異なるカラーフィルタアレイにも簡単に拡大できる。よって、好ましい実施形態では、各フォトサイトが赤、緑または青のいずれかの光に反応する。しかしながら、各フォトサイト位置において、赤、緑、青のそれぞれに対する露光に対応する画素値を得るのが望ましい。イメージ信号の画素値により、赤、緑、青の画素値を近接画素位置において有する散在的にサンプリングされたイメージが形成される。ＣＦＡディジタルイメージは、散在的にサンプリングされたディジタルイメージの一例である。
【００１６】
本明細書においては、「赤」、「緑」及び「青」は、画像処理技術において周知のように、撮像素子１０の原色スペクトル感度（primary spectral sensitivities）を表す。ＣＦＡ補間器２６は、Ａ／Ｄ変換器１４から出力されたイメージ信号から、各フォトサイトに対する原色に対応する画素値で構成される、補間されたイメージ信号を生成する。例えば、特定のフォトサイトが赤のフィルタで被覆されている場合、赤のフィルタはこの特定フォトサイトから緑及び青の光を本質的にブロックするので、Ａ／Ｄ変換器１４はこのフォトサイトに対して赤の画素値を出力する。対応フォトサイトが緑及び青の光に応答しないとしても、ＣＦＡ補間器２６はこの対応フォトサイトに対して緑の画素値及び青の画素値を計算する。同様に、ＣＦＡ補間器２６は、青のフォトサイトに対応する緑の画素値及び赤の画素値を計算し、緑のフォトサイトに対応する赤の画素値及び青の画素値を計算する。
【００１７】
一般に、ＣＦＡ補間器２６は、対応するフォトサイトの画素値及び関連する周辺フォトサイトの画素値を考慮して動作する。一般的に知られた任意の補間器が使用できるが、好ましいＣＦＡ補間器がアダムスジュニア他による米国特許第５，６５２，６２１号（１９９７年７月２９日発行）に開示されている。アダムス他の特許には、行及び列に整列し、各フォトサイト位置に対して１つの色値のみ、少なくとも３つの別々の色値を生成するカラーフォトサイトを有するイメージセンサから得られるディジタル化されたイメージ信号を処理する装置、及び３つの異なる色値を有するように各フォトサイト位置に対する色値を補間する構造が記載されている。装置は、あるフォトサイト位置から欠如した適当な色値を、かかるフォトサイト位置に対する更なる色値の補間により、近傍のフォトサイト位置における、前記欠如した色値以外の色値から生成する。装置は、さらに、同じ列及び行の近傍フォトサイトに対応する画素値から、少なくとも２つのイメージ方向において、ラプラシアン２次（second-order）値、グラジエント値、色差バイアス値を求め、これらの値から展開した分級（classifier）に基づき、欠如した色値の補間の好ましい方位を選択する。そして、この好ましい方位に一致するように、近傍の複数色画素値から欠如した色画素値を選択する。
【００１８】
ノイズを低減したイメージ信号（ノイズ低減した散在的にサンプリングされた拡張ダイナミックレンジディジタルイメージ）がＤＲＥＦＡプロセッサ２２により入力され、ここでノイズ低減されたイメージ信号のダイナミックレンジが拡張する。好ましい実施形態においては、撮像素子１０の特定のフォトサイトを遅い応答を有するように選択することにより、撮像素子１０のダイナミックレンジを拡張する。選択されたフォトサイトの撮像素子１０に対する配置については、以下により詳細に説明する。好ましい実施形態においては、選択されたフォトサイトの応答は、ここでは遅いフォトサイト（低速応答フォトサイト）と呼ばれる、選択されたフォトサイトの利得を変えることにより低速化されすなわち遅らされる。フォトサイトの利得の変更は、ディジタルカメラの設計及び製造の分野において広く実施されている。
【００１９】
図３に関連し、イメージセンサ製造の分野では、各フォトサイトの頂部に樹脂性小型レンズ５１を設けることは一般的である。例えば、特に撮像素子１０がインターライン型固体撮像素子の場合、小型レンズの１技術が、イシハラによる米国特許第４，６６７，０９２号（１９８７年５月１９日発行）に記載されている。イシハラ特許には、ブロック面を有する画像記憶ブロックを含む固体撮像素子が開示される。ブロック面に沿って複数の記憶要素が埋設され、イメージを電荷の形で記憶する。被覆層を設けることにより、この記憶要素に一致する光学レンズのアレイが形成される。ブロック面と被覆層との間には中間層が設けられる。入射光は、レンズ及び中間層を通過して記憶要素に収束する。中間層は、焦点距離を調整する調整層として機能する。
【００２０】
図３は、インターライン型固体撮像素子の断面図である。小型レンズ５１を設けない場合、フォトサイトの各感光領域５５に関連する信号読出し領域により半導体基板の全体領域を光電トランスデューサ領域として使用することができなくなる。従来の固体撮像素子は、その入射光のすべてを有効に利用できないために感度が低い。フォトサイトの頂部に樹脂性小型レンズ５１をさらに設けることにより、フォトサイトの光活性領域に入射光線を収束させることができ、よって、入射光線をより効果的に利用できるとともに、フォトサイトの感度を高めることができる。したがって、小型レンズ５１の大きさと効率の少なくともいずれかを変えることにより、フォトサイトの感度（利得）を簡単に変更できる。よって、インターライン型素子及びＣＭＯＳセンサに対し、フォトサイトの利得を変更する好ましい方法は、フォトサイトの頂部に設けた小型レンズ５１を変更する方法である。図３に示すように、位置５２にはレンズを設けていないので、感光領域に関して入射する入射光線はより少なくなる。あるいは、小型レンズ５１とは半径、形状、大きさまたは材料の異なるレンズを位置５２に設けることにより、位置５２においては入射光線が感光領域５５に収束する効率を小型レンズ５１に比べて低くすることもできる。当業者であれば、小型レンズ５１が入射光線の８０％を感光領域５５に収束し、レンズを設けない（または応答の遅いレンズを有する）位置５２では入射光線の２０％が感光領域５５に入射可能である場合、小型レンズ５１に被覆されるフォトサイトは、位置５２に比べ２ストップ応答が速いことが理解できよう。この場合、小型レンズ５１は高速応答フォトサイトに対して用いられ、位置５２で表される低速応答フォトサイトにはレンズが使用されない。
【００２１】
図４は、フルフレーム型撮像素子１０の断面図である。撮像素子１０がフルフレーム型素子の場合、フォトサイトの感光領域５５に入射する光線は、通常金属性の光遮断層の開口を通過しなければならない。図４の断面図に示される光遮断層は、光ブロックマスク部５４と、この光ブロックマスク部の間に散在する大型及び小型開口とを含む。好ましい実施形態においては、フォトサイトの利得は、光ブロックマスク部５４の修正により変更できる。この場合、フォトサイトの感度は、光ブロックマスク部５４の開口に直接関連する。例えば、第２フォトサイトの開口の大きさの５０％の開口を備えるフォトサイトは、第２フォトサイトに対して５０％の応答を有する。例えば、光ブロックマスク部５４の大型開口５６は、このフォトサイトに入射する光線の８０％を通過させることができるが、小型開口５７は、入射光線の２０％しか通過させることができない。当業者であれば、大型開口５６を備えたフォトサイトは、小型開口５７を備えたフォトサイトに比べて２ストップ応答が速いことが理解できよう。この場合、大きな開口５６は高速応答フォトサイトに使用され、小さい開口５７は低速応答フォトサイトに使用される。したがって、光ブロックマスクの開口を修正することにより、選択されたフォトサイトの応答を調整できる。イーストマンコダック社は、全画素の画素活性領域を約８０％から２０％に低減する（センサが水平方向及び垂直方向に１／２画素間隔だけ移動し、４画像が撮影されるディザードスキャナアプリケーションの場合）金属マスク光遮断層を備えるフルフレーム型撮像素子を製造している。このように、上記手法は、開口サイズは異なるが、このようなマスク技術を利用し、イメージ光に対して異なる応答を有するイメージセンサを提供する。
【００２２】
好ましい実施形態においては、図５にグラフで示すように、選択された低速応答フォトサイトの応答は、同じ露光に対する高速応答フォトサイトの応答のＸ％（Ｘ≦１００）である。好ましい実施形態では、選択されたフォトサイトは、高速応答フォトサイトに対して２ストップ（−ｌｏｇＸ／１００）遅れた応答を有し、この結果Ｘ＝２５となる。このように、撮像素子１０はフォトサイトの複数のセット、すなわち高速応答フォトサイトと低速応答フォトサイトから構成される。高速応答フォトサイトの出力応答の集合体が、速いイメージ、すなわち高速応答フォトサイトにより撮像したシーンの散在的にサンプリングされたイメージを形成する。同様に、低速応答フォトサイトの出力応答の集合体が、遅いイメージ、すなわち低速応答フォトサイトにより撮像したシーンの散在的にサンプリングされたイメージを形成する。
【００２３】
別の例としては、選択した低速応答フォトサイトの応答を、フォトサイトを被覆する中性フィルタにより遅らせることができる。図６は、カラーフィルタアレイ５３を備える撮像素子の断面図である。カラーフィルタアレイ５３ａは赤、５３ｂは緑、５３ｃは赤、５３ｄは緑である。中性フィルタ層５８がカラーフィルタアレイ５３の上部に設けられるが、ここで中性フィルタの層５８及びカラーフィルタアレイ５３の位置関係は問題ではない。中性フィルタ５９によって示されるように、中性フィルタ層５８は、選択されたフォトサイトの位置においてのみ中性フィルタを含む。この場合では、中性フィルタ層５８は、高速応答フォトサイトに対しては透明またはほぼ透明であり、低速応答フォトサイトに対して中性フィルタ５９を含む。例えば、中性フィルタ５９がＸ％の光を透過できる材料から構成される場合、その低速応答フォトサイトの応答は、高速応答フォトサイトの応答に対して、−ｌｏｇ_２（Ｘ／１００）ストップだけ遅くなる。
【００２４】
好ましい実施形態においては、撮像素子のフォトサイトの５０％が遅い応答を持つべく選択される。当業者であれば、遅い応答を有するフォトサイトの割合を変更しても本発明の効果が得られることが理解できよう。全フォトサイトのスペクトル感度がほぼ同じである撮像素子１０（パンクロマティック（全整色性）撮像素子）の場合、撮像素子１０の全フォトサイトの約５０％となる低速応答フォトサイトの配置が図７（Ａ）に示されている。図において、応答の遅いフォトサイト２８にはアスタリスク（＊）が付けられ、応答の速いフォトサイト３０は無地で示されている。散在的にサンプリングされたディジタルイメージを、カラーフィルタアレイを有する撮像素子により撮像したイメージであるとあらかじめ定義した。本発明によれば、散在的にサンプリングされたとは、高速応答フォトサイトと低速応答フォトサイトが散在した、図７（Ａ）に示すようなイメージセンサにより生成されたイメージのことも指す。
【００２５】
図７（Ｂ）には、各フォトサイトタイプ（赤、緑、または青に反応する）の５０％が遅い応答を有するカラーイメージセンサの構成が示されている。例えば、フォトサイト３２，３４及び３６はそれぞれ応答の遅い赤、緑及び青のフォトサイトであり、フォトサイト３８，４０及び４２はそれぞれ応答の速い赤、緑及び青のフォトサイトである。
【００２６】
図７（Ａ）及び７（Ｂ）には、低速応答フォトサイトの配置の規則的なパタンが示されている。低速応答フォトサイトが規則的なパターンに配置されることは好ましいが、これは絶対要件ではない。低速応答フォトサイトを撮像素子１０の表面全体にランダムまたはややランダムに配置することもできる。
【００２７】
再び図５を参照すると、図５は特定の露光に対する高速応答フォトサイトの応答及び同じ露光に対する低速応答フォトサイトの応答を示している。なお、ノイズのレベルｎが応答に重畳されている場合、高速応答フォトサイトは、低速応答フォトサイト（露光レベル１００／Ｘ・Ｅで始まる有効信号を生じる）よりも低い露光（露光レベルＥで始まる）で有効信号を生じることがはっきり見られる。あるいは、低速応答フォトサイトからのデータは、高速応答フォトサイト（Ｅ２^Ｓの露光までの有効応答を生成する）よりも高い露光レベル（１００／Ｘ・Ｅ２^Ｓまでの信号レベル。なお、Ｓは単一フォトサイトの固有ダイナミックレンジであり、通常約５ストップでもよい）に対して有効である。高速応答フォトサイトと低速応答フォトサイトのいずれもが露光ストップ（stop of exposures）（Ｓ）において同じ応答範囲を有するが、図５に示すように、低速応答フォトサイトの応答は、高速応答フォトサイトより好ましくは−ｌｏｇ_２（Ｘ／１００）ストップだけ遅い。高速応答フォトサイトと低速応答フォトサイトの応答は露光に関して重複することが好ましい。すなわち、−ｌｏｇ_２（Ｘ／１００）＜Ｓであることが好ましい。高速応答フォトサイトと低速応答フォトサイトのいずれをも考慮すると、撮像素子１０の全体的なダイナミックレンジは、Ｓ−ｌｏｇ_２（Ｘ／１００）である。好ましい実施形態の場合には、Ｓ＝５、Ｘ＝２５であるので、撮像素子１０の有効ダイナミックレンジは、７露光ストップである。
【００２８】
図２に示すＤＲＥＦＡプロセッサ２２をさらに詳細に説明する。ＤＲＥＦＡプロセッサ２２の目的は、高速応答フォトサイトと低速応答フォトサイトの光応答（photoresponse）における差を補償しながら入力されたノイズ低減イメージ信号を処理することにより、ダイナミックレンジの拡大したイメージ信号を作成することである。したがって、ＤＲＥＦＡプロセッサ２２の出力は、数値の増大したダイナミックレンジを有する拡張したイメージ信号である。この拡張イメージ信号は、ＣＦＡ補間器２６に入力され、前述のように処理される。
【００２９】
Ａ／Ｄ変換器１４、ノイズ低減モジュール２１０及びＤＲＥＦＡプロセッサ２２が直接接続されることは本発明の要件ではない。ＤＲＥＦＡプロセッサ２２は、Ａ／Ｄ変換器１４及び撮像素子１０に近接するハードウェアまたはソフトウェアに設けてもよい。例えば、ＤＲＥＦＡプロセッサ２２をディジタルカメラ内部に直接設けてもよい。逆に、ＤＲＥＦＡプロセッサ２２を撮像素子１０から隔離して設けてもよい。例えば、Ａ／Ｄ変換器１４から出力されたイメージ信号を（圧縮後に）有線または無線接続でパーソナルコンピュータデバイス、プリンタ、またはリモートサーバに送信し、ノイズ低減モジュール２１０及びＤＲＥＦＡプロセッサ２２に供給することもできる。イメージ信号の送信には、ファイル転送プロトコルまたはＥメールを含んでもよい。さらに、クレジットカードまたはその他の手段による支払いを、ノイズ低減モジュール２１０及びＤＲＥＦＡプロセッサ２２によりユーザから要求してもよい。
【００３０】
好ましい実施形態においては、撮像素子のフォトサイトの５０％が遅い応答を持つべく選択される。当業者であれば、遅い応答を有するフォトサイトの割合を変更しても本発明の効果が得られることが理解できよう。全フォトサイトのスペクトル感度がほぼ同じである撮像素子１０（パンクロマティック（全整色性）撮像素子）の場合、撮像素子１０の全フォトサイトの約５０％となる、低速応答フォトサイトの配置が図７（Ａ）に示されている。図において、応答の遅いフォトサイト２８にはアスタリスク（＊）が付けられ、応答の速いフォトサイト３０は無地で示されている。散在的にサンプリングされたディジタルイメージを、カラーフィルタアレイを有する撮像素子により撮像したイメージであると予め定義した。本発明によれば、散在的にサンプリングされたとは、高速応答フォトサイトと低速応答フォトサイトが散在した、図７（Ａ）に示すようなイメージセンサにより生成されたイメージのことも指す。
【００３１】
図７（Ｂ）には、各フォトサイトタイプ（赤、緑、または青に反応する）の５０％が遅い応答を有するカラーイメージセンサの構成が示されている。例えば、フォトサイト３２，３４及び３６はそれぞれ応答の遅い赤、緑及び青のフォトサイトであり、フォトサイト３８，４０及び４２はそれぞれ、応答の速い赤、緑及び青のフォトサイトである。
【００３２】
図７（Ａ）及び７（Ｂ）には、低速応答フォトサイトの配置の規則的なパターンが示されている。低速応答フォトサイトが規則的なパターンに配置されることは好ましいが、これは絶対要件ではない。低速応答フォトサイトを撮像素子１０の表面全体にランダムまたはややランダムに配置することもでき、これらの位置がＤＲＥＦＡプロセッサ２２にアクセス可能な場所に記憶される。
【００３３】
ＤＲＥＦＡプロセッサ２２を利用して、本発明で生成されるディジタルイメージの全体的なダイナミックレンジを拡張してもよい。これは、低速応答フォトサイトに対応する画素値を使用し、きわめて高い露光に対応する領域においてイメージ信号を再構成することにより行われる。同様に、ＤＲＥＦＡプロセッサ２２は、応答の速いフォトサイトに対応する画素値を用いて、きわめて低い露光に対応するイメージ信号を再構成する。
【００３４】
図８は、ＤＲＥＦＡプロセッサ２２のブロック図である。Ａ／Ｄ変換器１４から出力される対数イメージ信号ｂ（ｘ、ｙ）は、低速応答画素(以下、低速画素と呼ぶ）等価器（slow pixel equalizer）４４に送られる。低速画素等価器４４の目的は、応答におけるＸストップのオフセットを考慮して低速応答フォトサイトに対応するイメージ信号を補償することである。あるいは、高速応答画素(以下、高速画素と呼ぶ）を反対方向に調節することにより、高速画素を低速画素に等価することができる。好ましい実施形態においては、低速応答フォトサイトに対応するイメージ信号は、量−ｃｖｓｌｏｇ（Ｘ／１００）（ｃｖｓは露光のストップ当たりの符号値数）だけインクリメントされる。好ましい実施形態においては、量ｃｖｓは５１である。あるいは、低速画素等価器４４に入力されるイメージ信号が露光に対して（対数的でなく）線形の関係であれば、低速画素等価器４４は低速応答フォトサイトに対応するイメージ信号を１００／Ｘ倍する。なお、低速応答フォトサイトの位置は低速画素等価器４４に知られていると仮定する。低速画素等価器４４の出力は、低速応答フォトサイトの対応位置にて高速応答フォトサイト応答に対する低速応答フォトサイト応答の差を補償したイメージ信号ｉ（ｘ，ｙ）である。高速応答フォトサイトの対応位置においては、Ａ／Ｄ変換器１４から出力されたイメージ信号ｂ（ｘ，ｙ）の値は、低速画素等価器４４から出力されたイメージ信号ｉ（ｘ，ｙ）と同値である。なお、イメージ信号ｉ（ｘ，ｙ）は８ビットの範囲に制限されない。好ましい実施形態では、ｉ（ｘ，ｙ）の値は０から３５７（すなわち９ビット）の範囲である。
【００３５】
次に、低速画素等価器４４から出力されたイメージ信号ｉ（ｘ，ｙ）は、低速画素閾値部（thresholder）４６に入力される。低速画素閾値部４６の目的は、有効な信号を生成するための十分な光子を入力していないフォトサイトに起因する、質の低い低速画素値を判定することである。続いて、信号拡張器５０にて実行される処理において、これら（ｘ，ｙ）位置における画素値を、新しい画素値を付近の高速画素値に基づいて計算することにより置換える。所定の閾値未満の低速画素値はすべて、問題画素値であると考えられる。低速画素値の場合、この所定閾値を低露光応答閾値と呼ぶ。したがって、ある画素値ｉ（ｘ，ｙ）は、低速応答フォトサイトでかつ次式を満たせば問題画素値とみなされる。
【００３６】
【数２】
ｉ（ｘ，ｙ）＜Ｔ_１
ここで、Ｔ_１は予め定められている。好ましい実施形態においては、Ｔ_１の値は次式により与えられ、
【数３】
Ｔ_１＝ −ｃｖｓｌｏｇ_２（Ｘ／１００）
好ましい実施形態では、値１０２に設定される。なお、閾値Ｔ_１は、位置（ｘ，ｙ）におけるフォトサイトの色感度に依存してもよい。問題低速画素値はノイズ画素を呼ばれる。これは，ｉ（ｘ，ｙ）の値が、有効な撮像素子のノイズレベルを十分に上回っていないためである。
【００３７】
同様に、低速画素等価器４４から出力されたイメージ信号ｉ（ｘ，ｙ）は、高速画素閾値部４８に入力される。高速画素閾値部４８の目的は、質の低い高速画素を決定することである。これらの位置における画素値は、以下に詳細に説明する信号拡張器５０により実行される処理において、付近の低速画素値に基づき新しい画素値を計算することにより置換される。所定閾値より大きい高速画素値がすべて問題画素と考えられる。高速画素の場合、問題高速画素の検出目的で使用されるこの所定閾値を高露光応答閾値と呼ぶ。よって、次式を満たせば高速画素値ｉ（ｘ，ｙ）は問題画素値とみなされる。
【００３８】
【数４】
ｉ（ｘ，ｙ）＞Ｔ_２
ここで、Ｔ_２は所定閾値である。好ましい実施形態では、Ｔ_２の値は２５４に設定される。なお、閾値Ｔ_２は位置（ｘ，ｙ）におけるフォトサイトの色に依存してもよい。問題位置である高速応答フォトサイトは飽和画素と呼ばれる。これはｉ（ｘ，ｙ）の値がこれらの位置において最大限に高いためである。
【００３９】
低速画素閾値部４６により決定した問題低速画素の（ｘ，ｙ）位置及び高速画素閾値部４８により決定した問題高速画素の（ｘ，ｙ）位置が、信号拡張器５０に入力される。さらに、低速画素等価器４４から出力されたイメージ信号ｉ（ｘ，ｙ）も信号拡張器５０に入力される。撮像素子１０の各フォトサイトの固有ダイナミックレンジがより大きければ、信号拡張器５０の目的は問題位置（ｘ，ｙ）におけるイメージ信号ｉ（ｘ，ｙ）を、ここで置換値と呼ぶ信号の予想値と置換することである。問題位置が低速応答フォトサイトに一致すれば、置換値は、高速応答フォトサイトに一致する近接イメージ信号画素値から計算する。この実施形態では、「近接」という用語はある空間的な距離を意味する。好ましい実施形態では、選択されたフォトサイトの近接フォトサイトとは、この選択されたフォトサイトから２フォトサイト分の距離範囲にあるフォトサイトである。同様に、問題位置が高速応答フォトサイトに一致する場合には、低速応答フォトサイトに一致する近接イメージ信号値から置換値を計算する。好ましい実施形態においては、問題フォトサイトにおけるフォトサイトの色も考慮される。任意の問題位置に対する置換値は、好ましくは、同色の近接フォトサイトから発生する信号によってのみ決定する。信号拡張器５０から出力されるイメージ信号ｉ’（ｘ，ｙ）は、撮像素子１０の各フォトサイトに対する実際の固有ダイナミックレンジＳではなく、次式のダイナミックレンジを有するフォトサイトを備えた撮像素子１０により捉えた場合のダイナミックレンジを有する。
【００４０】
【数５】
Ｓ＝−ｌｏｇ_２（Ｘ／１００）
なお、問題位置ではない（ｘ，ｙ）位置すべてについては、ｉ’（ｘ，ｙ）の値はｉ（ｘ，ｙ）と同値である。
【００４１】
図７（Ｂ）に示されるバイヤーのＣＦＡパターンに対し信号拡張器５０が実行する処理の一例を説明する。位置（ｘ，ｙ）が問題位置であり、かつ（ｘ，ｙ）が緑のフォトサイト(図７（Ｂ）におけるフォトサイト３４など）の対応位置である場合、イメージ信号ｉ（ｘ，ｙ）に対する置換値ｉ’（ｘ，ｙ）は、次の方法で計算する。
【００４２】
【数６】
ｉ’（ｘ，ｙ）＝０．２５＊［ｉ（ｘ−１，ｙ−１）+ｉ（ｘ+１，ｙ-1）+ｉ（ｘ-1，ｙ+1）+ｉ（ｘ+1，ｙ+1）］
なお、ｉ’（ｘ，ｙ）の計算が依存する信号値は、特定要件を満たしていることが期待される。例えば、（ｘ，ｙ）が問題位置であり、かつ（ｘ，ｙ）が応答の遅い緑のフォトサイトに対応しているとする。この場合、近接フォトサイトの信号レベルを用いて置換値ｉ’（ｘ，ｙ）を計算する。しかしながら、これは各近接フォトサイトの信号値がＴ_３未満であることを仮定している。好ましい実施形態においては、Ｔ_３＝Ｔ_１である。信号値がＴ_３未満ではない各近隣フォトサイトの信号レベルは、置換値ｉ’（ｘ，ｙ）の計算から省く。例えば、ｉ（ｘ−１，ｙ−１）＞Ｔ_３の場合には、ｉ’（ｘ，ｙ）の値は次式により計算する。
【００４３】
【数７】
ｉ’（ｘ，ｙ）＝１／３＊［ｉ（ｘ+１，ｙ-1）+ｉ（ｘ-1，ｙ+1）+ｉ（ｘ+1，ｙ+1）］
一般に、問題位置（ｘ，ｙ）における置換値を求めるための補間スキームは、この位置（ｘ，ｙ）がバイヤーパターンのフィルタアレイを有する撮像素子における高速応答フォトサイトである緑のフォトサイトに対応する場合、次式により与えられる。
【００４４】
【数８】

ここで、
【数９】

なお、問題位置が低速応答フォトサイトである緑のフォトサイトに対応する場合の置換値を求める際にも同一の式が適用される。しかしながら、この場合には、
【数１０】

ここで、好ましい実施形態では、Ｔ_４＝Ｔ_２である。
【００４５】
同じく図７（Ｂ）に示されるバイヤーのＣＦＡパターンに関する別の例として、位置ｉ（ｘ，ｙ）が問題フォトサイトであり、かつ（ｘ，ｙ）が赤または緑のフォトサイトの位置に対応する場合、イメージ信号ｉ（ｘ，ｙ）に対する置換値ｉ’（ｘ，ｙ）は以下の方法で計算される。
【００４６】
【数１１】
ｉ’（ｘ，ｙ）＝０．２５＊［ｉ（ｘ−２，ｙ）+ｉ（ｘ+２，ｙ）+ｉ（ｘ，ｙ+２）+ｉ（ｘ，ｙ−２）］
位置（ｘ，ｙ）が赤または青のフォトサイトに対応し、かつ高速応答フォトサイトであれば、置換値ｉ’（ｘ，ｙ）を求める式を以下のように一般化してもよい。
【００４７】
【数１２】

ここで、
【数１３】

なお、この場合、ｊとｋのいずれかが０でなければならないが、ｊとｋのいずれもが０ではならない。また、問題位置が低速応答フォトサイトである赤または青のフォトサイトに対応する場合の置換値を求める際にも同一の式が適用される。しかしながら、この場合には、
【数１４】

ここで、好ましい実施形態においては、Ｔ_４＝Ｔ_２である。
【００４８】
１つ以上の散在的にサンプリングされたイメージ信号からダイナミックレンジが拡張したイメージ信号を生成するための上記補間スキームは、当業者による修正が可能である。上記の補間スキームに対して多くの修正が得られるが、これらの修正は本発明から相当程度に逸脱していると考えるべきではない。
【００４９】
当業者であれば、信号拡張器により実行される上記補間スキームが、当業界で周知のローパスフィルタであることがわかるであろう。通常、イメージ信号にローパスフィルタを適用することは、イメージ信号の解像度を低減するのと同様の作用がある。ＤＲＥＦＡプロセッサ２２により実行される処理は、撮像素子１０の空間解像度と引き換えに、撮像素子１０のダイナミックレンジを得ることのできる方法である。実際に、この補間スキームを実施して信号のダイナミックレンジを拡大したイメージの領域は、イメージの同領域をセンサにより(低速画素閾値部４６と高速画素閾値部４８により決定するような）「問題位置」がまったく発生しないように撮像した場合に比べ、明らかによりソフトに(より鋭さがなく）見える。
【００５０】
本発明では、イメージ信号に対してＤＲＥＦＡプロセッサ２２及びＣＦＡ補間器２６を使用する前に、ノイズ低減プロセッサ２１０によりこのイメージ信号からノイズを除去する。補間処理に先立つノイズ低減処理は、本発明の重要な効果である。特に、補間処理はイメージ信号に存在するノイズを増幅する可能性がある。したがって、補間の前にノイズ低減処理を行う結果、これら２つの処理モジュールの順序が逆である場合に比べ、よりノイズの少ない、処理されたディジタルイメージを得ることができる。本発明の別の重要な側面は、信号依存型のノイズ低減を取り入れたことである。この方法を用いることにより、ノイズ特性の異なるイメージ信号の画素に対するノイズ低減方法が最適化される。
【００５１】
本発明の好ましい実施形態では、前出の雑誌記事"Digital Image Smoothing and the Sigma Filter"(Computer Vison, Graphics,and Image Processing, vol.24,1983,pp.255-269)に記載のジョンセンリー（Jong-Sen Lee）によるシグマフィルタの修正バージョンを用いて、イメージ信号からノイズを除去する。局所的に近接する画素、すなわちｎｘｎの画素（ｎは行または列のいずれかの方向における画素の長さ）に含まれる画素値を、中心画素すなわち関心画素の値と比較する。局所的に隣接する各画素には、関心画素値とその局所近接画素値との絶対差に基づき１または０の重み付け係数が与えられる。画素値の差の絶対値が閾値ε以下であれば、重み付け係数は１に設定される。それ以外の場合には重み付け係数を０に設定する。数値定数εは、予想されるノイズ標準偏差の２倍に設定される。数学的には、ノイズ低減した画素値の計算式は次式により与えられる。
【００５２】
【数１５】

さらに、
【数１６】

ここで、ｐ_ｍｎは局所的に近接する画素に含まれるｍｎ番目の画素を表し、ｐ_ｉｊは行ｉ及び列ｊに位置する関心画素の値を表し、ａ_ｍｎは重み付け係数を表し、ｑ_ｉｊはノイズを低減した画素値を表し、εはノイズ低減フィルタの閾値変数を表す。変数δ_ｍｎｉｊは、中心画素ｐ_ｉｊ及び画素ｐ_ｍｎに関連する対応フォトサイトのタイプに応じて０．０と１．０のいずれかである係数である。例えば、画素ｐ_ｉｊ及び画素ｐ_ｍｎのいずれもが同じタイプのフォトサイト、すなわち光に対するスペクトル感度が同一であり、光の大きさに対して応答が同じであるフォトサイトに対応する場合、δ_ｍｎｉｊの値は１．０である。一方、画素ｐ_ｉｊ及び画素ｐ_ｍｎが光に対するスペクトル感度が異なる、または光の大きさに対する応答が異なるフォトサイトに対応している場合には、δ_ｍｎｉｊの値は０．０である。したがって、ノイズを低減した画素値ｑ_ｉｊは、同一のノイズ特性を有する画素の小さい局所近隣領域内の画素値から計算する。よって、本発明によれば、低速応答フォトサイトに対応する画素のみを用いて、低速応答フォトサイトに対応する画素のノイズ低減した画素値を計算する。同様に、高速応答フォトサイトに対応する画素のノイズ低減した画素値を計算するには、高速応答フォトサイトに対応する画素のみを使用する。
【００５３】
一般に、撮像素子１０のフォトサイトのタイプが異なればノイズ特性も異なる。すなわち、２つのフォトサイトは、光に対するスペクトル感度または絶対光強度のいずれかが異なれば、そのノイズ特性も異なる。本発明の信号依存型ノイズ特性は、次式（１７）により与えられるεの式に組込まれる。
【００５４】
【数１７】
ε＝Ｓｆａｃσ_ｎ（ｐ_ｉｊ）（１７）
ここで、σ_ｎは、中心画素値ｐ_ｉｊ（すなわち関心画素）において求めた、イメージ信号のノイズ標準偏差を表す。パラメータＳｆａｃを使用し、ノイズ低減の程度を変えることができる。Ｓｆａｃとεの変数はいずれもノイズ調整パラメータの例である。次に、２つの和の除法（division）として、ノイズ低減した画素値の計算を行う。この処理を、イメージ信号に含まれる全画素に対して行い、ノイズ低減した画素値をイメージ信号画素値と置き換える。
【００５５】
リーによるシグマフィルタは、本発明で使用できる画素差フィルタの一例である。画素差フィルタの中心側面は、関心画素を中心とした局所的近接画素における画素値に基づきノイズ低減した画素値を計算する空間フィルタであり、各局所画素の影響力は、その局所画素値と、局所近接画素から求めた基準数値との差に基づく。本発明の好ましい実施形態では、関心画素の値を基準数値として使用する。局所近接画素における画素の平均など、他の値を基準数値として使用することもできる。
【００５６】
画素差フィルタの別の例は、Ｄ．Ｃ．Ｃワン他による反転グラジエントフィルタ（Inverse Gradient Filter）（Gradient Inverse Weighted Smoothing Scheme and the Evaluation of its Performance、 Computer Graphics and Image Processing Vol.15,p.167-181,1981）である。このアルゴリズムでは、中心画素の周囲の矩形サンプリング領域から局所画素値の非線形の重みを取ることにより、ノイズ低減したイメージを生成する。重み付け係数は、中心画素と周辺画素値との大きさの差に基づいている。
【００５７】
本発明は、イメージ信号のノイズ特性に依存しないノイズ低減方法により実施が可能である。本発明の別の実施形態においては、メジアンフィルタを使用してノイズ低減された画素値を計算する。上記の好ましい実施形態と同様に、この別の実施形態においても、低速応答フォトサイトに対応する画素だけを使用して、低速応答フォトサイトに対する画素のノイズ低減画素値を計算し、高速応答フォトサイトに対応する画素のみを使用して高速応答フォトサイトに対応する画素のノイズ低減した画素値を計算する。
【００５８】
本発明では、低速応答フォトサイト及び高速応答フォトサイトにそれぞれ対応する低速画素値と高速画素値に対し、別々のノイズ特性テーブルを使用している。表（１）は、低速画素と高速画素のいずれかに使用できるノイズ特性テーブルの一例である。本発明の実施においては、低速画素と高速画素に対し、異なるノイズテーブルを使用できる。式（１７）の標準偏差変数σ_ｎ（）は、赤、緑、青の画素に対して異なる値を想定している。各画素タイプに対してエントリを１つだけ有するノイズ特性テーブルにより、本発明を実施することも可能である。これは、信号依存型の場合である。
【００５９】
【表１】

当業者であれば、標準偏差値の表以外の特性を必要とする、他のノイズ低減方法によっても本発明を実施可能であることが理解できるだろう。
【００６０】
【発明の効果】
本発明の重要な効果は、ダイナミックレンジが拡張された撮像素子に使用される異なるタイプのフォトサイトに関連する各タイプの画素に対し最適化された、ノイズ低減方法を使用することである。
【００６１】
本発明の更なる効果は、補間処理ステップに先立ちノイズ除去処理ステップを行う、処理ステップの順序に関する。本発明により処理されたディジタルイメージは、これら２つの処理ステップの順序が逆の場合に比べてノイズがより少ない。
【００６２】
本発明のさらに別の効果は、ノイズ特性の異なるイメージ信号の画素に対するノイズ低減方法を最適化するための、信号依存型ノイズ低減方法を取り入れたことである。
【図面の簡単な説明】
【図１】本発明による拡張ダイナミックレンジ撮像素子及びディジタルイメージプロセッサを使用したディジタル撮像システムのブロック図である。
【図２】ディジタルイメージプロセッサの機能ブロック図である。。
【図３】選択されたフォトサイトの応答を変える小型レンズアレイを用いた、インターライン型イメージセンサの断面図である。
【図４】選択されたフォトサイトの応答を変える金属マスクを用いた、フルフレーム型イメージセンサの断面図である。
【図５】高速応答フォトサイト及び低速応答フォトサイトの応答を示したグラフである。
【図６】選択されたフォトサイトの応答を変えるために使用される中性密度フィルタアレイを用いたイメージセンサの断面図である。
【図７】（Ａ）はパンクロマティック撮像素子における低速応答フォトサイトと高速応答フォトサイトの配置を示す図であり、（Ｂ）はカラー撮像素子における低速応答フォトサイトと高速応答フォトサイトの配置を示す図である。
【図８】ダイナミックレンジ拡張フィルタアレイ（ＤＲＥＦＡ)プロセッサのブロック図である。
【符号の説明】
１レンズ、６光ローパスフィルタ、１０撮像素子、１４Ａ／Ｄ変換器、２２ＤＲＥＦＡプロセッサ、２６ＣＦＡ補間器、２８低速応答フォトサイト、３０高速応答フォトサイト、３２赤の低速応答フォトサイト、３４緑の低速応答フォトサイト、３６青の低速応答フォトサイト、３８赤の高速応答フォトサイト、４０緑の高速応答フォトサイト、４２青の高速応答フォトサイト、４４低速画素等価器、４６低速画素閾値部、４８高速画素閾値部、５０信号拡張器、５１小型レンズ、５２低速応答フォトサイト位置、５３ａ−ｄカラーフィルタアレイ、５４光ブロックマスク部分、５５感光領域、５６大型開口、５７小型開口、５８中性フィルタ層、５９中性フィルタ、２００ディジタルイメージプロセッサ、２１０散在的にサンプリングされた拡張ダイナミックレンジディジタルイメージ、２０２ノイズ低減したディジタルイメージ、２１０ノイズ低減プロセッサ。

Claims

光の露出に対して所定の応答を有し高速応答画素値を生成する高速応答フォトサイトと、同じ光の露出に対しより遅い応答を有し低速応答画素値を生成する低速応答フォトサイトとを備える撮像素子により生成された、散在的にサンプリングされた拡張ダイナミックレンジイメージからノイズを除去する方法であって、
ａ）高速及び低速応答ディジタル画素値を有する、散在的にサンプリングされた拡張ダイナミックレンジディジタルイメージを生成するステップと、
ｂ）ディジタルノイズフィルタ方法を使用し、関心画素と同一のノイズ特性を有する画素であって関心画素の局所的近接領域内の画素の画素値を用い、関心画素が低速応答ディジタル画素値を有するときは低速応答ディジタル画素値のみを用いてノイズ低減した低速応答ディジタル画素値を生成し、関心画素が高速応答ディジタル画素値を有するときは高速応答ディジタル画素値のみを用いてノイズ低減した高速応答ディジタル画素値を生成して、前記散在的にサンプリングされた拡張ダイナミックレンジディジタルイメージからノイズを除去するステップと、
ｃ）前記ノイズ低減した低速応答ディジタル画素値と前記ノイズ低減した高速応答ディジタル画素値とを組み合わせてノイズ低減した散在的にサンプリングされたディジタルイメージを生成するステップと、
を備えることを特徴とする方法。
請求項１に記載の方法において、ディジタルノイズフィルタ方法は、
関心画素と、その関心画素について局所的に近接する複数の局所近接画素とを特定するステップと、
複数の局所的近接画素の各ディジタル画素値を、関心画素のディジタル画素値と比較し、各局所的近接画素の各ディジタル画素値と関心画素の画素値との絶対差を計算するステップと、
ノイズ低減した画素値を計算するために、絶対差を計算するステップで計算された絶対差を用いるステップと、
を含むことを特徴とする方法。
請求項２に記載の方法において、計算された絶対差を用いるステップは、さらに、
計算された絶対差を予め定められた閾値と比較し、
ノイズ低減した画素値を計算するために、計算された絶対差が閾値以下のときには、局所的近接画素の各ディジタル画素値のみを用いることを特徴とする方法。
請求項３に記載の方法において、閾値の決定は、
複数のノイズ特性値を準備し、
複数のノイズ特性値の中の１つを選択するために、各局所的近接画素の各ディジタル画素値を用い、
選択されたノイズ特性値を閾値として用いることを特徴とする方法。