JP4374484B2 - ディジタル・カメラにおける画質向上のための方法 - Google Patents
ディジタル・カメラにおける画質向上のための方法 Download PDFInfo
- Publication number
- JP4374484B2 JP4374484B2 JP2002213318A JP2002213318A JP4374484B2 JP 4374484 B2 JP4374484 B2 JP 4374484B2 JP 2002213318 A JP2002213318 A JP 2002213318A JP 2002213318 A JP2002213318 A JP 2002213318A JP 4374484 B2 JP4374484 B2 JP 4374484B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- digital image
- sensing device
- digital
- ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000012937 correction Methods 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般に、画像信号処理分野に関するものであり、とりわけ、生画像センサ出力のＳ／Ｎ比に従って色飽和度を調整することによって、ディジタル・カメラにおける画質を向上させるための方法及び装置に関するものである。
【０００２】
【従来の技術】
ディジタル・ビデオまたはスチール・カメラのようなディジタル・カメラの場合、カメラの画像センシング装置に集束した物体からの光は、表示、伝送、または、記憶に適した物体の電子出力画像に変換される。画像センシング装置によって、それに集束した光パターンが、電圧サンプル・アレイに変換され、これが、ディジタル信号に変換されることになる。次に、ディジタル信号は、ディジタル画像処理プロセッサによる処理を受け、電子出力画像が描画される。ディジタル画像プロセッサは、一般に、例えば、カラー・モザイク・サンプルからの画像再構成、白色点調整、色補正、ノイズ・フィルタリング、トーン・マッピング、及び、画像圧縮を含む、いくつかの異なる画像処理段を実施する。
【０００３】
ディジタル・カメラの場合、ディジタル画像処理プロセッサは、色補正マトリックスを利用して、色補正を行う。大部分のディジタル・スチール・カメラでは、色補正マトリックスが、あらかじめ決定されるが、通常は、良好な照明条件下において最も好ましい色再現が得られるように選択される。
【０００４】
ディジタル・カメラの場合にも、低信号レベルにおいて、画像センシング装置の出力のＳ／Ｎ比が低下し、結果としてノイズのある画像が生じることになり、色補正を施すと、Ｓ／Ｎ比はさらに劣化して、さらにノイズの多い画像が生じることになる。
【０００５】
既知のディジタル・カメラにおいて用いられた色補正マトリックスは、通常、Ｓ／Ｎ比を犠牲にすれば、色質にとって最適である。これらのカメラの中には、色補正マトリックスが、画像のノイズを増幅することによってＳ／Ｎ比を低下させるものもあり、一方、低信号レベルにおいて、モノクロ操作にスイッチすることによって、ノイズ増幅を回避するものもある。従って、大部分の既知のディジタル・カメラでは、低信号レベルで生成される画像は、色彩豊かで、ノイズが多いか、無色で、ノイズの少ないものになる。
【０００６】
米国特許第５、４４６、５０４号には、ディジタル・カメラにおける信号レベルの関数として色飽和度を変化させるための方法及び装置が記載されている。この特許の図２には、完全な飽和度からゼロ飽和度、すなわち、モノクロまでの全範囲にわたって、色飽和度を変化させるために利用可能な回路が例示されている。この特許に記載の方法の場合、色飽和度は、輝度レベルの関数として変化させられ、シーンの暗領域で低下する。
【０００７】
米国特許第５、４４６、５０４号に記載のような方法は、いくつかの理由から完全に満足のいくものではない。まず、この特許の方法では、輝度信号が、色補正マトリックスの選択を制御するが、この方法は、相対的輝度信号レベルにしか効果的に作用しない。従って、この特許の方法では、相対的輝度信号に応じて、色補正マトリックスを画像全体にわたって変更しなければならない。また、上述のように、電子出力画像は、低信号レベルにおいて、ノイズが多いか、または、無色になりがちである。
【０００８】
【発明が解決しようとする課題】
本発明の目的は、広範囲の信号レベルにわたって有効に色補正することが可能な色補正マトリックスを備える、ディジタル・カメラのようなディジタル画像形成装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明によれば、ある広い信号レベル範囲にわたって、ディジタル・カメラのようなディジタル画像形成装置の画質を向上させるための方法及び装置が得られる。本発明による画質向上方法には、画像センシング装置からディジタル画像信号を受け取るステップと、前記画像センシング装置の平均出力信号レベル、前記画像センシング装置の少なくとも１つの動作パラメータ、および前記画像センシング装置の少なくとも１つのノイズ特性に基づいて前記ディジタル画像信号のＳ／Ｎ比を推定するステップと、ディジタル画像信号の推定されたＳ／Ｎ比に基づいて色補正器を選択するステップと、前記選択された色補正器に基づき前記ディジタル画像信号を処理して、電子出力画像を送り出すステップが含まれる。
【００１０】
本発明の過程で、ディジタル・カメラのようなディジタル画像形成装置において、ディジタル画像信号のＳ／Ｎ比に関する情報を利用して、ディジタル画像信号の色補正を行うことにより、広いディジタル画像信号レベル範囲にわたって、画質の最適化が可能であることが発見された。
【００１１】
本発明のある実施態様によれば、ディジタル画像信号には、画像センシング装置からの出力が含まれ、Ｓ／Ｎ比推定装置が、出力ディジタル画像信号の平均Ｓ／Ｎ比の推定値を計算する。色補正マトリックスとすることが可能な色補正器は、推定された平均Ｓ／Ｎ比に基づいて選択される。
【００１２】
本発明のもう１つの実施態様によれば、平均Ｓ／Ｎ比の推定値は、画像センシング装置のノイズの先験的モデルに基づいて、画像センシング装置の出力の平均レベル、画像センシング装置の少なくとも１つの動作パラメータ、及び、画像センシング装置の少なくとも１つのノイズ特性から計算される。次に、適合する色補正器が、計算された平均Ｓ／Ｎ比の推定値に基づいて選択される。
【００１３】
本発明のもう１つの実施態様によれば、先験的モデルには、画像センシング装置の利得段の前後における電子ノイズ源、及び、光子のショット・ノイズが含まれている。所望の場合には、先験的モデルに、暗電流のような他のノイズ源を含むことも可能である。
【００１４】
前述のように、既知のディジタル・カメラは、相対的輝度信号レベルに基づいて色補正マトリックスを選択する。輝度信号の増幅度は、不明であり、画像センシング装置の特性及び動作条件は不明である。従って、既知のカメラでは、輝度レベルからディジタル画像信号のＳ／Ｎ比を求めることができない。
【００１５】
一方、本発明のある実施態様によれば、動作パラメータを利用して、絶対輝度信号レベルが求められ、画像センシング装置の絶対信号レベル及び特性からＳ／Ｎ比が求められる。本発明の場合、平均信号レベルを利用して、平均Ｓ／Ｎ比が計算されるので、画像全体にわたって色補正器を変更する必要はなく、単一選択色補正器を利用して、画像全体を補正することが可能である。結果として、ディジタル画像の画質を信号値の広範囲にわたって最適化することが可能である。
【００１６】
本発明のもう１つの実施態様によれば、ルックアップ・テーブルを利用して、色補正器の選択を実施することができるし、あるいは、解析公式を利用して、２つの極値間を補間することによって、色補正器を決定することも可能である。
【００１７】
本発明の実施態様によれば、画像センシング装置には、ＣＭＯＳ（相補形金属酸化膜半導体）画像センサまたはＣＣＤ画像センサが含まれ、画像形成装置には、ディジタル・ビデオまたはスチール・カメラが含まれる。さらに、本発明によれば、上述のものに加えて、あるいは、その代わりに、他の特徴及び利点を備えた実施態様が得られる。これらの特徴及び利点の多くは、本発明の典型的な実施態様に関する下記の図面及び詳細な説明に関連して、今後明らかになる。
【００１８】
【発明の実施の形態】
図１は、本発明の典型的な実施態様によるディジタル画像形成装置の概略を例示したブロック図である。ディジタル画像形成装置は、全体が参照番号１０で表示されており、例えば、電子ビデオ・カメラまたは電子スチール・カメラのようなディジタル・カメラを含んでいる。
【００１９】
図１に示すように、ディジタル画像形成装置には、物体から光を受けて、画像センシング装置１４に集束させる、レンズとして表された光学系１２が含まれている。画像センシング装置１４には、それに集束させられた光パターンを変換して、その光パターンを表したアナログ電圧サンプル・アレイにする画像センサ１５と、アナログ電圧サンプル・アレイをディジタル画像信号に変換するアナログ・ディジタル変換器１６が含まれている。図１には独立したコンポーネントとして例示されているが、Ａ／Ｄ変換器１６は、画像センサ１５に組み込むことが可能である。画像センサ１５には、ＣＭＯＳ（相補形金属酸化膜半導体）画像センサまたはＣＣＤ（電荷結合素子）画像センサが含まれていることが望ましいが、もちろん、本発明を任意の特定タイプの画像センサに制限することを意図したものではない。
【００２０】
画像センシング装置１４から出力された、図１の矢印２３によって表示されたディジタル画像信号は、全体が参照番号３０によって表示されたディジタル画像処理プロセッサによって受信される。ディジタル画像処理プロセッサ３０は、ディジタル画像信号を処理して、物体を表した電子出力画像を描画する働きをする。要するに、ディジタル画像形成装置１０は、その画像センシング装置に集束した光を変換して、表示、伝送、または、記憶に適した形式の電子出力画像が得られるようにする。
【００２１】
ディジタル画像処理プロセッサ３０は、一般に、例えば、カラー・モザイク・サンプルからの画像再構成、白色点調整、色補正、ノイズ・フィルタリング、トーン・マッピング、及び、画像圧縮を含む、いくつかの異なる画像処理段を実施する。本発明は、主として、色補正処理段を対象とするものであり、色補正を実施するため、ディジタル画像処理プロセッサには、図１のボックス２２によって概略が例示された色補正マトリックスが含まれている。
【００２２】
前述のように、大部分のディジタル・カメラでは、色補正マトリックスが、前もって決定され、通常、良好な照明条件下において最も好ましい色再現が得られるように選択される。大部分の既知のディジタル・カメラに用いられている色補正マトリックスは、Ｓ／Ｎ比を犠牲にして、色の質を最適化するように選択されている。選択されたマトリックスは、画像ノイズを増幅するか、または、低信号レベルにおいて、モノクロ操作にスイッチすることによって、Ｓ／Ｎ比を低下させる。これらのアプローチでは、結果として、低信号レベルにおいて、色彩豊かで、ノイズが多いか、無色で、ノイズの少ない画像を生じることになる。
【００２３】
しかし、ディジタル・カメラのようなディジタル画像形成装置において、画像センシング装置１４の出力画像信号のＳ／Ｎ比に関する情報を考慮した色補正マトリックスを選択することにより、広い信号レベル範囲にわたって、画質の最適化が可能であることが発見された。
【００２４】
すなわち、図１をさらに参照すると、適切な色補正マトリックス２２を選択するため、ディジタル画像処理プロセッサ３０には、Ｓ／Ｎ比推定装置１８（ＳＮＲ推定装置）及び色補正マトリックス・セレクタ２０が含まれている。一般に、ＳＮＲ推定器は、２３で例示の画像センシング装置から出力される生画像信号の平均値、２４で例示の画像センシング装置の動作パラメータ、及び、２５で例示の画像センシング装置の特性からディジタル画像信号の平均Ｓ／Ｎ比の推定値を計算する働きをする。次に、計算された平均Ｓ／Ｎ比の推定値を利用して、ディジタル画像信号の色を補正するのに適した色補正マトリックスが選択される。
【００２５】
さらに詳述すると、ＳＮＲ推定装置は、画像センシング装置のノイズの先験的モデルに基づいて、画像センシング装置から出力される生出力信号の平均レベル、画像センシング装置の動作パラメータ、及び、画像センシング装置の特性から平均Ｓ／Ｎ比の推定値を計算する。望ましい実施態様の場合、例えば、先験的モデルには、画像センシング装置の利得段前後における電子ノイズ源、さらには、光子のショット・ノイズが含まれている。所望の場合には、モデルに、例えば、暗電流を含む他のノイズ源を使用することも可能である。
【００２６】
Ｓ／Ｎ比を計算するための公式は：
｛ＳＮＲ｝＝（｛Ｓ｝／Ｇ）／（√［ｋ｛Ｓ｝／Ｇ］＋Ｎ１＋Ｎ２／Ｇ）
この式において、｛Ｓ｝は、画像センシング装置の出力の平均信号レベルであり、「Ｇ」は、画像センシング装置の動作パラメータの１つである増幅器利得である。モデルに暗電流が含まれる場合、画像センシング装置の他の２つの動作パラメータ、すなわち、露光期間及び温度が必要になる。「ｋ」、「Ｎ１」、及び、「Ｎ２」は、メーカの仕様書、または、画像センシング装置の性能に関する個別測定から求めることが可能な画像センシング装置の特性である。これらの測定には、例えば、さまざまな利得設定における、照明がない場合の、ノイズ出力のテストを含むことが可能である。「ｋ」は、画像センシング装置の変換利得（ピクセル電圧対集電された電荷量の比）である。「Ｎ１」は、画像センシング装置の可変増幅段の前において加えられる電子ノイズであり、「Ｎ２」は、画像センシング装置の可変増幅段の後で加えられる電子ノイズである。この公式の平方根項では、光子のショット・ノイズの寄与が推定される。
【００２７】
色補正マトリックス・セレクタ２０は、ＳＮＲ推定装置１８によって推定されるＳ／Ｎ比の平均値に基づいて色補正マトリックスを選択する。本発明の典型的な実施態様では、ルックアップ・テーブルを用いて、その選択が実施される。図２には、適合するルックアップ・テーブル５０が例示されている。
【００２８】
ルックアップ・テーブルに掲載された色補正マトリックスは、Ｓ／Ｎ比の関数として、色飽和度に対する観測者の嗜好の研究に基づいて選択される。あるいはまた、解析公式を利用して、２つの極値間を補間することによって、色補正マトリックスを決定することも可能である。こうした解析公式の一例は、次の通りである：
ＣＣ＝ａ＊ＣＣ＿ＬｏｗＳａｔ＋（１−ａ）＊ＣＣ＿ＨｉｇｈＳａｔ
ここで、
ａ＝１／（１＋ＳＮＲ／ＳＮＲ＿０）
この公式において、ＣＣは、色補正マトリックスである。ＣＣ＿ＬｏｗＳａｔ及びＣＣ＿ＨｉｇｈＳａｔは、それぞれ、低色飽和度及び高色飽和度の２つの極端な場合の色補正マトリックスである。ＳＮＲは、推定ＳＮＲであり、ＳＮＲ＿０は、あるＳＮＲしきい値である。この公式によれば、極値間の線形補間が施される。ここで、「*」は乗算を表す。
【００２９】
ＣＭＯＳ画像センサ１５の場合、画像センサに、ディジタル画像信号の特性に関する情報を抽出するために必要な論理を含むことが可能である。ＣＣＤ画像センサ１５の場合、画像センサのアナログ・フロント・エンド・チップに論理を含むことが可能である。いずれの画像センサの場合にも、信号特性情報の抽出は、ディジタル画像処理プロセッサ３０の内部で実施可能である。
【００３０】
画像センシング装置における主たるノイズ源は、低信号レベルでは、信号レベルと無関係である。従って、低信号値では、Ｓ／Ｎ比に関する情報は、画像センシング装置によって出力されるディジタル画像の信号レベルから推測することが可能である。
【００３１】
３原色システムの場合、色補正すなわち色変換は、一般に負の要素を含む３×３色補正マトリックスによって実施される。負の要素によって、変換空間における信号レベルが低下する。しかし、生センサのカラー・チャネルのノイズ処理が無相関であるため、ノイズ成分は低減しない。ノイズ項は、パワーを増し、信号項は、パワーを減じる。
【００３２】
この効果は、理想のＣＭＹ（シアン、マゼンタ、黄）から理想のＲＧＢ（赤、緑、青）への変換において観測することが可能である。Ｃ＝Ｂ＋Ｇ、Ｍ＝Ｂ＋Ｒ、及び、Ｙ＝Ｒ＋Ｇであると仮定する。ＣＭＹからＲＧＢへの対応する変換マトリックスは、次の通りである：
【数１】
【００３３】
また、入力チャネルが、全て、信号レベル「Ｓ」及びノイズ・レベル「Ｎ」を備えており、ノイズ処理が無相関であると仮定する。表示空間に結果生じる信号レベルは、０．５＊Ｓであり、一方、ノイズ・レベルは、０．５＊√（３）＊Ｎである。従って、Ｓ／Ｎ比は、１／√（３）に低減された。
【００３４】
あるいはまた、マトリックス係数を調整して、カラーの代わりに、モノクロへの変換を実施することも可能である。この場合、カラー変換マトリックスは、ただ単に次のようになるだけである：
【数２】
【００３５】
このマトリックスでは、信号項は、そのまま増すが、ノイズ項は、パワーだけを増す。出力Ｓ／Ｎ比は、√（３）倍に高くなる。
【００３６】
色飽和度は、上述の２つの変換マトリックス間において線形補間を施すことによって、フル・カラーとモノクロの間のどこからでも変化させることが可能である。電子出力画像のＳ／Ｎ比は、センサ出力信号のＳ／Ｎ比の１／√（３）から√（３）倍まで変化させることが可能である。芳しくない照明条件下では、センサ出力信号のＳ／Ｎ比が低いと、色飽和度の低い色補正マトリックスを選択して、電子出力画像のＳ／Ｎ比を最高にすることが可能である。良好な照明条件下では、色飽和度の高い色補正マトリックスを選択して、電子出力画像の色彩の豊かさを最高にすることが可能である。一般に、色補正マトリックスは、事前の実験に基づいて、各信号レベル毎に知覚的画質が最良になるように選択すべきである。
【００３７】
図３は、本発明のもう１つの実施態様に従ってディジタル画像形成装置の画質を向上させる方法のステップの概略を例示したフローチャートである。この方法では、ステップ１００において、物体からの光が、まず、ディジタル画像形成装置の光学系によって集められ、画像センシング装置に集束させられる。ステップ１０２において、画像センシング装置は、それに集束させられた画像パターンをアナログ電圧サンプルのアレイに変換し、ステップ１０４において、アナログ電圧サンプルは、画像センシング装置のディジタル画像信号に変換される。ディジタル画像信号は、ディジタル画像処理プロセッサによって受信され、ステップ１０６において、その信号のＳ／Ｎ比が求められる。ステップ１０８において、求められたＳ／Ｎ比に基づいて、適切な色補正マトリックスが選択される。次に、ステップ１１０において、ディジタル画像処理プロセッサは、色補正された電子出力画像を出力する。
【００３８】
上記記述は、本発明の典型的な実施態様に相当するが、認識しておくべきは、本発明は、その範囲を逸脱することなく、さまざまな変更を加えることが可能であるということである。従って、認識しておくべきは、本発明は、特許請求の範囲によって必要とされる範囲に限って限定されるべきであるという点である。
【００３９】
本発明の態様を以下に例示する。
【００４０】
１．ディジタル画像形成装置における画質向上のための方法であって、ディジタル画像信号を発生するステップと、少なくとも部分的に、ディジタル画像信号のＳ／Ｎ比に基づいて色補正器を選択するステップが含まれている方法。
【００４１】
２．前記Ｓ／Ｎ比はディジタル画像信号の平均Ｓ／Ｎ比の推定値からなる上記１に記載の方法。
【００４２】
３．前記平均ディジタル画像信号が、画像センシング装置から出力されることと、前記Ｓ／Ｎ比が、画像センシング装置のノイズに関する先験的モデルに基づいて、前記画像センシング装置の平均出力信号レベル、前記画像センシング装置の少なくとも１つの動作パラメータ、及び、前記画像センシング装置の少なくとも１つの特性に基づいて推定される上記２に記載の方法。
【００４３】
４．前記モデルに、少なくとも１つの電子ノイズ源が含まれる上記３に記載の方法。
【００４４】
５．前記少なくとも１つの電子ノイズ源に、前記画像センシング装置の利得段前後の電子ノイズ源が含まれる上記４に記載の方法。
【００４５】
６．前記モデルに、暗電流ノイズ源が含まれる上記３に記載の方法。
【００４６】
７．前記モデルに、光子のショット・ノイズが含まれる上記３に記載の方法。
【００４７】
８．前記少なくとも１つのセンサ動作パラメータに、前記画像センシング装置の増幅器の利得が含まれる上記３に記載の方法。
【００４８】
９．前記少なくとも１つの動作パラメータに、露光期間及び温度が含まれる上記３に記載の方法。
【００４９】
１０．ディジタル画像処理装置であって、ディジタル画像信号を発生するための画像センシング装置と、ディジタル画像信号を処理して、電子出力画像を送り出すためのディジタル画像信号プロセッサが含まれており、前記ディジタル画像信号プロセッサに、少なくとも部分的に、前記ディジタル画像信号のＳ／Ｎ比に基づいて、前記電子出力画像のカラーを補正するために、色補正器を選択する色補正器セレクタが含まれる装置。
【００５０】
１１．前記Ｓ／Ｎ比は、前記ディジタル画像信号の平均Ｓ／Ｎ比からなる上記１０に記載の装置。
【００５１】
１２．前記ディジタル画像プロセッサに、前記ディジタル画像信号のＳ／Ｎ比を判定するＳ／Ｎ比推定装置が含まれることと、前記Ｓ／Ｎ比推定装置に、ディジタル画像信号の平均レベル、前記画像センシング装置の少なくとも１つの動作パラメータ、及び、前記画像センシング装置の少なくとも１つの特性を求めるための手段が含まれることと、前記Ｓ／Ｎ比推定装置が、ディジタル画像信号の前記平均レベル、前記少なくとも１つの動作パラメータ、及び、前記少なくとも１つの特性に基づいて、ディジタル画像信号の前記平均Ｓ／Ｎ比の推定値を計算する上記１１に記載の装置。
【００５２】
１３．前記画像センシング装置にＣＭＯＳ画像センサが含まれる上記１０に記載の装置。
【００５３】
１４．前記画像センシング装置にＣＣＤ画像センサが含まれる上記１０に記載の装置。
【００５４】
１５．前記ディジタル画像形成装置に、ディジタル・カメラが含まれる上記１０に記載の装置。
【００５５】
１６．前記色補正器に、色補正マトリックスが含まれることと、前記色補正器セレクタに、色補正マトリックス・セレクタが含まれる上記１０に記載の装置。
【００５６】
１７．前記画像センシング装置に、それに集束した画像パターンを電圧サンプル・アレイに変換するための画像センサと、前記電圧サンプル・アレイを前記ディジタル画像信号に変換するためのアナログ・ディジタル変換器が含まれる上記１０に記載の装置。
【００５７】
１８．前記アナログ・ディジタル変換器が、前記画像センサに組み込まれている上記１７に記載の装置。
【図面の簡単な説明】
【図１】本発明の典型的な実施態様によるディジタル画像形成装置の概略を例示したブロック図である。
【図２】本発明のもう１つの実施態様による図１のディジタル画像形成装置の色補正マトリックスの選択を実施するために利用可能なルックアップ・テーブルの図である。
【図３】本発明のもう１つの実施態様によるディジタル画像形成装置の画質を向上させる方法のステップを例示したフローチャートである。
【符号の説明】
１４ 画像センシング装置
１８ Ｓ／Ｎ比推定装置
２０ 色補正マトリックス・セレクタ
２２ 色補正マトリックス
【発明の属する技術分野】
本発明は、一般に、画像信号処理分野に関するものであり、とりわけ、生画像センサ出力のＳ／Ｎ比に従って色飽和度を調整することによって、ディジタル・カメラにおける画質を向上させるための方法及び装置に関するものである。
【０００２】
【従来の技術】
ディジタル・ビデオまたはスチール・カメラのようなディジタル・カメラの場合、カメラの画像センシング装置に集束した物体からの光は、表示、伝送、または、記憶に適した物体の電子出力画像に変換される。画像センシング装置によって、それに集束した光パターンが、電圧サンプル・アレイに変換され、これが、ディジタル信号に変換されることになる。次に、ディジタル信号は、ディジタル画像処理プロセッサによる処理を受け、電子出力画像が描画される。ディジタル画像プロセッサは、一般に、例えば、カラー・モザイク・サンプルからの画像再構成、白色点調整、色補正、ノイズ・フィルタリング、トーン・マッピング、及び、画像圧縮を含む、いくつかの異なる画像処理段を実施する。
【０００３】
ディジタル・カメラの場合、ディジタル画像処理プロセッサは、色補正マトリックスを利用して、色補正を行う。大部分のディジタル・スチール・カメラでは、色補正マトリックスが、あらかじめ決定されるが、通常は、良好な照明条件下において最も好ましい色再現が得られるように選択される。
【０００４】
ディジタル・カメラの場合にも、低信号レベルにおいて、画像センシング装置の出力のＳ／Ｎ比が低下し、結果としてノイズのある画像が生じることになり、色補正を施すと、Ｓ／Ｎ比はさらに劣化して、さらにノイズの多い画像が生じることになる。
【０００５】
既知のディジタル・カメラにおいて用いられた色補正マトリックスは、通常、Ｓ／Ｎ比を犠牲にすれば、色質にとって最適である。これらのカメラの中には、色補正マトリックスが、画像のノイズを増幅することによってＳ／Ｎ比を低下させるものもあり、一方、低信号レベルにおいて、モノクロ操作にスイッチすることによって、ノイズ増幅を回避するものもある。従って、大部分の既知のディジタル・カメラでは、低信号レベルで生成される画像は、色彩豊かで、ノイズが多いか、無色で、ノイズの少ないものになる。
【０００６】
米国特許第５、４４６、５０４号には、ディジタル・カメラにおける信号レベルの関数として色飽和度を変化させるための方法及び装置が記載されている。この特許の図２には、完全な飽和度からゼロ飽和度、すなわち、モノクロまでの全範囲にわたって、色飽和度を変化させるために利用可能な回路が例示されている。この特許に記載の方法の場合、色飽和度は、輝度レベルの関数として変化させられ、シーンの暗領域で低下する。
【０００７】
米国特許第５、４４６、５０４号に記載のような方法は、いくつかの理由から完全に満足のいくものではない。まず、この特許の方法では、輝度信号が、色補正マトリックスの選択を制御するが、この方法は、相対的輝度信号レベルにしか効果的に作用しない。従って、この特許の方法では、相対的輝度信号に応じて、色補正マトリックスを画像全体にわたって変更しなければならない。また、上述のように、電子出力画像は、低信号レベルにおいて、ノイズが多いか、または、無色になりがちである。
【０００８】
【発明が解決しようとする課題】
本発明の目的は、広範囲の信号レベルにわたって有効に色補正することが可能な色補正マトリックスを備える、ディジタル・カメラのようなディジタル画像形成装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明によれば、ある広い信号レベル範囲にわたって、ディジタル・カメラのようなディジタル画像形成装置の画質を向上させるための方法及び装置が得られる。本発明による画質向上方法には、画像センシング装置からディジタル画像信号を受け取るステップと、前記画像センシング装置の平均出力信号レベル、前記画像センシング装置の少なくとも１つの動作パラメータ、および前記画像センシング装置の少なくとも１つのノイズ特性に基づいて前記ディジタル画像信号のＳ／Ｎ比を推定するステップと、ディジタル画像信号の推定されたＳ／Ｎ比に基づいて色補正器を選択するステップと、前記選択された色補正器に基づき前記ディジタル画像信号を処理して、電子出力画像を送り出すステップが含まれる。
【００１０】
本発明の過程で、ディジタル・カメラのようなディジタル画像形成装置において、ディジタル画像信号のＳ／Ｎ比に関する情報を利用して、ディジタル画像信号の色補正を行うことにより、広いディジタル画像信号レベル範囲にわたって、画質の最適化が可能であることが発見された。
【００１１】
本発明のある実施態様によれば、ディジタル画像信号には、画像センシング装置からの出力が含まれ、Ｓ／Ｎ比推定装置が、出力ディジタル画像信号の平均Ｓ／Ｎ比の推定値を計算する。色補正マトリックスとすることが可能な色補正器は、推定された平均Ｓ／Ｎ比に基づいて選択される。
【００１２】
本発明のもう１つの実施態様によれば、平均Ｓ／Ｎ比の推定値は、画像センシング装置のノイズの先験的モデルに基づいて、画像センシング装置の出力の平均レベル、画像センシング装置の少なくとも１つの動作パラメータ、及び、画像センシング装置の少なくとも１つのノイズ特性から計算される。次に、適合する色補正器が、計算された平均Ｓ／Ｎ比の推定値に基づいて選択される。
【００１３】
本発明のもう１つの実施態様によれば、先験的モデルには、画像センシング装置の利得段の前後における電子ノイズ源、及び、光子のショット・ノイズが含まれている。所望の場合には、先験的モデルに、暗電流のような他のノイズ源を含むことも可能である。
【００１４】
前述のように、既知のディジタル・カメラは、相対的輝度信号レベルに基づいて色補正マトリックスを選択する。輝度信号の増幅度は、不明であり、画像センシング装置の特性及び動作条件は不明である。従って、既知のカメラでは、輝度レベルからディジタル画像信号のＳ／Ｎ比を求めることができない。
【００１５】
一方、本発明のある実施態様によれば、動作パラメータを利用して、絶対輝度信号レベルが求められ、画像センシング装置の絶対信号レベル及び特性からＳ／Ｎ比が求められる。本発明の場合、平均信号レベルを利用して、平均Ｓ／Ｎ比が計算されるので、画像全体にわたって色補正器を変更する必要はなく、単一選択色補正器を利用して、画像全体を補正することが可能である。結果として、ディジタル画像の画質を信号値の広範囲にわたって最適化することが可能である。
【００１６】
本発明のもう１つの実施態様によれば、ルックアップ・テーブルを利用して、色補正器の選択を実施することができるし、あるいは、解析公式を利用して、２つの極値間を補間することによって、色補正器を決定することも可能である。
【００１７】
本発明の実施態様によれば、画像センシング装置には、ＣＭＯＳ（相補形金属酸化膜半導体）画像センサまたはＣＣＤ画像センサが含まれ、画像形成装置には、ディジタル・ビデオまたはスチール・カメラが含まれる。さらに、本発明によれば、上述のものに加えて、あるいは、その代わりに、他の特徴及び利点を備えた実施態様が得られる。これらの特徴及び利点の多くは、本発明の典型的な実施態様に関する下記の図面及び詳細な説明に関連して、今後明らかになる。
【００１８】
【発明の実施の形態】
図１は、本発明の典型的な実施態様によるディジタル画像形成装置の概略を例示したブロック図である。ディジタル画像形成装置は、全体が参照番号１０で表示されており、例えば、電子ビデオ・カメラまたは電子スチール・カメラのようなディジタル・カメラを含んでいる。
【００１９】
図１に示すように、ディジタル画像形成装置には、物体から光を受けて、画像センシング装置１４に集束させる、レンズとして表された光学系１２が含まれている。画像センシング装置１４には、それに集束させられた光パターンを変換して、その光パターンを表したアナログ電圧サンプル・アレイにする画像センサ１５と、アナログ電圧サンプル・アレイをディジタル画像信号に変換するアナログ・ディジタル変換器１６が含まれている。図１には独立したコンポーネントとして例示されているが、Ａ／Ｄ変換器１６は、画像センサ１５に組み込むことが可能である。画像センサ１５には、ＣＭＯＳ（相補形金属酸化膜半導体）画像センサまたはＣＣＤ（電荷結合素子）画像センサが含まれていることが望ましいが、もちろん、本発明を任意の特定タイプの画像センサに制限することを意図したものではない。
【００２０】
画像センシング装置１４から出力された、図１の矢印２３によって表示されたディジタル画像信号は、全体が参照番号３０によって表示されたディジタル画像処理プロセッサによって受信される。ディジタル画像処理プロセッサ３０は、ディジタル画像信号を処理して、物体を表した電子出力画像を描画する働きをする。要するに、ディジタル画像形成装置１０は、その画像センシング装置に集束した光を変換して、表示、伝送、または、記憶に適した形式の電子出力画像が得られるようにする。
【００２１】
ディジタル画像処理プロセッサ３０は、一般に、例えば、カラー・モザイク・サンプルからの画像再構成、白色点調整、色補正、ノイズ・フィルタリング、トーン・マッピング、及び、画像圧縮を含む、いくつかの異なる画像処理段を実施する。本発明は、主として、色補正処理段を対象とするものであり、色補正を実施するため、ディジタル画像処理プロセッサには、図１のボックス２２によって概略が例示された色補正マトリックスが含まれている。
【００２２】
前述のように、大部分のディジタル・カメラでは、色補正マトリックスが、前もって決定され、通常、良好な照明条件下において最も好ましい色再現が得られるように選択される。大部分の既知のディジタル・カメラに用いられている色補正マトリックスは、Ｓ／Ｎ比を犠牲にして、色の質を最適化するように選択されている。選択されたマトリックスは、画像ノイズを増幅するか、または、低信号レベルにおいて、モノクロ操作にスイッチすることによって、Ｓ／Ｎ比を低下させる。これらのアプローチでは、結果として、低信号レベルにおいて、色彩豊かで、ノイズが多いか、無色で、ノイズの少ない画像を生じることになる。
【００２３】
しかし、ディジタル・カメラのようなディジタル画像形成装置において、画像センシング装置１４の出力画像信号のＳ／Ｎ比に関する情報を考慮した色補正マトリックスを選択することにより、広い信号レベル範囲にわたって、画質の最適化が可能であることが発見された。
【００２４】
すなわち、図１をさらに参照すると、適切な色補正マトリックス２２を選択するため、ディジタル画像処理プロセッサ３０には、Ｓ／Ｎ比推定装置１８（ＳＮＲ推定装置）及び色補正マトリックス・セレクタ２０が含まれている。一般に、ＳＮＲ推定器は、２３で例示の画像センシング装置から出力される生画像信号の平均値、２４で例示の画像センシング装置の動作パラメータ、及び、２５で例示の画像センシング装置の特性からディジタル画像信号の平均Ｓ／Ｎ比の推定値を計算する働きをする。次に、計算された平均Ｓ／Ｎ比の推定値を利用して、ディジタル画像信号の色を補正するのに適した色補正マトリックスが選択される。
【００２５】
さらに詳述すると、ＳＮＲ推定装置は、画像センシング装置のノイズの先験的モデルに基づいて、画像センシング装置から出力される生出力信号の平均レベル、画像センシング装置の動作パラメータ、及び、画像センシング装置の特性から平均Ｓ／Ｎ比の推定値を計算する。望ましい実施態様の場合、例えば、先験的モデルには、画像センシング装置の利得段前後における電子ノイズ源、さらには、光子のショット・ノイズが含まれている。所望の場合には、モデルに、例えば、暗電流を含む他のノイズ源を使用することも可能である。
【００２６】
Ｓ／Ｎ比を計算するための公式は：
｛ＳＮＲ｝＝（｛Ｓ｝／Ｇ）／（√［ｋ｛Ｓ｝／Ｇ］＋Ｎ１＋Ｎ２／Ｇ）
この式において、｛Ｓ｝は、画像センシング装置の出力の平均信号レベルであり、「Ｇ」は、画像センシング装置の動作パラメータの１つである増幅器利得である。モデルに暗電流が含まれる場合、画像センシング装置の他の２つの動作パラメータ、すなわち、露光期間及び温度が必要になる。「ｋ」、「Ｎ１」、及び、「Ｎ２」は、メーカの仕様書、または、画像センシング装置の性能に関する個別測定から求めることが可能な画像センシング装置の特性である。これらの測定には、例えば、さまざまな利得設定における、照明がない場合の、ノイズ出力のテストを含むことが可能である。「ｋ」は、画像センシング装置の変換利得（ピクセル電圧対集電された電荷量の比）である。「Ｎ１」は、画像センシング装置の可変増幅段の前において加えられる電子ノイズであり、「Ｎ２」は、画像センシング装置の可変増幅段の後で加えられる電子ノイズである。この公式の平方根項では、光子のショット・ノイズの寄与が推定される。
【００２７】
色補正マトリックス・セレクタ２０は、ＳＮＲ推定装置１８によって推定されるＳ／Ｎ比の平均値に基づいて色補正マトリックスを選択する。本発明の典型的な実施態様では、ルックアップ・テーブルを用いて、その選択が実施される。図２には、適合するルックアップ・テーブル５０が例示されている。
【００２８】
ルックアップ・テーブルに掲載された色補正マトリックスは、Ｓ／Ｎ比の関数として、色飽和度に対する観測者の嗜好の研究に基づいて選択される。あるいはまた、解析公式を利用して、２つの極値間を補間することによって、色補正マトリックスを決定することも可能である。こうした解析公式の一例は、次の通りである：
ＣＣ＝ａ＊ＣＣ＿ＬｏｗＳａｔ＋（１−ａ）＊ＣＣ＿ＨｉｇｈＳａｔ
ここで、
ａ＝１／（１＋ＳＮＲ／ＳＮＲ＿０）
この公式において、ＣＣは、色補正マトリックスである。ＣＣ＿ＬｏｗＳａｔ及びＣＣ＿ＨｉｇｈＳａｔは、それぞれ、低色飽和度及び高色飽和度の２つの極端な場合の色補正マトリックスである。ＳＮＲは、推定ＳＮＲであり、ＳＮＲ＿０は、あるＳＮＲしきい値である。この公式によれば、極値間の線形補間が施される。ここで、「*」は乗算を表す。
【００２９】
ＣＭＯＳ画像センサ１５の場合、画像センサに、ディジタル画像信号の特性に関する情報を抽出するために必要な論理を含むことが可能である。ＣＣＤ画像センサ１５の場合、画像センサのアナログ・フロント・エンド・チップに論理を含むことが可能である。いずれの画像センサの場合にも、信号特性情報の抽出は、ディジタル画像処理プロセッサ３０の内部で実施可能である。
【００３０】
画像センシング装置における主たるノイズ源は、低信号レベルでは、信号レベルと無関係である。従って、低信号値では、Ｓ／Ｎ比に関する情報は、画像センシング装置によって出力されるディジタル画像の信号レベルから推測することが可能である。
【００３１】
３原色システムの場合、色補正すなわち色変換は、一般に負の要素を含む３×３色補正マトリックスによって実施される。負の要素によって、変換空間における信号レベルが低下する。しかし、生センサのカラー・チャネルのノイズ処理が無相関であるため、ノイズ成分は低減しない。ノイズ項は、パワーを増し、信号項は、パワーを減じる。
【００３２】
この効果は、理想のＣＭＹ（シアン、マゼンタ、黄）から理想のＲＧＢ（赤、緑、青）への変換において観測することが可能である。Ｃ＝Ｂ＋Ｇ、Ｍ＝Ｂ＋Ｒ、及び、Ｙ＝Ｒ＋Ｇであると仮定する。ＣＭＹからＲＧＢへの対応する変換マトリックスは、次の通りである：
【数１】
また、入力チャネルが、全て、信号レベル「Ｓ」及びノイズ・レベル「Ｎ」を備えており、ノイズ処理が無相関であると仮定する。表示空間に結果生じる信号レベルは、０．５＊Ｓであり、一方、ノイズ・レベルは、０．５＊√（３）＊Ｎである。従って、Ｓ／Ｎ比は、１／√（３）に低減された。
【００３４】
あるいはまた、マトリックス係数を調整して、カラーの代わりに、モノクロへの変換を実施することも可能である。この場合、カラー変換マトリックスは、ただ単に次のようになるだけである：
【数２】
このマトリックスでは、信号項は、そのまま増すが、ノイズ項は、パワーだけを増す。出力Ｓ／Ｎ比は、√（３）倍に高くなる。
【００３６】
色飽和度は、上述の２つの変換マトリックス間において線形補間を施すことによって、フル・カラーとモノクロの間のどこからでも変化させることが可能である。電子出力画像のＳ／Ｎ比は、センサ出力信号のＳ／Ｎ比の１／√（３）から√（３）倍まで変化させることが可能である。芳しくない照明条件下では、センサ出力信号のＳ／Ｎ比が低いと、色飽和度の低い色補正マトリックスを選択して、電子出力画像のＳ／Ｎ比を最高にすることが可能である。良好な照明条件下では、色飽和度の高い色補正マトリックスを選択して、電子出力画像の色彩の豊かさを最高にすることが可能である。一般に、色補正マトリックスは、事前の実験に基づいて、各信号レベル毎に知覚的画質が最良になるように選択すべきである。
【００３７】
図３は、本発明のもう１つの実施態様に従ってディジタル画像形成装置の画質を向上させる方法のステップの概略を例示したフローチャートである。この方法では、ステップ１００において、物体からの光が、まず、ディジタル画像形成装置の光学系によって集められ、画像センシング装置に集束させられる。ステップ１０２において、画像センシング装置は、それに集束させられた画像パターンをアナログ電圧サンプルのアレイに変換し、ステップ１０４において、アナログ電圧サンプルは、画像センシング装置のディジタル画像信号に変換される。ディジタル画像信号は、ディジタル画像処理プロセッサによって受信され、ステップ１０６において、その信号のＳ／Ｎ比が求められる。ステップ１０８において、求められたＳ／Ｎ比に基づいて、適切な色補正マトリックスが選択される。次に、ステップ１１０において、ディジタル画像処理プロセッサは、色補正された電子出力画像を出力する。
【００３８】
上記記述は、本発明の典型的な実施態様に相当するが、認識しておくべきは、本発明は、その範囲を逸脱することなく、さまざまな変更を加えることが可能であるということである。従って、認識しておくべきは、本発明は、特許請求の範囲によって必要とされる範囲に限って限定されるべきであるという点である。
【００３９】
本発明の態様を以下に例示する。
【００４０】
１．ディジタル画像形成装置における画質向上のための方法であって、ディジタル画像信号を発生するステップと、少なくとも部分的に、ディジタル画像信号のＳ／Ｎ比に基づいて色補正器を選択するステップが含まれている方法。
【００４１】
２．前記Ｓ／Ｎ比はディジタル画像信号の平均Ｓ／Ｎ比の推定値からなる上記１に記載の方法。
【００４２】
３．前記平均ディジタル画像信号が、画像センシング装置から出力されることと、前記Ｓ／Ｎ比が、画像センシング装置のノイズに関する先験的モデルに基づいて、前記画像センシング装置の平均出力信号レベル、前記画像センシング装置の少なくとも１つの動作パラメータ、及び、前記画像センシング装置の少なくとも１つの特性に基づいて推定される上記２に記載の方法。
【００４３】
４．前記モデルに、少なくとも１つの電子ノイズ源が含まれる上記３に記載の方法。
【００４４】
５．前記少なくとも１つの電子ノイズ源に、前記画像センシング装置の利得段前後の電子ノイズ源が含まれる上記４に記載の方法。
【００４５】
６．前記モデルに、暗電流ノイズ源が含まれる上記３に記載の方法。
【００４６】
７．前記モデルに、光子のショット・ノイズが含まれる上記３に記載の方法。
【００４７】
８．前記少なくとも１つのセンサ動作パラメータに、前記画像センシング装置の増幅器の利得が含まれる上記３に記載の方法。
【００４８】
９．前記少なくとも１つの動作パラメータに、露光期間及び温度が含まれる上記３に記載の方法。
【００４９】
１０．ディジタル画像処理装置であって、ディジタル画像信号を発生するための画像センシング装置と、ディジタル画像信号を処理して、電子出力画像を送り出すためのディジタル画像信号プロセッサが含まれており、前記ディジタル画像信号プロセッサに、少なくとも部分的に、前記ディジタル画像信号のＳ／Ｎ比に基づいて、前記電子出力画像のカラーを補正するために、色補正器を選択する色補正器セレクタが含まれる装置。
【００５０】
１１．前記Ｓ／Ｎ比は、前記ディジタル画像信号の平均Ｓ／Ｎ比からなる上記１０に記載の装置。
【００５１】
１２．前記ディジタル画像プロセッサに、前記ディジタル画像信号のＳ／Ｎ比を判定するＳ／Ｎ比推定装置が含まれることと、前記Ｓ／Ｎ比推定装置に、ディジタル画像信号の平均レベル、前記画像センシング装置の少なくとも１つの動作パラメータ、及び、前記画像センシング装置の少なくとも１つの特性を求めるための手段が含まれることと、前記Ｓ／Ｎ比推定装置が、ディジタル画像信号の前記平均レベル、前記少なくとも１つの動作パラメータ、及び、前記少なくとも１つの特性に基づいて、ディジタル画像信号の前記平均Ｓ／Ｎ比の推定値を計算する上記１１に記載の装置。
【００５２】
１３．前記画像センシング装置にＣＭＯＳ画像センサが含まれる上記１０に記載の装置。
【００５３】
１４．前記画像センシング装置にＣＣＤ画像センサが含まれる上記１０に記載の装置。
【００５４】
１５．前記ディジタル画像形成装置に、ディジタル・カメラが含まれる上記１０に記載の装置。
【００５５】
１６．前記色補正器に、色補正マトリックスが含まれることと、前記色補正器セレクタに、色補正マトリックス・セレクタが含まれる上記１０に記載の装置。
【００５６】
１７．前記画像センシング装置に、それに集束した画像パターンを電圧サンプル・アレイに変換するための画像センサと、前記電圧サンプル・アレイを前記ディジタル画像信号に変換するためのアナログ・ディジタル変換器が含まれる上記１０に記載の装置。
【００５７】
１８．前記アナログ・ディジタル変換器が、前記画像センサに組み込まれている上記１７に記載の装置。
【図面の簡単な説明】
【図１】本発明の典型的な実施態様によるディジタル画像形成装置の概略を例示したブロック図である。
【図２】本発明のもう１つの実施態様による図１のディジタル画像形成装置の色補正マトリックスの選択を実施するために利用可能なルックアップ・テーブルの図である。
【図３】本発明のもう１つの実施態様によるディジタル画像形成装置の画質を向上させる方法のステップを例示したフローチャートである。
【符号の説明】
１４ 画像センシング装置
１８ Ｓ／Ｎ比推定装置
２０ 色補正マトリックス・セレクタ
２２ 色補正マトリックス
Claims (16)
- ディジタル画像形成装置における画質向上のための方法であって、
画像センシング装置からディジタル画像信号を受け取るステップと、
前記画像センシング装置の平均出力信号レベル、前記画像センシング装置の少なくとも１つの動作パラメータ、および前記画像センシング装置の少なくとも１つのノイズ特性に基づいて前記ディジタル画像信号のＳ／Ｎ比を推定するステップと、
前記ディジタル画像信号の推定されたＳ／Ｎ比に基づいて色補正器を選択するステップと、
前記選択された色補正器に基づき前記ディジタル画像信号を処理して、電子出力画像を送り出すステップと、
を含む方法。 - 前記画像センシング装置の少なくとも１つのノイズ特性は、該画像センシング装置のノイズに関する先験的モデルに基づく、請求項１に記載の方法。
- 前記モデルは、少なくとも１つの電子ノイズ源を含む請求項２に記載の方法。
- 前記少なくとも１つの電子ノイズ源は、前記画像センシング装置の利得段前後の電子ノイズ源を含む請求項３に記載の方法。
- 前記モデルは、暗電流ノイズ源を含む請求項２に記載の方法。
- 前記モデルは、光子のショット・ノイズを含む請求項２に記載の方法。
- 前記少なくとも１つの動作パラメータは、前記画像センシング装置の増幅器の利得を含む請求項２に記載の方法。
- 前記少なくとも１つの動作パラメータは、露光期間及び温度を含む請求項２に記載の方法。
- ディジタル画像処理装置であって、
ディジタル画像信号を発生するための画像センシング装置と、
前記ディジタル画像信号を処理して、電子出力画像を送り出すためのディジタル画像信号プロセッサと、を備え、該ディジタル画像信号プロセッサは、
前記ディジタル画像信号プロセッサに、前記ディジタル画像信号のＳ／Ｎ比を推定するＳ／Ｎ比推定装置と、
前記ディジタル画像信号の推定されたＳ／Ｎ比に基づいて、前記電子出力画像のカラーを補正するための色補正器を選択する色補正器セレクタと、を含み、
前記Ｓ／Ｎ比推定装置は、前記ディジタル画像信号の平均出力信号レベルを求める手段と、前記画像センシング装置の少なくとも１つの動作パラメータ、および前記画像センシング装置の少なくとも１つのノイズ特性を受け取る手段とを含み、前記Ｓ／Ｎ比推定装置は、前記ディジタル画像信号の平均出力信号レベル、前記画像センシング装置の少なくとも１つの動作パラメータ、および前記画像センシング装置の少なくとも１つのノイズ特性に基づいて前記ディジタル画像信号のＳ／Ｎ比を推定する、ディジタル画像処理装置。 - 前記画像センシング装置はＣＭＯＳ画像センサを含む請求項９に記載の装置。
- 前記画像センシング装置はＣＣＤ画像センサを含む請求項９に記載の装置。
- 前記ディジタル画像形成装置はディジタル・カメラである請求項９に記載の装置。
- 前記色補正器は色補正マトリックスを含み、前記色補正器セレクタは色補正マトリックス・セレクタを含む請求項９に記載の装置。
- 前記画像センシング装置は、それに集束した画像パターンを電圧サンプル・アレイに変換するための画像センサと、前記電圧サンプル・アレイを前記ディジタル画像信号に変換するためのアナログ・ディジタル変換器とを含む請求項９に記載の装置。
- 前記アナログ・ディジタル変換器が、前記画像センサに組み込まれている請求項１４に記載の装置。
- 前記色補正器は色補正マトリックスを含む請求項１に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/928,187 US6822657B2 (en) | 2001-08-10 | 2001-08-10 | Method and apparatus for improving image quality in digital cameras |
| US09/928,187 | 2001-08-10 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003116146A JP2003116146A (ja) | 2003-04-18 |
| JP2003116146A5 JP2003116146A5 (ja) | 2005-10-27 |
| JP4374484B2 true JP4374484B2 (ja) | 2009-12-02 |
Family
ID=25455853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002213318A Expired - Fee Related JP4374484B2 (ja) | 2001-08-10 | 2002-07-23 | ディジタル・カメラにおける画質向上のための方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6822657B2 (ja) |
| EP (1) | EP1286553B1 (ja) |
| JP (1) | JP4374484B2 (ja) |
| DE (1) | DE60218585T2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003198860A (ja) * | 2001-10-18 | 2003-07-11 | Seiko Epson Corp | 色変換方法、色変換装置、色変換行列生成方法および色変換行列生成プログラム |
| US7053935B2 (en) * | 2002-02-21 | 2006-05-30 | Eastman Kodak Company | Apparatus and method for accurate electronic color capture and reproduction |
| US7414758B2 (en) * | 2002-08-01 | 2008-08-19 | Eastman Kodak Company | Four-way calibration of a digital camera using patch information acquired from a scene |
| JP3861808B2 (ja) * | 2002-12-25 | 2006-12-27 | ソニー株式会社 | 撮像装置 |
| US7768500B2 (en) * | 2003-06-16 | 2010-08-03 | Humanscale Corporation | Ergonomic pointing device |
| US7557799B2 (en) | 2004-06-17 | 2009-07-07 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | System for determining pointer position, movement, and angle |
| EP1628494A1 (en) * | 2004-08-17 | 2006-02-22 | Dialog Semiconductor GmbH | Intelligent light source with synchronization with a digital camera |
| EP1628493A1 (en) * | 2004-08-17 | 2006-02-22 | Dialog Semiconductor GmbH | Camera handling system |
| EP1628123A1 (en) | 2004-08-17 | 2006-02-22 | Dialog Semiconductor GmbH | Testing of miniaturized cameras with electronic and/or optical zoom functions |
| EP1628495A1 (en) | 2004-08-17 | 2006-02-22 | Dialog Semiconductor GmbH | Multi-processing of a picture to speed up calculation for this picture |
| EP1628492A1 (en) | 2004-08-17 | 2006-02-22 | Dialog Semiconductor GmbH | A camera test system |
| EP1628122A1 (en) | 2004-08-17 | 2006-02-22 | Dialog Semiconductor GmbH | Focus processing with the distance of different target wheels |
| JP2006080852A (ja) * | 2004-09-09 | 2006-03-23 | Olympus Corp | 画像処理装置、電子カメラ、スキャナ、画像処理方法、および画像処理プログラム |
| EP1648181A1 (en) | 2004-10-12 | 2006-04-19 | Dialog Semiconductor GmbH | A multiple frame grabber |
| US20060082672A1 (en) * | 2004-10-14 | 2006-04-20 | M-Systems Flash Disk Pioneers Ltd. | Filtering digital images |
| US7652788B2 (en) * | 2006-06-23 | 2010-01-26 | Nokia Corporation | Apparatus, method, mobile station and computer program product for noise estimation, modeling and filtering of a digital image |
| US7965322B2 (en) * | 2008-04-25 | 2011-06-21 | Nokia Corporation | Color correction on an image |
| KR20230072702A (ko) * | 2021-11-18 | 2023-05-25 | 삼성전자주식회사 | 컬러 변환을 수행하는 전자 장치 및 방법 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4941190A (en) * | 1988-07-15 | 1990-07-10 | Minnesota Mining And Manufacturing Company | Method and system for enhancement of a digitized image |
| JP3449744B2 (ja) * | 1992-03-05 | 2003-09-22 | ソニー エレクトロニクス インコーポレイテッド | フィルム・ビデオ変換デジタル映像処理方法及び装置 |
| JP3400506B2 (ja) | 1993-03-12 | 2003-04-28 | オリンパス光学工業株式会社 | 画像処理装置 |
| BE1008076A3 (nl) * | 1994-02-15 | 1996-01-09 | Agfa Gevaert Nv | Kleurennegatiefscanning en transformatie naar kleuren van origineel tafereel. |
| JPH089412A (ja) * | 1994-06-22 | 1996-01-12 | Nec Eng Ltd | 自動色信号補正回路 |
| AUPN098895A0 (en) * | 1995-02-09 | 1995-03-09 | Canon Kabushiki Kaisha | Stable error diffusion |
| US5568192A (en) * | 1995-08-30 | 1996-10-22 | Intel Corporation | Method and apparatus for processing digital video camera signals |
| US5805213A (en) * | 1995-12-08 | 1998-09-08 | Eastman Kodak Company | Method and apparatus for color-correcting multi-channel signals of a digital camera |
| US5898509A (en) * | 1996-10-15 | 1999-04-27 | Hewlett-Packard Company | Method for improving the signal-to-noise ratio of a CCD sensor in a color imaging device |
| JP4016470B2 (ja) * | 1997-12-09 | 2007-12-05 | カシオ計算機株式会社 | カラー撮像装置及びカラー画像補正方法 |
| US6694051B1 (en) * | 1998-06-24 | 2004-02-17 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus and recording medium |
| US6486915B2 (en) * | 1999-04-20 | 2002-11-26 | Intel Corporation | Determining a final exposure setting automatically for a solid state camera without a separate light metering circuit |
| US6600833B1 (en) * | 1999-07-23 | 2003-07-29 | Intel Corporation | Methodology for color correction with noise regulation |
-
2001
- 2001-08-10 US US09/928,187 patent/US6822657B2/en not_active Expired - Lifetime
-
2002
- 2002-04-29 DE DE60218585T patent/DE60218585T2/de not_active Expired - Lifetime
- 2002-04-29 EP EP02009688A patent/EP1286553B1/en not_active Expired - Lifetime
- 2002-07-23 JP JP2002213318A patent/JP4374484B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003116146A (ja) | 2003-04-18 |
| EP1286553B1 (en) | 2007-03-07 |
| DE60218585D1 (de) | 2007-04-19 |
| US6822657B2 (en) | 2004-11-23 |
| DE60218585T2 (de) | 2007-11-22 |
| EP1286553A2 (en) | 2003-02-26 |
| US20030030648A1 (en) | 2003-02-13 |
| EP1286553A3 (en) | 2005-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4374484B2 (ja) | ディジタル・カメラにおける画質向上のための方法 | |
| JP4218723B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| US8723958B2 (en) | Image pickup apparatus and image pickup element | |
| US7545412B2 (en) | Image-sensing apparatus with a solid-state image sensor switchable between linear and logarithmic conversion | |
| JP5223742B2 (ja) | エッジ強調画像処理装置 | |
| WO2007058126A1 (ja) | 画像処理システム、画像処理プログラム | |
| TW200803537A (en) | Method and apparatus providing automatic color blancing for digital imaging systems | |
| JP2008104009A (ja) | 撮像装置および撮像方法 | |
| JP2007259344A (ja) | 撮像装置および画像処理方法 | |
| KR20120025414A (ko) | 화상처리장치, 화상처리방법, 및 기록매체 | |
| WO2015119271A1 (ja) | 画像処理装置、撮像装置、画像処理方法、コンピュータにより処理可能な一時的でない記憶媒体 | |
| US20030184673A1 (en) | Automatic exposure control for digital imaging | |
| JP2008271123A (ja) | 撮像装置 | |
| JP2004328564A (ja) | カラー補正装置、カラー補正方法及びカラー補正プログラム、並びにカラー補正装置を用いたデジタルカメラ | |
| JP2004282133A (ja) | オートホワイトバランス処理装置及び方法並びに画像信号処理装置 | |
| JP4892909B2 (ja) | 信号処理方法、信号処理回路およびこれを用いたカメラシステム | |
| JPWO2010010871A1 (ja) | 撮像装置 | |
| KR101137611B1 (ko) | 이미지 데이터 변환 절차를 효과적으로 수행하는 시스템 및 방법 | |
| JP2018022951A (ja) | 画像処理装置および白黒画像処理装置 | |
| JP2010147800A (ja) | 画像処理装置 | |
| JP4479429B2 (ja) | 撮像装置 | |
| JP2006333113A (ja) | 撮像装置 | |
| JP2008219117A (ja) | 画像処理装置および画像処理方法 | |
| JP4720130B2 (ja) | 撮像装置 | |
| JP2007189344A (ja) | 撮像装置およびその信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050706 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050706 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070706 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070727 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080115 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080414 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080616 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080616 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080709 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080805 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090714 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20090714 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090811 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090825 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4374484 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |