JP4497759B2 - 画像処理装置及びその処理方法 - Google Patents
画像処理装置及びその処理方法 Download PDFInfo
- Publication number
- JP4497759B2 JP4497759B2 JP2001194378A JP2001194378A JP4497759B2 JP 4497759 B2 JP4497759 B2 JP 4497759B2 JP 2001194378 A JP2001194378 A JP 2001194378A JP 2001194378 A JP2001194378 A JP 2001194378A JP 4497759 B2 JP4497759 B2 JP 4497759B2
- Authority
- JP
- Japan
- Prior art keywords
- dark
- correction
- defect
- imaging
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の光電変換部を有する撮像素子からの信号の欠陥を補正する画像処理装置及びその処理方法に関する。
【０００２】
【従来の技術】
ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子には、ホワイトスポットといわれる暗電流の異常に多い欠陥画素が存在し、撮像素子の画像性能劣化の一因になる。この欠陥画素を欠陥補正により補正することにより、高価な撮像素子の歩留まりを高めることができる。
【０００３】
【発明が解決しようとする課題】
しかし、ハイエンドのデジタルカメラにおいては、高いＩＳＯ（International Organization for Standardization）感度における長秒時や高温での撮影であっても優れた画像を提供する必要がある。ISO感度はフイルムの光に対する感度を表し、デジタルカメラでは、換算値で表示したものである。
【０００４】
そのため、それらの最悪条件（すなわちＩＳＯ感度が高くて長秒時で高温の条件）での欠陥画素をピックアップして、欠陥補正を行うことが考えられる。しかし、その場合、通常時には、それ程、暗電流が多くなく、補正しなくても使える画素であるにもかかわらず、無駄に画素の情報を捨てられて、有効なダイナミックレンジが狭くなる。
【０００５】
また、特開平６−３０３５３１号公報では、温度依存性があるホワイトスポットを所定のしきい値で検出して欠陥補正するだけであり、広い有効なダイナミックレンジを確保することが困難である。
【０００６】
さらに、特開平１１−２３９２９８号公報では、露光時間に応じて増減するホワイトスポット（白キズ）を露光時間に応じて欠陥補正するだけであり、やはり、欠陥補正されなかった画素のムラを除去することができない。
【０００７】
そして、デジタルスチルカメラのように、ＩＳＯ感度に応じてアンプゲインを変えるようなシステムの場合は、上記問題は重大である。このようなシステムは、適正露光量が変わり、イメージ中の出力信号が変わる。この出力信号について、たとえば、アンプゲインでＡ／Ｄ変換の振幅を考慮して信号の増幅を制御する。
【０００８】
たとえば、ＩＳＯ感度１００の場合には、0.1lux・secの光量から得られた信号を１倍の信号、ＩＳＯ感度２００の場合には、0.05lux・secの光量から得られた信号を２倍の信号、そしてＩＳＯ感度４００の場合には、0.025lux・secの光量から得られた信号を４倍の信号、として出力する。
【０００９】
すなわち、ＩＳＯ感度（アンプゲイン）の変化にともなって、Ａ／Ｄ変換器での値に占めるダーク電圧ムラの占有率が変わるため、重要な問題となる。なお、この信号の増幅は、アンプゲインによらなくても、たとえば、Ａ／Ｄ変換機の出力制御などで行なっても構わない。ただし、Ａ／Ｄ変換機の出力制御の場合、その信号の制御は、アンプゲインに比べて困難になるかもしれない。
【００１０】
また、仮に、占有率が問題にならないようなＡ／Ｄ変換器のビット精度やダイナミックレンジが広い場合でも、ホワイトスポット（白キズ）のように、そもそも暗電流の多い画素は、暗電流ショットノイズと呼ばれるゆらぎ成分が大きいため、ダーク補正だけでカバーすることはできない。
【００１１】
本発明の目的は、例えば、広い有効なダイナミックレンジを確保しつつ優れた画像を生成することができる画像処理装置及びその処理方法を提供することである。
【００１２】
【課題を解決するための手段】
本発明の第１の側面は、画像処理装置に係り、前記画像処理装置は、複数の光電変換部を有する撮像手段と、前記撮像手段を遮光した状態で前記撮像手段からＡ／Ｄ変換手段を介して出力される暗中画像信号を取り込み、前記撮像手段から前記Ａ／Ｄ変換手段を介して出力される被写体撮像信号から前記暗中画像信号を差し引くことでダーク補正を行うダーク補正手段と、前記撮像手段から前記Ａ／Ｄ変換手段を介して出力される前記撮像手段の欠陥画素の出力信号を前記欠陥画素の周囲にある正常画素の出力信号を用いて補間することで欠陥補正を行う欠陥補正手段と、前記撮像手段の複数の撮像条件にそれぞれ対応した前記欠陥補正手段による欠陥補正対象画素のアドレスを示す複数の欠陥アドレス表のうち前記撮像手段の撮像条件に対応した欠陥アドレス表を参照して前記欠陥補正手段による欠陥補正対象画素を特定し、前記Ａ／Ｄ変換手段の有効なダイナミックレンジを確保することができるレベル以下の暗電圧を有する画素の出力信号に対し前記ダーク補正手段によるダーク補正を行い、前記Ａ／Ｄ変換手段の有効なダイナミックレンジを確保することができるレベルを超える暗電圧を有する当該欠陥補正対象画素の出力信号に対し前記欠陥補正手段による欠陥補正を行うように制御する制御手段とを有する
本発明の第２の側面は、画像処理方法に係り、前記画像処理方法は、複数の光電変換部を有する撮像手段を遮光した状態で前記撮像手段からＡ／Ｄ変換手段を介して出力される暗中画像信号を取り込み、前記撮像手段から前記撮像手段からＡ／Ｄ変換手段を介して出力される被写体撮像信号から前記暗中画像信号を差し引くことでダーク補正を行うダーク補正工程と、前記撮像手段からＡ／Ｄ変換手段を介して出力される前記撮像手段の欠陥画素の出力信号を前記欠陥画素の周囲にある正常画素の出力信号を用いて補間することで欠陥補正を行う欠陥補正工程と、前記撮像手段の複数の撮像条件にそれぞれ対応した前記欠陥補正工程による欠陥補正対象画素のアドレスを示す複数の欠陥アドレス表のうち前記撮像手段の撮像条件に対応した欠陥アドレス表を参照して前記欠陥補正工程による欠陥補正対象画素を特定し、前記Ａ／Ｄ変換手段の有効なダイナミックレンジを確保することができるレベル以下の暗電圧を有する画素の出力信号に対し前記ダーク補正工程によるダーク補正を行い、前記Ａ／Ｄ変換手段の有効なダイナミックレンジを確保することができるレベルを超える暗電圧を有する当該欠陥補正対象画素の出力信号に対し前記欠陥補正工程による欠陥補正を行うように制御する制御工程とを有する。
【００４０】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面を参照しながら説明する。
【００４１】
図１は、ＣＣＤセンサ、ＣＭＯＳセンサ等の複数の光電変換部を有する撮像素子を使ったデジタルカメラ（画像処理装置の一例）のブロック図である。複数の光電変換部を有する撮像素子としてのＣＣＤ１の出力はＣＤＳ／ＡＧＣ２でノイズリダクションとゲイン調整が実施され、Ａ／Ｄ変換器３でアナログ信号からデジタル信号に変換され、デジタル信号処理ＩＣであるエンジン４に入力される。
【００４２】
エンジン４は、画像信号補正回路５と現像処理回路６を含む。エンジン４に入力された画像信号は画像信号補正回路５でダーク補正や欠陥補正をされ、その後、現像処理回路６で色補間処理などの現像処理をされ、メモリ１２に保存される。
【００４３】
また、その現像された画像は、例えばＴＦＴ液晶表示器等の表示器（ＬＣＤ）７に表示されたり、あるいは、ビデオ端子（ＶＩＤＥＯ）８等から外部モニターなどに出力されたりする。
【００４４】
また、その現像された画像は、外部メモリ９、例えばＣＦカード（フラッシュメモリカード）などに保存することもできる。さらに、エンジン４はタイミングジェネレータ（ＴＧ／ＶＤＲ）１０を駆動して、これによってＣＣＤ１に供給すべきクロック信号等を発生させる。
【００４５】
また、エンジン４には、マイクロプロセッサ（ＣＰＵ）１１が接続されており、ＣＰＵ１１からの命令に応じて種々の設定が行われ、ＣＰＵ１１によって動作が管理される。メモリ１２は、ＣＰＵ１１に提供すべきプログラムを格納したり、撮影画像を一時的に格納したりするため、及び、作業領域として使われる。
【００４６】
ＣＰＵ１１にはシリアル通信装置であるＵＳＢインターフェース等のインターフェース１４が接続されており、これを通して外部のパソコンなどに画像データなどを出力できる。レンズ（ＬＥＮＳ）１４は、撮影のための光学系であり、その絞りや焦点を調節するためのアクチュエータを有する。アクチュエータは、ＣＰＵ１１からの指示にしたがって制御される。
【００４７】
画像信号補正回路５の内部ブロックを図２に示す。Ａ／Ｄ変換器３から出力された撮像信号ＳＩＧ１は、ダーク補正回路２１によってダーク補正される。ダーク補正用メモリ２３は、ダーク補正回路２１の作業エリアとして使用される。
【００４８】
ダーク補正について図３の（ａ）〜（ｃ）をもとに説明する。ＣＣＤセンサ１の出力信号は、暗中においても、図３（ａ）にあるように、暗電流のばらつきなどにより出力電圧が凸凹する事がある。図３（ａ）のｙ＝ｆ１（ｘ）のように「１、２、１、１、３、１、７、１、２、１」のようなばらつきがあるとすると、図３（ｂ）のｆ２（ｘ）に示すような明、暗、明の輝度分布を有する被写体パターン「６、５、４、３、２、２、３、４、５、６」を撮像しても、これにｆ１（ｘ）の暗電圧が重畳されるので、図３（ｃ）のｆ３（ｘ）に示す「７、７、５、４、５、３、１０、５、７、７」のパターンになる。
【００４９】
図３（ｃ）のｆ３（ｘ）のパターンからは、とても真の姿がｆ２（ｘ）であるとは想像できないが、暗中のダーク信号ｆ１（ｘ）を取り込み、それを利用して、式ｆ２（ｘ）＝ｆ３（ｘ）−ｆ１（ｘ）にて再生すると、ｆ２（ｘ）のような本来の被写体画像が再現される。
【００５０】
これを実現するためには、被写体撮影時と同じ温度で、同じ電荷蓄積時間で、同じＩＳＯ感度（アンプゲイン）で、メカシャッターにより遮光状態のＣＣＤセンサ１から暗中の画像データを取り込み、被写体を撮影した撮像データから上記暗中の画像データを差し引く。
【００５１】
再び図２に基づき説明を進める。ダーク補正回路２１の次段には、欠陥補正回路２２があり、欠陥補正回路２２は、ダーク補正しても補正できなかった画素を周囲の正常な画素からの補間に基づいて欠陥補正する。そして、次段の画像信号処理回路６（図１参照）に、欠陥補正された画像信号ＳＩＧ２を渡す。
【００５２】
欠陥補正について図４をもとに説明する。ＣＣＤセンサ１の出力信号中に画素欠陥や暗電流の異常に大きい画素があることがある。例えば、図４に原色ベイヤー配列において、緑色画素をＧ１からＧ１３、赤色画素をＲ１からＲ６、青色画素をＢ１からＢ６とする。Ｇ７の画素に欠陥があったとすると、例えば次に示すような何種類かの補正ルールからいずれかを選択して、欠陥補正することができる。
【００５３】
ルール１（ＲＬ１）は、次式に示すように、水平補間で同色の水平に隣接する画素の平均値を使う。
【００５４】
Ｇ７＝（Ｇ６＋Ｇ８）／２
ルール２（ＲＬ２）は、次式に示すように、垂直補間で同色の垂直に隣接する画素の平均値を使う。
【００５５】
Ｇ７＝（Ｇ２＋Ｇ１２）／２
ルール３（ＲＬ３）は、次式に示すように、水平垂直補間で同色の水平垂直に隣接する４画素平均を使う。
【００５６】
Ｇ７＝（Ｇ２＋Ｇ６＋Ｇ８＋Ｇ１２）／４
上記のルール１からルール３は、緑色画素や赤色画素、青色画素でも採用できる。
【００５７】
ルール４（ＲＬ４）は、次式に示すように、斜め補間で同色の斜めに隣接する画素の平均値を使う。
【００５８】
Ｇ７＝（Ｇ４＋Ｇ１０）／２
ルール５（ＲＬ５）は、次式に示すように、別の斜め補間で同色の別の斜めに隣接する画素の平均値を使う。
【００５９】
Ｇ７＝（Ｇ５＋Ｇ９）／２
ルール６（ＲＬ６）は、両斜め補間で同色の両斜めに隣接する４画素の平均値を使う。
【００６０】
Ｇ７＝（Ｇ４＋Ｇ５＋Ｇ９＋Ｇ１０）／４
上記のルール４からルール６は、このような原色ベイヤー配列では緑色画素でのみ採用することができる。これらのルールのいずれかを選択して、それを使って欠陥補正をすることができる。選択は、例えば、欠陥画素の周りにある信頼性の高い画素データを使うようになされる。
【００６１】
例えば、Ｇ７の欠陥を補正する場合において、Ｇ８も欠陥だったら、ルール１やルール３は選択できないので、ルール２を選択することが好ましい。もちろん、赤色や青色画素はルール４からルール７を採用することができない。また、一般には距離の近い画素で補間した方が欠陥（誤差）が目立たないし、場合によっては、欠陥画素周辺の画素の出力の勾配に着目して、この勾配に基づいて、水平補間（ルール１）、垂直補間（ルール２）、水平垂直補間（ルール３）、斜め補間（ルール４、５、６）のいずれが好ましいかを決定することも考えられる。さらには、４画素平均（ルール３、７）よりは２画素平均（ルール１、２、４、５）の方がシャープな画像を再生することができる可能性が高く、４画素平均は多用しない方がよい。
【００６２】
このように、欠陥補正は周りの正常な画素のデータをもとに補間するわけだが、あまりに補間を多用すると、画像として見た目に不自然な箇所が目立つようになってくる。
【００６３】
一方、ダーク補正では、暗電流ばらつきなどに相当する「げた」が画像信号に加算されるだけであり、適正なダーク補正ができれば正しい画像データを提供することができる。ただし、ダーク補正は、図３（ａ）〜（ｃ）からわかるように、Ａ／Ｄ変換後のデジタル値のフルレンジのうち、ダーク補正において画像信号の値から引き算する値の最大値（すなわち、最も暗電圧の大きい画素の値）に相当する部分は有効に利用することができない。すなわち、暗電圧の大きい撮像素子（ＣＣＤセンサ、ＣＭＯＳセンサ等）を採用すると、そのフルレンジを有効に使うことができない。
【００６４】
具体的に言うと、図３（ｂ）において、ＣＣＤセンサの出力信号ｙのビット幅が８ｂｉｔの場合、本来、ｙの値として０から２５５まで使えるはずである。しかし、図３（ｂ）のように暗電圧が１から７の範囲でばらつく場合、暗電圧による影響を除去するための画像信号に対するダーク補正するためには、２５５−７＝２４８程度の値を画像信号の上限値にすることになる。
【００６５】
同様に暗電圧が１から１０の範囲でばらつく場合、暗電圧による影響を除去するための画像信号に対するダーク補正するためには、２５５−１０＝２４５程度の値を画像信号の上限値にすることになる。すなわち、このダーク補正をするための所定の値は、変動する。
【００６６】
上記のような問題は、品質の悪いＣＣＤセンサを使った場合においては、さらに顕著に現れる。また、高温の環境や、ＩＳＯ感度を高く設定されてアナログアンプゲインを高くするときや、長秒時（長時間露光）等の蓄積時間が長いときにも、上記の問題が顕著に現れる。特にＩＳＯ感度を高く設定することに伴いアナログゲインアンプを高くする場合、Ａ／Ｄ変換器での値に占めるダーク電圧ムラの値が大きくなる。これは、たとえば、ＩＳＯ感度１００の場合には、0.1lux・secの光量から得られた信号を１倍の信号、ＩＳＯ感度２００の場合には、0.05lux・secの光量から得られた信号を２倍の信号、そしてＩＳＯ感度４００の場合には、0.025lux・secの光量から得られた信号を４倍の信号、として出力する場合次のようになる。すなわち。ＩＳＯ感度４００の場合には、ＩＳＯ感度１００の場合に比べて、光量から得られる信号量が小さいにもかかわらず、ダーク電圧は大きい。したがって、この信号を４倍にした場合、絶対量としての信号の値はダーク電圧の値に対して小さくなる。また、一般に信号を増幅した場合にはＳ／Ｎ比が悪くなる。したがって、ＩＳＯ感度を高く設定すると問題が顕著になる。
【００６７】
そのため、ある程度以上の暗電圧を持った画素はダーク補正で補正することをあきらめて、欠陥補正することにし、ダイナミックレンジの確保を目指した方がシステムとしてもバランスを保つことができる。すなわち、画像を補正する際における、ダーク補正の分担と欠陥補正の分担とを何らかの情報に従って決定することが好ましい。
【００６８】
温度、ＩＳＯ感度、蓄積時間の最悪条件における暗電圧に基づいて、所望の有効なダイナミックレンジを確保するように分担を固定的に設定すると、常に欠陥補正の分担が大きいため、画像品質の低下をもたらす。したがって、温度、ＩＳＯ、蓄積時間のそれぞれのパラメータを振ったときの暗電圧に基づいて、ダーク補正の分担及び欠陥補正の分担を動的に決定することが好ましい。
【００６９】
図５（ａ）〜（ｃ）を参照して説明を進める。図５（ａ）は、ＩＳＯ感度（ＩＳＯ）と暗電圧デジタル値（ＤＴ）との関係を示すグラフであり、図５（ｂ）は、温度（ＴＭＰ）と暗電圧デジタル値（ＤＴ）との関係を示すグラフであり、図５（ｃ）は、蓄積時間（Ｔｉｎｔ）と暗電圧デジタル値（ＤＴ）との関係を示すグラフである。
【００７０】
図５（ｂ）は、温度（ＴＭＰ）の上昇に伴って暗電圧のデジタル値（ＤＴ）がどのように増えるかを表している。暗電圧は、例えば、常温においては８℃程度の温度上昇で２倍に増加する。暗電圧のデジタル値は、図５（ｂ）のように、温度上昇に対して指数関数的に大きくなる。
【００７１】
従って、ダイナミックレンジを損なわないように、所定の暗電圧値を越える画素の補正を欠陥補正により行なうこととすると、欠陥補正対象の画素数もこのように指数的に増加する。
【００７２】
一方、図５（ａ）のＩＳＯ感度に伴うゲインアップや、図５（ｃ）の蓄積時間については、線形的に暗電圧のデジタル値は増加する。従って、欠陥補正対象の画素数もＩＳＯ感度及び蓄積時間の増加に伴って増加するが、温度の増加による場合に比べて変化は小さい。
【００７３】
この実施の形態では、温度、ＩＳＯ、蓄積時間の少なくとも１つに従って、好適には温度、ＩＳＯ、蓄積時間の組み合わせに従って、欠陥補正対象の画素（当該画素のアドレス）を決定する。
【００７４】
これを実現するために図２の回路ブロックがある。以下、図２に従って説明を進める。欠陥アドレス指示回路２４は、複数の欠陥アドレス表（欠陥画素表）からなる欠陥アドレス表群を格納したメモリ２５の最適のアドレス表を参照して、それに基づいて、欠陥補正対象の画素のアドレスを欠陥補正回路２２にタイミング良く伝達する。欠陥補正回路２２は、このアドレスに基づいて、ダーク補正回路２１で補正しきれなかった大きな暗電圧を持った画素を特定し、その画素に対して欠陥補正をする。各欠陥アドレス表は、対応する撮像条件（ＩＳＯ感度、温度、蓄積時間等）において欠陥画素となる画素（暗電圧が、所望のダイナミックレンジを確保するためのレベルより大きくなる画素）のアドレス（座標）を提供する。
【００７５】
また、制御回路２９には、暗電圧を支配するいくつかの要因が入力されている。それらの要因には、ＩＳＯ感度、温度、ＣＣＤセンサ１における蓄積時間が含まれうる。それらの要因のうちＩＳＯ感度は、設定されたＩＳＯ感度を保持するＩＳＯ感度保持部２６によって提供され、温度（ＴＭＰ）は、温度計（例えば、測温素子）２７によって提供され、蓄積時間（Ｔｉｎｔ）は、設定された蓄積時間を保持する蓄積時間保持部によって提供される。これらの情報を入力された制御回路２９は、欠陥アドレス指示回路２４を制御する。また、制御回路２９は、ダーク補正回路を制御する。欠陥アドレス指示回路２４は、メモリ２５に格納された欠陥アドレス表群のうち、これらの入力情報にマッチしたアドレス表を特定しそれを上記のように参照する。
【００７６】
図６（ａ）に、メモリ２５に格納されているの欠陥アドレス表群を模式的に示す。図６（ａ）は、ＩＳＯ感度＝１００、蓄積時間（Ｔｉｎｔ）＝１秒において、温度（ＴＭＰ）を振ったときの欠陥アドレス（ＡＤＲＳ）の表を示す。この例では、温度（ＴＭＰ）に関して４０℃以下、４０℃〜５０℃、５０℃〜６０℃、６０℃以上とわけて欠陥アドレス表をもっている。ここで、ダークレベルが第１の所定のレベルに到達する光電変換部の信号を欠陥アドレス表ADRS(ISO100, ４０℃以下,1sec)とし、ダークレベルが第３の所定のレベルに到達する光電変換部の信号を欠陥アドレス表ADRS(ISO100, ４０℃〜５０℃,1sec)とし、ダークレベルが第３の所定のレベルに到達する光電変換部の信号を欠陥アドレス表ADRS(ISO100, ５０℃〜６０℃,1sec)とし、そして、ダークレベルが第３の所定のレベルに到達する光電変換部の信号を欠陥アドレス表ADRS(ISO100, ６０℃以上,1sec)としたものである。ISO感度、蓄積時間をパラメータとした場合も同様である。
【００７７】
温度に対する暗電圧変動は前述したように指数的変化を示すので、高温になるにつれて、欠陥補正すべき画素数も急激な増え方をするため、欠陥アドレス表のボリュームもそのように増えていくのが示されている。
【００７８】
図６（ｂ）にはその欠陥アドレスＡＤＲＳ（ＩＳＯ，ＴＭＰ，Ｔｉｎｔ）のデータ構造を示す。ＩＳＯ感度、温度、蓄積時間を入力引数とすると、出力引数としてはＸ座標ＸＰＯＳ、Ｙ座標ＹＰＯＳ、補正ルールＲＬｎから成り立っている。これにより欠陥補正対象の画素の座標（結果としてアドレス）が特定され、かつ、その補正方法が上記に示した複数の補正ルールＲＬ１〜ＲＬ６から選択される。
【００７９】
本実施例のデジタルカメラは、有用な画像補正システムを実現するために、温度、蓄積時間、ＩＳＯ感度等の複数のパラメータ（要因）の少なくとも１つに基づいて欠陥アドレス表を特定し、その特定した欠陥アドレス表に基づいて欠陥アドレスを発生する欠陥アドレス指示回路（制御部）を備える。そして、Ａ／Ｄ変換器のダイナミックレンジ（フルレンジ）のうち所望の範囲を有効なダイナミックレンジとして確保することができるレベル以下の暗電圧を有する画素についてはダーク補正により画素信号を補正し、該レベルを越える暗電圧を有する画素については、欠陥アドレス指示回路から提供されるアドレスに従って欠陥補正により画素信号を補正する。これにより、高品質の画像を得ることができる。すなわち、この実施例のデジタルカメラは、撮像に関する情報、例えば、温度、蓄積時間、ＩＳＯ感度等の要因に関する情報に基づいて、ダーク補正と欠陥補正との分担を変更することにより、所望のレンジを有効なダイナミックレンジとして確保しつつ、暗電圧の大きい画素についての画素信号を補正することができる。これは、特に、デジタルスチルカメラのように、ＩＳＯ感度に応じてアンプゲインを変えるようなシステムの場合に有効である。すなわち、ＩＳＯ感度（アンプゲイン）の変化にともなって、Ａ／Ｄ変換器での値に占めるダーク電圧ムラの占有率が変わる。この実施例のデジタルカメラは、このダーク電圧ムラの占有率の変化に適応した画像信号の補正を行なうことができる。なお、この信号の増幅は、アンプゲインによらなくても、たとえば、Ａ／Ｄ変換機の出力制御などで行なっても構わない。ただし、Ａ／Ｄ変換機の出力制御の場合、その信号の制御は、アンプゲインに比べて困難になる。
【００８０】
より具体的には、この実施例によれば、例えば、ハイエンドデジタルカメラに要求される「広い温度範囲で使えること」、「長秒時でも使えること」、「高いＩＳＯ感度でも使えること」に対応した、きわめて美しい画像を提供できる。
【００８１】
上記実施例の機能を実現するためのソフトウェアのプログラムコードを供給し、デジタルカメラのコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って動作させることによって実施したものも、本発明の範疇に含まれる。
【００８２】
この場合、上記ソフトウェアのプログラムコード自体が上述した実施例の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８３】
なお、上記実施例は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００８４】
【発明の効果】
以上説明したように本発明によれば、例えば、広い有効なダイナミックレンジを確保しつつ優れた画像を生成することができる。
【図面の簡単な説明】
【図１】本発明の好適な実施例による画像処理装置（デジタルカメラ）の全体図である。
【図２】図１に示す画像処理装置の一部を示すブロック図である。
【図３】ダーク補正を示すグラフである。
【図４】欠陥補正の説明図である。
【図５】欠陥補正の各要因の関係を示すグラフである。
【図６】欠陥アドレス表群、欠陥アドレス表のデータ構造を示す図である。
【符号の説明】
１ ＣＣＤ
２ ＣＤＳ／ＡＧＣ
３ Ａ／Ｄ変換器
４ エンジン
５ 画像信号補正回路
６ 現像処理回路
７ 表示器
８ ビデオ端子
９ フラッシュメモリカード
１０ タイミングジェネレータ
１１ マイクロプロセッサ
１２ メモリ
１３ レンズ
１４ ＵＳＢ
２１ ダーク補正回路
２２ 欠陥補正回路
２４ 欠陥アドレス指示回路
２５ 欠陥アドレス表
２６ ＩＳＯ感度
２７ 温度
２８ 蓄積時間
２９ 制御回路
【発明の属する技術分野】
本発明は、複数の光電変換部を有する撮像素子からの信号の欠陥を補正する画像処理装置及びその処理方法に関する。
【０００２】
【従来の技術】
ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子には、ホワイトスポットといわれる暗電流の異常に多い欠陥画素が存在し、撮像素子の画像性能劣化の一因になる。この欠陥画素を欠陥補正により補正することにより、高価な撮像素子の歩留まりを高めることができる。
【０００３】
【発明が解決しようとする課題】
しかし、ハイエンドのデジタルカメラにおいては、高いＩＳＯ（International Organization for Standardization）感度における長秒時や高温での撮影であっても優れた画像を提供する必要がある。ISO感度はフイルムの光に対する感度を表し、デジタルカメラでは、換算値で表示したものである。
【０００４】
そのため、それらの最悪条件（すなわちＩＳＯ感度が高くて長秒時で高温の条件）での欠陥画素をピックアップして、欠陥補正を行うことが考えられる。しかし、その場合、通常時には、それ程、暗電流が多くなく、補正しなくても使える画素であるにもかかわらず、無駄に画素の情報を捨てられて、有効なダイナミックレンジが狭くなる。
【０００５】
また、特開平６−３０３５３１号公報では、温度依存性があるホワイトスポットを所定のしきい値で検出して欠陥補正するだけであり、広い有効なダイナミックレンジを確保することが困難である。
【０００６】
さらに、特開平１１−２３９２９８号公報では、露光時間に応じて増減するホワイトスポット（白キズ）を露光時間に応じて欠陥補正するだけであり、やはり、欠陥補正されなかった画素のムラを除去することができない。
【０００７】
そして、デジタルスチルカメラのように、ＩＳＯ感度に応じてアンプゲインを変えるようなシステムの場合は、上記問題は重大である。このようなシステムは、適正露光量が変わり、イメージ中の出力信号が変わる。この出力信号について、たとえば、アンプゲインでＡ／Ｄ変換の振幅を考慮して信号の増幅を制御する。
【０００８】
たとえば、ＩＳＯ感度１００の場合には、0.1lux・secの光量から得られた信号を１倍の信号、ＩＳＯ感度２００の場合には、0.05lux・secの光量から得られた信号を２倍の信号、そしてＩＳＯ感度４００の場合には、0.025lux・secの光量から得られた信号を４倍の信号、として出力する。
【０００９】
すなわち、ＩＳＯ感度（アンプゲイン）の変化にともなって、Ａ／Ｄ変換器での値に占めるダーク電圧ムラの占有率が変わるため、重要な問題となる。なお、この信号の増幅は、アンプゲインによらなくても、たとえば、Ａ／Ｄ変換機の出力制御などで行なっても構わない。ただし、Ａ／Ｄ変換機の出力制御の場合、その信号の制御は、アンプゲインに比べて困難になるかもしれない。
【００１０】
また、仮に、占有率が問題にならないようなＡ／Ｄ変換器のビット精度やダイナミックレンジが広い場合でも、ホワイトスポット（白キズ）のように、そもそも暗電流の多い画素は、暗電流ショットノイズと呼ばれるゆらぎ成分が大きいため、ダーク補正だけでカバーすることはできない。
【００１１】
本発明の目的は、例えば、広い有効なダイナミックレンジを確保しつつ優れた画像を生成することができる画像処理装置及びその処理方法を提供することである。
【００１２】
【課題を解決するための手段】
本発明の第１の側面は、画像処理装置に係り、前記画像処理装置は、複数の光電変換部を有する撮像手段と、前記撮像手段を遮光した状態で前記撮像手段からＡ／Ｄ変換手段を介して出力される暗中画像信号を取り込み、前記撮像手段から前記Ａ／Ｄ変換手段を介して出力される被写体撮像信号から前記暗中画像信号を差し引くことでダーク補正を行うダーク補正手段と、前記撮像手段から前記Ａ／Ｄ変換手段を介して出力される前記撮像手段の欠陥画素の出力信号を前記欠陥画素の周囲にある正常画素の出力信号を用いて補間することで欠陥補正を行う欠陥補正手段と、前記撮像手段の複数の撮像条件にそれぞれ対応した前記欠陥補正手段による欠陥補正対象画素のアドレスを示す複数の欠陥アドレス表のうち前記撮像手段の撮像条件に対応した欠陥アドレス表を参照して前記欠陥補正手段による欠陥補正対象画素を特定し、前記Ａ／Ｄ変換手段の有効なダイナミックレンジを確保することができるレベル以下の暗電圧を有する画素の出力信号に対し前記ダーク補正手段によるダーク補正を行い、前記Ａ／Ｄ変換手段の有効なダイナミックレンジを確保することができるレベルを超える暗電圧を有する当該欠陥補正対象画素の出力信号に対し前記欠陥補正手段による欠陥補正を行うように制御する制御手段とを有する
本発明の第２の側面は、画像処理方法に係り、前記画像処理方法は、複数の光電変換部を有する撮像手段を遮光した状態で前記撮像手段からＡ／Ｄ変換手段を介して出力される暗中画像信号を取り込み、前記撮像手段から前記撮像手段からＡ／Ｄ変換手段を介して出力される被写体撮像信号から前記暗中画像信号を差し引くことでダーク補正を行うダーク補正工程と、前記撮像手段からＡ／Ｄ変換手段を介して出力される前記撮像手段の欠陥画素の出力信号を前記欠陥画素の周囲にある正常画素の出力信号を用いて補間することで欠陥補正を行う欠陥補正工程と、前記撮像手段の複数の撮像条件にそれぞれ対応した前記欠陥補正工程による欠陥補正対象画素のアドレスを示す複数の欠陥アドレス表のうち前記撮像手段の撮像条件に対応した欠陥アドレス表を参照して前記欠陥補正工程による欠陥補正対象画素を特定し、前記Ａ／Ｄ変換手段の有効なダイナミックレンジを確保することができるレベル以下の暗電圧を有する画素の出力信号に対し前記ダーク補正工程によるダーク補正を行い、前記Ａ／Ｄ変換手段の有効なダイナミックレンジを確保することができるレベルを超える暗電圧を有する当該欠陥補正対象画素の出力信号に対し前記欠陥補正工程による欠陥補正を行うように制御する制御工程とを有する。
【００４０】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面を参照しながら説明する。
【００４１】
図１は、ＣＣＤセンサ、ＣＭＯＳセンサ等の複数の光電変換部を有する撮像素子を使ったデジタルカメラ（画像処理装置の一例）のブロック図である。複数の光電変換部を有する撮像素子としてのＣＣＤ１の出力はＣＤＳ／ＡＧＣ２でノイズリダクションとゲイン調整が実施され、Ａ／Ｄ変換器３でアナログ信号からデジタル信号に変換され、デジタル信号処理ＩＣであるエンジン４に入力される。
【００４２】
エンジン４は、画像信号補正回路５と現像処理回路６を含む。エンジン４に入力された画像信号は画像信号補正回路５でダーク補正や欠陥補正をされ、その後、現像処理回路６で色補間処理などの現像処理をされ、メモリ１２に保存される。
【００４３】
また、その現像された画像は、例えばＴＦＴ液晶表示器等の表示器（ＬＣＤ）７に表示されたり、あるいは、ビデオ端子（ＶＩＤＥＯ）８等から外部モニターなどに出力されたりする。
【００４４】
また、その現像された画像は、外部メモリ９、例えばＣＦカード（フラッシュメモリカード）などに保存することもできる。さらに、エンジン４はタイミングジェネレータ（ＴＧ／ＶＤＲ）１０を駆動して、これによってＣＣＤ１に供給すべきクロック信号等を発生させる。
【００４５】
また、エンジン４には、マイクロプロセッサ（ＣＰＵ）１１が接続されており、ＣＰＵ１１からの命令に応じて種々の設定が行われ、ＣＰＵ１１によって動作が管理される。メモリ１２は、ＣＰＵ１１に提供すべきプログラムを格納したり、撮影画像を一時的に格納したりするため、及び、作業領域として使われる。
【００４６】
ＣＰＵ１１にはシリアル通信装置であるＵＳＢインターフェース等のインターフェース１４が接続されており、これを通して外部のパソコンなどに画像データなどを出力できる。レンズ（ＬＥＮＳ）１４は、撮影のための光学系であり、その絞りや焦点を調節するためのアクチュエータを有する。アクチュエータは、ＣＰＵ１１からの指示にしたがって制御される。
【００４７】
画像信号補正回路５の内部ブロックを図２に示す。Ａ／Ｄ変換器３から出力された撮像信号ＳＩＧ１は、ダーク補正回路２１によってダーク補正される。ダーク補正用メモリ２３は、ダーク補正回路２１の作業エリアとして使用される。
【００４８】
ダーク補正について図３の（ａ）〜（ｃ）をもとに説明する。ＣＣＤセンサ１の出力信号は、暗中においても、図３（ａ）にあるように、暗電流のばらつきなどにより出力電圧が凸凹する事がある。図３（ａ）のｙ＝ｆ１（ｘ）のように「１、２、１、１、３、１、７、１、２、１」のようなばらつきがあるとすると、図３（ｂ）のｆ２（ｘ）に示すような明、暗、明の輝度分布を有する被写体パターン「６、５、４、３、２、２、３、４、５、６」を撮像しても、これにｆ１（ｘ）の暗電圧が重畳されるので、図３（ｃ）のｆ３（ｘ）に示す「７、７、５、４、５、３、１０、５、７、７」のパターンになる。
【００４９】
図３（ｃ）のｆ３（ｘ）のパターンからは、とても真の姿がｆ２（ｘ）であるとは想像できないが、暗中のダーク信号ｆ１（ｘ）を取り込み、それを利用して、式ｆ２（ｘ）＝ｆ３（ｘ）−ｆ１（ｘ）にて再生すると、ｆ２（ｘ）のような本来の被写体画像が再現される。
【００５０】
これを実現するためには、被写体撮影時と同じ温度で、同じ電荷蓄積時間で、同じＩＳＯ感度（アンプゲイン）で、メカシャッターにより遮光状態のＣＣＤセンサ１から暗中の画像データを取り込み、被写体を撮影した撮像データから上記暗中の画像データを差し引く。
【００５１】
再び図２に基づき説明を進める。ダーク補正回路２１の次段には、欠陥補正回路２２があり、欠陥補正回路２２は、ダーク補正しても補正できなかった画素を周囲の正常な画素からの補間に基づいて欠陥補正する。そして、次段の画像信号処理回路６（図１参照）に、欠陥補正された画像信号ＳＩＧ２を渡す。
【００５２】
欠陥補正について図４をもとに説明する。ＣＣＤセンサ１の出力信号中に画素欠陥や暗電流の異常に大きい画素があることがある。例えば、図４に原色ベイヤー配列において、緑色画素をＧ１からＧ１３、赤色画素をＲ１からＲ６、青色画素をＢ１からＢ６とする。Ｇ７の画素に欠陥があったとすると、例えば次に示すような何種類かの補正ルールからいずれかを選択して、欠陥補正することができる。
【００５３】
ルール１（ＲＬ１）は、次式に示すように、水平補間で同色の水平に隣接する画素の平均値を使う。
【００５４】
Ｇ７＝（Ｇ６＋Ｇ８）／２
ルール２（ＲＬ２）は、次式に示すように、垂直補間で同色の垂直に隣接する画素の平均値を使う。
【００５５】
Ｇ７＝（Ｇ２＋Ｇ１２）／２
ルール３（ＲＬ３）は、次式に示すように、水平垂直補間で同色の水平垂直に隣接する４画素平均を使う。
【００５６】
Ｇ７＝（Ｇ２＋Ｇ６＋Ｇ８＋Ｇ１２）／４
上記のルール１からルール３は、緑色画素や赤色画素、青色画素でも採用できる。
【００５７】
ルール４（ＲＬ４）は、次式に示すように、斜め補間で同色の斜めに隣接する画素の平均値を使う。
【００５８】
Ｇ７＝（Ｇ４＋Ｇ１０）／２
ルール５（ＲＬ５）は、次式に示すように、別の斜め補間で同色の別の斜めに隣接する画素の平均値を使う。
【００５９】
Ｇ７＝（Ｇ５＋Ｇ９）／２
ルール６（ＲＬ６）は、両斜め補間で同色の両斜めに隣接する４画素の平均値を使う。
【００６０】
Ｇ７＝（Ｇ４＋Ｇ５＋Ｇ９＋Ｇ１０）／４
上記のルール４からルール６は、このような原色ベイヤー配列では緑色画素でのみ採用することができる。これらのルールのいずれかを選択して、それを使って欠陥補正をすることができる。選択は、例えば、欠陥画素の周りにある信頼性の高い画素データを使うようになされる。
【００６１】
例えば、Ｇ７の欠陥を補正する場合において、Ｇ８も欠陥だったら、ルール１やルール３は選択できないので、ルール２を選択することが好ましい。もちろん、赤色や青色画素はルール４からルール７を採用することができない。また、一般には距離の近い画素で補間した方が欠陥（誤差）が目立たないし、場合によっては、欠陥画素周辺の画素の出力の勾配に着目して、この勾配に基づいて、水平補間（ルール１）、垂直補間（ルール２）、水平垂直補間（ルール３）、斜め補間（ルール４、５、６）のいずれが好ましいかを決定することも考えられる。さらには、４画素平均（ルール３、７）よりは２画素平均（ルール１、２、４、５）の方がシャープな画像を再生することができる可能性が高く、４画素平均は多用しない方がよい。
【００６２】
このように、欠陥補正は周りの正常な画素のデータをもとに補間するわけだが、あまりに補間を多用すると、画像として見た目に不自然な箇所が目立つようになってくる。
【００６３】
一方、ダーク補正では、暗電流ばらつきなどに相当する「げた」が画像信号に加算されるだけであり、適正なダーク補正ができれば正しい画像データを提供することができる。ただし、ダーク補正は、図３（ａ）〜（ｃ）からわかるように、Ａ／Ｄ変換後のデジタル値のフルレンジのうち、ダーク補正において画像信号の値から引き算する値の最大値（すなわち、最も暗電圧の大きい画素の値）に相当する部分は有効に利用することができない。すなわち、暗電圧の大きい撮像素子（ＣＣＤセンサ、ＣＭＯＳセンサ等）を採用すると、そのフルレンジを有効に使うことができない。
【００６４】
具体的に言うと、図３（ｂ）において、ＣＣＤセンサの出力信号ｙのビット幅が８ｂｉｔの場合、本来、ｙの値として０から２５５まで使えるはずである。しかし、図３（ｂ）のように暗電圧が１から７の範囲でばらつく場合、暗電圧による影響を除去するための画像信号に対するダーク補正するためには、２５５−７＝２４８程度の値を画像信号の上限値にすることになる。
【００６５】
同様に暗電圧が１から１０の範囲でばらつく場合、暗電圧による影響を除去するための画像信号に対するダーク補正するためには、２５５−１０＝２４５程度の値を画像信号の上限値にすることになる。すなわち、このダーク補正をするための所定の値は、変動する。
【００６６】
上記のような問題は、品質の悪いＣＣＤセンサを使った場合においては、さらに顕著に現れる。また、高温の環境や、ＩＳＯ感度を高く設定されてアナログアンプゲインを高くするときや、長秒時（長時間露光）等の蓄積時間が長いときにも、上記の問題が顕著に現れる。特にＩＳＯ感度を高く設定することに伴いアナログゲインアンプを高くする場合、Ａ／Ｄ変換器での値に占めるダーク電圧ムラの値が大きくなる。これは、たとえば、ＩＳＯ感度１００の場合には、0.1lux・secの光量から得られた信号を１倍の信号、ＩＳＯ感度２００の場合には、0.05lux・secの光量から得られた信号を２倍の信号、そしてＩＳＯ感度４００の場合には、0.025lux・secの光量から得られた信号を４倍の信号、として出力する場合次のようになる。すなわち。ＩＳＯ感度４００の場合には、ＩＳＯ感度１００の場合に比べて、光量から得られる信号量が小さいにもかかわらず、ダーク電圧は大きい。したがって、この信号を４倍にした場合、絶対量としての信号の値はダーク電圧の値に対して小さくなる。また、一般に信号を増幅した場合にはＳ／Ｎ比が悪くなる。したがって、ＩＳＯ感度を高く設定すると問題が顕著になる。
【００６７】
そのため、ある程度以上の暗電圧を持った画素はダーク補正で補正することをあきらめて、欠陥補正することにし、ダイナミックレンジの確保を目指した方がシステムとしてもバランスを保つことができる。すなわち、画像を補正する際における、ダーク補正の分担と欠陥補正の分担とを何らかの情報に従って決定することが好ましい。
【００６８】
温度、ＩＳＯ感度、蓄積時間の最悪条件における暗電圧に基づいて、所望の有効なダイナミックレンジを確保するように分担を固定的に設定すると、常に欠陥補正の分担が大きいため、画像品質の低下をもたらす。したがって、温度、ＩＳＯ、蓄積時間のそれぞれのパラメータを振ったときの暗電圧に基づいて、ダーク補正の分担及び欠陥補正の分担を動的に決定することが好ましい。
【００６９】
図５（ａ）〜（ｃ）を参照して説明を進める。図５（ａ）は、ＩＳＯ感度（ＩＳＯ）と暗電圧デジタル値（ＤＴ）との関係を示すグラフであり、図５（ｂ）は、温度（ＴＭＰ）と暗電圧デジタル値（ＤＴ）との関係を示すグラフであり、図５（ｃ）は、蓄積時間（Ｔｉｎｔ）と暗電圧デジタル値（ＤＴ）との関係を示すグラフである。
【００７０】
図５（ｂ）は、温度（ＴＭＰ）の上昇に伴って暗電圧のデジタル値（ＤＴ）がどのように増えるかを表している。暗電圧は、例えば、常温においては８℃程度の温度上昇で２倍に増加する。暗電圧のデジタル値は、図５（ｂ）のように、温度上昇に対して指数関数的に大きくなる。
【００７１】
従って、ダイナミックレンジを損なわないように、所定の暗電圧値を越える画素の補正を欠陥補正により行なうこととすると、欠陥補正対象の画素数もこのように指数的に増加する。
【００７２】
一方、図５（ａ）のＩＳＯ感度に伴うゲインアップや、図５（ｃ）の蓄積時間については、線形的に暗電圧のデジタル値は増加する。従って、欠陥補正対象の画素数もＩＳＯ感度及び蓄積時間の増加に伴って増加するが、温度の増加による場合に比べて変化は小さい。
【００７３】
この実施の形態では、温度、ＩＳＯ、蓄積時間の少なくとも１つに従って、好適には温度、ＩＳＯ、蓄積時間の組み合わせに従って、欠陥補正対象の画素（当該画素のアドレス）を決定する。
【００７４】
これを実現するために図２の回路ブロックがある。以下、図２に従って説明を進める。欠陥アドレス指示回路２４は、複数の欠陥アドレス表（欠陥画素表）からなる欠陥アドレス表群を格納したメモリ２５の最適のアドレス表を参照して、それに基づいて、欠陥補正対象の画素のアドレスを欠陥補正回路２２にタイミング良く伝達する。欠陥補正回路２２は、このアドレスに基づいて、ダーク補正回路２１で補正しきれなかった大きな暗電圧を持った画素を特定し、その画素に対して欠陥補正をする。各欠陥アドレス表は、対応する撮像条件（ＩＳＯ感度、温度、蓄積時間等）において欠陥画素となる画素（暗電圧が、所望のダイナミックレンジを確保するためのレベルより大きくなる画素）のアドレス（座標）を提供する。
【００７５】
また、制御回路２９には、暗電圧を支配するいくつかの要因が入力されている。それらの要因には、ＩＳＯ感度、温度、ＣＣＤセンサ１における蓄積時間が含まれうる。それらの要因のうちＩＳＯ感度は、設定されたＩＳＯ感度を保持するＩＳＯ感度保持部２６によって提供され、温度（ＴＭＰ）は、温度計（例えば、測温素子）２７によって提供され、蓄積時間（Ｔｉｎｔ）は、設定された蓄積時間を保持する蓄積時間保持部によって提供される。これらの情報を入力された制御回路２９は、欠陥アドレス指示回路２４を制御する。また、制御回路２９は、ダーク補正回路を制御する。欠陥アドレス指示回路２４は、メモリ２５に格納された欠陥アドレス表群のうち、これらの入力情報にマッチしたアドレス表を特定しそれを上記のように参照する。
【００７６】
図６（ａ）に、メモリ２５に格納されているの欠陥アドレス表群を模式的に示す。図６（ａ）は、ＩＳＯ感度＝１００、蓄積時間（Ｔｉｎｔ）＝１秒において、温度（ＴＭＰ）を振ったときの欠陥アドレス（ＡＤＲＳ）の表を示す。この例では、温度（ＴＭＰ）に関して４０℃以下、４０℃〜５０℃、５０℃〜６０℃、６０℃以上とわけて欠陥アドレス表をもっている。ここで、ダークレベルが第１の所定のレベルに到達する光電変換部の信号を欠陥アドレス表ADRS(ISO100, ４０℃以下,1sec)とし、ダークレベルが第３の所定のレベルに到達する光電変換部の信号を欠陥アドレス表ADRS(ISO100, ４０℃〜５０℃,1sec)とし、ダークレベルが第３の所定のレベルに到達する光電変換部の信号を欠陥アドレス表ADRS(ISO100, ５０℃〜６０℃,1sec)とし、そして、ダークレベルが第３の所定のレベルに到達する光電変換部の信号を欠陥アドレス表ADRS(ISO100, ６０℃以上,1sec)としたものである。ISO感度、蓄積時間をパラメータとした場合も同様である。
【００７７】
温度に対する暗電圧変動は前述したように指数的変化を示すので、高温になるにつれて、欠陥補正すべき画素数も急激な増え方をするため、欠陥アドレス表のボリュームもそのように増えていくのが示されている。
【００７８】
図６（ｂ）にはその欠陥アドレスＡＤＲＳ（ＩＳＯ，ＴＭＰ，Ｔｉｎｔ）のデータ構造を示す。ＩＳＯ感度、温度、蓄積時間を入力引数とすると、出力引数としてはＸ座標ＸＰＯＳ、Ｙ座標ＹＰＯＳ、補正ルールＲＬｎから成り立っている。これにより欠陥補正対象の画素の座標（結果としてアドレス）が特定され、かつ、その補正方法が上記に示した複数の補正ルールＲＬ１〜ＲＬ６から選択される。
【００７９】
本実施例のデジタルカメラは、有用な画像補正システムを実現するために、温度、蓄積時間、ＩＳＯ感度等の複数のパラメータ（要因）の少なくとも１つに基づいて欠陥アドレス表を特定し、その特定した欠陥アドレス表に基づいて欠陥アドレスを発生する欠陥アドレス指示回路（制御部）を備える。そして、Ａ／Ｄ変換器のダイナミックレンジ（フルレンジ）のうち所望の範囲を有効なダイナミックレンジとして確保することができるレベル以下の暗電圧を有する画素についてはダーク補正により画素信号を補正し、該レベルを越える暗電圧を有する画素については、欠陥アドレス指示回路から提供されるアドレスに従って欠陥補正により画素信号を補正する。これにより、高品質の画像を得ることができる。すなわち、この実施例のデジタルカメラは、撮像に関する情報、例えば、温度、蓄積時間、ＩＳＯ感度等の要因に関する情報に基づいて、ダーク補正と欠陥補正との分担を変更することにより、所望のレンジを有効なダイナミックレンジとして確保しつつ、暗電圧の大きい画素についての画素信号を補正することができる。これは、特に、デジタルスチルカメラのように、ＩＳＯ感度に応じてアンプゲインを変えるようなシステムの場合に有効である。すなわち、ＩＳＯ感度（アンプゲイン）の変化にともなって、Ａ／Ｄ変換器での値に占めるダーク電圧ムラの占有率が変わる。この実施例のデジタルカメラは、このダーク電圧ムラの占有率の変化に適応した画像信号の補正を行なうことができる。なお、この信号の増幅は、アンプゲインによらなくても、たとえば、Ａ／Ｄ変換機の出力制御などで行なっても構わない。ただし、Ａ／Ｄ変換機の出力制御の場合、その信号の制御は、アンプゲインに比べて困難になる。
【００８０】
より具体的には、この実施例によれば、例えば、ハイエンドデジタルカメラに要求される「広い温度範囲で使えること」、「長秒時でも使えること」、「高いＩＳＯ感度でも使えること」に対応した、きわめて美しい画像を提供できる。
【００８１】
上記実施例の機能を実現するためのソフトウェアのプログラムコードを供給し、デジタルカメラのコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って動作させることによって実施したものも、本発明の範疇に含まれる。
【００８２】
この場合、上記ソフトウェアのプログラムコード自体が上述した実施例の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８３】
なお、上記実施例は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００８４】
【発明の効果】
以上説明したように本発明によれば、例えば、広い有効なダイナミックレンジを確保しつつ優れた画像を生成することができる。
【図面の簡単な説明】
【図１】本発明の好適な実施例による画像処理装置（デジタルカメラ）の全体図である。
【図２】図１に示す画像処理装置の一部を示すブロック図である。
【図３】ダーク補正を示すグラフである。
【図４】欠陥補正の説明図である。
【図５】欠陥補正の各要因の関係を示すグラフである。
【図６】欠陥アドレス表群、欠陥アドレス表のデータ構造を示す図である。
【符号の説明】
１ ＣＣＤ
２ ＣＤＳ／ＡＧＣ
３ Ａ／Ｄ変換器
４ エンジン
５ 画像信号補正回路
６ 現像処理回路
７ 表示器
８ ビデオ端子
９ フラッシュメモリカード
１０ タイミングジェネレータ
１１ マイクロプロセッサ
１２ メモリ
１３ レンズ
１４ ＵＳＢ
２１ ダーク補正回路
２２ 欠陥補正回路
２４ 欠陥アドレス指示回路
２５ 欠陥アドレス表
２６ ＩＳＯ感度
２７ 温度
２８ 蓄積時間
２９ 制御回路
Claims (4)
- 複数の光電変換部を有する撮像手段と、
前記撮像手段を遮光した状態で前記撮像手段からＡ／Ｄ変換手段を介して出力される暗中画像信号を取り込み、前記撮像手段から前記Ａ／Ｄ変換手段を介して出力される被写体撮像信号から前記暗中画像信号を差し引くことでダーク補正を行うダーク補正手段と、
前記撮像手段から前記Ａ／Ｄ変換手段を介して出力される前記撮像手段の欠陥画素の出力信号を前記欠陥画素の周囲にある正常画素の出力信号を用いて補間することで欠陥補正を行う欠陥補正手段と、
前記撮像手段の複数の撮像条件にそれぞれ対応した前記欠陥補正手段による欠陥補正対象画素のアドレスを示す複数の欠陥アドレス表のうち前記撮像手段の撮像条件に対応した欠陥アドレス表を参照して前記欠陥補正手段による欠陥補正対象画素を特定し、前記Ａ／Ｄ変換手段の有効なダイナミックレンジを確保することができるレベル以下の暗電圧を有する画素の出力信号に対し前記ダーク補正手段によるダーク補正を行い、前記Ａ／Ｄ変換手段の有効なダイナミックレンジを確保することができるレベルを超える暗電圧を有する当該欠陥補正対象画素の出力信号に対し前記欠陥補正手段による欠陥補正を行うように制御する制御手段と、
を有することを特徴とする画像処理装置。 - 前記撮像条件は、温度、蓄積時間、ＩＳＯ感度のうち少なくとも１つであることを特徴とする請求項１に記載の画像処理装置。
- 複数の光電変換部を有する撮像手段を遮光した状態で前記撮像手段からＡ／Ｄ変換手段を介して出力される暗中画像信号を取り込み、前記撮像手段から前記撮像手段からＡ／Ｄ変換手段を介して出力される被写体撮像信号から前記暗中画像信号を差し引くことでダーク補正を行うダーク補正工程と、
前記撮像手段からＡ／Ｄ変換手段を介して出力される前記撮像手段の欠陥画素の出力信号を前記欠陥画素の周囲にある正常画素の出力信号を用いて補間することで欠陥補正を行う欠陥補正工程と、
前記撮像手段の複数の撮像条件にそれぞれ対応した前記欠陥補正工程による欠陥補正対象画素のアドレスを示す複数の欠陥アドレス表のうち前記撮像手段の撮像条件に対応した欠陥アドレス表を参照して前記欠陥補正工程による欠陥補正対象画素を特定し、前記Ａ／Ｄ変換手段の有効なダイナミックレンジを確保することができるレベル以下の暗電圧を有する画素の出力信号に対し前記ダーク補正工程によるダーク補正を行い、前記Ａ／Ｄ変換手段の有効なダイナミックレンジを確保することができるレベルを超える暗電圧を有する当該欠陥補正対象画素の出力信号に対し前記欠陥補正工程による欠陥補正を行うように制御する制御工程と、
を有することを特徴とする画像処理方法。 - 前記撮像条件は、温度、蓄積時間、ＩＳＯ感度のうち少なくとも１つであることを特徴とする請求項３に記載の画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001194378A JP4497759B2 (ja) | 2000-06-30 | 2001-06-27 | 画像処理装置及びその処理方法 |
| US09/896,666 US7133072B2 (en) | 2000-06-30 | 2001-06-29 | Image processing apparatus having an image correction circuit and its processing method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000198019 | 2000-06-30 | ||
| JP2000-198019 | 2000-06-30 | ||
| JP2001194378A JP4497759B2 (ja) | 2000-06-30 | 2001-06-27 | 画像処理装置及びその処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002094884A JP2002094884A (ja) | 2002-03-29 |
| JP2002094884A5 JP2002094884A5 (ja) | 2007-06-14 |
| JP4497759B2 true JP4497759B2 (ja) | 2010-07-07 |
Family
ID=26595079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001194378A Expired - Fee Related JP4497759B2 (ja) | 2000-06-30 | 2001-06-27 | 画像処理装置及びその処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7133072B2 (ja) |
| JP (1) | JP4497759B2 (ja) |
Families Citing this family (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4485087B2 (ja) * | 2001-03-01 | 2010-06-16 | 株式会社半導体エネルギー研究所 | 半導体装置の動作方法 |
| US20040032490A1 (en) * | 2001-05-29 | 2004-02-19 | Mineo Uchida | Image sensing apparatus, image sensing method, program, and storage medium |
| JP3931606B2 (ja) * | 2001-09-20 | 2007-06-20 | ソニー株式会社 | 撮像装置およびノイズ除去方法 |
| JP2003204486A (ja) * | 2002-01-09 | 2003-07-18 | Olympus Optical Co Ltd | 撮像装置 |
| DE10205691A1 (de) * | 2002-02-04 | 2003-08-14 | Pilz Gmbh & Co | Verfahren zum Überprüfen der Funktonssicherheit eines Bildsensors sowie Vorrichtung mit einem Bildsensor |
| US7317481B2 (en) * | 2002-02-20 | 2008-01-08 | Canon Kabushiki Kaisha | Image data correction processing based on sensitivity |
| US7301572B2 (en) * | 2002-03-08 | 2007-11-27 | Canon Kabushiki Kaisha | Pixel correction processing apparatus, image processing apparatus, pixel correction processing method, program, and storage medium |
| JP4035356B2 (ja) * | 2002-04-10 | 2008-01-23 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| US7202894B2 (en) * | 2002-06-04 | 2007-04-10 | Micron Technology, Inc. | Method and apparatus for real time identification and correction of pixel defects for image sensor arrays |
| JP3934506B2 (ja) * | 2002-08-06 | 2007-06-20 | オリンパス株式会社 | 撮像システムおよび画像処理プログラム |
| US7477781B1 (en) * | 2002-10-10 | 2009-01-13 | Dalsa Corporation | Method and apparatus for adaptive pixel correction of multi-color matrix |
| US7782377B2 (en) * | 2003-02-26 | 2010-08-24 | Canon Kabushiki Kaisha | Image sensing apparatus, control method therefor, storage medium, and program to create correction data |
| US20040239782A1 (en) * | 2003-05-30 | 2004-12-02 | William Equitz | System and method for efficient improvement of image quality in cameras |
| US8471852B1 (en) | 2003-05-30 | 2013-06-25 | Nvidia Corporation | Method and system for tessellation of subdivision surfaces |
| JP4379006B2 (ja) * | 2003-06-04 | 2009-12-09 | 株式会社ニコン | 撮像装置 |
| US7372484B2 (en) * | 2003-06-26 | 2008-05-13 | Micron Technology, Inc. | Method and apparatus for reducing effects of dark current and defective pixels in an imaging device |
| EP1655957A4 (en) * | 2003-07-01 | 2009-03-18 | Nikon Corp | DEVICE FOR CORRECTING THE VIDEO SIGNAL OF AN ELECTRONIC CAMERA |
| JP2005045552A (ja) * | 2003-07-22 | 2005-02-17 | Canon Inc | 撮像装置及び方法 |
| US20050030412A1 (en) * | 2003-08-07 | 2005-02-10 | Canon Kabushiki Kaisha | Image correction processing method and image capture system using the same |
| US20050099587A1 (en) * | 2003-11-06 | 2005-05-12 | Min-Chih Hsuan | Method for repairing white spots in liquid crystal display panel |
| JP4255819B2 (ja) * | 2003-12-11 | 2009-04-15 | パナソニック株式会社 | 信号処理方法および画像取得装置 |
| JP2005328421A (ja) * | 2004-05-17 | 2005-11-24 | Sony Corp | 撮像装置および撮像方法 |
| JP4508740B2 (ja) * | 2004-06-22 | 2010-07-21 | キヤノン株式会社 | 画像処理装置 |
| JP4479373B2 (ja) * | 2004-06-28 | 2010-06-09 | ソニー株式会社 | イメージセンサ |
| JP4481764B2 (ja) * | 2004-08-19 | 2010-06-16 | キヤノン株式会社 | 撮像素子から出力される信号の補正方法およびそれを用いた画像処理装置 |
| JP2006109067A (ja) * | 2004-10-05 | 2006-04-20 | Ikegami Tsushinki Co Ltd | 欠陥画素処理装置及び方法 |
| US7602438B2 (en) * | 2004-10-19 | 2009-10-13 | Eastman Kodak Company | Method and apparatus for capturing high quality long exposure images with a digital camera |
| JP4542962B2 (ja) * | 2005-07-21 | 2010-09-15 | 富士フイルム株式会社 | デジタルカメラ |
| US8571346B2 (en) | 2005-10-26 | 2013-10-29 | Nvidia Corporation | Methods and devices for defective pixel detection |
| US7885458B1 (en) | 2005-10-27 | 2011-02-08 | Nvidia Corporation | Illuminant estimation using gamut mapping and scene classification |
| US7750956B2 (en) | 2005-11-09 | 2010-07-06 | Nvidia Corporation | Using a graphics processing unit to correct video and audio data |
| JP4779588B2 (ja) * | 2005-11-15 | 2011-09-28 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法及びそのプログラム |
| US8588542B1 (en) | 2005-12-13 | 2013-11-19 | Nvidia Corporation | Configurable and compact pixel processing apparatus |
| US8737832B1 (en) | 2006-02-10 | 2014-05-27 | Nvidia Corporation | Flicker band automated detection system and method |
| JP2007306506A (ja) * | 2006-05-15 | 2007-11-22 | Fujifilm Corp | 撮像装置 |
| JP4616794B2 (ja) * | 2006-05-18 | 2011-01-19 | 富士フイルム株式会社 | 画像データのノイズ低減装置およびその制御方法 |
| US8594441B1 (en) | 2006-09-12 | 2013-11-26 | Nvidia Corporation | Compressing image-based data using luminance |
| US8723969B2 (en) | 2007-03-20 | 2014-05-13 | Nvidia Corporation | Compensating for undesirable camera shakes during video capture |
| US8564687B2 (en) * | 2007-05-07 | 2013-10-22 | Nvidia Corporation | Efficient determination of an illuminant of a scene |
| US8698917B2 (en) * | 2007-06-04 | 2014-04-15 | Nvidia Corporation | Reducing computational complexity in determining an illuminant of a scene |
| US8724895B2 (en) | 2007-07-23 | 2014-05-13 | Nvidia Corporation | Techniques for reducing color artifacts in digital images |
| US8570634B2 (en) | 2007-10-11 | 2013-10-29 | Nvidia Corporation | Image processing of an incoming light field using a spatial light modulator |
| US8780128B2 (en) | 2007-12-17 | 2014-07-15 | Nvidia Corporation | Contiguously packed data |
| US9177368B2 (en) | 2007-12-17 | 2015-11-03 | Nvidia Corporation | Image distortion correction |
| US8698908B2 (en) | 2008-02-11 | 2014-04-15 | Nvidia Corporation | Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera |
| US7649174B2 (en) * | 2008-02-11 | 2010-01-19 | Flir Systems, Inc. | Thermography camera configured for gas leak detection |
| US9379156B2 (en) | 2008-04-10 | 2016-06-28 | Nvidia Corporation | Per-channel image intensity correction |
| US8026964B2 (en) * | 2008-07-08 | 2011-09-27 | Aptina Imaging Corporation | Method and apparatus for correcting defective imager pixels |
| CN102291537B (zh) | 2008-09-03 | 2015-05-27 | 奥林巴斯映像株式会社 | 图像处理装置、摄像装置以及图像处理方法 |
| JP5121636B2 (ja) * | 2008-09-03 | 2013-01-16 | オリンパスイメージング株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
| JP5311945B2 (ja) * | 2008-09-16 | 2013-10-09 | キヤノン株式会社 | 撮像装置および欠陥画素検出方法 |
| US8373718B2 (en) | 2008-12-10 | 2013-02-12 | Nvidia Corporation | Method and system for color enhancement with color volume adjustment and variable shift along luminance axis |
| US8749662B2 (en) | 2009-04-16 | 2014-06-10 | Nvidia Corporation | System and method for lens shading image correction |
| JP5147789B2 (ja) * | 2009-07-13 | 2013-02-20 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| US8698918B2 (en) | 2009-10-27 | 2014-04-15 | Nvidia Corporation | Automatic white balancing for photography |
| JP5655355B2 (ja) * | 2009-11-02 | 2015-01-21 | ソニー株式会社 | 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム |
| JP5645474B2 (ja) * | 2010-05-19 | 2014-12-24 | 富士フイルム株式会社 | 撮像装置及び撮像画像信号の補正方法 |
| JP5889324B2 (ja) * | 2011-10-12 | 2016-03-22 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
| US9798698B2 (en) | 2012-08-13 | 2017-10-24 | Nvidia Corporation | System and method for multi-color dilu preconditioner |
| US9508318B2 (en) | 2012-09-13 | 2016-11-29 | Nvidia Corporation | Dynamic color profile management for electronic devices |
| US9307213B2 (en) | 2012-11-05 | 2016-04-05 | Nvidia Corporation | Robust selection and weighting for gray patch automatic white balancing |
| US9870598B2 (en) | 2013-04-26 | 2018-01-16 | Nvidia Corporation | Low complexity adaptive filtering for mobile captures |
| US9418400B2 (en) | 2013-06-18 | 2016-08-16 | Nvidia Corporation | Method and system for rendering simulated depth-of-field visual effect |
| US9826208B2 (en) | 2013-06-26 | 2017-11-21 | Nvidia Corporation | Method and system for generating weights for use in white balancing an image |
| US9756222B2 (en) | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
| JP2015115789A (ja) * | 2013-12-12 | 2015-06-22 | ソニー株式会社 | 撮像装置、撮像信号処理回路、及び、撮像信号処理方法、並びに、表示装置、画像信号処理回路、及び、画像信号処理方法 |
| JP7326698B2 (ja) | 2017-12-27 | 2023-08-16 | セイコーエプソン株式会社 | 光検出装置、補正係数算出装置および補正係数算出方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000101925A (ja) * | 1998-09-18 | 2000-04-07 | Fuji Film Microdevices Co Ltd | Ｃｃｄ撮像素子の画素欠陥補正装置及び画素欠陥補正方法 |
| JP2000209506A (ja) * | 1999-01-14 | 2000-07-28 | Toshiba Corp | 撮像装置および撮像方法 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3904818A (en) * | 1974-02-28 | 1975-09-09 | Rca Corp | Removal of dark current spikes from image sensor output signals |
| US4600946A (en) * | 1985-01-31 | 1986-07-15 | Rca Corporation | Adaptive defect correction for solid-state imagers |
| US4703442A (en) * | 1985-09-25 | 1987-10-27 | Rca Corporation | Temperature tracking defect corrector for a solid-state imager |
| US4920428A (en) * | 1988-07-08 | 1990-04-24 | Xerox Corporation | Offset, gain and bad pixel correction in electronic scanning arrays |
| JPH0258981A (ja) * | 1988-08-24 | 1990-02-28 | Nikon Corp | 電子スチルカメラ |
| DE4117020C2 (de) * | 1990-05-25 | 1993-12-02 | Asahi Optical Co Ltd | Steuervorrichtung für einen Bildsensor |
| US5047861A (en) * | 1990-07-31 | 1991-09-10 | Eastman Kodak Company | Method and apparatus for pixel non-uniformity correction |
| JPH05260386A (ja) * | 1992-03-16 | 1993-10-08 | Sony Corp | 固体撮像素子の欠陥画素検出回路 |
| JPH066595A (ja) * | 1992-06-19 | 1994-01-14 | Mitsubishi Electric Corp | 画像読取装置 |
| US5541706A (en) * | 1992-10-22 | 1996-07-30 | Nikon Corporation | Exposure calculation device for a camera |
| JPH06303531A (ja) | 1993-04-09 | 1994-10-28 | Olympus Optical Co Ltd | 固体撮像素子の画素欠陥補正装置 |
| JP3014895B2 (ja) * | 1993-06-02 | 2000-02-28 | 株式会社日立製作所 | ビデオカメラ |
| EP0679021B1 (en) * | 1994-04-19 | 2010-12-15 | Eastman Kodak Company | Automatic camera exposure control using variable exposure index CCD sensor |
| JPH09200613A (ja) * | 1996-01-19 | 1997-07-31 | Sony Corp | 固体撮像素子の欠陥検出装置 |
| JP3785520B2 (ja) * | 1997-03-19 | 2006-06-14 | コニカミノルタホールディングス株式会社 | 電子カメラ |
| US5929901A (en) * | 1997-10-06 | 1999-07-27 | Adair; Edwin L. | Reduced area imaging devices incorporated within surgical instruments |
| JPH11239298A (ja) | 1998-02-19 | 1999-08-31 | Konica Corp | 電子カメラ、画素信号補正方法及び記録媒体 |
| US6995794B2 (en) * | 1999-06-30 | 2006-02-07 | Logitech Europe S.A. | Video camera with major functions implemented in host software |
| US6654054B1 (en) * | 1999-11-02 | 2003-11-25 | Agilent Technologies, Inc. | Method and apparatus for canceling the effects of noise in an electronic signal |
| EP1297687A1 (en) * | 2000-06-23 | 2003-04-02 | Koninklijke Philips Electronics N.V. | Image sensor signal defect correction |
| US20040032490A1 (en) * | 2001-05-29 | 2004-02-19 | Mineo Uchida | Image sensing apparatus, image sensing method, program, and storage medium |
-
2001
- 2001-06-27 JP JP2001194378A patent/JP4497759B2/ja not_active Expired - Fee Related
- 2001-06-29 US US09/896,666 patent/US7133072B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000101925A (ja) * | 1998-09-18 | 2000-04-07 | Fuji Film Microdevices Co Ltd | Ｃｃｄ撮像素子の画素欠陥補正装置及び画素欠陥補正方法 |
| JP2000209506A (ja) * | 1999-01-14 | 2000-07-28 | Toshiba Corp | 撮像装置および撮像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020015111A1 (en) | 2002-02-07 |
| US7133072B2 (en) | 2006-11-07 |
| JP2002094884A (ja) | 2002-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4497759B2 (ja) | 画像処理装置及びその処理方法 | |
| US7133073B1 (en) | Method and apparatus for color interpolation | |
| US8164665B2 (en) | Method and apparatus for controlling pixel sensor elements | |
| US8310577B1 (en) | Method and apparatus for color compensation | |
| US7479993B2 (en) | Image device and method for removing noise | |
| JP6227084B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| JP2007053634A (ja) | 撮像装置、欠陥画素補正装置および方法 | |
| JP2000209506A (ja) | 撮像装置および撮像方法 | |
| US7843501B2 (en) | Image sensing apparatus and defect correction method | |
| JP2005101829A (ja) | 信号処理装置 | |
| JP5207926B2 (ja) | 撮像装置及びその制御方法 | |
| JP4136776B2 (ja) | 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム | |
| WO2021256321A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2010178226A (ja) | 撮像装置、色収差抑制方法、色収差抑制回路及びプログラム | |
| JP3938098B2 (ja) | 補正装置、及び撮像装置 | |
| JP4136775B2 (ja) | 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム | |
| JP4439841B2 (ja) | 撮像装置及びその画像処理方法 | |
| JP2002152601A (ja) | 固体撮像装置および欠陥画素補正方法 | |
| JP3938097B2 (ja) | 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム | |
| JP2006109046A (ja) | 撮像装置 | |
| JP2004088190A (ja) | 並列出力固体撮像素子を用いたカメラシステムとその補正方法 | |
| JP2000115815A (ja) | 欠陥検出方法および撮像装置 | |
| JP2003348456A (ja) | デジタルスチルカメラ | |
| JP2013115547A (ja) | 撮像装置及びその制御方法 | |
| JP2002171440A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070425 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090924 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091023 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100402 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100413 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140423 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |