JP3767188B2 - 電子カメラ及び信号補正方法 - Google Patents
電子カメラ及び信号補正方法 Download PDFInfo
- Publication number
- JP3767188B2 JP3767188B2 JP23794498A JP23794498A JP3767188B2 JP 3767188 B2 JP3767188 B2 JP 3767188B2 JP 23794498 A JP23794498 A JP 23794498A JP 23794498 A JP23794498 A JP 23794498A JP 3767188 B2 JP3767188 B2 JP 3767188B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- exposure time
- defective pixel
- defective
- electronic camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子を備えた電子カメラにおいて、前記固体撮像素子の欠陥画素を検出し、かかる欠陥画素からの出力信号を補正する技術に関する。
【０００２】
【従来の技術】
電子カメラに備えられた固体撮像素子は、二次元に並んだ多数の画素により、画素上に結像した被写体の光学像を、電荷量（電気的信号）に変換して出力する機能を有している。ところで、かかる画素の中には、ダストの付着や結晶欠陥等に基づく欠陥（画素欠陥）を有するために、正常な信号を出力し得ないものもありえる。このような画素欠陥には、被写体の輝度に対応して出力されるはずの出力信号に対し余分な信号成分を加算した信号を出力してしまい、画像を白っぽくしてしまう白キズと、被写体の輝度に対応して出力されるはずの出力信号に対しある信号成分を減算した信号を出力してしまい、画像を黒っぽくしてしまう黒キズとがある。
【０００３】
画素欠陥が多く生じると、かかる固体撮像素子を用いて撮像した画像を再生する場合に、著しく画質が低下する恐れがある。一方、近年用いられるようになった固体撮像素子は、少なくとも数十万以上の画素を有するので、全く画素欠陥のない固体撮像素子を製造することは、実際には困難といえる。従って、ある程度の画素欠陥は常に存在するとの前提に立った上で、固体撮像素子を使用することが要求されている。
【０００４】
かかる前提に基づき、画素欠陥のある画素から出力された電気的信号を、後処理により補正する補正回路を備え、画質の向上を図るようにした電子カメラが既に開発されている。このような電子カメラによれば、電子カメラの生産工程で、画素欠陥検査装置を用いて固体撮像素子の画素欠陥のある画素（欠陥画素）を検出し、その位置を、たとえば電子カメラに搭載したＲＯＭ内に情報として記憶させることにより、実際の撮像時に、かかる欠陥画素からの出力信号を適宜補正するという手法をとっている。
【０００５】
【発明が解決しようとする課題】
ところが、上述した白キズは結晶欠陥に基づく画素欠陥であるため、固体撮像素子の使用環境に応じて増大する場合があることが判明している。たとえば、露光時間が長くなることに応じて、白キズは増加する傾向がある。かかる場合、電子カメラの生産工程で一定の条件の下に検出した欠陥画素の位置と異なる位置に、新たな欠陥画素が生じることとなるため、十分な補正ができないことも起こりうる。これに対し、電子カメラの生産工程における検査時に長時間露光を行うことにより、予め欠陥画素情報を得ておき、実際に撮影したときに、かかる情報に基づき欠陥画素の信号を補正することも考えられる。
【０００６】
しかしながら、白キズにかかる欠陥画素の数は、露光時間が長くなると飛躍的に増大し、またその位置も不変であるとは限らないので、かかる画素の位置（座標）と露光時間との関係を示す情報を記憶するためには、電子カメラのＲＯＭにおいて大きな記憶容量が必要となる。また、電子カメラの生産工程で、長時間露光を行って欠陥画素に関するデータを採取する場合、たとえば３回の平均値を取るというように、同じことを繰り返さねばならない。従って、長時間露光を最大４秒とすると、データ採取に必要な時間は露光時間だけでも１２秒必要ということになり、従来のデータ採取時間が１秒以下であるところ、１０倍以上の時間がかかることとなる。
【０００７】
本発明は、かかる従来技術の問題点に鑑み、露光時間に応じて増減する白キズに対して適切に補正することのできる電子カメラ及び信号補正方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述の目的を達成すべく、本発明の電子カメラは、複数の画素を有する固体撮像素子と、前記固体撮像素子の欠陥画素に関する情報を記憶する記憶手段と、注目画素に関する情報を、所定の情報と比較することにより、前記注目画素が欠陥画素であるか否かを検出する検出手段と、撮影時における露光時間の情報に基づいて、前記記憶手段に記憶された前記欠陥画素に関する情報から欠陥画素を特定するか、あるいは前記検出手段により欠陥画素を検出するかを決定する決定手段とを有することを特徴とする。
【００１０】
本発明の信号補正方法は、
固体撮像素子を有する電子カメラの信号補正方法であって、
前記電子カメラの露光時間が、第１の露光時間と第２の露光時間のいずれかであるかを判断するステップと、
前記露光時間が前記第１の露光時間であるときは、予め記憶された固体撮像素子の欠陥画素に関する情報に基づいて欠陥画素を特定し、一方前記露光時間が前記第２の露光時間であるときは、注目画素に関する情報を所定の情報と比較して欠陥画素を検出するステップと、
前記検出された欠陥画素からの出力信号を補正する補正するステップとを有することを特徴とする。
【００１１】
【作用】
本発明の電子カメラによれば、複数の画素を有する固体撮像素子と、前記固体撮像素子の欠陥画素に関する情報を記憶する記憶手段と、注目画素に関する情報を、所定の情報と比較することにより、注目画素が欠陥画素であるか否かを検出する検出手段と、撮影時における露光時間の情報に基づいて、前記記憶手段に記憶された前記欠陥画素に関する情報から欠陥画素を特定するか、あるいは前記検出手段により欠陥画素を検出するかを決定する決定手段とを有しているので、たとえば短時間の露光時には、予め記憶された欠陥画素に関する情報に基づき画素欠陥を補正するようにすれば、かかる補正処理を迅速に行うことができる。一方、長時間露光時には、前記検出手段により欠陥画素を検出するように前記決定手段が決定すれば、記憶すべき欠陥画素に関する情報が少なくなり、従って前記記憶手段の記憶容量が小さくて足りることから、電子カメラのコストを低く抑えることができ、また電子カメラの生産工程における欠陥画素に関するデータ採取時間を短縮することができる。
【００１３】
本発明の信号補正方法によれば、電子カメラの露光時間が、第１の露光時間と第２の露光時間のいずれかであるかを判断するステップと、前記露光時間が前記第１の露光時間であるときは、予め記憶された固体撮像素子の欠陥画素に関する情報に基づいて欠陥画素を特定し、一方前記露光時間が前記第２の露光時間であるときは、注目画素に関する情報を所定の情報と比較して欠陥画素を検出するステップと、前記検出された欠陥画素からの出力信号を補正する補正するステップとを有するので、たとえば第１の露光時間を短時間と決め、予め記憶された欠陥画素に関する情報に基づき欠陥画素からの出力信号を補正するようにすれば、かかる補正処理を迅速に行うことができる。一方、第２の露光時間を長い露光時間と決め、注目画素に関する情報を所定の情報と比較して欠陥画素を検出するようにすれば、記憶すべき欠陥画素に関する情報が少なくなり、従って前記記憶手段の記憶容量が小さくて足りることから、電子カメラのコストを低く抑えることができ、また電子カメラの生産工程における欠陥画素に関するデータ採取時間を短縮することができる。
【００１４】
【発明の実施の形態】
以下、本発明による第１の実施の形態を、図面を参照して説明する。
図１は、第１の実施の形態にかかる電子カメラとしてのデジタルスチルカメラの構成を示す図である。図１において、固体撮像素子としてのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ１は、その画素上に結像された被写体の光学像を電気的信号に変換する（電荷を生成する）、いわゆる光電変換を行うものであり、駆動回路２は、転送パルスを生成して、ＣＣＤ１に供給する回路である。ＣＣＤ１は、駆動回路２によって生成された転送パルスに基づいて、アナログ電気信号を出力する。
【００１５】
ＣＤＳ（相関二重サンプリング）回路３はノイズを低減するための回路であり、駆動回路２から出力された駆動パルスに基づいて駆動される。Ａ／Ｄ変換回路４は、入力されたアナログ信号をディジタル信号に変換して出力するものである。尚、本実施の形態にかかるＡ／Ｄ変換回路４においては、ＣＣＤ１上の画素に入射した光の強度が高いほど、大きな値のディジタル信号に変換されるものとする。かかるＡ／Ｄ変換回路４を介して得られたＣＣＤ１の画素毎の画像データは、一旦、画像用メモリ５に記憶される。
【００１６】
画像用メモリ５に記憶された画像データは、ＣＰＵ６によって各種の画像処理が施され、最終的には、メモリカード、光磁気ディスク等の記録媒体からなる記録部７に記憶される。
【００１７】
ここで、各種の画像処理には、ＣＣＤ１の欠陥画素の画像データを補正する処理が含まれる。後述するように露光時間に応じた態様で、ＣＰＵ６は、欠陥画素の検出を行って、かかる欠陥画素についての画像データを補正するようになっている。尚、欠陥画素の検出に用いる各種のデータも、メモリ９に記憶されている。
【００１８】
液晶表示装置１０は、撮像された画像や必要な操作情報等を表示するものである。ＣＣＤ１の前面には、被写体からの光を画素上に結像させるためのレンズ１１と、入射光の光量を調節する絞り１２と、ＣＣＤ１の温度を検出する温度センサ１３とが備えられており、温度センサ１３の検出信号は制御回路８に入力されるようになっている。
【００１９】
更に、被写体までの測距手段（不図示）が備えられ、かかる測距手段からの信号により、制御回路８は、レンズ駆動回路１４を駆動し、合焦位置にレンズ１１を移動させるようになっている。また、電源スイッチ１５及び、画素欠陥の検出を行わせる検出モードを選択するためのモードスイッチ１６（モード選択手段）が備えられ、かかるスイッチの動作に基づく信号が制御回路８に入力されるようになっている。一方、タイマ１７が制御回路８に接続されている。タイマ１７は、ＣＣＤ１の撮像時における露光時間を検出して、かかる露光時間に対応する信号を制御回路８に出力するようになっている。尚、拡散板２１は、黒キズ検出時に用いられるものであり、白キズ検出時には用いられないため、以下その説明を省略する。
【００２０】
次に、欠陥画素として、白キズの検出について説明する。尚、白キズの検出は、デジタルスチルカメラの生産工程において行われ、得られた検出結果を制御回路のメモリ９に記憶して、かかる検出結果を実際の撮像のときに白キズ補正に用いるようになっている。しかしながら、経時的に増大する白キズに対応すべく、モードスイッチ１６がオンとなっている場合には、電源投入毎にその検出を実行して、検出結果を更新するようにしても良い。
【００２１】
デジタルスチルカメラの生産工程における白キズ検出の態様を説明する。まず、モードスイッチ１６がオンとなった状態で、電源スイッチ１５を投入すると、かかるスイッチ信号が制御回路８に入力され、制御回路８によって絞り１２（光量調節手段）が全閉に駆動され、この状態でＣＣＤ１により入射光を制限しながら１画面分撮像を行う（制御手段）。かかる撮像によるＣＣＤ１からの出力は、画像用メモリ５に蓄積され、ＣＰＵ６は予めメモり９に記憶されている白キズ判定用の閾値（基準データ）と各画素毎の画像データすなわち出力信号とをそれぞれ比較する。尚、この基準データは、撮像した画像データを用い、検出する画素の周辺データから平均等により求めることができる。
【００２２】
基準データの求め方を、図面を参照して以下に説明する。まず、図２に示すような４色の色フィルタが画素毎に配置されている場合を考える。図３は、この色フィルタが２次元的に並べられている状態を示す図であるが、理解しやすくするためＡ色のみを表示している。
【００２３】
図３において、注目画素ＡＡに対して、周囲９画素四方のエリア内の注目画素における２４個の同じ色（Ａ色）の画素のデータを用いて、基準データを計算するものとする。まず、２４個の画素のデータ平均値を求める。この平均値をこの画素に対する第１の基準データとする。注目画素のデータと、この第１の基準データとを比較し、それらの差を求め、この差をキズレベルとする。キズレベルが所定の範囲を超える場合、キズとして認識し、その位置情報をメモリに記憶する。他の色（Ｂ、Ｃ、Ｄ色）についても、同様の処理を行う。また全ての画素について、同様の処理を行う。
【００２４】
このとき検出するキズレベルについて、画像データ全てに対して同じ範囲とするのではなく、あるエリアを区切って、そのエリア毎に異なる基準で検出しても良い。たとえば、画面中央部と周辺部とに分けて、中央部は５％以下、周辺部は１０％以下というように、キズ検出の条件を変えることができる。このときのパーセンテージは、注目画素の周辺２４画素のデータ平均値に対するキズレベルの比である。
【００２５】
色フィルタとして、単色フィルタを複数枚使用した場合は、白黒のイメージセンサの場合と同様で、注目画素に対して隣接する画素を全て利用することができる。図４は、この例を示す図である。たとえば、注目画素ＢＢに対してＢの部分全てを利用できる。計算については同様に、周辺画素のデータ平均値を求め、これを第１の基準データとすればよい。尚、長時間露光時における白キズ検出の場合には、比較すべき周辺画素を、たとえば注目画素を中心として５画素四方内に限ることにより、処理速度の向上を図ることができる。また、かかる周辺画素の範囲は、正方形でなく長方形（たとえば５×９画素）としても良い。
【００２６】
このようにして基準データすなわち閾値が求まるが、上述した撮像によればＣＣＤ１の画素上には、入射光が到達しないのであるから、画素が正常である限り、かかる画素からの出力信号は閾値未満となるはずである。従って、その出力信号が閾値以上である場合、白キズに相当する欠陥があると判断する。かかる比較により白キズが検出されることとなる。白キズが検出されれば、それに対応する欠陥画素の位置情報（二次元座標）が、制御回路８のメモリ９（記憶手段）に記憶されることとなる。
【００２７】
尚、電源スイッチ１５の投入毎に、白キズの検出が自動的に行われるようにすれば、最新の白キズの位置情報が前記メモリ９に記憶されるため、経時的な白キズの変化に対応した補正も可能となる。
【００２８】
ところで、露光時間がたとえば１／８秒以下である場合には、白キズの位置は比較的少ないため、デジタルスチルカメラの生産工程で、白キズを検出して、かかる位置をメモり９に記憶しても、その記憶容量は小さくて足りる。ところが、露光時間が１／８秒より長くなった場合には、白キズが飛躍的に増大するため、デジタルスチルカメラの生産工程で、白キズを検出する時間が長くかかるという不具合、及び白キズの位置をメモり９に記憶するため大きな記憶容量が必要になるという不具合がある。
【００２９】
そこで、本実施の形態においては、デジタルスチルカメラの生産工程で、露光時間が１／８秒以下の場合だけ、白キズの検出を行うようにして、かかる検出結果をメモり９に記憶している。更に、実際の撮像時における露光時間が１／８秒以下の場合には、メモリ９に記憶された白キズの位置に基づき補正処理を行い、一方、露光時間が１／８秒を超えた場合には、撮像により得られた画像データを処理しながら、キズの検出、補正を行うようにしている。尚、理想的には、撮像前後にＣＣＤ１への入射光を制限して白キズを検出することが望ましいが、画像データからも検出が可能であり、本実施の形態においては、かかる検出態様を採用している。注目画素の周辺のみに着目すれば、画素間のデータに大きな変化はないので、周辺画素の平均と注目画素のデータとの比較からキズの検出ができる。
より具体的に、本実施の形態の動作について説明する。
【００３０】
図５は、本実施の形態にかかる電子カメラを用いて、実際に被写体を撮像する場合の処理を示すフローチャートであり、図６は、信号処理及びキズ補正処理を行うサブルーチンである。
【００３１】
まず、図５のステップＳ１０１において、ユーザーが電源スイッチ１５を投入（パワーＯＮ）することにより、フローが開始する。なお、ユーザーが不図示のシャッタボタンを半押しすることにより、スイッチＳＷ１が投入（オン）され、全押しすることによりスイッチＳＷ２が投入（オン）されるものとする。
【００３２】
ステップＳ１０２において、スイッチＳＷ１が投入されない場合には、電子カメラは待機状態に維持されるが、スイッチＳＷ１が投入されたとき、続くステップＳ１０３において、制御回路８による露出制御が行われ、必要な絞り値とシャッタ速度から、露光時間Ｔが決定される。
【００３３】
続くステップＳ１０４において、制御回路８は、不図示の測距回路により被写体までの距離を求めて、レンズ駆動回路１４によりレンズ１１を合焦位置へと駆動する。
【００３４】
更にステップＳ１０５において、スイッチＳＷ２が投入されない（すなわち、シャッタボタンが全押しされない）場合には、デジタルスチルカメラは待機状態に維持されるが、スイッチＳＷ２が投入されたとき、続くステップＳ１０６において、制御回路８によりシャッタが駆動され、露光時間Ｔで露出が行われる。
【００３５】
かかる露出によりＣＣＤ１に電荷が蓄積された後、ステップＳ１０７において、電荷の転送が行われる。このように転送された電荷は、Ａ／Ｄ変換後画像用メモリ５に画素毎に、画像データとして記憶される。
【００３６】
ステップＳ１０８において、露光時間Ｔが１／８秒より長いか判断される。露光時間Ｔが１／８秒より長ければ、フローはステップＳ１０９へと移行し、図６に示す信号処理及びキズ補正処理のサブルーチンが開始される。まず、ステップＳ１０９ａにおいて、記憶された画像データを５×５の画素領域で読み込む。続くステップＳ１０９ｂにおいて、キズを検出する。より具体的には、注目画素（５×５画素領域の中心）と周辺画素の画素信号の差を求める。ステップＳ１０９ｃにおいて、かかる差が閾値より大きい場合には、注目画素は欠陥画素である（すなわちキズ有り）と判断する。キズがあった場合には、ステップＳ１０９ｄにおいて後述する態様でキズ補正を行う。一方、キズがなければ、そのまま信号処理を行う（ステップＳ１０９ｅ）。以上の処理を、画素領域を順繰りに変えながら（ステップＳ１０９ｇ）画素全体について行った後、最後のデータについて検出が終了したことが判断されれば（ステップＳ１０９ｆ）、フローは図５のステップＳ１１２へと戻されるようになっている。尚、画像データを処理しながら白キズの検出や補正を行うのであるから、白キズ補正が完了するまでの時間は比較的長くはなるが、ユーザは長時間露光であることを十分意識しているので、処理時間が長くてもあまり気にしないと考えられる。
【００３７】
一方、図５のステップＳ１０８において、露光時間Ｔが１／８秒以下であると判断されれば、対応する白キズの検出結果であるデータがメモり９に記憶されているので、かかるデータを読み込んで、白キズの補正を行う（ステップＳ１１０）。かかる補正は、補正の対象となる画素が予め記憶されているので、迅速に行われるようになっている。その後、ステップＳ１１１において、画素データに対して信号処理がなされるようになっている。
【００３８】
ステップＳ１１２においては、以上のようにして信号処理された画像データが圧縮される。制御回路８は、最終的にステップＳ１１３において記録部７に画像を記録し、その後フローをステップＳ１０２へと戻すようになっている。
【００３９】
次に、上述したステップＳ１０９ｄ（図６）及びステップ１１０（図５）における白キズの補正の態様について述べる。制御回路８は、ステップＳ１０９ｂ（図６）またはステップＳ１１０（図５）において特定された欠陥画素に対応する、画像用メモリ５に記憶された画像データ内の電荷量に、後述する態様で補正処理を加える。
【００４０】
尚、本実施の形態における画像データの補正においては、欠陥を有する画素に隣接する画素の電荷量を平均することによって、かかる欠陥を有する画素の電荷量を新たに求めるようにしている。しかしながら、欠陥を有する画素からの電荷量に対して補正値を加減乗除したり、補正項の乗除を行うことによっても、画像データの補正を行うことは可能である。
【００４１】
まず、図７に示すように予めＣＣＤ１に設けられたカラーモザイクフィルタが、Ａ，Ｂ，Ｃ，Ｄ（たとえばＹｅ、Ｃｙ、Ｇ、Ｍｇ）の４色のカラーフィルタの場合、制御回路８が、欠陥画素である画素Ａn、nの電荷量を求めるときは、以下のいずれかの計算式に基づき計算を行う。尚、後述する符号Ａn、nは、ｎ列ｎ行目の画素のフィルタ色Ａ（すなわちＹｅ）にかかる電荷量を意味する。
【００４２】
（i）第１の計算式
（ii)第２の計算式
Ａn、n＝（Ａn-2、n＋Ａn、n-2＋Ａn、n+2＋Ａn+2、n）／４ （２）
（iii）第３の計算式
Ａn、n＝（Ａn、n-2＋Ａn、n+2）／２ ｏｒ （Ａn-2、n＋Ａn+2、n）／２ （３）
【００４３】
上記（１）式の平均によれば、欠陥画素を中心とする５×５画素領域内で、欠陥画素と同じ色のカラーフィルタが設けられた８画素の電荷量の平均値を、欠陥画素の電荷量に置き換えるため、かかる画素の電荷量と隣接する画素の電荷量の変化が自然となり、それにより画質の向上を図ることができる。
【００４４】
上記（２）式の平均によれば、欠陥画素を中心とする５×５画素領域内で、欠陥画素と同じ色のカラーフィルタが設けられた画素であって、欠陥画素と同じ列及び同じ行の４画素の電荷量の平均値を、欠陥画素の電荷量に置き換えており、画質の向上と処理速度の向上との調和を図ることができる。
【００４５】
上記（３）式の平均によれば、欠陥画素を中心とする５×５画素領域内で、欠陥画素と同じ色のカラーフィルタが設けられた画素であって、欠陥画素と同じ列又は同じ行の２画素の電荷量の平均値を、欠陥画素の電荷量に置き換えており、処理速度の向上を図ることができる。尚、Ａ以外のフィルタ色Ｂ、Ｃ、Ｄについても、同様に補正処理を行う。
【００４６】
一方、図８に示すように、カラーモザイクフィルタがＡ，Ｂ，Ｃ（たとえばＲ、Ｇ、Ｂ）の３色のフィルタであり、かつフィルタ色Ｂ、Ｃにかかる画素が欠陥画素であった場合にも、前記（１）乃至（３）式を用いて、電荷量の置き換えを行うことができる。一方、フィルタ色Ａにかかる画素が欠陥画素であった場合、以下のいずれかの計算式に基づき計算を行うことができる。
【００４７】
（i）第１の計算式
Ａn、n＝（Ａn-1、n-1＋Ａn-1、n+1＋Ａn+1、n-1＋Ａn+1、n+1）／４ （４）
（ii)第２の計算式
【００４８】
上記（４）式の平均によれば、欠陥画素を中心とする３×３画素領域内で、欠陥画素と同じＡ色のカラーフィルタが設けられた４隅の４画素の電荷量の平均値を、欠陥画素の電荷量に置き換えており、画質の向上と処理速度の向上との調和を図ることができる。
【００４９】
一方、上記（５）式の平均によれば、欠陥画素を中心とする５×５画素領域内で、欠陥画素と同じＡ色のカラーフィルタが設けられた１２画素の平均値を、欠陥画素の電荷量に置き換えており、画質の向上を図ることができる。
【００５０】
更に、図９に示すような３板式のＣＣＤを用いる場合には、Ａ、Ｂ、Ｃ（たとえばＲ、Ｇ、Ｂ）のカラーフィルタが、各ＣＣＤに設けられているため、欠陥画素である画素Ａn、nの電荷量を補正するときは、以下のいずれかの計算式に基づき計算を行うことができる。
【００５１】
（i）第１の計算式
（ii)第２の計算式
Ａn、n＝（Ａn-1、n-1＋Ａn-1、n+1＋Ａn+1、n-1＋Ａn+1、n+1）／４ （７）
（iii）第３の計算式
Ａn、n＝（Ａn-1、n＋Ａn、n-1＋Ａn、n+1＋Ａn+1、n）／４ （８）
（iv）第４の計算式
Ａn、n＝（Ａn-1、n＋Ａn+1、n）／２ （９）
（v）第５の計算式
Ａn、n＝（Ａn、n-1＋Ａn、n+1）／２ （１０）
（vi）第６の計算式
Ａn、n＝（Ａn-1、n-1＋Ａn+1、n+1）／２ （１１）
（vii）第７の計算式
Ａn、n＝（Ａn-1、n+1＋Ａn+1、nー1）／２ （１２）
【００５２】
（６）式に基づく計算は、欠陥画素に隣接する８画素の電荷量の平均値を求めるものであり、（７）式に基づく計算は、欠陥画素を中心とした３×３画素領域内の４隅の４画素の電荷量の平均値を求めるものである。
【００５３】
（８）式に基づく計算は、欠陥画素に隣接する上下左右４画素の電荷量の平均値を求めるものであり、（９）式に基づく計算は、欠陥画素に隣接する上下２画素の電荷量の平均値を求めるものである。
【００５４】
（１０）式に基づく計算は、欠陥画素に隣接する左右２画素の電荷量の平均値を求めるものであり、（１１）式に基づく計算は、欠陥画素に隣接する左上及び右下の２画素の電荷量の平均値を求めるものであり、（１２）式に基づく計算は、欠陥画素に隣接する右上及び左下の２画素の電荷量の平均値を求めるものである。かかる計算式は、要求される画質と処理速度とから適宜選択すればよい。
【００５５】
以上述べたように本実施の形態によれば、露光時間が短い場合には、メモリ９に記憶された白キズのデータを用いて白キズの補正を行うようにしているので、かかる補正を迅速に行うことができる。一方、露光時間が長いときは、撮像後に白キズ検出を行うようにしたので、白キズにかかるデータをメモり９に記憶する必要がなく、それによりデジタルスチルカメラの生産工程における検査を効率よく行えると共に、メモリ９の記憶容量を小さくすることができる。
【００５６】
図１０は、デジタルスチルカメラの第２の実施の形態を示す図である。図１０に示す構成によっても、第１の実施の形態と同様にして、欠陥画素の検出及び欠陥画素に対応する電荷量の補正を行うことが可能となる。尚、第２の実施の形態においては、図１の構成と同一の要素には同一符号を付して説明を省略する。
【００５７】
図１０において、Ａ／Ｄ変換回路４で変換されたディジタル信号が出力される信号処理部４１には、信号処理回路４２と、画素欠陥検出手段としての画素欠陥検出回路４３と、画素欠陥補正手段としての画素欠陥補正回路４４とが備えられている。
【００５８】
信号処理回路４２は、輝度処理や色処理を施して、たとえば輝度信号と色差信号としてのディジタルビデオ信号に変換する回路である。画素欠陥検出回路４３は、第１の実施の形態と同様にして白キズの欠陥画素を検出する回路であり、この画素欠陥検出回路４３で検出された欠陥画素の位置情報（二次元座標）がメモリ９に記憶されるようになっている。
【００５９】
画素欠陥補正回路４４は、メモリ９に記憶されている欠陥画素の位置情報（二次元座標）に基づいて、欠陥画素にかかる電荷量を補正し、補正された電荷量に基づく画像データを信号処理回路４２に出力するようになっている。
【００６０】
以上、本発明を実施の形態を参照して説明してきたが、本発明は上記実施の形態に限定して解釈されるべきではなく、適宜変更・改良が可能であることはもちろんである。たとえば、本実施の形態においては、露光時間が１／８秒以下か否かで処理態様を変えるようにしているが、かかる時間は撮像素子の種類と共に変動するものであるから、実際の画素欠陥に応じて変えればよいものであり、通常のデジタルスチルカメラの場合には、１／８秒乃至１／２秒程度の範囲内に収まるべきものである。
【００６１】
【発明の効果】
本発明の電子カメラによれば、複数の画素を有する固体撮像素子と、前記固体撮像素子の欠陥画素に関する情報を記憶する記憶手段と、注目画素に関する情報を、所定の情報と比較することにより、注目画素が欠陥画素であるか否かを検出する検出手段と、撮影時における露光時間の情報に基づいて、前記記憶手段に記憶された前記欠陥画素に関する情報から欠陥画素を特定するか、あるいは前記検出手段により欠陥画素を検出するかを決定する決定手段とを有しているので、たとえば短時間の露光時には、予め記憶された欠陥画素に関する情報に基づき画素欠陥を補正するようにすれば、かかる補正処理を迅速に行うことができる。一方、長時間露光時には、前記検出手段により欠陥画素を検出するように前記決定手段が決定すれば、記憶すべき欠陥画素に関する情報が少なくなり、従って前記記憶手段の記憶容量が小さくて足りることから、電子カメラのコストを低く抑えることができ、また電子カメラの生産工程における欠陥画素に関するデータ採取時間を短縮することができる。
【００６３】
本発明の信号補正方法によれば、電子カメラの露光時間が、第１の露光時間と第２の露光時間のいずれかであるかを判断するステップと、前記露光時間が前記第１の露光時間であるときは、予め記憶された固体撮像素子の欠陥画素に関する情報に基づいて欠陥画素を特定し、一方前記露光時間が前記第２の露光時間であるときは、注目画素に関する情報を所定の情報と比較して欠陥画素を検出するステップと、前記検出された欠陥画素からの出力信号を補正する補正するステップとを有するので、たとえば第１の露光時間を短時間と決め、予め記憶された欠陥画素に関する情報に基づき欠陥画素からの出力信号を補正するようにすれば、かかる補正処理を迅速に行うことができる。一方、第２の露光時間を長い露光時間と決め、注目画素に関する情報を所定の情報と比較して欠陥画素を検出するようにすれば、記憶すべき欠陥画素に関する情報が少なくなり、従って前記記憶手段の記憶容量が小さくて足りることから、電子カメラのコストを低く抑えることができ、また電子カメラの生産工程における欠陥画素に関するデータ採取時間を短縮することができる。
【図面の簡単な説明】
【図１】第１の実施の形態にかかる電子カメラとしてのデジタルスチルカメラの構成を示す図である。
【図２】４色のフィルタの例を示す図である。
【図３】図２のフィルタを２次元的に配置した状態を示す図である。
【図４】単色フィルタを配置した状態を示す図である。
【図５】本実施の形態にかかる電子カメラを用いて、実際に被写体を撮像する場合の処理を示すフローチャートである。
【図６】信号処理及びキズ補正処理を行うサブルーチンである。
【図７】ＣＣＤに取り付けられるカラーモザイクフィルタを、模式的に示す図である。
【図８】図７とは異なるカラーモザイクフィルタを、模式的に示す図である。
【図９】３板式ＣＣＤに取り付けられるカラーモザイクフィルタを、模式的に示す図である。
【図１０】デジタルスチルカメラの第２の実施の形態を示す図である。
【符号の説明】
１ ＣＣＤ
２ 駆動回路
３ ＣＤＳ回路
４ Ａ／Ｄ変換回路
５ 画像用メモリ
６ ＣＰＵ
７ 記憶部
８ 制御回路
９ メモリ
１０ 液晶表示装置
１１ レンズ
１２ 絞り
１３ 温度センサ
１４ レンズ駆動回路
１５ 電源スイッチ
１６ モードスイッチ
１７ タイマ
２１ 拡散板
４１ 信号処理部
４２ 信号処理回路
４３ 画素欠陥検出回路
４４ 画素欠陥補正回路
【発明の属する技術分野】
本発明は、固体撮像素子を備えた電子カメラにおいて、前記固体撮像素子の欠陥画素を検出し、かかる欠陥画素からの出力信号を補正する技術に関する。
【０００２】
【従来の技術】
電子カメラに備えられた固体撮像素子は、二次元に並んだ多数の画素により、画素上に結像した被写体の光学像を、電荷量（電気的信号）に変換して出力する機能を有している。ところで、かかる画素の中には、ダストの付着や結晶欠陥等に基づく欠陥（画素欠陥）を有するために、正常な信号を出力し得ないものもありえる。このような画素欠陥には、被写体の輝度に対応して出力されるはずの出力信号に対し余分な信号成分を加算した信号を出力してしまい、画像を白っぽくしてしまう白キズと、被写体の輝度に対応して出力されるはずの出力信号に対しある信号成分を減算した信号を出力してしまい、画像を黒っぽくしてしまう黒キズとがある。
【０００３】
画素欠陥が多く生じると、かかる固体撮像素子を用いて撮像した画像を再生する場合に、著しく画質が低下する恐れがある。一方、近年用いられるようになった固体撮像素子は、少なくとも数十万以上の画素を有するので、全く画素欠陥のない固体撮像素子を製造することは、実際には困難といえる。従って、ある程度の画素欠陥は常に存在するとの前提に立った上で、固体撮像素子を使用することが要求されている。
【０００４】
かかる前提に基づき、画素欠陥のある画素から出力された電気的信号を、後処理により補正する補正回路を備え、画質の向上を図るようにした電子カメラが既に開発されている。このような電子カメラによれば、電子カメラの生産工程で、画素欠陥検査装置を用いて固体撮像素子の画素欠陥のある画素（欠陥画素）を検出し、その位置を、たとえば電子カメラに搭載したＲＯＭ内に情報として記憶させることにより、実際の撮像時に、かかる欠陥画素からの出力信号を適宜補正するという手法をとっている。
【０００５】
【発明が解決しようとする課題】
ところが、上述した白キズは結晶欠陥に基づく画素欠陥であるため、固体撮像素子の使用環境に応じて増大する場合があることが判明している。たとえば、露光時間が長くなることに応じて、白キズは増加する傾向がある。かかる場合、電子カメラの生産工程で一定の条件の下に検出した欠陥画素の位置と異なる位置に、新たな欠陥画素が生じることとなるため、十分な補正ができないことも起こりうる。これに対し、電子カメラの生産工程における検査時に長時間露光を行うことにより、予め欠陥画素情報を得ておき、実際に撮影したときに、かかる情報に基づき欠陥画素の信号を補正することも考えられる。
【０００６】
しかしながら、白キズにかかる欠陥画素の数は、露光時間が長くなると飛躍的に増大し、またその位置も不変であるとは限らないので、かかる画素の位置（座標）と露光時間との関係を示す情報を記憶するためには、電子カメラのＲＯＭにおいて大きな記憶容量が必要となる。また、電子カメラの生産工程で、長時間露光を行って欠陥画素に関するデータを採取する場合、たとえば３回の平均値を取るというように、同じことを繰り返さねばならない。従って、長時間露光を最大４秒とすると、データ採取に必要な時間は露光時間だけでも１２秒必要ということになり、従来のデータ採取時間が１秒以下であるところ、１０倍以上の時間がかかることとなる。
【０００７】
本発明は、かかる従来技術の問題点に鑑み、露光時間に応じて増減する白キズに対して適切に補正することのできる電子カメラ及び信号補正方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述の目的を達成すべく、本発明の電子カメラは、複数の画素を有する固体撮像素子と、前記固体撮像素子の欠陥画素に関する情報を記憶する記憶手段と、注目画素に関する情報を、所定の情報と比較することにより、前記注目画素が欠陥画素であるか否かを検出する検出手段と、撮影時における露光時間の情報に基づいて、前記記憶手段に記憶された前記欠陥画素に関する情報から欠陥画素を特定するか、あるいは前記検出手段により欠陥画素を検出するかを決定する決定手段とを有することを特徴とする。
【００１０】
本発明の信号補正方法は、
固体撮像素子を有する電子カメラの信号補正方法であって、
前記電子カメラの露光時間が、第１の露光時間と第２の露光時間のいずれかであるかを判断するステップと、
前記露光時間が前記第１の露光時間であるときは、予め記憶された固体撮像素子の欠陥画素に関する情報に基づいて欠陥画素を特定し、一方前記露光時間が前記第２の露光時間であるときは、注目画素に関する情報を所定の情報と比較して欠陥画素を検出するステップと、
前記検出された欠陥画素からの出力信号を補正する補正するステップとを有することを特徴とする。
【００１１】
【作用】
本発明の電子カメラによれば、複数の画素を有する固体撮像素子と、前記固体撮像素子の欠陥画素に関する情報を記憶する記憶手段と、注目画素に関する情報を、所定の情報と比較することにより、注目画素が欠陥画素であるか否かを検出する検出手段と、撮影時における露光時間の情報に基づいて、前記記憶手段に記憶された前記欠陥画素に関する情報から欠陥画素を特定するか、あるいは前記検出手段により欠陥画素を検出するかを決定する決定手段とを有しているので、たとえば短時間の露光時には、予め記憶された欠陥画素に関する情報に基づき画素欠陥を補正するようにすれば、かかる補正処理を迅速に行うことができる。一方、長時間露光時には、前記検出手段により欠陥画素を検出するように前記決定手段が決定すれば、記憶すべき欠陥画素に関する情報が少なくなり、従って前記記憶手段の記憶容量が小さくて足りることから、電子カメラのコストを低く抑えることができ、また電子カメラの生産工程における欠陥画素に関するデータ採取時間を短縮することができる。
【００１３】
本発明の信号補正方法によれば、電子カメラの露光時間が、第１の露光時間と第２の露光時間のいずれかであるかを判断するステップと、前記露光時間が前記第１の露光時間であるときは、予め記憶された固体撮像素子の欠陥画素に関する情報に基づいて欠陥画素を特定し、一方前記露光時間が前記第２の露光時間であるときは、注目画素に関する情報を所定の情報と比較して欠陥画素を検出するステップと、前記検出された欠陥画素からの出力信号を補正する補正するステップとを有するので、たとえば第１の露光時間を短時間と決め、予め記憶された欠陥画素に関する情報に基づき欠陥画素からの出力信号を補正するようにすれば、かかる補正処理を迅速に行うことができる。一方、第２の露光時間を長い露光時間と決め、注目画素に関する情報を所定の情報と比較して欠陥画素を検出するようにすれば、記憶すべき欠陥画素に関する情報が少なくなり、従って前記記憶手段の記憶容量が小さくて足りることから、電子カメラのコストを低く抑えることができ、また電子カメラの生産工程における欠陥画素に関するデータ採取時間を短縮することができる。
【００１４】
【発明の実施の形態】
以下、本発明による第１の実施の形態を、図面を参照して説明する。
図１は、第１の実施の形態にかかる電子カメラとしてのデジタルスチルカメラの構成を示す図である。図１において、固体撮像素子としてのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ１は、その画素上に結像された被写体の光学像を電気的信号に変換する（電荷を生成する）、いわゆる光電変換を行うものであり、駆動回路２は、転送パルスを生成して、ＣＣＤ１に供給する回路である。ＣＣＤ１は、駆動回路２によって生成された転送パルスに基づいて、アナログ電気信号を出力する。
【００１５】
ＣＤＳ（相関二重サンプリング）回路３はノイズを低減するための回路であり、駆動回路２から出力された駆動パルスに基づいて駆動される。Ａ／Ｄ変換回路４は、入力されたアナログ信号をディジタル信号に変換して出力するものである。尚、本実施の形態にかかるＡ／Ｄ変換回路４においては、ＣＣＤ１上の画素に入射した光の強度が高いほど、大きな値のディジタル信号に変換されるものとする。かかるＡ／Ｄ変換回路４を介して得られたＣＣＤ１の画素毎の画像データは、一旦、画像用メモリ５に記憶される。
【００１６】
画像用メモリ５に記憶された画像データは、ＣＰＵ６によって各種の画像処理が施され、最終的には、メモリカード、光磁気ディスク等の記録媒体からなる記録部７に記憶される。
【００１７】
ここで、各種の画像処理には、ＣＣＤ１の欠陥画素の画像データを補正する処理が含まれる。後述するように露光時間に応じた態様で、ＣＰＵ６は、欠陥画素の検出を行って、かかる欠陥画素についての画像データを補正するようになっている。尚、欠陥画素の検出に用いる各種のデータも、メモリ９に記憶されている。
【００１８】
液晶表示装置１０は、撮像された画像や必要な操作情報等を表示するものである。ＣＣＤ１の前面には、被写体からの光を画素上に結像させるためのレンズ１１と、入射光の光量を調節する絞り１２と、ＣＣＤ１の温度を検出する温度センサ１３とが備えられており、温度センサ１３の検出信号は制御回路８に入力されるようになっている。
【００１９】
更に、被写体までの測距手段（不図示）が備えられ、かかる測距手段からの信号により、制御回路８は、レンズ駆動回路１４を駆動し、合焦位置にレンズ１１を移動させるようになっている。また、電源スイッチ１５及び、画素欠陥の検出を行わせる検出モードを選択するためのモードスイッチ１６（モード選択手段）が備えられ、かかるスイッチの動作に基づく信号が制御回路８に入力されるようになっている。一方、タイマ１７が制御回路８に接続されている。タイマ１７は、ＣＣＤ１の撮像時における露光時間を検出して、かかる露光時間に対応する信号を制御回路８に出力するようになっている。尚、拡散板２１は、黒キズ検出時に用いられるものであり、白キズ検出時には用いられないため、以下その説明を省略する。
【００２０】
次に、欠陥画素として、白キズの検出について説明する。尚、白キズの検出は、デジタルスチルカメラの生産工程において行われ、得られた検出結果を制御回路のメモリ９に記憶して、かかる検出結果を実際の撮像のときに白キズ補正に用いるようになっている。しかしながら、経時的に増大する白キズに対応すべく、モードスイッチ１６がオンとなっている場合には、電源投入毎にその検出を実行して、検出結果を更新するようにしても良い。
【００２１】
デジタルスチルカメラの生産工程における白キズ検出の態様を説明する。まず、モードスイッチ１６がオンとなった状態で、電源スイッチ１５を投入すると、かかるスイッチ信号が制御回路８に入力され、制御回路８によって絞り１２（光量調節手段）が全閉に駆動され、この状態でＣＣＤ１により入射光を制限しながら１画面分撮像を行う（制御手段）。かかる撮像によるＣＣＤ１からの出力は、画像用メモリ５に蓄積され、ＣＰＵ６は予めメモり９に記憶されている白キズ判定用の閾値（基準データ）と各画素毎の画像データすなわち出力信号とをそれぞれ比較する。尚、この基準データは、撮像した画像データを用い、検出する画素の周辺データから平均等により求めることができる。
【００２２】
基準データの求め方を、図面を参照して以下に説明する。まず、図２に示すような４色の色フィルタが画素毎に配置されている場合を考える。図３は、この色フィルタが２次元的に並べられている状態を示す図であるが、理解しやすくするためＡ色のみを表示している。
【００２３】
図３において、注目画素ＡＡに対して、周囲９画素四方のエリア内の注目画素における２４個の同じ色（Ａ色）の画素のデータを用いて、基準データを計算するものとする。まず、２４個の画素のデータ平均値を求める。この平均値をこの画素に対する第１の基準データとする。注目画素のデータと、この第１の基準データとを比較し、それらの差を求め、この差をキズレベルとする。キズレベルが所定の範囲を超える場合、キズとして認識し、その位置情報をメモリに記憶する。他の色（Ｂ、Ｃ、Ｄ色）についても、同様の処理を行う。また全ての画素について、同様の処理を行う。
【００２４】
このとき検出するキズレベルについて、画像データ全てに対して同じ範囲とするのではなく、あるエリアを区切って、そのエリア毎に異なる基準で検出しても良い。たとえば、画面中央部と周辺部とに分けて、中央部は５％以下、周辺部は１０％以下というように、キズ検出の条件を変えることができる。このときのパーセンテージは、注目画素の周辺２４画素のデータ平均値に対するキズレベルの比である。
【００２５】
色フィルタとして、単色フィルタを複数枚使用した場合は、白黒のイメージセンサの場合と同様で、注目画素に対して隣接する画素を全て利用することができる。図４は、この例を示す図である。たとえば、注目画素ＢＢに対してＢの部分全てを利用できる。計算については同様に、周辺画素のデータ平均値を求め、これを第１の基準データとすればよい。尚、長時間露光時における白キズ検出の場合には、比較すべき周辺画素を、たとえば注目画素を中心として５画素四方内に限ることにより、処理速度の向上を図ることができる。また、かかる周辺画素の範囲は、正方形でなく長方形（たとえば５×９画素）としても良い。
【００２６】
このようにして基準データすなわち閾値が求まるが、上述した撮像によればＣＣＤ１の画素上には、入射光が到達しないのであるから、画素が正常である限り、かかる画素からの出力信号は閾値未満となるはずである。従って、その出力信号が閾値以上である場合、白キズに相当する欠陥があると判断する。かかる比較により白キズが検出されることとなる。白キズが検出されれば、それに対応する欠陥画素の位置情報（二次元座標）が、制御回路８のメモリ９（記憶手段）に記憶されることとなる。
【００２７】
尚、電源スイッチ１５の投入毎に、白キズの検出が自動的に行われるようにすれば、最新の白キズの位置情報が前記メモリ９に記憶されるため、経時的な白キズの変化に対応した補正も可能となる。
【００２８】
ところで、露光時間がたとえば１／８秒以下である場合には、白キズの位置は比較的少ないため、デジタルスチルカメラの生産工程で、白キズを検出して、かかる位置をメモり９に記憶しても、その記憶容量は小さくて足りる。ところが、露光時間が１／８秒より長くなった場合には、白キズが飛躍的に増大するため、デジタルスチルカメラの生産工程で、白キズを検出する時間が長くかかるという不具合、及び白キズの位置をメモり９に記憶するため大きな記憶容量が必要になるという不具合がある。
【００２９】
そこで、本実施の形態においては、デジタルスチルカメラの生産工程で、露光時間が１／８秒以下の場合だけ、白キズの検出を行うようにして、かかる検出結果をメモり９に記憶している。更に、実際の撮像時における露光時間が１／８秒以下の場合には、メモリ９に記憶された白キズの位置に基づき補正処理を行い、一方、露光時間が１／８秒を超えた場合には、撮像により得られた画像データを処理しながら、キズの検出、補正を行うようにしている。尚、理想的には、撮像前後にＣＣＤ１への入射光を制限して白キズを検出することが望ましいが、画像データからも検出が可能であり、本実施の形態においては、かかる検出態様を採用している。注目画素の周辺のみに着目すれば、画素間のデータに大きな変化はないので、周辺画素の平均と注目画素のデータとの比較からキズの検出ができる。
より具体的に、本実施の形態の動作について説明する。
【００３０】
図５は、本実施の形態にかかる電子カメラを用いて、実際に被写体を撮像する場合の処理を示すフローチャートであり、図６は、信号処理及びキズ補正処理を行うサブルーチンである。
【００３１】
まず、図５のステップＳ１０１において、ユーザーが電源スイッチ１５を投入（パワーＯＮ）することにより、フローが開始する。なお、ユーザーが不図示のシャッタボタンを半押しすることにより、スイッチＳＷ１が投入（オン）され、全押しすることによりスイッチＳＷ２が投入（オン）されるものとする。
【００３２】
ステップＳ１０２において、スイッチＳＷ１が投入されない場合には、電子カメラは待機状態に維持されるが、スイッチＳＷ１が投入されたとき、続くステップＳ１０３において、制御回路８による露出制御が行われ、必要な絞り値とシャッタ速度から、露光時間Ｔが決定される。
【００３３】
続くステップＳ１０４において、制御回路８は、不図示の測距回路により被写体までの距離を求めて、レンズ駆動回路１４によりレンズ１１を合焦位置へと駆動する。
【００３４】
更にステップＳ１０５において、スイッチＳＷ２が投入されない（すなわち、シャッタボタンが全押しされない）場合には、デジタルスチルカメラは待機状態に維持されるが、スイッチＳＷ２が投入されたとき、続くステップＳ１０６において、制御回路８によりシャッタが駆動され、露光時間Ｔで露出が行われる。
【００３５】
かかる露出によりＣＣＤ１に電荷が蓄積された後、ステップＳ１０７において、電荷の転送が行われる。このように転送された電荷は、Ａ／Ｄ変換後画像用メモリ５に画素毎に、画像データとして記憶される。
【００３６】
ステップＳ１０８において、露光時間Ｔが１／８秒より長いか判断される。露光時間Ｔが１／８秒より長ければ、フローはステップＳ１０９へと移行し、図６に示す信号処理及びキズ補正処理のサブルーチンが開始される。まず、ステップＳ１０９ａにおいて、記憶された画像データを５×５の画素領域で読み込む。続くステップＳ１０９ｂにおいて、キズを検出する。より具体的には、注目画素（５×５画素領域の中心）と周辺画素の画素信号の差を求める。ステップＳ１０９ｃにおいて、かかる差が閾値より大きい場合には、注目画素は欠陥画素である（すなわちキズ有り）と判断する。キズがあった場合には、ステップＳ１０９ｄにおいて後述する態様でキズ補正を行う。一方、キズがなければ、そのまま信号処理を行う（ステップＳ１０９ｅ）。以上の処理を、画素領域を順繰りに変えながら（ステップＳ１０９ｇ）画素全体について行った後、最後のデータについて検出が終了したことが判断されれば（ステップＳ１０９ｆ）、フローは図５のステップＳ１１２へと戻されるようになっている。尚、画像データを処理しながら白キズの検出や補正を行うのであるから、白キズ補正が完了するまでの時間は比較的長くはなるが、ユーザは長時間露光であることを十分意識しているので、処理時間が長くてもあまり気にしないと考えられる。
【００３７】
一方、図５のステップＳ１０８において、露光時間Ｔが１／８秒以下であると判断されれば、対応する白キズの検出結果であるデータがメモり９に記憶されているので、かかるデータを読み込んで、白キズの補正を行う（ステップＳ１１０）。かかる補正は、補正の対象となる画素が予め記憶されているので、迅速に行われるようになっている。その後、ステップＳ１１１において、画素データに対して信号処理がなされるようになっている。
【００３８】
ステップＳ１１２においては、以上のようにして信号処理された画像データが圧縮される。制御回路８は、最終的にステップＳ１１３において記録部７に画像を記録し、その後フローをステップＳ１０２へと戻すようになっている。
【００３９】
次に、上述したステップＳ１０９ｄ（図６）及びステップ１１０（図５）における白キズの補正の態様について述べる。制御回路８は、ステップＳ１０９ｂ（図６）またはステップＳ１１０（図５）において特定された欠陥画素に対応する、画像用メモリ５に記憶された画像データ内の電荷量に、後述する態様で補正処理を加える。
【００４０】
尚、本実施の形態における画像データの補正においては、欠陥を有する画素に隣接する画素の電荷量を平均することによって、かかる欠陥を有する画素の電荷量を新たに求めるようにしている。しかしながら、欠陥を有する画素からの電荷量に対して補正値を加減乗除したり、補正項の乗除を行うことによっても、画像データの補正を行うことは可能である。
【００４１】
まず、図７に示すように予めＣＣＤ１に設けられたカラーモザイクフィルタが、Ａ，Ｂ，Ｃ，Ｄ（たとえばＹｅ、Ｃｙ、Ｇ、Ｍｇ）の４色のカラーフィルタの場合、制御回路８が、欠陥画素である画素Ａn、nの電荷量を求めるときは、以下のいずれかの計算式に基づき計算を行う。尚、後述する符号Ａn、nは、ｎ列ｎ行目の画素のフィルタ色Ａ（すなわちＹｅ）にかかる電荷量を意味する。
【００４２】
（i）第１の計算式
Ａn、n＝（Ａn-2、n＋Ａn、n-2＋Ａn、n+2＋Ａn+2、n）／４ （２）
（iii）第３の計算式
Ａn、n＝（Ａn、n-2＋Ａn、n+2）／２ ｏｒ （Ａn-2、n＋Ａn+2、n）／２ （３）
【００４３】
上記（１）式の平均によれば、欠陥画素を中心とする５×５画素領域内で、欠陥画素と同じ色のカラーフィルタが設けられた８画素の電荷量の平均値を、欠陥画素の電荷量に置き換えるため、かかる画素の電荷量と隣接する画素の電荷量の変化が自然となり、それにより画質の向上を図ることができる。
【００４４】
上記（２）式の平均によれば、欠陥画素を中心とする５×５画素領域内で、欠陥画素と同じ色のカラーフィルタが設けられた画素であって、欠陥画素と同じ列及び同じ行の４画素の電荷量の平均値を、欠陥画素の電荷量に置き換えており、画質の向上と処理速度の向上との調和を図ることができる。
【００４５】
上記（３）式の平均によれば、欠陥画素を中心とする５×５画素領域内で、欠陥画素と同じ色のカラーフィルタが設けられた画素であって、欠陥画素と同じ列又は同じ行の２画素の電荷量の平均値を、欠陥画素の電荷量に置き換えており、処理速度の向上を図ることができる。尚、Ａ以外のフィルタ色Ｂ、Ｃ、Ｄについても、同様に補正処理を行う。
【００４６】
一方、図８に示すように、カラーモザイクフィルタがＡ，Ｂ，Ｃ（たとえばＲ、Ｇ、Ｂ）の３色のフィルタであり、かつフィルタ色Ｂ、Ｃにかかる画素が欠陥画素であった場合にも、前記（１）乃至（３）式を用いて、電荷量の置き換えを行うことができる。一方、フィルタ色Ａにかかる画素が欠陥画素であった場合、以下のいずれかの計算式に基づき計算を行うことができる。
【００４７】
（i）第１の計算式
Ａn、n＝（Ａn-1、n-1＋Ａn-1、n+1＋Ａn+1、n-1＋Ａn+1、n+1）／４ （４）
（ii)第２の計算式
上記（４）式の平均によれば、欠陥画素を中心とする３×３画素領域内で、欠陥画素と同じＡ色のカラーフィルタが設けられた４隅の４画素の電荷量の平均値を、欠陥画素の電荷量に置き換えており、画質の向上と処理速度の向上との調和を図ることができる。
【００４９】
一方、上記（５）式の平均によれば、欠陥画素を中心とする５×５画素領域内で、欠陥画素と同じＡ色のカラーフィルタが設けられた１２画素の平均値を、欠陥画素の電荷量に置き換えており、画質の向上を図ることができる。
【００５０】
更に、図９に示すような３板式のＣＣＤを用いる場合には、Ａ、Ｂ、Ｃ（たとえばＲ、Ｇ、Ｂ）のカラーフィルタが、各ＣＣＤに設けられているため、欠陥画素である画素Ａn、nの電荷量を補正するときは、以下のいずれかの計算式に基づき計算を行うことができる。
【００５１】
（i）第１の計算式
Ａn、n＝（Ａn-1、n-1＋Ａn-1、n+1＋Ａn+1、n-1＋Ａn+1、n+1）／４ （７）
（iii）第３の計算式
Ａn、n＝（Ａn-1、n＋Ａn、n-1＋Ａn、n+1＋Ａn+1、n）／４ （８）
（iv）第４の計算式
Ａn、n＝（Ａn-1、n＋Ａn+1、n）／２ （９）
（v）第５の計算式
Ａn、n＝（Ａn、n-1＋Ａn、n+1）／２ （１０）
（vi）第６の計算式
Ａn、n＝（Ａn-1、n-1＋Ａn+1、n+1）／２ （１１）
（vii）第７の計算式
Ａn、n＝（Ａn-1、n+1＋Ａn+1、nー1）／２ （１２）
【００５２】
（６）式に基づく計算は、欠陥画素に隣接する８画素の電荷量の平均値を求めるものであり、（７）式に基づく計算は、欠陥画素を中心とした３×３画素領域内の４隅の４画素の電荷量の平均値を求めるものである。
【００５３】
（８）式に基づく計算は、欠陥画素に隣接する上下左右４画素の電荷量の平均値を求めるものであり、（９）式に基づく計算は、欠陥画素に隣接する上下２画素の電荷量の平均値を求めるものである。
【００５４】
（１０）式に基づく計算は、欠陥画素に隣接する左右２画素の電荷量の平均値を求めるものであり、（１１）式に基づく計算は、欠陥画素に隣接する左上及び右下の２画素の電荷量の平均値を求めるものであり、（１２）式に基づく計算は、欠陥画素に隣接する右上及び左下の２画素の電荷量の平均値を求めるものである。かかる計算式は、要求される画質と処理速度とから適宜選択すればよい。
【００５５】
以上述べたように本実施の形態によれば、露光時間が短い場合には、メモリ９に記憶された白キズのデータを用いて白キズの補正を行うようにしているので、かかる補正を迅速に行うことができる。一方、露光時間が長いときは、撮像後に白キズ検出を行うようにしたので、白キズにかかるデータをメモり９に記憶する必要がなく、それによりデジタルスチルカメラの生産工程における検査を効率よく行えると共に、メモリ９の記憶容量を小さくすることができる。
【００５６】
図１０は、デジタルスチルカメラの第２の実施の形態を示す図である。図１０に示す構成によっても、第１の実施の形態と同様にして、欠陥画素の検出及び欠陥画素に対応する電荷量の補正を行うことが可能となる。尚、第２の実施の形態においては、図１の構成と同一の要素には同一符号を付して説明を省略する。
【００５７】
図１０において、Ａ／Ｄ変換回路４で変換されたディジタル信号が出力される信号処理部４１には、信号処理回路４２と、画素欠陥検出手段としての画素欠陥検出回路４３と、画素欠陥補正手段としての画素欠陥補正回路４４とが備えられている。
【００５８】
信号処理回路４２は、輝度処理や色処理を施して、たとえば輝度信号と色差信号としてのディジタルビデオ信号に変換する回路である。画素欠陥検出回路４３は、第１の実施の形態と同様にして白キズの欠陥画素を検出する回路であり、この画素欠陥検出回路４３で検出された欠陥画素の位置情報（二次元座標）がメモリ９に記憶されるようになっている。
【００５９】
画素欠陥補正回路４４は、メモリ９に記憶されている欠陥画素の位置情報（二次元座標）に基づいて、欠陥画素にかかる電荷量を補正し、補正された電荷量に基づく画像データを信号処理回路４２に出力するようになっている。
【００６０】
以上、本発明を実施の形態を参照して説明してきたが、本発明は上記実施の形態に限定して解釈されるべきではなく、適宜変更・改良が可能であることはもちろんである。たとえば、本実施の形態においては、露光時間が１／８秒以下か否かで処理態様を変えるようにしているが、かかる時間は撮像素子の種類と共に変動するものであるから、実際の画素欠陥に応じて変えればよいものであり、通常のデジタルスチルカメラの場合には、１／８秒乃至１／２秒程度の範囲内に収まるべきものである。
【００６１】
【発明の効果】
本発明の電子カメラによれば、複数の画素を有する固体撮像素子と、前記固体撮像素子の欠陥画素に関する情報を記憶する記憶手段と、注目画素に関する情報を、所定の情報と比較することにより、注目画素が欠陥画素であるか否かを検出する検出手段と、撮影時における露光時間の情報に基づいて、前記記憶手段に記憶された前記欠陥画素に関する情報から欠陥画素を特定するか、あるいは前記検出手段により欠陥画素を検出するかを決定する決定手段とを有しているので、たとえば短時間の露光時には、予め記憶された欠陥画素に関する情報に基づき画素欠陥を補正するようにすれば、かかる補正処理を迅速に行うことができる。一方、長時間露光時には、前記検出手段により欠陥画素を検出するように前記決定手段が決定すれば、記憶すべき欠陥画素に関する情報が少なくなり、従って前記記憶手段の記憶容量が小さくて足りることから、電子カメラのコストを低く抑えることができ、また電子カメラの生産工程における欠陥画素に関するデータ採取時間を短縮することができる。
【００６３】
本発明の信号補正方法によれば、電子カメラの露光時間が、第１の露光時間と第２の露光時間のいずれかであるかを判断するステップと、前記露光時間が前記第１の露光時間であるときは、予め記憶された固体撮像素子の欠陥画素に関する情報に基づいて欠陥画素を特定し、一方前記露光時間が前記第２の露光時間であるときは、注目画素に関する情報を所定の情報と比較して欠陥画素を検出するステップと、前記検出された欠陥画素からの出力信号を補正する補正するステップとを有するので、たとえば第１の露光時間を短時間と決め、予め記憶された欠陥画素に関する情報に基づき欠陥画素からの出力信号を補正するようにすれば、かかる補正処理を迅速に行うことができる。一方、第２の露光時間を長い露光時間と決め、注目画素に関する情報を所定の情報と比較して欠陥画素を検出するようにすれば、記憶すべき欠陥画素に関する情報が少なくなり、従って前記記憶手段の記憶容量が小さくて足りることから、電子カメラのコストを低く抑えることができ、また電子カメラの生産工程における欠陥画素に関するデータ採取時間を短縮することができる。
【図面の簡単な説明】
【図１】第１の実施の形態にかかる電子カメラとしてのデジタルスチルカメラの構成を示す図である。
【図２】４色のフィルタの例を示す図である。
【図３】図２のフィルタを２次元的に配置した状態を示す図である。
【図４】単色フィルタを配置した状態を示す図である。
【図５】本実施の形態にかかる電子カメラを用いて、実際に被写体を撮像する場合の処理を示すフローチャートである。
【図６】信号処理及びキズ補正処理を行うサブルーチンである。
【図７】ＣＣＤに取り付けられるカラーモザイクフィルタを、模式的に示す図である。
【図８】図７とは異なるカラーモザイクフィルタを、模式的に示す図である。
【図９】３板式ＣＣＤに取り付けられるカラーモザイクフィルタを、模式的に示す図である。
【図１０】デジタルスチルカメラの第２の実施の形態を示す図である。
【符号の説明】
１ ＣＣＤ
２ 駆動回路
３ ＣＤＳ回路
４ Ａ／Ｄ変換回路
５ 画像用メモリ
６ ＣＰＵ
７ 記憶部
８ 制御回路
９ メモリ
１０ 液晶表示装置
１１ レンズ
１２ 絞り
１３ 温度センサ
１４ レンズ駆動回路
１５ 電源スイッチ
１６ モードスイッチ
１７ タイマ
２１ 拡散板
４１ 信号処理部
４２ 信号処理回路
４３ 画素欠陥検出回路
４４ 画素欠陥補正回路
Claims (10)
- 複数の画素を有する固体撮像素子と、
前記固体撮像素子の欠陥画素に関する情報を記憶する記憶手段と、
注目画素に関する情報を、所定の情報と比較することにより、前記注目画素が欠陥画素であるか否かを検出する検出手段と、
撮影時における露光時間の情報に基づいて、前記記憶手段に記憶された前記欠陥画素に関する情報から欠陥画素を特定するか、あるいは前記検出手段により欠陥画素を検出するかを決定する決定手段とを有することを特徴とする電子カメラ。 - 前記記憶手段に記憶された前記欠陥画素に関する情報から特定された欠陥画素からの出力信号、又は前記検出手段により検出された欠陥画素からの出力信号を補正する補正手段を更に有することを特徴とする請求項１に記載の電子カメラ。
- 前記記憶手段は、複数の露光時間に対応した欠陥画素に関する情報を記憶していることを特徴とする請求項１又は２に記載の電子カメラ。
- 前記所定の情報は、前記注目画素の周辺に位置する周辺画素のデータより求められることを特徴とする請求項１乃至３のいずれかに記載の電子カメラ。
- 前記決定手段は、撮影時における露光時間の情報に基づいて、撮影が長時間露光であると判断した場合には、前記検出手段により欠陥画素を検出するよう決定することを特徴とする請求項１乃至４のいずれかに記載の電子カメラ。
- 前記長時間露光とは、露光時間が１／８秒より長いことを特徴とする請求項５に記載の電子カメラ。
- 固体撮像素子を有する電子カメラの信号補正方法であって、
前記電子カメラの露光時間が、第１の露光時間と第２の露光時間のいずれかであるかを判断するステップと、
前記露光時間が前記第１の露光時間であるときは、予め記憶された固体撮像素子の欠陥画素に関する情報に基づいて欠陥画素を特定し、一方前記露光時間が前記第２の露光時間であるときは、注目画素に関する情報を所定の情報と比較して欠陥画素を検出するステップと、
前記検出された欠陥画素からの出力信号を補正するステップとを有することを特徴とする信号補正方法。 - 前記所定の情報は、前記注目画素の周辺に位置する周辺画素のデータより求められることを特徴とする請求項７に記載の信号補正方法。
- 前記第１の露光時間は所定時間以下であり、前記第２の露光時間は前記所定時間より長いことを特徴とする請求項７又は８に記載の信号補正方法。
- 前記所定時間は、１／８秒から１／２秒までのいずれかの時間であることを特徴とする請求項９に記載の信号補正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23794498A JP3767188B2 (ja) | 1998-08-11 | 1998-08-11 | 電子カメラ及び信号補正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23794498A JP3767188B2 (ja) | 1998-08-11 | 1998-08-11 | 電子カメラ及び信号補正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000059690A JP2000059690A (ja) | 2000-02-25 |
| JP3767188B2 true JP3767188B2 (ja) | 2006-04-19 |
Family
ID=17022783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23794498A Expired - Fee Related JP3767188B2 (ja) | 1998-08-11 | 1998-08-11 | 電子カメラ及び信号補正方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3767188B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4515627B2 (ja) * | 2000-12-08 | 2010-08-04 | オリンパス株式会社 | 撮像装置 |
| JP4546664B2 (ja) * | 2001-04-27 | 2010-09-15 | オリンパス株式会社 | 撮像装置および画素欠陥補正方法 |
| US7317481B2 (en) | 2002-02-20 | 2008-01-08 | Canon Kabushiki Kaisha | Image data correction processing based on sensitivity |
| JP4035491B2 (ja) | 2003-08-25 | 2008-01-23 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP4508740B2 (ja) | 2004-06-22 | 2010-07-21 | キヤノン株式会社 | 画像処理装置 |
| JP4425834B2 (ja) | 2005-07-25 | 2010-03-03 | 富士フイルム株式会社 | 欠陥画素更新システム |
-
1998
- 1998-08-11 JP JP23794498A patent/JP3767188B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000059690A (ja) | 2000-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3785520B2 (ja) | 電子カメラ | |
| JP4462299B2 (ja) | 撮像装置、および画像処理方法、並びにコンピュータ・プログラム | |
| JP4186699B2 (ja) | 撮像装置および画像処理装置 | |
| JP5541718B2 (ja) | 撮像装置及びその欠陥画素検出方法 | |
| US8482618B2 (en) | Reduction of motion-induced blur in images | |
| JP2009027220A5 (ja) | ||
| JP5523065B2 (ja) | 撮像装置及びその制御方法 | |
| JP2009033321A (ja) | 撮像装置、および画像処理方法、並びにコンピュータ・プログラム | |
| JP3854754B2 (ja) | 撮像装置、画像処理装置及びその方法、並びにメモリ媒体 | |
| CN102630381A (zh) | 电子相机 | |
| JPH11239298A (ja) | 電子カメラ、画素信号補正方法及び記録媒体 | |
| US8970747B2 (en) | Imaging device | |
| JP2011071709A (ja) | 電子カメラ | |
| JP3767188B2 (ja) | 電子カメラ及び信号補正方法 | |
| JP5387341B2 (ja) | 撮像装置 | |
| JP2004015191A (ja) | 固体撮像素子の欠陥補正装置及び方法 | |
| JP5299159B2 (ja) | 撮像装置およびプログラム | |
| JP3128485B2 (ja) | 固体撮像素子の欠陥画素検出装置 | |
| JP4192284B2 (ja) | デジタルスチルカメラ | |
| JP2009055415A (ja) | カメラ | |
| JP2000217039A (ja) | 点欠陥検出方法および点欠陥画素値補正方法 | |
| JP5251700B2 (ja) | 撮像装置 | |
| JP5630132B2 (ja) | 撮像装置 | |
| JP2010050730A (ja) | 撮像装置及び欠陥補正装置 | |
| JP2004222143A (ja) | 撮像装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060123 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |