JP4533171B2 - 処理装置及び処理方法 - Google Patents

Description

本発明は、補正のためのデータを用いて、画像信号を補正するデジタルカメラやデジタルビデオカメラ等の処理装置に関するものである。

近年、デジタルカメラ等の撮像素子（ＣＣＤやＣＭＯＳ等）を用いた処理装置が様々な用途に使用されている。この撮像素子には、製造過程やその後に画素毎に欠陥が生じ、異常なレベルの信号を出力する欠陥画素が現れることがある。

これらの欠陥画素を補正する方法として、撮像素子における欠陥画素のアドレスと欠陥レベルや出力レベルを予め記憶しておき、記憶しておいたアドレスの画像情報は周囲画素の情報から補完することで補正する方法等が提案されている。

上記の補正方法を図４、９、１０を用いて具体的に説明する。

図８は、デジタルカメラやデジタルビデオカメラ等の処理装置の構成を示す図である。

１は撮像素子を含む撮像部からの信号のＡ／Ｄ変換を行うＡ／Ｄ変換器及び補正を含む信号処理を行う信号処理回路、各種記憶手段の記憶制御を行う回路、データの転送を行う転送手段、および転送の制御等を行う回路を含むＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｓｅｃｃｅｒ）である。２は、不図示の被写体像を結像するレンズからの光を電気信号に変換するＣＣＤまたはＣＭＯＳセンサ等の撮像素子を含む撮像部、３は撮影された画像を保存する記憶手段である外部記憶メモリ、２４は処理装置の制御プログラムや各種データを記憶するＦｌａｓｈＲＯＭ（以下、ＦＲＯＭ）、２５は１のＤＳＰが信号処理を行う際にデータの１時保管やデータなどを１時的に記憶するＳＤＲＡＭであり、ＦＲＯＭより高速にアクセスが可能である。

１０はＤＳＰの制御及び測光、測距など処理装置機能の他の部分の制御を行うＣＰＵで、１１は処理装置を起動させるための電源スイッチ、１２は処理装置のレリーズスイッチで、１１、１２ともにＧＮＤと短絡することでオンするものとする。

図９は、図８に示す処理装置ないのＣＰＵの制御を示したフローチャート図である。まず、ステップ８０１で処理装置を起動する電源スイッチ１１がオンかどうか判別し、オフならステップ８０１を繰り返す。ここで電源スイッチ１１がオンしていればステップ８０２で処理装置の電源（不図示）を立ち上げるとともに電源が安定するまで待機する。電源の安定待機が終了すると、ステップ８０３で２４のＦＲＯＭに記憶されている撮像素子のデータなどを、高速にアクセス可能な２５のＳＤＲＡＭに転送することで、１のＤＳＰによる信号補正処理時の高速なアクセスに対する準備をする。

ここで２４のＦＲＯＭに記憶されている撮像素子のデータには、撮像素子の欠陥画素情報が含まれている。欠陥画素情報としては、欠陥画素のアドレスと欠陥レベルを１画素の単位として、その情報を欠陥画素の数だけ記憶することになる。

ステップ８０４では再度電源スイッチ１１がオンかどうか判別し、オフなら処理装置動作を終了する。ここでオンなら、ステップ８０５でレリーズスイッチ１２がオンかどうか判別し、オフならステップ８０４に戻る。ここでレリーズスイッチ１２がオンならステップ８０６で測光、測距を行うとともに必要なら処理装置の撮影レンズ（不図示）を駆動する。

ステップ８０６の処理により、ステップ８０７で撮影レンズの繰り出し状態、絞り、撮像素子の蓄積時間、撮像素子からの信号を読み出す際のゲインなどの撮影条件を確定させ、ステップ８０８で撮像素子の蓄積を開始させる。

ここで、電源スイッチ１１とレリーズスイッチ１２が同時にオンされた場合を仮定し、この状態でステップ８０１で処理装置の電源をオンされてから、ステップ８０８で撮像素子の蓄積を開始させるまでの時間を、この処理装置の起動時間と定義する。

ステップ８０９では、ステップ８０７で確定された蓄積時間経過後に撮像素子の蓄積を停止させ、ステップ８１０ではステップ８０７で確定された読み出しゲインに設定した状態で撮像素子からの信号を読み出す。撮像素子からの信号の読み出しが終了した後または読み出しながら、ステップ８１１においては１のＤＳＰが２５のＳＤＲＡＭに記憶されている欠陥画素情報などを基に、欠陥画素の補正などの各種補正を行う。

その後ステップ８１２で補正処理後の画像データを外部記憶メモリ（記録媒体ともいう）に記憶した後、ステップ８０４に戻りステップ８０４〜ステップ８１２を繰り返す。なお、このとき不図示の表示手段に補正処理後の画像データを表示しても良い。

図９で説明した流れをイメージで説明するのが図４（ａ）であり、電源オン〜読み出し（補正処理）までの流れである。

電源をＯＮにした後、電源安定化待ち、および、ＦＲＯＭ上の欠陥画素情報を含む全データのＳＤＲＡＭへの転送を行う。その後、撮像素子の蓄積、読み出しを行う。なお、処理装置の起動時間は電源安定化待ちと全データの転送時間の和である。（例えば、文献１）
特開平３−２２７１８５号公報

しかしながら、近年の撮像素子の多画素化により、欠陥画素数は増加する傾向にあるため、前記ＦＲＯＭに記憶する欠陥画素数も膨大になり、その転送時間だけでも無視できないほどに長くなっている。すなわち、図９のステップ８０３だけで多くの時間を必要とするため、撮影者が撮影したい場面のシャッターチャンスを逃す原因ともなっていた。

本発明は、上記の点に鑑みなされたもので、その目的は、撮影可能となるまでに要する時間が著しく長くならないようにすることにある。

本発明の処理装置は、上記目的を達成するため、撮像素子から出力される画像信号に含まれる欠陥画素信号を補正するための欠陥画素データを記憶した第１の記憶手段と、前記第１の記憶手段に記憶されている前記欠陥画素データを一時的に記憶する第２の記憶手段と、前記欠陥画素データに基づいて前記画像信号に含まれる欠陥画素信号を補正する欠陥画素補正手段と、前記第１の記憶手段、前記第２の記憶手段、及び前記欠陥画素補正手段を制御する制御手段とを有し、前記第１の記憶手段に記憶される前記欠陥画素データは、第１の撮影条件に対応した第１の欠陥画素データと、第２の撮影条件に対応した第２の欠陥画素データからなり、前記制御手段は、前記第１の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送してから撮影条件を確定し、確定した撮影条件による撮影開始後に前記第２の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送し、前記第２の記憶手段に転送された前記第１の欠陥画素データ又は前記第２の欠陥画素データに基づいて前記欠陥画素補正手段が前記画像信号に含まれる前記欠陥画素信号を補正するように制御することを特徴とする。
また、本発明の別の処理装置は、撮像素子から出力される画像信号に含まれる欠陥画素信号を補正するための欠陥画素データを記憶した第１の記憶手段と、前記第１の記憶手段に記憶されている前記欠陥画素データを一時的に記憶する第２の記憶手段と、前記欠陥画素データに基づいて前記画像信号に含まれる欠陥画素信号を補正する欠陥画素補正手段と、前記第１の記憶手段、前記第２の記憶手段、及び前記欠陥画素補正手段を制御する制御手段とを有し、前記第１の記憶手段に記憶される前記欠陥画素データは、単独で存在する単独欠陥画素に対応した第１の欠陥画素データと、連続して存在する連続欠陥画素に対応した第２の欠陥画素データからなり、前記制御手段は、前記第１の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送してから撮影条件を確定し、確定した撮影条件による撮影開始後に前記第２の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送し、前記第２の記憶手段に転送された前記第１の欠陥画素データ又は前記第２の欠陥画素データに基づいて前記欠陥画素補正手段が前記画像信号に含まれる前記欠陥画素信号を補正するように制御することを特徴とする。
さらに、本発明の処理方法は、撮像素子から出力される画像信号に含まれる欠陥画素信号を補正するための欠陥画素データを記憶した第１の記憶手段と、前記第１の記憶手段に記憶されている前記欠陥画素データを一時的に記憶する第２の記憶手段と、前記欠陥画素データに基づいて前記画像信号に含まれる欠陥画素信号を補正する欠陥画素補正手段と、前記第１の記憶手段、前記第２の記憶手段、及び前記欠陥画素補正手段を制御する制御手段とを備えた処理装置を用いた処理方法であって、前記第１の記憶手段に記憶される前記欠陥画素データは、第１の撮影条件に対応した第１の欠陥画素データと、第２の撮影条件に対応した第２の欠陥画素データからなり、前記制御手段が、前記第１の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送してから撮影条件を確定し、確定した撮影条件による撮影開始後に前記第２の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送し、前記第２の記憶手段に転送された前記第１の欠陥画素データ又は前記第２の欠陥画素データに基づいて前記欠陥画素補正手段が前記画像信号に含まれる前記欠陥画素信号を補正するように制御することを特徴とする。
また、本発明の別の処理方法は、撮像素子から出力される画像信号に含まれる欠陥画素信号を補正するための欠陥画素データを記憶した第１の記憶手段と、前記第１の記憶手段に記憶されている前記欠陥画素データを一時的に記憶する第２の記憶手段と、前記欠陥画素データに基づいて前記画像信号に含まれる欠陥画素信号を補正する欠陥画素補正手段と、前記第１の記憶手段、前記第２の記憶手段、及び前記欠陥画素補正手段を制御する制御手段とを備えた処理装置を用いた処理方法であって、前記第１の記憶手段に記憶される前記欠陥画素データは、単独で存在する単独欠陥画素に対応した第１の欠陥画素データと、連続して存在する連続欠陥画素に対応した第２の欠陥画素データからなり、前記制御手段が、前記第１の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送してから撮影条件を確定し、確定した撮影条件による撮影開始後に前記第２の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送し、前記第２の記憶手段に転送された前記第１の欠陥画素データ又は前記第２の欠陥画素データに基づいて前記欠陥画素補正手段が前記画像信号に含まれる前記欠陥画素信号を補正するように制御することを特徴とする。

本発明によれば、撮影可能となるまでに要する時間を短縮することができる。

以下、本発明の実施例を図面に基づいて詳細に説明する。

図２は、常温下で撮像素子を遮光した状態で、１秒間蓄積した場合の画素出力特性を示した例である。

横軸には各画素の出力レベルをリニアスケールで、縦軸には累積画素数を対数スケールで示しており、出力レベルが高いほうから発生頻度の累積をとったものである。

理想的には、撮像素子を遮光状態にして信号の蓄積をすると、すべての画素で出力レベルが０（零）になるべきであるが、画素出力レベルが０（零）以上にある画素が存在する。画素出力レベルが０（零）以上にある画素は、欠陥画素であり、その程度の差が図２の横軸に現れている。つまり出力レベルの高い欠陥画素は少ないが、出力レベルの低い欠陥画素は多い。欠陥画素の出力レベルは環境温度や蓄積時間に依存して変化する。これは、欠陥画素が暗電流に起因しているためである。

ところで、すべての欠陥画素が画像の劣化に寄与するわけではない。すなわち出力レベルの高い欠陥画素は画像劣化に大きく寄与するが、レベルの低い欠陥画素は画像劣化にはほとんど寄与しない。

これらのことを考慮し、ここでは、画像劣化に寄与する出力レベルを蓄積時間毎に設定しており、破線（ａ）は蓄積時間が１／１００秒程度の短い場合、破線（ｂ）は蓄積時間が１秒程度の長い場合としており、破線より大きい出力の画素を欠陥画素として補正対象とする。

つまり、蓄積時間が１／１００秒の場合の補正対象画素数はｎ個、蓄積時間が１秒の場合の補正対象個数はｍ個となる。

１方、上記欠陥画素を補正するためには、補正対象となる画素のアドレスと出力レベルを記憶しておく必要があるが、蓄積時間が長い場合までカバーすると、ＦＲＯＭに記憶するべき情報が膨大になってしまう。また、従来例で説明したステップ８０３において、ＦＲＯＭ内のデータすべてをＳＤＲＡＭに転送していると、その転送時間だけでも無視できない時間になってしまう。

本実施例では、デジタルカメラやデジタルビデオカメラ等の処理装置の起動時にＦＲＯＭからＳＤＲＡＭへ転送する欠陥画素情報は、蓄積時間が短い場合に必要な欠陥画素情報のみとすることで、処理装置起動時に転送するデータ量を大幅に削減することができ、処理装置の起動時間を大幅に短縮できるようにしている。

以下、詳細に示す。

図１は本発明の実施例におけるデジタルカメラやデジタルビデオカメラ等の処理装置の構成を示す図で、図８と同一部は同一部番を付しており、説明を省略する。４は処理装置の制御プログラムや各種データを記憶する第１の記憶手段としてのＦＲＯＭであり、欠陥画素情報としては図２で説明した蓄積時間が１／１００秒の場合の補正対象画素情報と、蓄積時間が１秒の場合の補正対象画素情報を別々の領域に記憶している。５は１のＤＳＰが信号処理を行う際にデータの１時保管やデータなどを１時的に記憶する第２の記憶手段としてのＳＤＲＡＭ（ＦＲＯＭよりも高速に読み出しを行うことができる）であり、欠陥画素情報として蓄積時間が１／１００秒の場合の補正対象画素情報と、蓄積時間が１秒の場合の補正対象画素情報を別々の領域に記憶できるようにしている。

図３は、実施例１における図１に示す処理装置内のＣＰＵの制御を示したフローチャート図である。

まず、ステップ３０１で処理装置の撮像系（ＣＰＵ等）を起動する電源スイッチ１１がオンかどうか判別し、オフならステップ３０１を繰り返す。ここで電源スイッチ１１がオンしていればステップ３０２で処理装置の電源（不図示）を立ち上げるとともに電源が安定するまで待機する。電源の安定待機が終了すると、ステップ３０３で４のＦＲＯＭに記憶されている撮像素子の補正のために必要なデータなどを、高速にアクセス可能な５のＳＤＲＡＭに転送するが、ここでは欠陥画素情報として蓄積時間が１／１００秒の場合（蓄積時間が所定時間よりも短い場合）の補正対象画素情報ｎ個分を転送する。

ここでステップ３０３では４のＦＲＯＭに記憶された欠陥画素情報をすべて５のＳＤＲＡＭに転送するのではなくその一部を転送するだけなので、その転送時間は無視できるほど短い。

ステップ３０４では再度電源スイッチ１１がオンかどうか判別し、オフなら処理装置動作を終了する。ここでオンなら、ステップ３０５でレリーズスイッチ１２がオンかどうか判別し、オフならステップ３０４に戻る。ここでレリーズスイッチ１２がオンならステップ３０６で測光、測距を行うとともに必要なら処理装置の撮影レンズ（不図示）を駆動する。

ステップ３０６の処理により、ステップ３０７で撮影レンズの繰り出し状態、絞り、撮像素子の蓄積時間、撮像素子からの信号を読み出す際のゲインなどの撮影条件を確定させ、ステップ３０８で撮像素子の蓄積を開始させる。

ステップ３０９ではステップ３０７で確定した撮影条件のうち蓄積時間について、所定の時間（ここでは１／１００秒）よりも長いかどうかを判別し、同じか短いと判別されるとステップ３１１へ移行し、長いと判別された場合はステップ３１０で４のＦＲＯＭに記憶されている欠陥画素情報のうち、蓄積時間が１秒の場合の補正対象画素情報ｍ個分を５のＳＤＲＡＭに転送する。

ステップ３０７で確定された蓄積時間経過後にステップ３１１で撮像素子の蓄積を停止させ、ステップ３１２ではステップ３０７で確定された読み出しゲインに設定した状態で撮像素子からの信号を読み出す。撮像素子からの信号の読み出しが終了した後または読み出しながら、ステップ３１３においては１のＤＳＰが５のＳＤＲＡＭに記憶されている欠陥画素情報などを基に、欠陥画素の補正などの各種補正を行う。その後ステップ３１４で補正処理後の画像データを外部記憶メモリに記憶した後、ステップ３０４に戻りステップ３０４〜ステップ３１４を繰り返す。

ここで注目すべきは、ステップ３１０でのデータ転送は撮像素子の蓄積時間中であり、すべてのデータ転送時間は蓄積時間よりも短いようにすることで、大量のデータ転送にもかかわらずその時間を無視させることができる点である。

上記実施例では、欠陥画素情報の分割を１／１００秒と１秒に設定し、蓄積間の判別は１／１００秒に設定しているが、このことに限定されるものではなく、欠陥画素情報の分割や蓄積時間の判別を更に細分化することも可能である。

また、ステップ３１０で撮像素子の蓄積時間中にデータ転送しているが、データ転送に起因するノイズが撮像素子に与える影響を考慮し、ステップ３１０でのデータ転送速度をステップ３０３でのデータ転送速度よりも遅くする。これにより、データ転送に起因するノイズの影響を抑えることができる。

なお、転送速度を遅くする場合であっても、すべてのデータ転送時間は蓄積時間よりも短いように設定する。例えば、データ転送速度＝１６ＭＢｙｔｅ／ｓで、Ｔｏｔａｌ ６４ｋＢｙｔｅのデータを転送すると仮定する。６４ｋＢｙｔｅのデータ転送にかかる時間は、６４０００／１６００００００＝４ｍＳである。つまり蓄積時間が４ｍＳ以上（例えば１／５０ｓ）の場合であれば、蓄積時間中にすべてのデータを転送することができる。ただし、実際には、１ｋＢｙｔｅ＝１０２４Ｂｙｔｅであるので若干の誤差を考慮する必要がある。

これを関係式にすると、
Ｔ＞Ｄ／Ｖ
Ｖ：データ転送速度（Ｂｙｔｅ／ｓ）
Ｄ：全データ数（Ｂｙｔｅ）・・・処理装置によりデータ数は変わる
Ｔ：蓄積時間（ｓ）
となる。

図３で説明した流れをイメージで説明するのが図４（ｂ）、（ｃ）であり、電源オン〜読み出し（補正処理）までの流れである。

図４（ｂ）は、蓄積時間が１／１００秒時の流れであり、電源ＯＮに後に電源安定化待ち、ＦＲＯＭ上の欠陥画素情報のうち一部のデータをＳＤＲＡＭに転送。その後撮像素子の蓄積１／１００秒、読み出しを行っており、処理装置の起動時間は、図４（ａ）の従来例に比べてデータ転送時間が短くなった分だけ短くなっていることがわかる。

図４（ｃ）は、蓄積時間が１秒時の流れであり、電源ＯＮに後に電源安定化待ち、ＦＲＯＭ上の欠陥画素情報のうち一部のデータをＳＤＲＡＭに転送。その後撮像素子の蓄積を１秒行うが、その間に残りの欠陥画素情報をＦＲＯＭからＳＤＲＡＭに転送し、その後読み出しを行う。処理装置の起動時間は、図４（ａ）の従来例に比べてデータ転送時間が短くなった分だけ短くなっているとともに、ＦＲＯＭ上の欠陥画素情報を含む全データを効率良くＳＤＲＡＭに転送している。

本実施例では、補正のために必要であるデータを記憶する為の第１及び第２の記憶手段としてのＤＲＯＭ及びＳＤＲＡＭを有し、撮影開始前（処理装置の電源を投入時等）には必要最小限のデータをＤＲＯＭからＳＤＲＡＭに転送し、その後残りのデータを転送するようにしているので、従来同様高精度な補正を行うことができるとともに、画像の撮影までに要する時間についても大幅に短縮させることが可能となる。また、撮像素子の蓄積時間によって他のデータの転送を行うかどうかを判別することで、更に効率良く処理装置の各々の動作に要する時間を短縮させることができる。

また、記憶内容の一部を撮像素子の蓄積時間が短いときのみ必要な情報とすることで、蓄積時間が短い場合において十分な補正ができる。また、蓄積時間が所定時間より長いかどうかを比較することで、他のデータを転送するかどうか判別し、所定時間よりも蓄積時間が長い場合には、更に他のデータを蓄積期間中に転送することで、蓄積時間が長い場合でも十分な補正ができるとともに、転送を蓄積と並行して行うため、転送のために要する時間が余計にかからなくて済む。

また、更に他のデータを転送する場合に、データ転送に起因するノイズが撮像素子に与える影響を考慮し、撮像素子の蓄積中にデータを転送するときの転送速度を、撮影開始前の処理装置の電源投入時等の所定のタイミングでの必要最小限のデータのデータ転送速度よりも遅く設定することで、データ転送時のノイズが画像に影響することを抑えられる。

実施例２におけるデジタルカメラやデジタルビデオカメラ等の処理装置の構成は図１と同様であるので、構成要素についての説明は省略する。

図５は、実施例２における図１に示す処理装置内のＣＰＵの制御を示したフローチャート図である。まず、ステップ５０１で処理装置の撮像系を起動する電源スイッチ１１がオンかどうか判別し、オフならステップ５０１を繰り返す。ここで電源スイッチ１１がオンしていればステップ５０２で処理装置の電源（不図示）を立ち上げるとともに電源が安定するまで待機する。電源の安定待機が終了すると、ステップ５０３で４のＦＲＯＭに記憶されている撮像素子の補正に必要なデータなどを、高速にアクセス可能な５のＳＤＲＡＭに転送するが、ここでは欠陥画素情報として蓄積時間が１／１００秒の場合の補正対象画素情報ｎ個分を転送する。

ここでステップ５０３では４のＦＲＯＭに記憶された欠陥画素情報をすべて５のＳＤＲＡＭに転送するのではなくその一部を転送するだけなので、その転送時間は無視できるほど短い。

ステップ５０４では再度電源スイッチ１１がオンかどうか判別し、オフなら処理装置動作を終了する。

ステップ５０８でレリーズスイッチ１２がオンかどうか判別し、オフならステップ５０５に進む。ステップ５０５では撮像素子の温度を不図示の温度計により測定し、温度の撮影条件を検出する。ステップ５０６では、ステップ５０５で測定した温度が予め設定した所定値よりも大きいか否かを判別する。ステップ５０５で測定した温度が予め設定した所定値よりも大きくない場合には、ステップ５０４に戻る。ステップ５０５で測定した温度が予め設定した所定値よりも大きい場合には、測定した温度における欠陥画素データを５のＳＤＲＡＭに転送する（ステップ５０７）。その後、ステップ５０４に戻る。このように、いつでも撮影できる状態だが、まだｓｗ１＿ＯＮされていない無動状態の時に、データを転送することにより画像の撮影に要する時間を短縮することができる。

ステップ５０８でレリーズスイッチ１２がオンならステップ５０９で測光、測距を行うとともに、必要ならは処理装置の撮影レンズ（不図示）を駆動する。ステップ５０９の処理により、ステップ５１０で撮影レンズの繰り出し状態、絞り、撮像素子の蓄積時間、撮像素子からの信号を読み出す際のゲインなどの撮影条件を確定させ、ステップ５１１で撮像素子の蓄積を開始させる。

ステップ５１２では撮像素子の温度を不図示の温度計により測定し、温度の撮影条件を検出する。ステップ５１３では、ステップ５１２で測定した温度が予め設定した所定値よりも大きいか否かを判別する。ステップ５１２で測定した温度が予め設定した所定値よりも大きくない場合には、ステップ５１６に進む。ステップ５１２で測定した温度が予め設定した所定値よりも大きい場合には、測定した温度における欠陥画素データを５のＳＤＲＡＭに既に転送してあるか否かを判別する（ステップ５１４）。測定した温度における欠陥画素データが５のＳＤＲＡＭに転送を終えていない場合には、測定した温度における欠陥画素データを５のＳＤＲＡＭに転送する（ステップ５１５）。測定した温度における欠陥画素データが既に５のＳＤＲＡＭに転送されている場合には、ステップ５１０で確定された蓄積時間が経過した後、撮像素子の蓄積を停止する（ステップ５１６）。

ステップ５１７ではステップ５１０で確定された読み出しゲインに設定した状態で撮像素子からの信号を読み出す。撮像素子からの信号の読み出しが終了した後または読み出しながら、ステップ５１８においては１のＤＳＰが５のＳＤＲＡＭに記憶されている欠陥画素情報などを基に、欠陥画素の補正などの各種補正を行う。その後ステップ５１９で補正処理後の画像データを外部記憶メモリに記憶した後、ステップ５０４に戻りステップ５０４〜ステップ５１９を繰り返す。

以上説明したように、必要最小限のデータをＳＲＡＭに転送し、撮影開始後に残りのデータの転送を開始するようにしているので、従来同様高精度な補正を行うことができるとともに、画像の撮影までに要する時間についても大幅に短縮させることが可能となる。

また、温度が高いほど、より多くの画素欠陥補正が必要であり、補正のためのデータを転送する必要があるため、温度に応じて追加のデータを転送するかどうかを判別することは有効である。

なお、本実施例では追加の欠陥画素データの転送をステップ５０７またはステップ５１５で行っているが、この転送で追加の欠陥画素データを転送しきれなかった場合には、その後、画像信号の読み出し期間以外の期間（例えば、ステップ５１６とステップ５１７の間）に転送するようにしてもよい。このように複数回に分けてデータを転送することにより、効率的にデータの転送を行うことができる。

実施例３におけるデジタルカメラやデジタルビデオカメラ等の処理装置の構成も図１と同様であるので、構成要素についての説明はここでは省略する。

図６は、実施例３における図１に示す処理装置内のＣＰＵの制御を示したフローチャート図である。まず、ステップ６０１で処理装置の撮像系を起動する電源スイッチ１１がオンかどうか判別し、オフならステップ６０１を繰り返す。ここで電源スイッチ１１がオンしていればステップ６０２で処理装置の電源（不図示）を立ち上げるとともに電源が安定するまで待機する。電源の安定待機が終了すると、ステップ６０３で４のＦＲＯＭに記憶されている撮像素子の補正に必要なデータなどを、高速にアクセス可能な５のＳＤＲＡＭに転送するが、ここでは欠陥画素情報として蓄積時間が１／１００秒の場合の補正対象画素情報ｎ個分を転送する。

ここでステップ６０３では４のＦＲＯＭに記憶された欠陥画素情報をすべて５のＳＤＲＡＭに転送するのではなくその一部を転送するだけなので、その転送時間は無視できるほど短い。

ステップ６０４では再度電源スイッチ１１がオンかどうか判別し、オフなら処理装置動作を終了する。

ステップ６０８でレリーズスイッチ１２がオンかどうか判別し、オフならステップ６０５に進む。ステップ６０５ではＩＳＯ感度の設定条件である撮影条件を検出する。ステップ６０６では、ステップ６０５で検出したＩＳＯ感度が予め設定した所定値よりも大きいか否かを判別し、ステップ６０５で検出したＩＳＯ感度が予め設定した所定値よりも大きい場合には、検出したＩＳＯ感度における欠陥画素データを５のＳＤＲＡＭに転送し（ステップ６０７）、ステップ６０４に戻る。ステップ６０５で検出したＩＳＯ感度が予め設定した所定値よりも大きくない場合にはステップ６０４に戻る。

レリーズスイッチ１２がオンならステップ６０９で測光、測距を行うとともに必要なら処理装置の撮影レンズ（不図示）を駆動する。

ステップ６０９の処理により、ステップ７１０で撮影レンズの繰り出し状態、絞り、撮像素子の蓄積時間、撮像素子からの信号を読み出す際のゲインなどの撮影条件を確定させ、ステップ６１１で撮像素子の蓄積を開始させる。

ステップ６１２ではＩＳＯ感度の設定条件である撮影条件を検出する。ステップ６１３では、ステップ６１２で測定したＩＳＯ感度が予め設定した所定値よりも大きいか否かを判別する。ステップ５１２で測定したＩＳＯ感度が予め設定した所定値よりも大きくない場合には、ステップ６１６に進む。ステップ６１２で測定したＩＳＯ感度が予め設定した所定値よりも大きい場合には、測定したＩＳＯ感度における欠陥画素データを５のＳＤＲＡＭに既に転送してあるか否かを判別する（ステップ６１４）。測定したＩＳＯ感度における欠陥画素データが５のＳＤＲＡＭに転送を終えていない場合には、測定したＩＳＯ感度における欠陥画素データを５のＳＤＲＡＭに転送する（ステップ６１５）。測定したＩＳＯ感度における欠陥画素データが既に５のＳＤＲＡＭに転送されている場合には、ステップ５１０で確定された蓄積時間が経過した後、撮像素子の蓄積を停止する（ステップ６１６）。

ステップ６１７ではステップ６１０で確定された読み出しゲインに設定した状態で撮像素子からの信号を読み出す。撮像素子からの信号の読み出しが終了した後または読み出しながら、ステップ６１８においては１のＤＳＰが５のＳＤＲＡＭに記憶されている欠陥画素情報などを基に、欠陥画素の補正などの各種補正を行う。その後ステップ６１９で補正処理後の画像データを外部記憶メモリに記憶した後、ステップ６０４に戻りステップ６０４〜ステップ６１９を繰り返す。

必要最小限のデータをＳＤＲＡＭに転送し、撮影開始後に残りのデータの転送を開始するようにしているので、従来同様高精度な補正を行うことができるとともに、画像の撮影までに要する時間についても大幅に短縮させることが可能となる。

また、ＩＳＯ感度が高いほど、より多くの画素欠陥補正が必要で、補正のためのデータを転送する必要があるため、設定ＩＳＯ感度に応じて追加のデータを転送するかどうかを判別することは有効である。

なお、本実施例では追加の欠陥画素データの転送をステップ６０７またはステップ６１５で行っているが、この転送で追加の欠陥画素データを転送しきれなかった場合には、その後、画像信号の読み出し期間以外の期間（例えば、ステップ６１６とステップ６１７の間）に転送するようにしてもよい。このように複数回に分けてデータを転送することにより、効率的にデータの転送を行うことができる。

なお、実施例１〜３では、撮影条件として、蓄積時間・撮像素子の温度・ＩＳＯ感度をとりあげてそれぞれの条件が変化した時について説明したが、いずれかの条件の組み合わせによって、データの転送タイミングを制御してもよい。

実施例４におけるデジタルカメラやデジタルビデオカメラ等の処理装置の構成も図１と同様であるので、構成要素についての説明はここでは省略する。

図７は、実施例４における図１に示す処理装置内のＣＰＵの制御を示したフローチャート図である。

以下では、実施例１の動作と異なる動作について説明する。実施例１では、撮影開始後の蓄積時間に、蓄積時間が１／１００秒よりも大きい場合にのみ残りのデータを送る構成であるが、本実施例では、撮影開始後の蓄積時間に常に残りのデータを送る構成となっている（ステップ９０１）。

ここで、本実施例では、蓄積時間がかなり短い場合には、撮像素子の蓄積が終了した後であっても、残りのデータが全て転送されていなければ、転送の終了を待って撮像素子からの信号の読み出しを開始する。

本実施例では、撮影条件に関わらず補正対象画素情報が全て転送されるが、撮影条件確定の前後に分割して転送しているため、撮影開始までにかかる時間を短縮できる。

なお、本実施例では、処理装置の撮像系の電源が投入された時に必要最小限のデータを記憶手段に転送を開始する構成としたが、撮影開始前であればいつでもよい。

また、本実施例では、露光期間中に追加のデータを転送する構成としたが、撮像素子から画像信号を出力する期間以外の期間のいずれかに転送することによりノイズが画像に影響しないように転送することができる。

実施例１〜３では、露光時間、温度、ＩＳＯ感度等の撮影条件に基づいて、データを分けて転送する構成としたが、撮影条件に基づかない、例えば単独して存在する欠陥画素のデータと連続して存在する欠陥画素のデータに分けて、データ転送を行ってもよい。

また、実施例１〜４では、ＲＯＭおよびＲＡＭは１つずつの構成としたが、複数のＲＯＭや複数のＲＡＭにデータを分けて記憶する構成としてもよい。

〔本発明の他の実施例〕
本発明は複数の機器から構成されるシステムに適用しても１つの機器からなる装置に適用しても良い。

また、上述した実施例の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、記憶媒体から、またはインターネット等の伝送媒体を介して上記実施例の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。

また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施例の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体も本発明の範疇に含まれる。かかるプログラムコードを記憶する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施例で説明した機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施例で示した機能が実現される場合にもかかるプログラムコードは本発明の実施例に含まれることは言うまでもない。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施例の機能が実現される場合にも本発明に含まれる。

本発明の実施例におけるデジタルカメラの構成図である。 撮像素子の画素出力特性図である。 蓄積時間が長秒になったときに追加のデータを転送するフローを表す図である。 本発明の実施例および従来例の説明を模式的に表した図である。 撮像素子の温度変化に応じて、追加のデータを転送するフローを表す図である。 処理装置のＩＳＯ感度設定に応じて、追加のデータを転送するフローを表す図である。 実施例４における図１に示す処理装置内のＣＰＵの制御を示したフローチャート図である。 従来例におけるデジタルカメラの構成図である。 従来例を説明するフローチャートである。

符号の説明

１ ＤＳＰ
２ 撮像素子
３ 外部記憶メモリ
４、２４ ＦＲＯＭ
５、２５ ＳＤＲＡＭ
１０ ＣＰＵ
１１、１２ スイッチ

Claims (8)

1. 撮像素子から出力される画像信号に含まれる欠陥画素信号を補正するための欠陥画素データを記憶した第１の記憶手段と、
   前記第１の記憶手段に記憶されている前記欠陥画素データを一時的に記憶する第２の記憶手段と、
   前記欠陥画素データに基づいて前記画像信号に含まれる欠陥画素信号を補正する欠陥画素補正手段と、
   前記第１の記憶手段、前記第２の記憶手段、及び前記欠陥画素補正手段を制御する制御手段とを有し、
   前記第１の記憶手段に記憶される前記欠陥画素データは、第１の撮影条件に対応した第１の欠陥画素データと、第２の撮影条件に対応した第２の欠陥画素データからなり、
   前記制御手段は、前記第１の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送してから撮影条件を確定し、確定した撮影条件による撮影開始後に前記第２の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送し、前記第２の記憶手段に転送された前記第１の欠陥画素データ又は前記第２の欠陥画素データに基づいて前記欠陥画素補正手段が前記画像信号に含まれる前記欠陥画素信号を補正するように制御することを特徴とする処理装置。
2. 撮像素子から出力される画像信号に含まれる欠陥画素信号を補正するための欠陥画素データを記憶した第１の記憶手段と、
   前記第１の記憶手段に記憶されている前記欠陥画素データを一時的に記憶する第２の記憶手段と、
   前記欠陥画素データに基づいて前記画像信号に含まれる欠陥画素信号を補正する欠陥画素補正手段と、
   前記第１の記憶手段、前記第２の記憶手段、及び前記欠陥画素補正手段を制御する制御手段とを有し、
   前記第１の記憶手段に記憶される前記欠陥画素データは、単独で存在する単独欠陥画素に対応した第１の欠陥画素データと、連続して存在する連続欠陥画素に対応した第２の欠陥画素データからなり、
   前記制御手段は、前記第１の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送してから撮影条件を確定し、確定した撮影条件による撮影開始後に前記第２の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送し、前記第２の記憶手段に転送された前記第１の欠陥画素データ又は前記第２の欠陥画素データに基づいて前記欠陥画素補正手段が前記画像信号に含まれる前記欠陥画素信号を補正するように制御することを特徴とする処理装置。
3. 前記制御手段は、電源が投入された後に前記第１の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送するように制御することを特徴とする請求項１又は請求項２に記載の処理装置。
4. 前記制御手段は、撮像素子の蓄積期間中に前記第２のデータを前記第１の記憶手段から前記第２の記憶手段に転送するように制御することを特徴とする請求項１乃至請求項３のいずれか１項に記載の処理装置。
5. 撮像素子から出力される画像信号に含まれる欠陥画素信号を補正するための欠陥画素データを記憶した第１の記憶手段と、
   前記第１の記憶手段に記憶されている前記欠陥画素データを一時的に記憶する第２の記憶手段と、
   前記欠陥画素データに基づいて前記画像信号に含まれる欠陥画素信号を補正する欠陥画素補正手段と、
   前記第１の記憶手段、前記第２の記憶手段、及び前記欠陥画素補正手段を制御する制御手段とを備えた処理装置を用いた処理方法であって、
   前記第１の記憶手段に記憶される前記欠陥画素データは、第１の撮影条件に対応した第１の欠陥画素データと、第２の撮影条件に対応した第２の欠陥画素データからなり、
   前記制御手段が、前記第１の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送してから撮影条件を確定し、確定した撮影条件による撮影開始後に前記第２の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送し、前記第２の記憶手段に転送された前記第１の欠陥画素データ又は前記第２の欠陥画素データに基づいて前記欠陥画素補正手段が前記画像信号に含まれる前記欠陥画素信号を補正するように制御することを特徴とする処理方法。
6. 撮像素子から出力される画像信号に含まれる欠陥画素信号を補正するための欠陥画素データを記憶した第１の記憶手段と、
   前記第１の記憶手段に記憶されている前記欠陥画素データを一時的に記憶する第２の記憶手段と、
   前記欠陥画素データに基づいて、前記画像信号に含まれる欠陥画素信号を補正する欠陥画素補正手段と、
   前記第１の記憶手段、前記第２の記憶手段、及び前記欠陥画素補正手段を制御する制御手段とを備えた処理装置を用いた処理方法であって、
   前記第１の記憶手段に記憶される前記欠陥画素データは、単独で存在する単独欠陥画素に対応した第１の欠陥画素データと、連続して存在する連続欠陥画素に対応した第２の欠陥画素データからなり、
   前記制御手段が、前記第１の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送してから撮影条件を確定し、確定した撮影条件による撮影開始後に前記第２の欠陥画素データを前記第１の記憶手段から前記第２の記憶手段に転送し、前記第２の記憶手段に転送された前記第１の欠陥画素データ又は前記第２の欠陥画素データに基づいて前記欠陥画素補正手段が前記画像信号に含まれる前記欠陥画素信号を補正するように制御することを特徴とする処理方法。
7. 請求項５又は６に記載の処理方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
8. 請求項７に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。

Images