JP2024065601A - 撮像装置、制御方法およびプログラム - Google Patents

Abstract

【課題】撮像画像の映らない期間を無くするとともに、通常撮像動作への復帰に遅延発生を生じさせないで、撮像素子に起因する画像劣化に対する補正データを取得可能な撮像装置、制御方法およびプログラムを提供する。【解決手段】複数の画素がマトリクス状に配列された撮像素子１０５を備えた撮像装置１０１であって、撮像素子１０５から出力された画像データに基づいて画像を生成する画像生成部（１０７）と、生成された画像を記憶する画像記憶部（１０９）と、撮像動作以外の他動作が行われる期間内において、当該他動作と並行して撮像素子に起因する画像劣化を補正するための補正データを画像記憶部（１０９）から取得する補正データ取得部（１０７）と、を備えたことを特徴とする。【選択図】 図１

Description

本発明は、撮像素子を備えた撮像装置、制御方法およびプログラムに関する。

電子カメラやビデオなどの撮像装置にはＣＭＯＳイメージセンサ等の撮像素子が搭載されている。この撮像素子は、複数の画素が行方向および列方向にマトリクス状に配置された画素配列を有する。近年の電子カメラにあっては、数百万から数千万の画素を含む画素配列を有する撮像素子を搭載するものも多い。撮像素子は、画素配列を構成する各画素において、入射光を光電変換して画素信号を出力するが、撮像素子の温度上昇や個体差により、遮光状態の信号レベル（暗電流レベル）が変化し、「黒」を表す信号レベルである「黒信号レベル」が変化してしまう。

このような「黒信号レベル」の変化を補正する処理が「ブラックバランス調整処理（以下、「ＢＢ処理」とも記す）」である。このブラックバランス調整処理は、撮像素子が出力するＲ画素、Ｇ画素、Ｂ画素の画素信号に加えるオフセット値を調整することで実現できる。また、近年では「オートブラックバランス調整機能（「ＡＢＢ調整機能」とも称する）」を有する撮像装置も提案されている。「ＡＢＢ調整機能」は、画像信号から各色画素の信号に対するオフセット値（または、オフセット値の補正値）を自動的に決定し、ブラックバランス処理を自動で行う。また、画素配列を構成する各画素が、入射光の量に応じた適正な信号を出力する撮像素子を常に製造することは非常に困難である。個々の撮像素子には、通常はいくつかの正常に動作しない「欠陥画素」と称される画素が含まれている。

撮像装置製造の検査工程では、所定条件下において、標準蓄積時間での画像信号出力を画素毎に評価し、所定出力信号レベルを超えた画素を「欠陥画素」として検出している。さらに、「欠陥画素」毎に「種類（黒キズ、白キズ等）」、「アドレス（水平方向座標「ｘ」、垂直方向座標「ｙ」）」および「出力信号レベルのデータ」を取得してメモリ部に保存しておく。この方法によれば、撮像装置は、メモリ部に保存されたアドレスを参照することにより、「欠陥画素」から出力された画像信号をその周辺の「正常画素」の画素信号を用いた補間演算処理により補正することができる。この結果、「欠陥画素」に対して補正処理を施すことで、画質劣化を抑制することができる。

また、撮像装置の工場出荷後にあっても、ユーザーが遮光を行う「ブラックレベル調整」や「センサークリーニング」実施時に、遮光状態で撮像装置が各画素信号レベルを取得し、取得した各画素信号レベルと「欠陥画素」の検出しきい値とを比較する。これにより、欠陥画素」を検出してメモリ部に保存する方法もある。この方法によっても、撮像装置は、メモリ部に保存されたアドレスを参照することにより、「欠陥画素」から出力された画素信号を、その周辺の正常画素の画素信号を用いて補正することができる。

また、デジタルカメラやデジタルビデオカメラにおいて、監視カメラ、車載カメラ等の屋外設置型のカメラ（撮像装置）においては周囲温度の変化が大きく、「黒信号レベル」や「欠陥画素」の出力レベルが大きく変化して補正量が変化してしまう。このため正しい補正を行えない。また、経時変化により新たな「欠陥画素」が出現し、その出現数が増加していくことも知られている。

上述した「ブラックバランス調整処理」や「欠陥画素」に対する補正を行う場合、「欠陥画素」の検出のために遮光状態にした場合等には、通常の撮像を行うことができないという問題があった。そのため、特許文献１には、撮像チャンスを逃す事なく「欠陥画素」の検出を行う方法として、記録を要する本露光撮像画像の得られない期間に「欠陥画素」の検出を行う撮像装置が開示されている。また、特許文献２には、撮像動作以外の所定動作を行っている最中に「欠陥画素」の検出を行う撮像装置が開示されている。

特開２００３－２０９７４９号公報 特開２００８－１６６９１３号公報

しかしながら、特許文献１に開示された撮像装置にあっては、記録を要する本露光撮像画像の得られない期間に「欠陥画素」の検出を行うため、「欠陥画素」の検出時間が上記の期間より長い場合には「欠陥画素」の検出が期間内に完了しないという問題があった。また、特許文献２に開示された撮像装置にあっては、「欠陥画素」の検出が、撮像動作以外の所定動作の時間内に完了しない場合には動作を停止する必要があった。このため、そのような場合には総ての「欠陥画素」を検出できないという問題があった。

本発明の目的は、撮像画像の映らない期間を無くすとともに、通常撮像動作への復帰に遅延発生を生じさせないで、撮像素子に起因する画像劣化に対する補正データを取得可能な撮像装置、制御方法およびプログラムを提供することにある。

上記目的を達成するために、本発明の撮像装置は、複数の画素がマトリクス状に配列された撮像素子を備えた撮像装置であって、前記撮像素子から出力された画像データに基づいて画像を生成する画像生成部と、前記画像生成部により生成された画像を記憶する画像記憶部と、撮像動作以外の他動作が行われる期間内において、当該他動作と並行して前記撮像素子に起因する画像劣化を補正するための補正データを取得する補正データ取得部と、を備えたことを特徴とする。

本発明によれば、撮像画像の映らない期間を無くすとともに通常撮像動作への復帰に遅延発生を生じさせないで、撮像素子に起因する画像劣化に対する補正データを取得可能な撮像装置、制御方法およびプログラムを実現できるという効果が得られる。

本発明第１実施形態の撮像装置の構成図である。 本発明の第１実施形態の並行動作に対する補正データ取得処理を説明するためのフローチャートである。 本発明の第１実施形態の補正データ取得を決定するためのテーブルである。 本発明の第１実施形態における「１回」のＮＤフィルタ入れ替えと補正データ取得のタイミングを示すタイムチャートである。 本発明の第１実施形態１における「複数回」でのＮＤフィルタ入れ替えと補正データ取得のタイミングを示すタイムチャートである。 本発明の第２実施形態の補正データ取得を決定するためのテーブルである。 本発明の第２実施形態のワイパー動作とＮＤフィルタ入れ替え処理時の補正データ取得のタイミングを示すタイムチャートである。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施の形態に記載される構成はあくまで例示に過ぎず、本発明の範囲は実施の形態に記載される構成によって限定されることはない。まず、本発明の第１実施形態について説明する。

＜第１実施形態＞
＜撮像装置１０１の構成＞
図１は、本発明の第１実施形態の撮像装置１０１の構成図である。第１実施形態の撮像装置１０１は、ワイパー１１３、レンズ１０２、ＮＤフィルタ１０３、シャッタ１０４および温度検出部１０５ａを備える撮像素子１０５を有する。駆動制御部１０６は、システム制御部１１０から制御信号を受けてこれらの動作を駆動制御する。また、撮像装置１０１は、信号処理部１０７、画像表示部１０８、画像を記憶するメモリ部１０９、システム制御部１１０、画像記録部１１１および操作部１１２を有する。また、信号処理部１０７は、補正処理を実行する補正部１０７ａを備えている。

＜光学系＞
ワイパー１１３は、拭取り動作によりレンズ１０２に付着した水滴等を除去するものである。レンズ１０２は、被写体像を撮像素子１０５上に結像させるための合焦レンズ、光学ズームを行うためのズームレンズ、被写体像の明るさを調整する「絞り」等を備え、これらは駆動制御部１０６により駆動制御される。ＮＤフィルタ１０３は、レンズ１０２に備えられた「絞り」とは別に入射光量を調整するためにカメラに設けるものである。ＮＤフィルタ１０３は、不図示の「切り替え部」によって、自由に光軸上に出し入れ可能に構成されていて、光学系の入射光量が調整可能となっている。なお、複数種類のＮＤフィルタをターレットで選択的に光路に挿入する構成としても良い。また、１つのＮＤフィルタにおける位置に応じて濃度が異なるグラデーション型のＮＤフィルタを用いた構成としても良い。更に、単一濃度のＮＤフィルタを光路上に複数備え、これら複数のＮＤフィルタの光路上への挿抜の組合せで所望の濃度を実現する構成としても良い。

シャッタ１０４は、例えばメカニカルシャッタであり、撮像素子１０５への入射光を遮る「遮光状態」と、撮像素子１０５に入射光を結像させる「非遮光状態」とをシャッタ幕の開閉により切り替える。撮像素子１０５は、水平・垂直方向においてマトリクス状に配列された複数の画素からなる画素部と、この画素部の各画素から読み出された画素信号を所定の順番で出力する出力回路を有して構成される。この出力回路から出力される各画素の画素信号により画像データが得られる。温度検出部１０５ａは、撮像素子１０５内、または、撮像素子１０５が配置される基板上に設けられる。つまり、温度検出部１０５ａは、撮像素子１０５の近傍に配置され、撮像素子１０５の温度またはその周囲温度を検出する。駆動制御部１０６は、システム制御部１１０からの制御信号に応じて、定電圧でドライブ能力を強化させたパルスを供給する。これにより、ワイパー１１３、レンズ１０２、撮像素子１０５、ＮＤフィルタ１０３、シャッタ１０４および撮像素子１０５が駆動制御される。

＜信号処理系＞
信号処理部１０７は、システム制御部１１０からの制御信号により制御され、撮像素子１０５から送られてくる画像データに対して所定の信号処理を実行する。このため、信号処理部１０７は、アナログデジタル変換機能を有する。さらに、信号処理部１０７が備える補正部１０７ａは、画像データに対して補正処理を実行する。これらの画像データ、補正処理結果等は、メモリ部１０９、画像記録部１１１に出力される。また、信号処理部１０７は、メモリ部１０９や画像記録部１１１から画像データを受けて所定の信号処理を施す。さらに、信号処理部１０７は、撮像素子１０５の出力に基づいて合焦状態、露光量等の測光データを検出し、システム制御部１１０に送信する。信号処理部１０７は、システム制御部１１０からの制御信号により画像データに基づいて輝度レベルを算出し、算出結果をシステム制御部１１０に送信する。さらに、信号処理部１０７は、表示用の画像データを画像表示部１０８へ出力して画像表示部１０８に表示させる。

メモリ部１０９は、システム制御部１１０からの制御信号により制御され、デジタル信号に変換された撮像素子１０５の出力信号や、信号処理された画像データを一時的に記憶する。さらに、メモリ部１０９は、画像表示部１０８への表示用画像データを記憶する。画像表示部１０８は、システム制御部１１０からの制御信号により制御され、メモリ部１０９が記憶する表示用画像データを、撮像前の構図決定や撮像後の画像確認を行うために表示する。画像表示部１０８は、例えば電子ビューファインダー（ＥＶＦ）や液晶ディスプレイ（ＬＣＤ）で実現される。画像記録部１１１は、メモリが着脱可能に構成されており、システム制御部１１０からの制御信号により制御される。画像記録部１１１は、信号処理部１０７から送られるデジタル信号に変換された出力信号や画像データの記録や装着したメモリからのデータの読み出しを行うことができる。着脱可能なメモリは、例えばメモリカード、ＵＳＢメモリ等である。

操作部１１２は、スイッチや押しボタン等の操作子で成り、この操作子の操作による指示はシステム制御部１１０に送られる。例えば、撮像装置１０１の電源スイッチの状態、撮像前の画像表示の指示、撮像における各種指示等がシステム制御部１１０に送られる。また、操作部１１２の操作により、撮像画像の表示指示や撮像装置１０１の動作を予め指示する操作メニュー等がシステム制御部１１０に送られる。また、操作部１１２は、ＬＥＤ等の表示部材を備える。これにより、操作部１１２の表示部材、または、画像表示部１０８を用いて、システム制御部１１０からの制御信号に応じて撮像装置１０１の動作状態を表示することができる。画像表示部１０８に装着したタッチパネルを用いて、オンスクリーンでの操作を行う構成としても良い。

システム制御部１１０は、操作部１１２の指示により、撮像装置１０１全体を制御する。また、システム制御部１１０は、信号処理部１０７から送られる合焦状態、露光量等の測光データに応じて、駆動制御部１０６を制御する。これにより、駆動制御部１０６がレンズ１０２を駆動制御して被写体像を撮像素子１０５上に最適に結像させる。さらに、システム制御部１１０は、メモリ部１０９の使用状況や画像記録部１１１の着脱可能なメモリの状況を検出する。

システム制御部１１０は、信号処理部１０７が算出した輝度レベルに基づいて撮像素子１０５に対して設定すべきシャッタスピードを算出し、算出結果を駆動制御部１０６へ送る。これにより、駆動制御部１０６は、撮像素子１０５のシャッタスピードを最適に制御する。システム制御部１１０は、信号処理部１０７が算出した輝度レベルに基づいて撮像素子１０５の内部で乗じるゲイン値を算出し、算出結果を駆動制御部１０６へ送る。これにより、駆動制御部１０６は、撮像素子１０５のゲイン値を調整制御する。

補正部１０７ａは、指定されたシャッタスピード、ゲイン値で撮像素子１０５から信号処理部１０７が取得した黒画像に基づいて「ブラックバランス調整処理」を実行する。「ブラックバランス調整処理」においては、補正部１０７ａは、撮像素子１０５が出力する「Ｒ画素、Ｇ画素、Ｂ画素」の信号に加える「オフセット値」を補正量として算出する。駆動制御部１０６により、撮像素子１０５のゲイン値が変更されると、黒レベルが変わる要因の一つである「暗電流」の大きさが変更するので、実際にはゲイン値が「ｎ種類」ある場合には「ｎ回」、ゲイン値を変更しながら「オフセット値」の算出を行う。

また、「ブラックバランス調整処理」と同様に、補正部１０７ａは、遮光時に取得された黒画像に基づき、所定しきい値より出力レベルの大きな画素を「欠陥画素」として検出し、「欠陥画素」の補正量を算出する。また、「欠陥画素」の出現も長秒露光、短秒露光、数回撮像で出現する「欠陥画素」などの様々な種類があるため、露光時間、撮像回数等の撮像条件を変更して撮像し「欠陥画素」の種類別に複数回の検出が行われる。「ブラックバランス調整処理」で得た補正量と、「欠陥画素」の補正量は、メモリ部１０９に不揮発的に保存される。補正部１０７ａはメモリ部１０９から補正量を読み出し、「ブラックバランス調整処理」と「欠陥画素」の補正に使用する。

このように、信号処理部１０７は、欠陥画素毎に、「種類（黒キズ、白キズ等）」、「アドレス（水平方向座標ｘ、垂直方向座標ｙ）」等の「欠陥画素補正量」を取得して、メモリ部１０９に保存しておく。補正部１０７ａは、メモリ部１０９に保存されたアドレスを参照することにより「欠陥画素」から出力された画素信号を、その周囲の「正常画素」の画素信号を用いた補間演算処理により補正することができる。例えば、注目する「欠陥画素」の周囲の８画素の「正常画素」の画素信号の平均値を当該「欠陥画素」の画素信号とする。この平均値はメモリ部１０９に記憶しておく。

なお、駆動制御部１０６、信号処理部１０７、補正部１０７ａ、システム制御部１１０等が有する各機能は、ＣＰＵ、ＤＳＰ等のプロセッサが、メモリ部１０９の一部の領域に不揮発的に記憶されているプログラムを実行することによって実現できる。

＜第１実施形態の処理内容＞
次に、第１実施形態において実行される処理について説明する。第１実施形態は、ＮＤフィルタ１０３の入れ替えと並行して、「ブラックバランス調整処理」と「欠陥画素検出、補正」を行うものである。図２は、ＮＤフィルタ入れ替え動作に並行して補正データの取得を行う場合における、入れ替え動作検出から、補正データ取得および次回の設定までの処理を示すフローチャートである。

まず、ステップＳ２０１において、システム制御部１１０は、並行して行われる動作の開始指示が検出されたか否かを判定する。ここで、並行して行われる動作は撮像動作以外の動作である。システム制御部１１０は、操作部１１２の操作により、ＮＤフィルタ１０３の交換動作開始指示が検出されたと判定した場合（Ｙｅｓ）、Ｓ２０２に進む。一方、ＮＤフィルタ１０３の交換動作開始指示を検出されていないと判定した場合（Ｎｏ）、ステップＳ２０１に戻る。つまり、ステップＳ２０１でウエイト状態となる。

＜図３のテーブル＞
次に、ステップＳ２０２において、補正部１０７ａは、並行動作の種別に基づき、取得する補正データの種別を決定する。さて、図３は、「取得する補正データパターン」と「ＮＤフィルタ入れ替えでの動作可否」とを対応付けて記憶したテーブルであり、メモリ部１０９に格納されている。つまり、図３は、特定動作に対する、取得する補正データパターンの実施可否を表すテーブルである。動作に要する動作時間と補正データの取得時間とに基づき、同時取得の可否が予め設定される。本実施形態においては、「ブラックバランス調整処理」と「欠陥画素種別１から欠陥画素種別４」までの補正データについては、ＮＤフィルタ入れ替え動作と並行でも取得が可能である。

補正部１０７ａは、補正データの決定に際し本テーブルを参照して、現在設定されている欠陥画素種別に対する同時取得可否を確認し、取得が可能な場合は取得を行う。もし、現在設定されている欠陥画素種別の取得が不可能な場合、代わりに別種別の補正データを取得する。または、補正部１０７ａは、補正データの取得は行なわないものとする。

次に、ステップＳ２０３において、システム制御部１１０は、並行に行われる並行動作が開始されたか否かを判定する。システム制御部１１０は、並行に行われる並行動作が開始されたと判定した場合（Ｙｅｓ）、Ｓ２０４に進む。一方、システム制御部１１０は、並行に行われる並行動作が開始されていないと判定した場合（Ｎｏ）、Ｓ２０３に戻る。つまり、システム制御部１１０は、並行動作が開始されたと判定されるまでウエイト状態となる。

次に、ステップＳ２０４において、補正部１０７ａは、ステップＳ２０２で決定した種別の補正データを取得する。そして、ステップＳ２０５において、補正部１０７ａは、次回の並行動作検出時のための設定を行う。具体的には例えば、欠陥画素検出の場合には、次に取得する種別の更新を行う。

＜タイムチャート例１＞
図４は、第１実施形態における「１回」のＮＤフィルタ入れ替えと補正データ取得のタイミングを示すタイムチャートである。「期間Ｔ４０１」は、ＮＤフィルタ入れ替え動作の開始から終了までの期間を表す。「期間Ｔ４０２」では、「ブラックバランス調整処理」用の画像の取得を行うタイミングである。つまり、システム制御部１１０により制御された駆動制御部１０６は、シャッタ１０４を閉じて撮像素子１０５を遮光する。システム制御部１１０は駆動制御部１０６に対してシャッタスピード、ゲイン値等の撮像条件を送り、信号処理部１０７は撮像素子１０５による撮像画像データの取得を行う。

「期間Ｔ４０３」では、「期間Ｔ４０２」で取得した撮像画像に基づき、補正部１０７ａは「ブラックバランス調整処理」用のブラックレベル補正量（黒レベル補正量）を算出する。補正部１０７ａは、算出した補正量をメモリ部１０９に記憶する。「期間Ｔ４０４」では、欠陥画素検出用画像を取得する。つまり、システム制御部１１０は駆動制御部１０６に対して指定されたシャッタスピード、ゲイン値等の撮像条件を送り、駆動制御部１０６はシャッタ１０４により撮像素子１０５への入射光を遮光する。そして、信号処理部１０７は、撮像素子１０５による撮像画像の取得を行う。「期間Ｔ４０２」におけるブラックレベル検出用画像と撮像条件が同一であれば、再取得は行わずに先の画像を利用しても良い。そして、「期間Ｔ４０５」では、補正部１０７ａは、欠陥画素検出用画像から、現在設定されている欠陥画素種別の位置を検出し、検出結果である欠陥画素の位置情報（補正量）をメモリ部１０９に記憶する。

＜タイムチャート例２＞
図５は、「複数回」でのＮＤフィルタ入れ替えと補正データ取得のタイミングを示すタイムチャートである。各期間「Ｔ５０６」～「Ｔ５１０」においては、ＮＤフィルタ入れ替え動作「Ｔ５０１」～「Ｔ５０５」と並行に、信号処理部１０７はブラックバランス調整処理、欠陥画素のキズ補正データの取得を行う。期間「Ｔ５０６」では、「ブラックバランス調整処理」と「欠陥画素種別１」の補正データの取得を行う。次に、期間「Ｔ５０７」では、信号処理部１０７は「ブラックバランス調整処理」と「欠陥画素種別２」の補正データの取得を行う。次に、期間「Ｔ５０８」では、信号処理部１０７は「ブラックバランス調整処理」と「欠陥画素種別３」の補正データの取得を行う。このように、順次、各期間で取得する欠陥画素の補正データの種別を変更する。そして、期間「Ｔ５０９」では、補正データ（欠陥画素種別４）の取得が完了した後、次のＮＤ入れ替え期間「Ｔ５０５」に対応する期間「Ｔ５１０」では、「欠陥画素種別１」の補正データ取得に戻る。

このように、「ブラックバランス調整処理」、「欠陥画素補正」を欠陥画素種別で分割して行うため、１回のＮＤフィルタ入れ替え動作で行われる補正データの取得時間が、全ての補正データを取得する場合に比べて短縮される。このため、補正データの取得時間が１回のＮＤフィルタ入れ替え時間を超えることが防止される。また、ＮＤ入れ替え動作の度に、補正データである欠陥画素種別、例えばキズの種類等を変えることができる。なお、１回のＮＤフィルタの入れ替え動作の間に、すべての種類の補正データを取得する必要はない。図５に示すように欠陥画素種別は４種類に限定されず、任意の種類数としても良い。また、「ブラックバランス調整処理」も複数種類の撮像条件で取得を行っても良い。その場合、「ブラックバランス調整処理」用の補正データの取得の度に、撮像条件を変更してもよい。また、取得する補正データはノイズリダクション補正用データやシェーディング補正用データであっても良い。

上述してきた第１実施形態においては、ＮＤフィルタ入れ替え動作を例に取って説明してきたが、ＮＤフィルタ入れ替えに限らず、一般に光学系の光路上に配置された部材により撮像動作以外の動作が行われる期間内に並行して本処理が実行可能である。具体的には、撮像レンズ交換時、ＩＲカットフィルタ交換時、撮像レンズや絞り動作時などの光学部材の変更、動作時に本処理が実行可能である。また、撮像素子１０５の除塵装置動作時、ウォシャー液噴霧時、ワイパー動作時といった「クリーニング動作時」にも行うことが可能である。ＮＤフィルタ入れ替え動作期間「Ｔ４０１」内に「Ｔ４０２」～「Ｔ４０５」の合計時間が収まらない場合、期間「Ｔ４０１」が終了した後に、補正量算出処理、欠陥画素位置検出処理などの補正処理を実行しても良い。この補正処理結果はメモリ部１０９に記憶される。

以上説明してきたように第１実施形態によれば、信号処理部１０７（画像生成部）は、撮像素子１０５から出力された画像データに基づいて画像を生成してメモリ部１０９に記憶する。そして、信号処理部１０７（補正データ取得部）は、撮像動作以外の他動作であるＮＤフィルタ入れ替えが行われる期間内において、当該他動作と並行して撮像素子１０５子に起因する画像劣化を補正するための補正データを取得する。この結果、監視カメラ等の撮像装置の撮像画像が映らない期間が発生することが無く、通常撮像動作への復帰の遅延発生を防止できる。

補正データの取得は、上記の期間内において、複数種類の補正データを取得することであることや、この複数種類の補正データは、補正データの種別によって補正データの取得時間が異なる構成としても良い。なお、補正部１０７ａは、上記の期間後に、取得した補正データに基づいて補正量を算出することにより補正処理が実行されることになる。また、他動作が新たに行われる度に新たに補正データを取得する構成としても良い。定期的に補正データを取得すれば、撮像素子１０５の経時変化や温度変化に対する必要な補正量を取得することができ、黒浮き（暗電流の増加）を抑制し「欠陥画素」の誤補正も防止可能となる。

なお、補正データは、ブラックバランス調整用データ、欠陥画素補正データ、ノイズリダクション補正用データおよびシェーディング補正用データの内の少なくとも１つであれば良い。ブラックバランス調整用データは、撮像素子１０５の暗電流増加による画像劣化を補正するための補正データであり、また、欠陥画素補正データは、撮像素子１０５の欠陥画素による画像劣化を補正するための補正データである。また、撮像動作以外の他動作としては、ＮＤフィルタ交換動作時、絞り動作、および、撮像レンズ動作の内の少なくとも１つであることが挙げられる。

＜第２実施形態＞
次に、本発明の第２実施形態について説明する。なお、第２実施形態において、撮像装置１０１の構成については第１実施形態の撮像装置１０１と同一であるため詳細な説明は省略する。第２実施形態においては、並行で動作する時間が長い期間内において、取得時間が長い補正データ取得を行う点が第１実施形態との相違点である。第２実施形態における補正データの種別としては、「ブラックバランス調整処理」、「欠陥画素補正」のデータである。「欠陥画素補正データ」は「白キズ、黒キズ」等の複数種類で別のデータであっても良く、また、補正データはノイズリダクション、シェーディング等の補正用データであっても良い。

第２実施形態において、所定動作に対して並行で補正データ取得を行う場合の所定動作検出から、補正データ取得および次回設定までの処理は図２に示す処理と同一である。このため、図２に示す処理と重複した処理を行うステップの説明を省略する。ステップＳ２０２において、補正部１０７ａは、並行動作の種別に基づき、取得する補正データの種別を決定する。つまり、補正部１０７ａは、並行で行われる動作と同時に取得する補正データのパターンを決定する。

＜図６のテーブル＞
図６は、「取得する補正データパターン」と「取得時間」と「他の動作との並行での実施可否」とを対応付けて記憶したテーブルであり、メモリ部１０９に格納される。取得の可否は、特定動作の動作時間と補正データの取得時間に基づき予め設定されている。図６に示すように、欠陥画素検出種別（種別１～種別４）に応じて、取得時間が異なっている（「１．２（秒）」、「１．５（秒）」、「０．８（秒）」、「１．５（秒）」）。よって、図６に示すように、欠陥画素検出種別（種別１～種別４）に応じて取得時間が異なっていることを考慮して、欠陥画素検出種別毎に別レコードに記憶している。なお、図６においては「ブラックバランス調整処理」の補正データは１種類としているが、複数種類の場合には種類毎にレコードを設けても良い。

Ｓ２０２においては、取得可能な補正データの内、取得時間が最大の補正データを一つ選定する。また、補正データ取得に要する時間が最大の補正データのみが選定されることを防止するために、各補正データの前回取得からの経過時間を考慮しても良い。または、その他の条件を追加して補正データを決定しても良い。なお、所定動作が「ＮＤフィルタ入れ替え」に要する時間内（「０．９（秒）」内）の取得時間を要する「取得する補正データパターン」が、当該「ＮＤフィルタ入れ替え」と並行での実施可否が「可」となる。実施可否が「可」でない場合には実施可否が「否」となる。

図６では「ブラックバランス調整」と「欠陥画素検出種別３」との「取得時間」が「０．８（秒）」であるので、「０．９（秒）」以内となり実施可否が「可」となる。また、図６に示すように、所定動作が「ワイパー」に要する時間内（「２．０（秒）」内）の取得時間を要する「取得する補正データパターン」が、「ワイパー」と並行での実施可否が「可」となる。この場合も実施可否が「可」でない場合には実施可否が「否」となる。「ワイパー」に要する時間は「２．０（秒）」で比較的長いため、９種類の補正データパターンの内、７種類の補正データパターンでの取得が可能になっている。

＜タイムチャート例３＞
図７は「ワイパー動作」後、「ＮＤ入れ替え動作」を行われた場合における補正データ取得タイミングを示すタイムチャートである。「期間Ｔ７０１」は「ワイパー動作」の時間である。ステップＳ２０２により、ワイパー動作時間内（「２．０（秒）」内）に取得が完了して、取得時間が最長の「ブラックバランス調整（図７では「黒レベル検出」と記載、「期間Ｔ７０２」）が実行される。また、「欠陥画素検出種別１（図７では「欠陥画素種別１」と記載、「期間Ｔ７０３」）」も実行される。期間「Ｔ７０４」は、ＮＤ入れ替え動作であり、取得時間内で最長の「ブラックバランス調整」または「欠陥画素検出種別３」が実行される。ここでは、前回取得時間からの経過時間が長い「欠陥画素種別３（期間Ｔ７０５）」が実行される。なお、図６を参照すれば分かるように、期間「Ｔ７０２」は「０．８（秒）」であり、期間「Ｔ７０３」は「１．２（秒）」であり、期間「Ｔ７０５」は「０．８（秒）」である。

以上説明したように第２実施形態によれば、複数種類の補正データの内で取得可能で取得時間が最も長い補正データから優先的に取得する。このため、動作時間をできるだけ長く使用して補正データ取得を行える。また、補正データの取得が複数の期間で実行されないことを防止できる。また、光学系に備えられたレンズ１０２（光学部材）または撮像素子１０５をクリーニングするワイパー１１３（クリーニング部）の動作が行われる期間内に、補正データを取得する構成とすることもできる。

＜第３実施形態＞
次に、本発明の第３の実施形態について説明する。なお、第３実施形態において、撮像装置１０１の構成については第１実施形態の撮像装置１０１と同一であるため詳細な説明は省略する。第３実施形態は、補正データとして、温度の検出値に基づいて複数の温度において黒画像を取得する点に特徴がある。異なる温度で「ＡＢＢ調整」が行われた場合、調整実施時から温度が変化した場合に必要な補正量が変化してしまう。

これを防止するため、撮像素子の製造時やカメラの工場出荷時に温度による黒レベル（ブラックレベル）や欠陥画素レベルの測定を行い、温度変化に対して黒レベルや欠陥画素レベルを換算できるよう補正係数を取得しておくことがある。このため、複数温度において黒画像取得を行って補正係数を算出し「ＡＢＢ調整」時とは温度が変化した場合であっても温度変化に対応した補正量を得ることができる。

本実施形態においては、取得する補正データの内、温度変化に対応するために温度別にデータを持つものとする。本実施形態においては「ブラックレベル補正データ」は、低温時データと高温時データの２種類が存在するものとする。これに限られず２種より多い種類の温度データを使用するようにしても良い。欠陥画素種別による温度変化を考慮する場合、同一種別の欠陥画素であっても温度別に補正データを持つようにしても良い。なお、補正データを取得する温度として、予め設定された低温側取得温度「Temp_Lo」、高温側取得温度「Temp_Hi」をメモリ部１０９に記憶しておく。

第３実施形態において、一回の画像が変化する処理に並行して行われるデータ取得の処理のフローは、第１実施形態の図２のフローと同様である。このため、以下では、図２のフローと重複した処理を行うステップは説明を省略する。ステップＳ２０２では、第２実施形態と同様に図６に示すテーブルを参照して、並行に行われる動作と同時に取得が可能な補正データの種別を決定する。

加えて、本実施形態のステップＳ２０２において、補正部１０７ａは、温度検出部１０５ａにより温度「Temp」の取得を行う。そして、補正部１０７ａは、取得温度「Temp」を低温側取得温度「Temp_Lo」および高温側取得温度「Temp_Hi」と比較する。温度「Temp」が取得温度範囲内（低温側取得温度と高温側取得温度との間の温度内）である場合には、該当する取得温度の「ブラックレベル補正データ」は「取得不可」と判定する。ここで、「取得不可」とするのは、撮像素子１０５の温度変化等が生じ難いと考えられるからである。一方、補正部１０７ａは、温度「Temp」が取得温度範囲外に有る場合には、該当する取得温度の「ブラックレベル補正データ」を「取得可」と判定する。夫々の判定結果に応じて「ブラックレベル補正データ」の取得、不取得が行われる。

補正データ種別の決定に際して、撮像素子１０５の温度特性を考慮して特定補正データを優先して取得すること、第２実施形態で説明したように、補正データの前回取得からの経過時間を考慮して決定することなどの種々の条件により決定しても良い。例えば、撮像素子１０５の種別によって、「ブラックレベル」の温度変化が大きいことが事前に分かっている場合には「ブラックレベル」の補正データの取得を優先する。「欠陥画素レベル」の場合には、長秒露光した場合に発生する「白キズ」は温度変化が大きいため、当該「白キズ」を優先取得する等の条件を設けて良い。

また、屋内で使用しているなど、温度変化が少ない場合には、取得温度「Temp」が、「Temp_Lo」と「Temp_Hi」の中間の値になり「ブラックレベル」の補正データが取得されない場合が想定される。これを避けるために、一定の経過時間を超えている場合には、ブラックレベル補正データ取得とその時の取得温度「Temp」をメモリ部１０９に記憶しておく構成としても良い。

以上説明してきた第３実施形態によれば、撮像素子１０５または撮像素子１０５周辺の温度を検出する温度検出部１０５ａにより検出された温度に基づいて、取得する補正データの種別を変更することで適切な補正データ取得を実現できる。

上述した各実施形態においては、撮像装置１０１としてリモートカメラを想定した場合について説明してきたが撮像装置１０１はこれに限られない。即ち、本発明は、撮像素子を備えた各種のデバイスに適用可能である。即ち、デジタルカメラ、携帯電話端末、携帯型画像ビューワ、カメラを備えるテレビ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなど画像撮像可能な装置に対しても本発明は適用可能である。

＜変形例＞
（１）１画像内の「欠陥画素」の総数が所定数を超えた場合、このことを示す情報を画像表示部１０８に表示させ、撮像素子１０５の交換時期等であることをユーザーに表示通知させる構成とすることができる。また、１画像内の欠陥画素の総数が所定数を超えた場合に、専用ＬＥＤを点灯制御する構成とすることもできる。また、「ブラックバランス調整処理」における「オフセット値」が所定値を超えた場合にも同様な構成とすることができる。（２）補正データ取得が行われている場合に、専用ＬＥＤを点灯制御してユーザーに把握させる構成とすることもできる。（３）通常ＣＰＵの他に、補正データ取得および補正処理を実行する第２のＣＰＵを設け必要な処理を実行させ、余裕をもって並行動作を行わせる構成とすることもできる。また、この第２のＣＰＵに、撮像動作以外の他動作が行われる期間後に取得された補正データに基づいて補正処理を実行させても迅速な補正処理が実行される。

＜追記＞
本実施形態の開示は、以下の構成を含む。
（構成１） 複数の画素がマトリクス状に配列された撮像素子を備えた撮像装置であって、
前記撮像素子から出力された画像データに基づいて画像を生成する画像生成部と、
前記画像生成部により生成された画像を記憶する画像記憶部と、
撮像動作以外の他動作が行われる期間内において、当該他動作と並行して前記撮像素子に起因する画像劣化を補正するための補正データを取得する補正データ取得部と、を備えたことを特徴とする撮像装置。
（構成２） 前記補正データ取得部は、
前記期間内において、複数種類の補正データを取得することを特徴とする構成１に記載の撮像装置。
（構成３） 前記複数種類の補正データは、補正データの種別によってその取得時間が異なることを特徴とする構成２に記載の撮像装置。
（構成４） 前記補正データ取得部は更に、
前記期間内において、前記複数種類の補正データの内で取得可能で取得時間が最も長い補正データから優先的に取得することを特徴とする構成２または３に記載の撮像装置。
（構成５） 前記期間内または期間経過後に、取得した前記補正データに基づいて補正量を算出する補正部を更に備えたことを特徴とする構成１乃至４のいずれか一項に記載の撮像装置。
（構成６） 前記補正部は、
前記撮像素子への入射光が遮光された状態において、前記補正データ取得部により取得された黒画像に基づいて欠陥画素を検出し、当該欠陥画素の補正量を算出することを特徴とする構成５に記載の撮像装置。
（構成７） 前記補正部は、
前記検出された欠陥画素の画素信号を、当該欠陥画素の周囲の正常画素の画素信号の平均値として補正量を算出することを特徴とする構成６に記載の撮像装置。
（構成８） 前記撮像素子または前記撮像素子の周辺温度を検出する温度検出部を更に備え、
前記補正データ取得部は更に、
前記温度検出部により検出された温度に基づいて、取得する補正データの種別を変更することを特徴とする構成１乃至７のいずれか一項に記載の撮像装置。
（構成９） 前記補正データ取得部は更に、
新たな他動作が行われる度に、新たに補正データを取得することを特徴とする構成１乃至８のいずれか一項に記載の撮像装置。
（構成１０） 前記補正データは、前記撮像素子の暗電流増加による画像劣化を補正するためのブラックバランス調整用データ、前記撮像素子の欠陥画素による画像劣化を補正するための欠陥画素補正データ、ノイズリダクション補正用データ、および、シェーディング補正用データの内の少なくとも１つであることを特徴とする構成１乃至９のいずれか一項に記載の撮像装置。
（構成１１） 前記撮像動作以外の他動作は、ＮＤフィルタ交換動作時、絞り動作、および、撮像レンズ動作の内の少なくとも１つであることを特徴とする構成１乃至９のいずれか一項に記載の撮像装置。
（構成１２） 光学系に備えられた光学部材または前記撮像素子をクリーニングするクリーニング部を更に備え、
前記補正データ取得部は更に、
前記撮像動作以外の他動作としてクリーニング動作が行われる期間内において、前記補正データを取得することを特徴とする構成１乃至９のいずれか一項に記載の撮像装置。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワークや記録媒体を介してシステムや装置に供給し、そのシステムまたは装置のコンピュータのプロセッサがプログラムを読みだして実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像装置
１０２ レンズ
１０３ ＮＤフィルタ
１０４ シャッタ
１０５ 撮像素子
１０５ａ 温度検出部
１０６ 駆動制御部
１０７ 信号処理部
１０７ａ 補正部
１０８ 画像表示部
１０９ メモリ部
１１０ システム制御部
１１１ 画像記録部
１１２ 操作部
１１３ ワイパー

Claims (14)

1. 複数の画素がマトリクス状に配列された撮像素子を備えた撮像装置であって、
   前記撮像素子から出力された画像データに基づいて画像を生成する画像生成部と、
   前記画像生成部により生成された画像を記憶する画像記憶部と、
   撮像動作以外の他動作が行われる期間内において、当該他動作と並行して前記撮像素子に起因する画像劣化を補正するための補正データを取得する補正データ取得部とを備えたことを特徴とする撮像装置。
2. 前記補正データ取得部は、
   前記期間内において、複数種類の補正データを取得することを特徴とする請求項１に記載の撮像装置。
3. 前記複数種類の補正データは、補正データの種別によってその取得時間が異なるデータであることを特徴とする請求項２に記載の撮像装置。
4. 前記補正データ取得部は更に、
   前記期間内において、前記複数種類の補正データの内で取得可能で取得時間が最も長い補正データから優先的に取得することを特徴とする請求項２または３に記載の撮像装置。
5. 前記期間内または期間経過後に、取得された前記補正データに基づいて補正量を算出する補正部を更に備えたことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
6. 前記補正部は、
   前記撮像素子への入射光が遮光された状態において、前記補正データ取得部により取得された黒画像に基づいて欠陥画素を検出し、当該欠陥画素の補正量を算出することを特徴とする請求項５に記載の撮像装置。
7. 前記補正部は、
   前記検出された欠陥画素の画素信号を、当該欠陥画素の周囲の正常画素の画素信号の平均値として補正量を算出することを特徴とする請求項６に記載の撮像装置。
8. 前記撮像素子または前記撮像素子の周辺温度を検出する温度検出部を更に備え、
   前記補正データ取得部は更に、
   前記温度検出部により検出された温度に基づいて、取得する補正データの種別を変更することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
9. 前記補正データ取得部は更に、
   新たな他動作が行われる度に、新たに補正データを取得することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
10. 前記補正データは、前記撮像素子の暗電流増加による画像劣化を補正するためのブラックバランス調整用データ、前記撮像素子の欠陥画素による画像劣化を補正するための欠陥画素補正データ、ノイズリダクション補正用データ、および、シェーディング補正用データの内の少なくとも１つであることを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
11. 前記撮像動作以外の他動作は、ＮＤフィルタ交換動作時、絞り動作、および、撮像レンズ動作の内の少なくとも１つであることを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
12. 光学系に備えられた光学部材または前記撮像素子をクリーニングするクリーニング部を更に備え、
    前記補正データ取得部は更に、
    前記撮像動作以外の他動作としてクリーニング動作が行われる期間内において、前記補正データを取得することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
13. 複数の画素がマトリクス状に配列された撮像素子を備えた撮像装置の制御方法であって、
    前記撮像素子から出力された画像データに基づいて画像を生成する画像生成工程と、
    前記画像生成工程により生成された画像をメモリに記憶する画像記憶工程と、
    撮像動作以外の他動作が行われる期間内において、当該他動作と並行して前記撮像素子に起因する画像劣化を補正するための補正データを取得する補正データ取得工程を有することを特徴とする撮像装置の制御方法。
14. 複数の画素がマトリクス状に配列された撮像素子を備えた撮像装置の制御方法をコンピュータに実行させるプログラムであって、
    前記撮像素子から出力された画像データに基づいて画像を生成する画像生成工程と、
    前記画像生成工程により生成された画像をメモリに記憶する画像記憶工程と、
    撮像動作以外の他動作が行われる期間内において、当該他動作と並行して前記撮像素子に起因する画像劣化を補正するための補正データを取得する補正データ取得工程を有することを特徴とするプログラム。

Images