JP4956009B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像素子又はその近傍に付着した異物を撮像素子からの画像信号により検出する機能を有する撮像装置及び撮像装置の制御方法に関する。

レンズ交換可能なデジタル一眼レフカメラでは、レンズの交換やミラーの駆動、シャッターの作動によってカメラ内の塵や埃等の異物が移動する。その結果、撮像素子のカバーガラスや撮像素子の近傍に配置された光学フィルタ（ローパスフィルタ、赤外カットフィルタ等）（以下、撮像素子を含むこれらをまとめて「撮像ユニット」と称する）の表面に異物が付着することがある。このように撮像ユニットの表面に異物が付着した状態で撮影を行うと、撮影画像に異物の影が映り込んでしまい、良好な撮影ができなくなるという問題がある。

この種の問題を解決するために、撮像ユニットの表面の異物付着領域を検出することにより、この検出された領域の画像を例えば該周辺の画像情報を用いて補間したり、ユーザへ撮像ユニットの受光面のクリーニングを促したりする技術が知られている。

例えば特許文献１には、撮像素子の各画素の画像情報毎に所定値との比較を行うことで異物付着の有無を検出し、検出された箇所周辺の画像情報を用いて補間を行うことが開示されている。この場合に、撮像素子の欠陥画素の位置を予め記憶しており、その欠陥画素では比較を行わないようにすることで付着した異物と画素欠陥の判別を行っている。

また、特許文献２には、撮像素子に所定の均一光を受光させたときに、複数画素からなる画素領域内における受光量の総和を求め、該総和の本来受光すべきレベルに対する低下量により異物領域の判定を行うことが開示されている。

ところで、デジタルカメラが具備するＣＣＤセンサやＣＭＯＳセンサ等の撮像素子には、ホワイトスポットといわれる暗電流が異常に多い欠陥画素が存在し、撮像素子の画像性能劣化の一因になる。この欠陥画素を、例えば周辺の非欠陥部の画像情報を用いて補正することで、高価な撮像素子の歩留まりを高めることができる。この欠陥画素の位置は、主にデジタルカメラの製造過程で検出され、その位置情報をカメラ内に備えられた記憶装置に記憶させておく。そして、記憶された欠陥画素の位置情報に基づいて、撮影毎に欠陥画素の補正が行われる。

特開２０００−３１２３１４号公報 特開２００３−２９８９２４号公報 特開２００２−３００４４２号公報

しかしながら、撮像素子の欠陥画素には、最初から存在するものだけでなく、時間の経過により新たに発生するものもある。この場合、カメラがユーザの手に渡ってから新たに欠陥画素が発生するため、その新たに発生した欠陥画素については欠陥画素の位置が記憶されていないことになる。

特許文献１においては、異物検出を行う際に予め記憶している欠陥画素との比較を行わないようにしているが、新たに発生した欠陥画素については比較の対象となり、それに基づいて異物の付着検出を行うことになる。そのため、仮に新たに発生した欠陥画素上に異物が付着していても、欠陥の度合いによっては誤検出する畏れがある。

また、特許文献２においては、積分対象の領域内に新たに発生した欠陥画素が含まれている場合、積分値が該欠陥画素の画像情報より高くなるため、欠陥の度合いによっては正確に異物領域を検出できない畏れがある。

これらの結果、異物検出が正確に行われず、撮影画像に異物付着による影が映り込んでしまうことになる。

本発明は上記のような点に鑑みてなされたものであり、新たに発生した欠陥画素による異物検出の誤検出を低減させることを目的とする。

本発明による撮像装置は、光電変換により画像信号を出力する撮像素子を備えた撮像装置であって、前記撮像素子により得られた画像信号に基づいて前記撮像素子の欠陥画素の位置を検出する欠陥画素位置検出手段と、前記欠陥画素位置検出手段により検出された位置情報を記憶する記憶手段と、前記撮像素子により得られた画像信号に基づいて前記撮像素子に付着した異物を検出する異物検出手段と、前記欠陥画素位置検出手段と前記記憶手段と前記異物検出手段を制御する制御手段とを備え、前記制御手段は、前記異物検出手段による異物検出動作を実行する際に、前記欠陥画素位置検出手段による欠陥画素位置検出動作を実行して、前記記憶手段に記憶される位置情報を更新し、前記位置情報を更新した後、前記画像信号に基づいて前記異物検出手段による異物検出動作を実行することを特徴とする。
本発明による撮像装置の制御方法は、光電変換により画像信号を出力する撮像素子と前記撮像素子により得られた画像信号に基づいて前記撮像素子の欠陥画素の位置を検出する欠陥画素位置検出手段と、前記欠陥画素位置検出手段により検出された位置情報を記憶する記憶手段と、前記撮像素子により得られた画像信号に基づいて前記撮像素子に付着した異物を検出する異物検出手段とを備えた撮像装置の制御方法であって、前記異物検出手段による異物検出動作を実行する際に、前記欠陥画素位置検出手段による欠陥画素位置検出動作を実行して、前記記憶手段に記憶される位置情報を更新し、前記位置情報を更新した後、前記画像信号に基づいて前記異物検出手段による異物検出動作を実行することを特徴とする。

本発明によれば、異物検出を行うときに、欠陥画素の位置検出を先に行うようにしたので、新たに発生した欠陥画素による異物検出の誤検出を低減させることができる。異物付着領域を領域の積分値で検出する方式においても、積分値が新たに発生した欠陥画素による影響を受けないようにすることができ、精度の高い領域検出が可能になる。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１は、本実施形態のデジタルカメラの概略構成を示すブロック図である。デジタルカメラは、ＣＣＤセンサやＣＭＯＳセンサ等の複数の光電変換部を有する撮像素子１を備える。撮像素子１の出力は、ＣＤＳ／ＡＧＣ回路２でノイズリダクションとゲイン調整が実施される。その後、Ａ／Ｄ変換器３でアナログ信号からデジタル信号に変換され、デジタル信号処理ＩＣであるエンジン４に入力される。

エンジン４は、欠陥画素補正部５、欠陥画素位置記憶部６、欠陥画素位置検出部７、異物付着位置補正部１０、異物付着位置記憶部１１、異物付着位置検出部１２、現像処理部１４、及びスイッチ８、９を含んで構成される。

エンジン４に入力された画像信号について、欠陥画素補正部５では、撮像素子１の欠陥画素の画像信号を例えば周辺の画素部の画像信号を用いて補間処理する。このときの欠陥画素の位置情報は、欠陥画素位置記憶部６に記憶されている。欠陥画素位置記憶部６には、デジタルカメラの製造過程で検出された欠陥画素の位置情報に加えて、欠陥画素検出部７の検出結果に基づいて新たに発生した欠陥画素の位置情報が記憶される。

欠陥画素補正部５で補正された画像信号は、異物付着位置補正部１０に入力される。異物付着位置補正部１０では、異物付着位置の画像信号を例えば周辺部の画像信号を用いて補間処理する。このときの異物付着の位置情報は、異物付着位置記憶部１１に記憶されている。異物付着位置記憶部１１には、異物付着位置検出部１２の検出結果に基づいて異物付着の位置情報が記憶される。

異物付着位置補正部１０で補正された画像信号は現像処理部１４に入力され、色補間処理等の現像処理が施されて、メモリ２１に保存される。また、現像された画像は、例えばＴＦＴ液晶表示器等の表示器（ＬＣＤ）１５に表示されたり、ビデオ端子（ＶＩＤＥＯ）１６を介して外部モニタに表示されたりする。

また、現像された画像データは、ＣＦカード（フラッシュメモリカード）等の外部メモリ１７に保存することもできる。また、現像された画像データは、シリアル通信装置であるＵＳＢインターフェース等のインターフェース１８を介して外部のコンピュータ等に出力することができる。

エンジン４は、タイミングジェネレータ（ＴＧ／ＶＤＲ）１９を駆動して、これによって撮像素子１に供給すべきクロック信号等を発生させる。

また、エンジン４にはマイクロプロセッサ（ＣＰＵ）２０が接続されており、ＣＰＵ２０からの命令に応じて種々の設定が行われ、ＣＰＵ２０によって動作が管理される。メモリ２１は、ＣＰＵ２０に提供すべきプログラムを格納したり、撮影画像のデータを一時的に格納したりするため、及び、作業領域として使用される。

レンズ１３は、撮影のための光学系であり、その絞りや焦点を調節するためのアクチュエータを有する。アクチュエータは、ＣＰＵ２０からの指示に従って制御される。

ここで、図３のフローチャートを参照して、欠陥画素位置検出動作の一例について説明する。ＣＰＵ２０より撮像素子１の欠陥画素位置検出を行うための実行指令があると、エンジン４はスイッチ８をＯＮ状態にする（ステップＳ３０１）。

次に、画像の撮影を行う（ステップＳ３０２）。ホワイトスポットを検出する場合であればダーク画像を撮影する。撮像素子１の出力信号は、ＣＤＳ／ＡＧＣ回路２、ＡＤ変換器３を経てエンジン４に入力される。

エンジン４に入力された画像信号は欠陥画素補正部５に一旦入力される。欠陥画素補正部５では、欠陥画素位置記憶部６に現在記憶されている位置情報に基づいて欠陥画素の画像信号の補正を行い、欠陥画素位置検出部７に入力する（ステップＳ３０３）。

ここで、新たに発生した欠陥画素については、欠陥画素位置記憶部６に位置情報が存在しないため、該欠陥画素の画像信号は補正されない状態で欠陥画素位置検出部７へ入力されることになる。欠陥画素位置検出部７では、入力された画像信号について、１画素毎の画像信号を設定値と比較する（ステップＳ３０４）。その結果、比較した画像信号が設定値より大きいときはホワイトスポットであると判断し、欠陥画素位置記憶部６に位置情報を新たに書き込む（ステップＳ３０５）。それに対して、比較した画像信号が設定値以下のときは該画素が正常であると判断し、上記ステップＳ３０５の書き込み動作を行わない。

１画素分の検出動作を終了する度に全画素の検出動作を終了したかどうかを確認し（ステップＳ３０６）、終了するまでステップＳ３０３〜Ｓ３０６の処理を繰り返す。

全画素分の検出動作を終了したら、検出動作を実行した日時情報を欠陥画素位置記憶部６に更新する（ステップＳ３０７）。なお、検出動作を実行した日時情報の記憶先は欠陥画素位置記憶部６としたが、これに限らずカメラに備えられた別の記憶部に記憶しても構わない。

以上述べた欠陥画素位置検出動作は、ユーザが不図示の操作スイッチにより任意に実行したり、カメラが定期的に自動実行したり、或いはカメラがある動作を行う直前に自動実行したりすることが可能であるものとする。このような動作を繰り返し、新たに発生した欠陥画素の位置を検出することで、欠陥画素位置記憶部６の位置情報が更新され、欠陥画素部がもれなく補正される。

次に、図２のフローチャートを参照して、異物付着位置検出動作の一例について説明する。ＣＰＵ２０より異物付着位置検出を行うための実行指令があると、異物付着位置検出の前に、前回の欠陥画素位置検出が行われた日時情報を欠陥画素位置記憶部６から読み出する。そして、該日時情報から現在までの経過時間を求めて、欠陥画素位置検出動作の実行／禁止の判別を行う（ステップＳ２０１）。

すなわち、上記ステップＳ２０１において経過時間が設定時間を超えている場合には、欠陥画素位置検出を実行してから（ステップＳ２０２）、ステップＳ２０３へ進む。欠陥画素位置検出動作については図３のフローチャートにより説明したとおりであり、ここではその説明を省略する。

一方、ユーザの手による任意の実行等により設定時間内に欠陥画素位置検出が既に実施されている場合（上記ステップＳ２０１において経過時間が設定時間内）には、前回の欠陥画素位置検出から新たに欠陥画素が発生している可能性が非常に低いと考えられる。そこで、欠陥画素位置検出動作が二度手間となり検出時間を浪費することから、欠陥画素位置検出動作を省略して、ステップＳ２０３へ進む。

次に、エンジン４は異物付着位置記憶部１１の内容を初期化し（ステップＳ２０３）、スイッチ９をＯＮにして画像信号が異物付着位置検出部１２に入力される状態にする（ステップＳ２０４）。ここで、異物付着位置記憶部１１を初期化するのは、異物は可動物体であるため、検出の都度位置が変化していると予想されるからである。したがって、記憶部１１の情報を更新するのではなく、初期化するのが好ましい。

次に、画像の撮影を行う（ステップＳ２０５）。撮像ユニットに異物が付着した個所では撮影画像に影ができることから、異物が検出しやすいように比較的明るい均一光により撮影する。光の入射方法は、特許文献１や特許文献３にあるようにカメラ内部に専用光源を備えてもよいし、カメラ外部からの光を利用しても構わない。また、該撮影におけるＩＳＯ感度はランダムノイズの影響を受けにくい低ＩＳＯ、好ましくは最低ＩＳＯに自動設定する。

均一光撮影による撮像素子１の出力は、ＣＤＳ／ＡＧＣ２回路、ＡＤ３を経てエンジン４へ入力される。エンジン４に入力された画像信号は欠陥画素補正部５に一旦入力される。欠陥画素補正部５では、上記ステップＳ２０２により更新された欠陥画素位置記憶部６の位置情報に基づいて欠陥画素の画像信号の補正を行い、異物付着位置検出部１２に入力する（ステップＳ２０６）。

異物付着位置検出部１２では、入力された画像信号について、１画素相当毎の画像信号を設定値と比較する（ステップＳ２０７）。その結果、比較した画像信号が設定値より小さいときは異物が付着しているものと判断し、異物位置記憶部１１に位置情報を書き込む（ステップＳ２０８）。それに対して、比較した画像信号が設定値以上のときは異物が付着していないと判断し、上記ステップＳ２０８の書き込み動作を行わない。

１画素分の検出動作が終了する度に全画素の検出動作が終了したかどうかを確認し（ステップＳ２０９）、終了するまでステップＳ２０６〜Ｓ２０９の処理を繰り返す。

以上述べた異物付着位置検出動作は、欠陥画素位置検出動作と同様に、ユーザが不図示の操作スイッチにより任意に実行したり、カメラが定期的に自動実行したり、或いはカメラがある動作を行う直前に自動実行したりすることが可能であるものとする。

また、本実施形態では、エンジン４内に異物付着位置補正部１０を備えるようにしたが、補正部１０を備えていない場合おいても有効である。例えば、異物の付着が検出された場合、ユーザに撮像ユニットのクリーニングを促すようＬＣＤ１５に表示警告を行うようにしてもよい。

また、本実施形態では、異物付着位置検出動作を１画素毎に行い、この検出結果から異物付着位置記憶部１１に記憶していたが、検出方式並びに記憶形態はこの限りではない。例えば、特許文献２にあるように所定の領域の積分値を求め、基準となる値と比較して異物付着領域を検出し、検出結果に基づく領域の情報を異物付着位置記憶部１１に記憶するようにしてもよい。

また、本実施形態では、異物付着位置検出時に実行される欠陥画素位置検出動作の実行／禁止の判別（ステップＳ２０１）を、前回実行した欠陥画素位置検出時からの経過時間により行うと説明したが、判別基準はこの限りではない。例えばカメラの通算撮影回数、及び、前回の欠陥画素位置検出時の通算撮影回数をカメラ内部で記憶しておき、これらの情報から前回の欠陥画素位置検出時からの撮影回数を求め、これを判別基準（設定撮影回数を超えていたら欠陥画素位置検出（ステップＳ２０２）を実行する）としてもよい。

以上述べたように、異物検出を行うときに、欠陥画素の位置検出を先に行うようにしたので、新たに発生した欠陥画素による異物検出の誤検出を低減させることができる。異物付着領域を領域の積分値で検出する方式においても、積分値が新たに発生した欠陥画素による影響を受けないようにすることができ、精度の高い領域検出が可能になる。

なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本実施形態のデジタルカメラの概略構成を示すブロック図である。 異物付着位置検出動作を説明するためのフローチャートである。 欠陥画素位置検出動作を説明するためのフローチャートである。

符号の説明

１ 撮像素子
２ ＣＤＳ／ＡＧＣ回路
３ ＡＤ変換器
４ エンジン
５ 欠陥画素補正部
６ 欠陥画素位置記憶部
７ 欠陥画素位置検出部
８、９ スイッチ
１０ 異物付着位置補正部
１１ 異物付着位置記憶部
１２ 異物付着位置検出部
１３ レンズ
１４ 現像処理部
２０ マイクロプロセッサ
２１ メモリ

Claims (4)

1. 光電変換により画像信号を出力する撮像素子を備えた撮像装置であって、
   前記撮像素子により得られた画像信号に基づいて前記撮像素子の欠陥画素の位置を検出する欠陥画素位置検出手段と、
   前記欠陥画素位置検出手段により検出された位置情報を記憶する記憶手段と、
   前記撮像素子により得られた画像信号に基づいて前記撮像素子に付着した異物を検出する異物検出手段と、
   前記欠陥画素位置検出手段と前記記憶手段と前記異物検出手段を制御する制御手段とを備え、
   前記制御手段は、前記異物検出手段による異物検出動作を実行する際に、前記欠陥画素位置検出手段による欠陥画素位置検出動作を実行して、前記記憶手段に記憶される位置情報を更新し、前記位置情報を更新した後、前記画像信号に基づいて前記異物検出手段による異物検出動作を実行することを特徴とする撮像装置。
2. 前記制御手段は、前記異物検出動作を実行するときに、前記欠陥画素位置検出動作が設定期間内に実行されているか否かを判別し、設定期間内に実行されていれば、前記異物検出手段による異物検出動作を実行する際に、前記欠陥画素位置検出手段による欠陥画素位置検出動作および前記位置情報の更新を実行することなく、前記画像信号に基づいて前記異物検出手段による異物検出動作を実行することを特徴とする請求項１に記載の撮像装置。
3. 前記異物検出手段による検出を行うときに、最低ＩＳＯ感度に設定して撮像を行うことを特徴とする請求項１または２に記載の撮像装置。
4. 光電変換により画像信号を出力する撮像素子と前記撮像素子により得られた画像信号に基づいて前記撮像素子の欠陥画素の位置を検出する欠陥画素位置検出手段と、前記欠陥画素位置検出手段により検出された位置情報を記憶する記憶手段と、前記撮像素子により得られた画像信号に基づいて前記撮像素子に付着した異物を検出する異物検出手段とを備えた撮像装置の制御方法であって、
   前記異物検出手段による異物検出動作を実行する際に、
   前記欠陥画素位置検出手段による欠陥画素位置検出動作を実行して、前記記憶手段に記憶される位置情報を更新し、
   前記位置情報を更新した後、前記画像信号に基づいて前記異物検出手段による異物検出動作を実行することを特徴とする撮像装置の制御方法。

Images