JP4480147B2

JP4480147B2 - 撮像装置およびその制御方法

Info

Publication number: JP4480147B2
Application number: JP2004265932A
Authority: JP
Inventors: 圭介青山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-09-13
Filing date: 2004-09-13
Publication date: 2010-06-16
Anticipated expiration: 2024-09-13
Also published as: EP2445195B1; KR20070088585A; EP1792479A1; CN100550995C; CN101656841B; US20070030378A1; KR100875940B1; EP2445195A1; JP2006081122A; CN101656841A; EP1792479B1; CN101019419A; EP1792479A4; WO2006030874A1; US7636114B2

Description

本発明は、例えばＣＣＤやＣＭＯＳ等の撮像素子を用いて撮像する撮像装置及びその制御方法に関するものである。

近年、デジタルカメラやデジタルビデオカメラなど、ＣＣＤ等の撮像素子を用い、画像をデータとして記録する撮像装置が数多く市場に出回るようになってきている。デジタルカメラでは、従来記録媒体として使用していた感光フィルムが不要になり、これに代わって半導体メモリカードやハードディスク装置等のデータ記録媒体にデータ化された画像を記録する。これらのデータ記憶媒体はフィルムと違って何度でも書き込み、消去が可能であるので、消耗品に掛かる経費が少なくてすみ大変便利である。

通常、デジタルカメラには、撮影画像を随時表示可能なＬＣＤモニター装置と、着脱可能な大容量記憶装置が搭載されている。

これらの２つの装置を備えたデジタルカメラを利用すると、従来、消耗品として使用してきた記録媒体であるフィルムが不要になるばかりでなく、撮影した画像をＬＣＤモニター装置に表示してその場で直ちに確認できる。従って、満足の得られない画像データはその場で消去したり、また必要に応じて再撮影したりすることが撮影現場でも可能となり、フィルムを用いる銀塩写真と比較すると、写真撮影の効率が飛躍的に高まったと言える。

このような利便性と、撮像素子の高画素化などの技術革新により、デジタルカメラの利用範囲は拡大しており、近年では一眼レフ方式などレンズ交換が可能なデジタルカメラも多くなってきている。

特開２００３−３４４９５３号公報

しかしながら、デジタルカメラには、撮像素子、または撮像素子に固定された撮像素子保護ガラス、光学フィルター等の表面上や光学系（以下、まとめて撮像素子光学系部品という）にゴミ、ほこり（以下総称して「ゴミ」と略称する）が付着すると、ゴミによって光が遮られ、その部分が撮影されないなど、撮影した画像の品質が低下するという問題があった。

デジタルカメラに限らず、銀塩フィルムを用いるカメラにおいても、フィルム上にゴミが存在すると写り込んでしまう問題はあるが、フィルムの場合は１コマ毎にフィルムが移動するため、全てのコマに同様のゴミが写り込むことは大変希である。

しかし、デジタルカメラの撮像素子は移動せず、共通した撮像素子で撮影を行うため、撮像素子光学系部品に１度ゴミが付着すると、多くのコマ（撮影画像）に同様のゴミが写り込んでしまう。特にレンズ交換式のデジタルカメラにおいては、レンズの交換時に、ゴミが付着しやすいという問題がある。

したがって、撮影者は撮像素子光学系部品へのゴミの付着に常時気を使わなければならず、ゴミのチェックや清掃に多くの労力を費やしていた。特に撮像素子は、カメラ内部の比較的奥まったところに配置されているため、清掃やゴミの確認は容易ではない。また、清掃したつもりで逆にゴミを付着させてしまう場合もある。

さらに、レンズ交換式のデジタルカメラでは、レンズ着脱によりゴミの侵入が容易であるばかりでなく、レンズ交換式デジタルカメラの多くは、撮像素子の直前にフォーカルプレーンシャッターを配置しており、撮像素子光学系部品上にゴミが付着し易い。

フィルムスキャナなどの画像読取装置においては、読み取った画像から原稿台上のゴミやフィルム原稿上のゴミを検出し、補正を行うことが知られている（例えば特許文献１参照）。しかし、この種の画像読取装置における撮像素子が置かれている環境は、デジタルカメラのそれとは大きく異なる。また、原稿上のゴミ検出に主眼が置かれており、撮像素子上のゴミ検出については考慮されていない。

レンズ交換式デジタルカメラでは、機構上撮像素子光学系部品上にゴミが付着しやすいため、付着したゴミの検出や、検出したゴミをどのように処理し、これらゴミの影響のない画像を撮影するかが大きな課題である。すなわち、ゴミを処理せずに放置すれば直接画像にゴミが移りこむし、逆にゴミ位置の誤検出や過度のゴミ処理により不必要な部分にゴミ補正を行うことは画像の劣化につながる。

本発明は、このような従来技術の問題点に鑑みなされたものであり、撮像素子や、撮像素子に固定された保護ガラス、フィルターにゴミが付着しても、撮影画像への影響を抑制することが可能な撮像装置その制御方法を提供することを目的とする。

上述の目的は、撮像素子を用いて撮像を行う撮像装置であって、ユーザの指示により、異なる複数の絞り値で撮像した複数のゴミ検出用撮像画像の各々から、撮像素子またはその光学系に存在するゴミに対応する画素位置を検出し、異なる複数の絞り値の各々に対応する複数のゴミ補正データとして記憶するゴミ位置検出手段と、通常の撮像によって得られた通常撮像画像を構成する画素データのうち、ゴミに対応する画素位置のデータに対し、複数のゴミ補正データの１つを用いて補正処理を行う補正手段と、通常撮像画像を撮像した際に用いられた絞り値とゴミ検出用撮像画像を撮像した際に用いられた絞り値とを比較することで、補正処理を実行するか否かを判断するとともに、補正処理を実行すると判断した際には、複数のゴミ補正データのうち、どのゴミ補正データを用いて補正処理を行うかを判断する判断手段とを有することを特徴とする撮像装置によって達成される。

また、上述の目的は、撮像素子を用いて撮像を行う撮像装置の制御方法であって、ユーザの指示により、異なる複数の絞り値で撮像した複数のゴミ検出用撮像画像の各々から、撮像素子またはその光学系に存在するゴミに対応する画素位置を検出し、異なる複数の絞り値の各々に対応する複数のゴミ補正データとして記憶するゴミ位置検出ステップと、通常の撮像によって得られた通常撮像画像を構成する画素データのうち、ゴミに対応する画素位置のデータに対し、複数のゴミ補正データの１つを用いて補正処理を行う補正ステップと、通常撮像画像を撮像した際に用いられた絞り値とゴミ検出用撮像画像を撮像した際に用いられた絞り値とを比較することで、補正処理を実行するか否かを判断するとともに、補正処理を実行すると判断した際には、複数のゴミ補正データのうち、どのゴミ補正データを用いて補正処理を行うかを判断する判断ステップとを有することを特徴とする撮像装置の制御方法によっても達成される。

このような構成により、本発明によれば、撮像素子や、撮像素子に固定された保護ガラス、フィルターにゴミが付着しても、撮影画像への影響を抑制することができる。

●（第１の実施形態）
以下、図面を参照して本発明をその好適な実施形態に基づき詳細に説明する。
図１は、本発明の第１の実施形態に係る撮像装置の一例としてのレンズ交換式デジタルカメラの回路構成例を示すブロック図である。同図において、マイクロコンピュータ４０２は、撮像素子の一例であるＣＣＤ４１８が出力する画像データの処理や、ＬＣＤモニター装置４１７の表示制御をはじめ、カメラ全体の動作を制御する。

スイッチ（ＳＷ１）４０５は、レリーズボタン１１４（図２参照）の半押し状態でオン（ＯＮ）し、スイッチ（ＳＷ１）４０５がオンすると本デジタルカメラは撮影準備状態になる。スイッチ（ＳＷ２）４０６はレリーズボタン１１４が最後まで押された状態（全押し状態）でオン（ＯＮ）し、スイッチ（ＳＷ２）４０６がオンすると本デジタルカメラは撮影動作を開始する。
レンズ制御回路４０７は、撮影レンズ２００（図３参照）との通信及びＡＦ（オートフォーカス）時の撮影レンズ２００の駆動や絞り羽根の駆動の制御を行う。

また図１において、外部表示制御回路４０８は、外部表示装置（ＯＬＣ）４０９や、ファインダー内の表示装置（不図示）の制御を行う。スイッチセンス回路４１０は、カメラに設けられた電子ダイヤル４１１（図２、１１５）を含む多数のスイッチ類の信号をマイクロコンピューター４０２に伝える。

ストロボ発光調光制御回路４１２は、Ｘ接点４１２ａを介して接地されており、外部ストロボの制御を行う。測距回路４１３は、ＡＦ（オートフォーカス）のための被写体に対するディフォーカス量を検出する。測光回路４１４は、被写体の輝度を測定する。

シャッター制御回路４１５はシャッターの制御を行い、ＣＣＤ４１８に対して適正な露光を行う。ＬＣＤモニター装置４１７とバックライト照明装置４１６は画像表示装置を構成している。記憶装置４１９は例えばハードディスクドライブ、半導体メモリカードリーダライタ等である。

また、マイクロコンピュータ４０２には、Ａ／Ｄコンバータ４２３，画像バッファメモリ４２４，ＤＳＰなどからなる画像処理回路４２５，ＣＣＤ内の所定画素そのものに欠陥があることを記憶している画素欠陥位置メモリ４２６，ゴミによる画像不良を起こしているＣＣＤ４１８内の画素位置を記憶しているゴミ位置メモリ４２７が接続されている。なお、画素欠陥位置メモリ４２６及びゴミ位置メモリ４２７は不揮発性メモリを用いることが好ましい。また、画素欠陥位置メモリ４２６とゴミ位置メモリ４２７は、同一メモリ空間の異なるアドレス領域を用いても良い。

図２は、本実施形態に係るデジタルカメラの外観例を示す斜視図、図３は図２の構成を有するデジタルカメラの垂直断面図である。
図において、カメラ本体１００の上部には、ファインダー観察用の接眼窓１１１、ＡＥ（自動露出）ロックボタン１１２、ＡＦ（オートフォーカス）の測距点選択ボタン１１３、撮影操作をするためのレリーズボタン１１４、電子ダイヤル１１５及び撮影モード選択ダイアル１１７及び外部表示装置４０９が設けられている。電子ダイヤル１１５は、他の操作ボタンと併用して、カメラに数値を入力したり、撮影モードを切り換えたりするための多機能信号入力装置である。また、外部表示装置４０９は、液晶表示装置から構成され、シャッタースピード、絞り、撮影モードなどの撮影条件や、他の情報を表示する。

また、カメラ本体１００の背面には、撮影された画像や各種設定画面などを表示するＬＣＤ（液晶表示器）モニター装置４１７、ＬＣＤモニター装置４１７をオン／オフするためのモニタースイッチ１２１、十字配置スイッチ１１６及びメニューボタン１２４が設けられている。

十字配置スイッチ１１６は、上下左右に配された４つのボタンと、中央に配されたＳＥＴボタンを有し、ユーザがＬＣＤモニター装置４１７に表示されるメニュー項目などの選択や実行をカメラに指示するために用いられる。

メニューボタン１２４は、ＬＣＤモニター装置４１７にカメラの各種設定を行うためのメニュー画面を表示させるためのボタンである。例えば、撮影モードを選択、設定する時は、このメニューボタン１２４を押した後、十字配置スイッチ１１６の上下左右のボタンを操作して希望のモードを選択し、希望のモードが選択された状態でＳＥＴボタンを押すことにより設定が完了する。このメニューボタン１２４と十字配置スイッチ１１６は、後述するゴミモードの設定や、ゴミモードの際の表示モードの設定及び識別マークの設定にも使用される。

本実施形態のＬＣＤモニター装置４１７は透過型であるため、ＬＣＤモニター装置の駆動だけでは、画像を視認することはできず、必ずその裏面には図３に示すようにバックライト照明装置４１６が必要である。上述のように、ＬＣＤモニター装置４１７とバックライト照明装置４１６は画像表示装置を構成している。

図３に示すように、撮像光学系の撮影レンズ２００は、カメラ本体１００に対して、本体マウント２０２を介して交換可能である。図３において、２０１は撮影光軸、２０３はクイックリターンミラーである。

クイックリターンミラー２０３は、撮影光路中に配置され、撮影レンズ２００からの被写体光をファインダー光学系に導く位置（図３に示す位置。斜設位置という）と撮影光路外に退避する位置（退避位置という）との間で移動可能である。

図３において、ピント板２０４は、クイックリターンミラー２０３からファインダー光学系に導かれる被写体光を結像する。２０５はファインダーの視認性を向上させるためのコンデンサーレンズ、２０６はペンタゴナルダハプリズムであり、ピント板２０４及びコンデンサーレンズ２０５を通った被写体光をファインダー観察用の接眼レンズ２０８及び測光センサ２０７に導く。

２０９，２１０はそれぞれシャッターを構成する後幕と先幕で、これら後幕２０９，先幕２１０の開放によって、後方に配置されている固体撮像素子であるＣＣＤ４１８に必要な露光を与える。ＣＣＤ４１８によって画素毎の電気信号に変換された撮影画像は、Ａ／Ｄコンバータ４２３や画像処理回路４２５などによって処理され、画像データとして外部記憶装置に記録される。

ＣＣＤ４１８はプリント基板２１１に保持されている。このプリント基板２１１の後方には、もう１枚のプリント基板である表示基板２１５が配置される。この表示基板２１５の反対側の面にＬＣＤ（液晶表示器）モニター装置４１７及びバックライト照明装置４１６が配置されている。
４１９は画像データを記録する外部記憶装置、２１７は電池（携帯用電源）である。この外部記憶装置４１９及び電池２１７は着脱可能である。

（ゴミ検出処理）
図５は、本実施形態に係るデジタルカメラにおけるゴミ検出処理（ゴミによって画像不良が生じている画素位置の検出処理）を説明するフローチャートである。当該処理はマイクロコンピュータ４０２が図示しない不揮発性メモリに記憶されたゴミ検出処理プログラムを実行することにより実施される。

ゴミ検出処理は、ゴミ検出用画像を撮像することにより行われる。先ず、ゴミ検出処理を行う場合、面光源装置の出射面などの均一輝度面にレンズ２００の撮影光軸２０１を向けてカメラを設置するか、レンズ２００にゴミ検出用のライトユニット（レンズ前に装着する小型の面光源装置）を装着し、ゴミ検出の準備をおこなう。

本実施形態では、通常の撮影レンズを用いた場合について説明するが、レンズマウントに取り付け、絞りユニットを通して均一な輝度で撮像素子を照明する装置などを取り付けてゴミ検出をおこなってもよい。このように、本実施形態においてゴミ検出用画像は、均一な輝度を有する画像である。

準備が終了した後、例えば十字スイッチ１１６からゴミ検出処理の開始が指示されると、マイクロコンピュータ４０２は、まず絞りの設定を行う。ＣＣＤ４１８近傍のゴミはレンズの絞り値により結像状態が変わるため、複数の絞り値でゴミ検出を行う必要がある。まず絞り値１（ＣＣＤ上に配置される、保護用のガラスや光学フィルターの厚み（ゴミの付着場所とＣＣＤとの距離）に応じた所定の絞り値が設定される。ここではたとえばＦ８）を設定する（ステップＳ２２）。

次にマイクロコンピュータ４０２はレンズ制御回路４０７に対し、撮影レンズ２００の絞りバネ制御を行わせ、ステップＳ２２で設定された“絞り値１”（またはステップＳ３２で設定された“絞り値２”）に絞りを設定する（ステップＳ２３）。処理開始時はステップＳ２２で設定された絞りとなる。

撮影レンズの絞りが設定されると、ゴミ検出モードでの撮影を実行する（ステップＳ２４）。ステップＳ２４で行う撮像処理ルーチンの詳細に関しては図４を用いて後で説明する。撮影された画像データはバッファメモリ４２４に格納される。
撮影が終了するとマイクロコンピュータ４０２はレンズ制御回路４０７を制御し、撮影レンズ２００の絞りを開放値に設定させる（ステップＳ２５）。

次いで、画像処理回路４２５に、画像バッファメモリ４２４に記憶されている撮影画像の各画素の位置に対応するデータを順次呼び出す（ステップＳ２６）。画像処理回路４２５は、呼び出された画素データの値と予め設定されたスレッショルドレベルとを比較する（ステップＳ２７）。ＣＣＤ４１８にゴミが付着すると、ゴミの付着位置に該当する画素に入射する光量が減少するので、個々の画素データを設定されたスレッショルドレベルと比較することで、画像不良が生じている画素を検出することができる。なお、ゴミ位置検出処理時にカメラ本体内に外光が入射すると、不良が生じている画素から得られるデータがスレッショルドレベルより高くなる場合が有るので、外光が入り込まないようにしなければならない。さらに、撮影が均一輝度面であることが期待できない場合は単に輝度のスレッショルドレベルではなく近傍の画素出力との差などを併用して判断しても良い。

読み出した画素データの値がスレッショルドレベルより低い場合、予め画素欠陥位置メモリに記憶されている製造時からの不良画素（画素欠陥）の位置と、読み出した画素データの位置とを較べて、画素欠陥であるかどうかを確認する（ステップＳ２８）。そして、画素欠陥によるものではないと判断された場合にのみ、ゴミ位置メモリ４２７に当該画素の位置を登録する（ステップＳ２９）。
ここで、ステップＳ２２で設定した絞り値１を用いて検出したゴミ位置データをゴミ補正データ１とする。

その後、全ての画素について同様の判定処理（ステップＳ２６〜ステップＳ２９）を行い、全ての画素に対して処理を行ったら（ステップＳ３０）、検出すべき絞り値全てについてゴミ検出処理を行ったかどうかを判断する（ステップＳ３１）。未処理の絞り値があれば、ステップＳ３２へ分岐する。

ゴミは通常ＣＣＤ４１８の表面にではなく、保護用のガラスや光学フィルター上に付着しているため、撮影レンズの絞り値により結像状態が異なる。すなわち、絞りが開放値に近いとぼやけてしまい、小さいゴミが付着していたとしてもほとんど影響がなくなるが、逆に絞り値が大きくなるとはっきり結像し画像に影響してしまう。このため、複数の絞り値でゴミ位置検出を行い、絞り値に応じたゴミ補正データで撮影画像の補正を行わないと、撮影画像に適した補正が行えない。

つまり、大きな絞り値（すなわち小絞りで深度が深い）で撮影した画像に基づいて求めたゴミ補正データを開放に近い絞り値で撮影した画像に用いると小さな絞り値（すなわち開放側で深度が浅い）で撮影した場合に影響のない部分にまで、不要な補正処理を行ってしまうことになる。逆に、開放に近い絞り値で撮影した画像に基づいて求めたゴミ補正データを用いると、大きな絞り値で撮影した画像データに写りこんでしまうゴミに対するゴミ補正データがなく、必要な補正処理がなされないことになる。このように、ゴミ補正データを生成した絞り値と撮影時の絞り値とが異なる場合、ゴミの影響がない部分に過度に補正を行ったり、逆にゴミがあるのに補正されないということが発生してしまう。

そこで次に、別の絞り値（絞り値２、たとえばＦ２２）を設定し（ステップＳ３２）、ステップＳ２３に戻って再度画像の撮影を行い、ゴミ検出処理を行う。（絞り値２で検出したゴミ補正データをゴミ補正データ２とする）

ステップＳ２３からステップＳ３１までを実行し、複数の絞り値に対するゴミ位置データを全て検出できたらこのルーチンを終了する。このフローチャートでは２種類の絞りに対してゴミ検出を行ったがもっと多くの絞り数値に対してゴミ検出を行えばより正確にゴミ補正データを作成することが出来、そのデータを用いてより正確にゴミを補正を行うことが出来ることはいうまでもない。

（撮像処理ルーチン）
次に、図４に示すフローチャートを用いて、図５のＳ２４で行われる撮像処理ルーチンの詳細について説明する。当該処理はマイクロコンピュータ４０２が図示しない不揮発性メモリに記憶された撮像処理プログラムを実行することにより実施される。

この撮像処理ルーチンが実行されると、ステップＳ２０１で、マイクロコンピュータ４０２は、図３に示すクイックリターンミラー２０３を作動させ、いわゆるミラーアップを行い、撮影光路外にクイックリターンミラーを退避させる。

次に、ステップＳ２０２でＣＣＤ４１８での電荷蓄積が開始され、次のステップＳ２０３では、シャッターの先幕２１０（図３参照）、後幕２０９（図３参照）がそれぞれ走行して露光が行われる。そして、ステップＳ２０４でＣＣＤ４１８（図３参照）の電荷蓄積が終了され、次のステップＳ２０５で、ＣＣＤ４１８から画像信号を読み出し、Ａ／Ｄコンバータ４２３及び画像処理回路４２５で処理した画像データを、バッファメモリ４２４に一時記憶する。

次のステップＳ２０６でＣＣＤ４１８から全ての画像信号の読み出しが終了すると、ステップＳ２０７でクイックリターンミラー（図３の２０３で示す）を、いわゆるミラーダウンさせ、クイックリターンミラーが被写体光をファインダー光学系に導く位置（斜設位置）に戻り、一連の撮像動作が終了する。

（ゴミ補正処理）
次に、本実施形態に係るデジタルカメラにおける、通常撮影時のゴミ補正処理（通常撮影画像のゴミ補正処理）について説明する。当該処理はマイクロコンピュータ４０２が図示しない不揮発性メモリに記憶されたゴミ処理動作プログラムを実行することにより実施される。

まず、撮影に先立ち、前述したゴミ補正データ１、２がゴミ位置メモリ４２７に格納されているものとする。そして、撮影者が、撮影モードダイアル１１７、メニュースイッチ１２４、電子ダイアル１１５などを用い所望の撮影準備動作を済ませた後、レリーズボタン１１４を半押し状態（スイッチ（ＳＷ１）４０５がオンする状態）まで押し込み、撮影を開始したものとする。

まず、マイクロコンピュータ４０２は、測距回路４１３とレンズ駆動回路４０７とにより、オートフォーカス制御を行い、レンズ２００を合焦位置に制御する。また同時に、測光回路４１４を用いて測光動作を行い、設定されている撮影モードに従い制御するＴＶ値と絞り値を決定する。これらが終了すると、図４の撮像処理ルーチンを実行し撮像動作を行う。ここで画像がバッファメモリ４２４に一時記憶された後、ゴミ補正処理を行う。

図６は、本実施形態に係るデジタルカメラにおける、通常撮影時のゴミ補正処理について説明するフローチャートである。
先ず、ゴミ補正処理を行うにあたり、撮影時に用いた絞り値から、ゴミ位置メモリ４２７に格納された複数のゴミ補正データのうち、使用すべきゴミ補正データを決定する。具体的には、撮影時の絞り値がゴミ補正データ２の検出に用いた絞り値２（ここではＦ２２）と同じか、小絞り（絞り値が大きい）かどうかを判定し（ステップＳ３６）、同じ又は小絞りであればステップＳ３７へ分岐し、絞り値２に対するゴミ位置データ２を用いることを決定する。一方、絞り値２より開放側（小さな絞り値）であれば、ステップＳ３８へ進む。

ステップＳ３８では、撮影時の絞り値がゴミ補正データ１の検出に用いた絞り値１（ここではＦ８）と同じか、小絞り（絞り値が大きい）かどうかを判定し、同じか小絞りであればステップＳ３９へ分岐し、絞り値１に対するゴミ補正データ１を用いることを決定する。一方、ステップＳ３８において、撮影時の絞り値が絞り値１より開放側（小さな絞り値）であればステップＳ４０へ進み、ゴミ補正処理は行わずに、ＣＣＤ製造時の画素欠陥だけを補正することを設定する。

なお、本実施形態においてはゴミ補正データを２種類としているため、ゴミ補正処理に用いるゴミ補正データを決定する処理（ステップＳ３６〜Ｓ３９）が２段階の判定であったが、３種類以上のゴミ補正データが用意されている場合には、個々のゴミ補正データに対応する絞り値と撮影時の絞り値とを同様に比較し、撮影時の絞り値よりも大きく、かつ撮影時の絞り値に最も近い絞り値で検出されたゴミ補正データを用いるように決定すればよい。

ステップＳ３６〜Ｓ４０の処理により、ゴミ補正処理に用いるゴミ補正データが決定されると、マイクロコンピュータ４０２は、画像バッファメモリ４２４から各画素のデータを順次読み出し（ステップＳ４２）、画素欠陥補正を開始する。読み出した画素データの画素のアドレスと画素欠陥位置メモリ４２６に登録されている画素のアドレスとを比較し、欠陥画素に対応する画素データであるかどうか確認する（ステップＳ４３）。

欠陥画素に対応する画素データでない場合、ステップＳ４４へ進み、読み出した画素データの画素アドレスとゴミ補正データに登録されている画素アドレスとを比較し、ゴミ検出された画素に対応する画素データであるかどうか確認する。なお、ステップＳ４０でゴミ補正処理を行わないことが設定されている場合、ゴミ補正データに画素アドレスはないとして処理を行うので、ステップＳ４４からステップＳ４５に分岐することはない。

ステップＳ４３又はステップＳ４４において、読み出した画素データの画素アドレスが、欠陥画素又はゴミ検出された画素のアドレスに該当した場合には、ステップＳ４５において、画像処理回路４２５により、読み出した画素データの補正処理を行う。ここでの補正処理としては様々な方法が考えられるが、本実施形態においては周囲の正常な画素データの値を用いて補間するものとする。

このように、本実施形態では、マイクロコンピュータ４０２、画像処理回路４２５、バッファメモリ４２４によりステップＳ４５の画素補正処理が行われ、これらがゴミ補正処理手段を形成する。なお、ゴミ補正データは絞り値毎に作成されているため、補間される画素アドレスは撮影時の絞り値に応じて変化する。補正処理を行った画素データは、バッファメモリ４２４において上書きされる。

その後全ての画素データを読み出したか確認し（ステップＳ４６）、読み出していない画素データがある場合には、ステップＳ４２に戻って未処理の画素データについて上述した処理を行う。そして、ステップＳ４６において、全ての画素を読み出したと判断されると、１枚分の画像データ全ての補間処理を終えたこととなるので、バッファメモリ４２４に格納されている画像データに対して画像処理回路４２５により圧縮等の画像処理を行い（ステップＳ４７）、記録装置へ書き込みを行い、ゴミ補正処理（及び撮影処理）が終了する。

以上説明したように、本実施形態では、複数の絞り値を用いてゴミ検出処理を行い、個々の絞り値に対応した複数のゴミ補正データを記憶し、その中から撮影時の絞り値に応じて最適なゴミ補正データを用いて撮影画像を補正している。このことにより、ゴミ検出時に用いた絞りと撮影時の絞りとが大きく異なる場合に生じる、不必要にゴミ補正を行って画像を過度に修正してしまったり、また、必要なゴミ補正処理が行われずにゴミが目立つ画像になってしまうといった問題を起こすことなく、適切なゴミ補正処理を行うことが可能である。

●（第２の実施形態）
次に、本発明の第２の実施形態に係る撮像装置の一例としてのデジタルカメラについて説明する。なお、本実施形態に係るデジタルカメラの基本的な構成は、上述した第１の実施形態に係るデジタルカメラと同一でよいため、構成に関する説明は省略し、本実施形態に係るゴミ検出処理及びゴミ補正処理について説明する。

（ゴミ検出処理）
図７は、本実施形態に係るデジタルカメラにおけるゴミ検出処理（ゴミによって画像不良が生じている画素位置の検出処理）を説明するフローチャートである。なお、図７において、第１の実施形態において説明した図５と同様の処理を行うステップには同じステップ番号を付加し、重複する説明は省略する。

先ず、第１の実施形態と同様にして、ゴミ検出処理の準備を行う（例えば面光源装置の出射面などの均一輝度面にレンズ２００の撮影光軸２０１を向けてカメラを設置する）。

準備が終了した後、例えば十字スイッチ１１６からゴミ検出処理の開始が指示されると、マイクロコンピュータ４０２は、まずＩＳＯ値で表される感度（ＣＣＤ４１８の読み出しゲイン）の設定を行う。まずＩＳＯ値（ＩＳＯ値１、たとえばＩＳＯ４００）を設定する（ステップＳ２２ｉ）。

次に、設定したＩＳＯ値に応じたゴミ検出レベル（スレッショルドレベル１）を設定する。ＣＣＤ４１８自身のノイズはＩＳＯ値により異なるため、複数の感度条件でゴミ検出のスレッショルドレベルを変えゴミ検出を行う必要がある（ステップＳ２２ｊ）。

ステップＳ２３〜ステップＳ３１までの動作は図５と同様であるため、要点だけを述べる。
次に撮影レンズを絞り込む（ステップＳ２３）。なお、ここでの絞り値はゴミが検出できる十分大きな絞り値（小絞り）に予め定めた値を用いる。
図４で説明した撮像処理ルーチンで撮影を行う（ステップＳ２４）。
絞りを開放値にさせる（ステップＳ２５）。

次いで、画像バッファメモリ４２４に記憶されている各画素の位置に対応するデータを順次呼び出す（ステップＳ２６）。呼び出された画像データの値は、撮影したＩＳＯ感度（最初はステップＳ２２ｉで設定されている）に応じたスレッショルドレベル（最初はステップＳ２２ｊで設定されている。）と比較する（ステップＳ２７）。ゴミとＣＣＤ４１８のノイズとを区別するため、ＩＳＯ感度に毎に異なるスレッショルドレベルと比較することで、ゴミによる画像不良が生じている画素を検出することができる。

読み出した画素データの値がスレッショルドレベルより低い場合、予め画素欠陥位置メモリに記憶されている製造時からの不良画素（画素欠陥）の位置と、読み出した画素データの位置とを較べて、画素欠陥であるかどうかを確認する（ステップＳ２８）。そして、画素欠陥によるものではないと判断された場合にのみ、ゴミ位置メモリ４２７に当該画素の位置を登録する（ステップＳ２９）。

ここで、ステップＳ２２で設定したスレッショルドレベル１を用いて検出したゴミ位置データをゴミ補正データ１とする。
その後、全ての画素について読み出したかを確認する（ステップＳ３０）。

全画素の読み出しが終了していないと判断された場合、再びステップＳ２６に戻り、次の位置の画素データを読み出す。全画素の読み出しが終了したと判断されると、検出すべきＩＳＯ感度全てに対してゴミ検出処理を行ったかどうかを判断する（ステップＳ３１）終了していなければ、ステップＳ３２ｉへ分岐する。

ＩＳＯ値が高い（感度が高い）とノイズが多く、ゴミ位置の画素を周辺の画素を使って補正してしまうと逆に画質を悪くしてしまう可能性がある、このため撮影したＩＳＯ感度に応じたゴミ検出レベルを設け、ＩＳＯ感度が低くノイズが少ないときはゴミを厳密に検出し、逆にＩＳＯ感度が高い場合はノイズに埋もれてしまうようなゴミはあえて検出しないようにする。

そこで次に、別のＩＳＯ値（ＩＳＯ値２、たとえばＩＳＯ＝１６００）を設定し（ステップＳ３２ｉ）、またそれに応じたゴミ検出レベル（スレッショルドレベル２）を設定する。（ステップＳ３２ｊ）
ステップＳ２３に戻って再度画像の撮影を行いゴミ検出する。（ＩＳＯ値２で検出したゴミ補正データをゴミ補正データ２とする）

ステップＳ２３〜ステップＳ３１までを実行し、複数のＩＳＯ値に対するゴミ位置データを全て検出できたらこのルーチンを終了する。このフローチャートでは２種類のＩＳＯ値に対してゴミ検出を行ったがもっと多くのＩＳＯ値に対してゴミ検出を行えばより正確にゴミ補正データを作成することが出来、そのデータを用いてより正確にゴミを補正を行うことが出来ることはいうまでもない。

（ゴミ補正処理）
次に、本実施形態に係るデジタルカメラにおける、撮影時のゴミ補正処理について説明する。当該処理はマイクロコンピュータ４０２が図示しない不揮発性メモリに記憶されたゴミ処理動作プログラムを実行することにより実施される。

図８は、本実施形態に係るデジタルカメラにおける、撮影時のゴミ補正処理について説明するフローチャートである。なお、図８において、第１の実施形態において説明した図６と同様の処理を行うステップには同じステップ番号を付加し、重複する説明は省略する。

先ず、ゴミ補正処理を行うにあたり、撮影時に用いたＩＳＯ値から、ゴミ位置メモリ４２７に格納された複数のゴミ補正データのうち、使用すべきゴミ補正データを決定する。具体的には、撮影時のＩＳＯ値と所定値（ＩＳＯ値１とＩＳＯ値２の間の値）とを比較する（Ｓ３８ｉ）。

撮影時のＩＳＯ値が所定値より大きければ（高感度ならば）ステップＳ３９ｉへ分岐し、ＩＳＯ値２に対するゴミ位置データ（ゴミ補正データ２）で補正することを設定する。撮影時のＩＳＯ値が所定値以下ならステップＳ４０ｉへ進みゴミ補正データ１を設定する。（ステップＳ４０ｉ）。

本実施形態においても第１の実施形態と同様、ゴミ補正データを２種類としているため、ゴミ補正処理に用いるゴミ補正データを決定する処理（ステップＳ３８ｉ〜Ｓ４０ｉ）が２段階の判定であったが、３種類以上のゴミ補正データが用意されている場合には、比較する所定値を複数用い、撮影時のＩＳＯ値に近いＩＳＯ値で検出されたゴミ補正データを用いるように決定すればよい。

ステップＳ３８ｉ、ステップＳ３９ｉ、ステップＳ４０ｉにより、どのゴミ補正データでゴミ補正処理を行うかが設定されたら、各画素のデータを順次読み出し画素欠陥補正を開始する。（ステップＳ４２）

以下、第１の実施形態と同様にして画像補正処理を行う（ステップＳ４３〜Ｓ４５）。なお、ゴミ補正データはＩＳＯ値毎に作成されているため、補間される画素アドレスは撮影時のＩＳＯ値に応じて変化する。補正処理を行った画素データは、バッファメモリ４２４において上書きされる。

以上説明したように、本実施形態では、複数のＩＳＯ値を用いてゴミ検出処理を行い、個々のＩＳＯ値に対応した複数のゴミ補正データを記憶し、その中から撮影時のＩＳＯ値に応じて最適なゴミ補正データを用いて撮影画像を補正している。このことにより、高ＩＳＯ値で撮影した際にＣＣＤノイズを誤ってゴミとして検出してしまったり、また、低ＩＳＯ値で撮影した際にゴミを検出できなかったりすることを防ぐことが出来る。

（他の実施形態）
なお、第１の実施形態と第２の実施形態を組み合わせることも可能である。この場合、ＩＳＯ値と絞り値の複数の組合せに対してゴミ検出処理を行い、組合せ毎にゴミ補正データを求める。そして、ゴミ補正処理において用いるゴミ補正データは、撮影時の絞り値とＩＳＯ値の組合せに最も近い組合せで検出したデータを用いて行えばよい。
また、上述の実施形態では、デジタルカメラに本発明を適用した場合のみを説明したが、デジタルビデオカメラにおける静止画撮像時において同様の処理を行うことも可能であることは言うまでもない。

本発明の実施形態に係るレンズ交換式撮像装置の一例としての一眼レフデジタルカメラの回路構成例を示すブロック図である。実施形態に係るデジタルカメラの外観例を示す斜視図である。実施形態に係るデジタルカメラの内部構造を示す垂直断面図である。図５のステップＳ２４で行われる撮像処理ルーチンの詳細を説明するフローチャートである。第１の実施形態に係るデジタルカメラにおけるゴミ検出処理を説明するフローチャートである。第１の実施形態に係るデジタルカメラにおけるゴミ補正処理を説明するフローチャートである。第２の実施形態に係るデジタルカメラにおけるゴミ検出処理を説明するフローチャートである。第２の実施形態に係るデジタルカメラにおけるゴミ補正処理を説明するフローチャートである。

Claims

撮像素子を用いて撮像を行う撮像装置であって、
ユーザの指示により、異なる複数の絞り値で撮像した複数のゴミ検出用撮像画像の各々から、前記撮像素子またはその光学系に存在するゴミに対応する画素位置を検出し、前記異なる複数の絞り値の各々に対応する複数のゴミ補正データとして記憶するゴミ位置検出手段と、
通常の撮像によって得られた通常撮像画像を構成する画素データのうち、前記ゴミに対応する画素位置のデータに対し、前記複数のゴミ補正データの１つを用いて補正処理を行う補正手段と、
前記通常撮像画像を撮像した際に用いられた絞り値と前記ゴミ検出用撮像画像を撮像した際に用いられた絞り値とを比較することで、前記補正処理を実行するか否かを判断するとともに、前記補正処理を実行すると判断した際には、前記複数のゴミ補正データのうち、どのゴミ補正データを用いて補正処理を行うかを判断する判断手段とを有することを特徴とする撮像装置。
前記撮像装置はレンズ交換式デジタルカメラであって、
前記ゴミ位置検出手段は、第１の絞り値で撮像したゴミ検出用撮像画像から検出した前記ゴミ補正データを第１のゴミ補正データとして記憶するとともに、前記第１の絞り値より大きい第２の絞り値で撮像したゴミ検出用撮像画像から検出した前記ゴミ補正データを第２のゴミ補正データとして記憶し、
前記判断手段は、前記通常撮像画像を撮像した際に用いられた絞り値が前記第１の絞り値より小さい場合には前記補正処理を実行しないと判断し、前記通常撮像画像を撮像した際に用いられた絞り値が前記第１の絞り値以上で、前記第２の絞り値より小さい場合には前記第１のゴミ補正データを用いて前記補正処理を行うと判断し、前記通常撮像画像を撮像した際に用いられた絞り値が前記第２の絞り値より以上の場合には前記第２のゴミ補正データを用いて前記補正処理を行うと判断することを特徴とする請求項１記載の撮像装置。
さらに、前記撮像素子の製造時における欠陥画素の位置を表す情報を記憶する記憶手段を有し、
前記補正手段が、前記欠陥画素の位置に対応せず、かつ前記ゴミに対応する画素位置にある画素データに対して前記補正処理を行うことを特徴とする請求項１または２に記載の撮像装置。
前記補正処理が、前記ゴミに対応する画素位置のデータを、周囲の正常な画素データを用いて補間する処理であることを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
撮像素子を用いて撮像を行う撮像装置の制御方法であって、
ユーザの指示により、異なる複数の絞り値で撮像した複数のゴミ検出用撮像画像の各々から、前記撮像素子またはその光学系に存在するゴミに対応する画素位置を検出し、前記異なる複数の絞り値の各々に対応する複数のゴミ補正データとして記憶するゴミ位置検出ステップと、
通常の撮像によって得られた通常撮像画像を構成する画素データのうち、前記ゴミに対応する画素位置のデータに対し、前記複数のゴミ補正データの１つを用いて補正処理を行う補正ステップと、
前記通常撮像画像を撮像した際に用いられた絞り値と前記ゴミ検出用撮像画像を撮像した際に用いられた絞り値とを比較することで、前記補正処理を実行するか否かを判断するとともに、前記補正処理を実行すると判断した際には、前記複数のゴミ補正データのうち、どのゴミ補正データを用いて補正処理を行うかを判断する判断ステップとを有することを特徴とする撮像装置の制御方法。