JP5094665B2 - 撮像装置及びその制御方法及びプログラム - Google Patents

Description

本発明は、ＣＣＤやＣＭＯＳセンサ等の撮像素子を用いた撮像装置における、撮像素子の前方に配置された光学ローパスフィルター等の表面に付着した異物による画質劣化を抑制する技術に関し、特に異物情報を生成する技術に関する。

レンズ交換式のデジタルカメラでは、レンズをカメラ本体から取り外した際にカメラ本体の内部に空気中に浮遊する埃などが侵入する可能性がある。またカメラ内部には、例えばシャッタ機構等の機械的に動作する各種の機構部が配設されており、これらの機構部が動作することにより、カメラ本体内で金属片などのゴミ等が発生する場合もある。

このようなゴミや埃などの異物がデジタルカメラの撮像部を構成する撮像素子の前方に配置された光学ローパスフィルタ等の光学素子の表面に付着すると、その異物は撮影された画像に影となって写り込んでしまい、撮影画像の品位を低下させてしまう。

このような問題点を解決するため、異物が写り込んだ画素をその画素の周囲の画素の信号を利用するなどして補正する方法が考えられる。そのような画素を補正する技術として、例えば特許文献１には、撮像素子の画素欠陥を補正するための画像欠陥補正方法が提案されている。また特許文献２には、画素欠陥の位置情報の設定を簡略化するために、ゴミ取得モードで撮影した画像ファイルの拡張子などを通常画像と異ならせることが提案されている。このようにすることで、ＰＣ（パーソナルコンピュータ）側でゴミ情報を自動判別し、その情報を用いて補正対象画像を補正する。

また近年、動画情報をデジタルデータとして取り扱い、蓄積・伝送に用いるために、高圧縮率かつ高画質で符号化する技術が提案され広く普及している。

Ｍｏｔｉｏｎ ＪＰＥＧ方式は、静止画符号化（例えば、ＪＰＥＧ（JointPhotographic Coding Experts Group）符号化）を各フレームに適応させることで符号化する。ＪＰＥＧ符号化は、基本的には静止画に対する符号化方式であるが、高速処理させることにより動画にも対応させる製品も出てきている。

一方、更なる高圧縮率、高画質を目指した符号化方式としてＨ．２６４（ＭＰＥＧ４−Ｐａｒｔ１０ ＡＶＣ）がある。このＨ．２６４はＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式と比較して、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている（非特許文献１参照）。

これらの符号化方式を利用して動画像を記録可能としたコンパクトデジタルカメラも開発、製品化されており、ユーザーはこれらの装置或いはパーソナルコンピュータやＤＶＤプレーヤーなどを用いて簡単に画像を視聴することが可能となっている。
特開平６−１０５２４１号公報 特開２００４−２４２１５８号公報 ISO/IEC 14496-10,"Advanced Video

このような状況の中で、近年では、コンパクトタイプのデジタルカメラのみならず、レンズ交換式のデジタルカメラにおいても、より多画素、高精細な動画像を記録したいニーズも高まっている。しかし、すでに述べたように、レンズ交換式のデジタルカメラではさまざまな要因で撮像素子の表面にゴミが付着するため、そのまま動画記録を行うと、動画再生中、常に同じ位置にゴミが表示されてしまう可能性があった。

レンズ交換式のデジタルカメラにおける従来のゴミ除去方法では、ゴミ除去に必要な異物情報（例えばゴミの位置及び大きさの情報）と画像データとを記録しておき、後にパソコンなどに画像を取り込んで画像処理によりゴミを除去していた。従来の異物情報は静止画の画像データに適用するものであるため、静止画撮影と同様の撮影動作により取得されたものであり、動画記録を考慮して生成された異物情報ではなかった。

動画記録を行う場合、決められたフレームレートや最長動画記録時間を達成するために、静止画撮影とは異なり、撮影や記録処理に関して処理速度を優先するための制御を行うことがある。

例えば、静止画撮影では記録する画像サイズが異なる場合であっても、撮像素子から読み出される画像データは常に最大サイズで読み出される。そして、読み出された画像データが画像処理回路によって縮小処理され、記録される画像サイズとなり、記録部によって記録される。

しかしながら、撮像素子から最大サイズの画像データを読み出す処理は非常に時間が掛かる処理であり、動画記録を行う場合には最大サイズの画像データを読み出すことは困難である。そこで、撮像素子から画像データが読み出される時点で、処理時間に間に合うように縮小された画像データが読み出されるように制御されている。

また、読み出された画像データを画像処理回路によって縮小処理する場合も、処理時間を考慮して縮小処理方法が決定されている。

このように動画記録では、静止画撮影とは異なる撮像素子や画像処理回路の制御を行うため、記録データに残るゴミの個数や大きさ、形などが静止画撮影の場合とは異なる。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、静止画のみならず動画を撮影して記録する場合でも、適切な異物情報を生成できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮像素子と、前記撮像素子の前方に配置される光学素子と、前記光学素子に付着した異物を前記撮像素子で撮像して得られる異物画像から静止画用の異物情報を生成するとともに、前記異物画像に対して動画撮影時の前記撮像素子の駆動方法に合わせた縮小処理を行うことで動画用の異物情報を生成する異物情報生成手段と、を有することを特徴とする。

また、本発明に係わる撮像装置は、撮像素子と、前記撮像素子からの出力信号に基づく画像信号を処理する画像処理手段と、前記撮像素子の前方に配置される光学素子と、
前記光学素子に付着した異物を前記撮像素子で撮像して得られる異物画像から静止画用の異物情報を生成するとともに、前記異物画像に対して動画撮影時の前記画像処理手段による画像処理の方法に合わせた縮小処理を行うことで動画用の異物情報を生成する異物情報生成手段と、を有することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、撮像素子と、前記撮像素子の前方に配置される光学素子とを有する撮像装置の制御方法であって、前記光学素子に付着した異物を前記撮像素子で撮像して得られる異物画像から静止画用の異物情報を生成する静止画用の異物情報生成工程と、前記異物画像に対して動画撮影時の前記撮像素子の駆動方法に合わせた縮小処理を行うことで動画用の異物情報を生成する動画用の異物情報生成工程と、を有することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、撮像素子と、前記撮像素子からの出力信号に基づく画像信号を処理する画像処理手段と、前記撮像素子の前方に配置される光学素子とを有する撮像装置の制御方法であって、前記光学素子に付着した異物を前記撮像素子で撮像して得られる異物画像から静止画用の異物情報を生成する静止画用の異物情報生成工程と、前記異物画像に対して動画撮影時の前記画像処理手段による画像処理の方法に合わせた縮小処理を行うことで動画用の異物情報を生成する動画用の異物情報生成工程と、を有することを特徴とする。

本発明によれば、静止画のみならず動画を撮影して記録する場合でも、適切な異物情報を生成することが可能となる。

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施形態における画像処理機能を有する撮像装置の構成を示すブロック図である。本実施形態においては、撮像装置としてレンズ交換可能な一眼レフタイプのデジタルカメラを例に挙げて説明する。なお撮像装置としては、他にレンズ交換が可能なデジタルビデオカメラ等にも、本発明を適用することが可能である。

図１に示すように、本実施形態の撮像装置は、主にカメラ本体１００と、交換レンズタイプのレンズユニット３００とを備えて構成されている。

レンズユニット３００において、３１０は複数のレンズからなる撮像レンズ、３１２は絞り、３０６はレンズユニット３００をカメラ本体１００と機械的に結合するレンズマウントである。レンズマウント３０６内には、レンズユニット３００をカメラ本体１００と電気的に接続する各種機能が含まれている。３２０は、レンズマウント３０６において、レンズユニット３００をカメラ本体１００と接続するためのインターフェース、３２２はレンズユニット３００をカメラ本体１００と電気的に接続するコネクタである。

コネクタ３２２は、カメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給される機能も備えている。また、コネクタ３２２は電気通信のみならず、光通信、音声通信などを用いて通信を行う構成としてもよい。

３４０は、測光制御部４６からの測光情報に基づいて、後述するカメラ本体１００のシッター１２を制御するシャッター制御部４０と連携しながら、絞り３１２を制御する絞り制御部である。３４２は撮像レンズ３１０のフォーカシングを制御するフォーカス制御部、３４４は撮像レンズ３１０のズーミングを制御するズーム制御部である。

３５０はレンズユニット３００全体を制御するレンズシステム制御回路である。レンズシステム制御回路３５０は、動作用の定数、変数、プログラムなどを記憶するメモリを備えている。更に、レンズユニット３００固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離などの機能情報、現在や過去の各設定値などを保持する不揮発性メモリも備えている。

次に、カメラ本体１００の構成について説明する。

１０６はカメラ本体１００とレンズユニット３００を機械的に結合するレンズマウント、１３０，１３２はミラーで、撮像レンズ３１０に入射した光線を一眼レフ方式によって光学ファインダー１０４に導く。なお、ミラー１３０はクイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。１２はフォーカルプレーン式のシャッター、１４はＣＣＤ、ＣＭＯＳセンサ等からなり、被写体像を光電変換する撮像素子である。なお、撮像素子１４の前方には、光学ローパスフィルター等の光学素子１４ａが配置されており、この光学素子１４ａの表面に付着したゴミ等の異物が撮像素子１４で生成される画像に写りこみ、画質を劣化させる。本実施形態は、この画質劣化を抑制する技術に関するものである。

撮像レンズ３１０に入射した光線は、一眼レフ方式によって光量制限手段である絞り３１２、レンズマウント３０６及び１０６、ミラー１３０、シャッター１２を介して導かれ、光学像として撮像素子１４上に結像される。

１６は、撮像素子１４から出力されるアナログ信号（出力信号）をデジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、必要に応じて、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路５０がシャッター制御部４０、焦点調節部４２を制御するための、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行うことができる。さらに、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。

なお、本実施形態における図１に示す例では、焦点調節部４２及び測光制御部４６を専用に備えている。従って、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行わない構成としても構わない。また、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、さらに、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行う構成としてもよい。

２２はメモリ制御回路であり、Ａ／Ｄ 変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理回路２０、メモリ制御回路２２を介して、或いはメモリ制御回路２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ方式のＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ本体１００の電力消費を大幅に低減することができる。

３０は撮影した静止画像あるいは動画像を格納するためのメモリであり、所定枚数の静止画像あるいは所定量の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、動画撮影時には、所定レートで連続的に書き込まれる画像のフレームバッファとして使用される。さらに、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は公知の圧縮方法を用いて画像データを圧縮・伸長する圧縮・伸長回路である。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。また、動画像データを所定のフォーマットに圧縮符号化し、又は所定の圧縮符号化データから動画像信号を伸張する機能も有する。

４０はシャッター制御部であり、測光制御部４６からの測光情報に基づいて絞り３１２を制御する絞り制御部３４０と連携しながらシャッター１２を制御する。４２はＡＦ（オートフォーカス）処理を行うための焦点調節部である。レンズユニット３００内の撮像レンズ３１０に入射した光線を絞り３１２、レンズマウント３０６，１０６、ミラー１３０及び焦点調節用サブミラー（不図示）を介して一眼レフ方式で入射させることにより、光学像として結像された画像の合焦状態を測定する。

４６はＡＥ（自動露出）処理を行うための測光制御部である。レンズユニット３００内の撮像レンズ３１０に入射した光線を、絞り３１２、レンズマウント３０６，１０６、ミラー１３０及び測光用サブミラー（図示せず）を介して一眼レフ方式で入射させることにより、光学像として結像された画像の露出状態を測定する。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。測光制御部４６はフラッシュ４８と連携することにより、ＥＦ（フラッシュ調光）処理機能も有する。

また、焦点調節部４２による測定結果と、Ａ／Ｄ変換器１６からの画像データを画像処理回路２０によって演算した演算結果とを用いて、ＡＦ制御を行うようにしてもよい。さらに、測光制御部４６による測定結果と、Ａ／Ｄ変換器１６からの画像データを画像処理回路２０によって演算した演算結果とを用いて露出制御を行うようにしてもよい。

５０はカメラ本体１００全体を制御するシステム制御回路であり、周知のＣＰＵなどを内蔵する。５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声などを用いて動作状態やメッセージなどを外部に通知するための通知部である。通知部５４としては、例えばＬＣＤやＬＥＤなどによる視覚的な表示を行う表示部や音声による通知を行う発音素子などが用いられるが、通知部５４はこれらのうちの１つ以上の組み合わせにより構成される。特に、表示部の場合には、カメラ本体１００の操作部７０近辺の、視認しやすい、単数あるいは複数箇所に設置される。また、通知部５４は、その一部の機能が光学ファインダ１０４内に設置されている。

通知部５４の表示内容の内、ＬＣＤなどの画像表示部２８に表示するものとしては以下のものがある。まず、単写／連写撮影表示、セルフタイマ表示等、撮影モードに関する表示がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示等の記録に関する表示がある。また、シャッター速度表示、絞り値表示、露出補正表示、調光補正表示、外部フラッシュ発光量表示、赤目緩和表示等の撮影条件に関する表示がある。その他に、マクロ撮影表示、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及びＰＣ２１０の着脱状態表示がある。更に、レンズユニット３００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す表示等も行われる。

また、通知部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、例えば、以下のものがある。合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッター速度表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等である。

５６は後述するプログラムなどが格納された電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０，６２，６４，６６，６８，７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先（デプス）撮影モード等の各機能撮影モードを切り替え設定することができる。他に、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モードなどの各機能撮影モードを切り替え設定することもできる。

６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中（例えば半押し）でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了（例えば全押し）でＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に書き込み、更に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が行われる。更に、記録処理では、メモリ３０から画像データを読み出し、圧縮・伸張回路３２で圧縮を行い、記録媒体２００あるいはＰＣ２１０に書き込む、または送信する。

６６は再生スイッチであり、撮影モード状態で撮影した画像をメモリ３０あるいは記録媒体２００、ＰＣ２１０から読み出して画像表示部２８に表示する再生動作の開始を指示する。再生スイッチ６６は、他に、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを設定することができる。

６８は単写／連写スイッチで、シャッタースイッチＳＷ２（６４）を押した場合に、１コマの撮影を行って待機状態とする単写モードと、シャッタースイッチＳＷ２（６４）を押している間、連続して撮影を行い続ける連写モードとを設定することができる。

７０は各種ボタンやタッチパネルなどから成る操作部である。一例として、ライブビュー開始／停止ボタン、動画記録開始／停止ボタン、メニューボタン、セットボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り換えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。更に、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、調光補正ボタン、外部フラッシュ発光量設定ボタン、日付／時間設定ボタンなども含む。なお、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。

また、画像表示部２８のＯＮ／ＯＦＦを設定する画像表示ＯＮ／ＯＦＦスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューＯＮ／ＯＦＦスイッチがある。また、ＪＰＥＧ圧縮の圧縮率を選択するため、あるいは撮像素子の信号をそのままデジタル化して記録媒体に記録するＲＡＷモードを選択するためのスイッチである圧縮モードスイッチがある。また、ワンショットＡＦモードとサーボＡＦモードとを設定可能なＡＦモード設定スイッチなどがある。ワンショットＡＦモードでは、シャッタースイッチＳＷ１（６２）を押した際にオートフォーカス動作を開始し、一旦合焦した場合、その合焦状態を保ち続ける。サーボＡＦモードでは、シャッタースイッチＳＷ１（６２）を押している間、連続してオートフォーカス動作を続ける。更に、後述するようにゴミ検出用画像（異物画像）を撮影してゴミ情報を取得する、ゴミ情報取得モードを設定することができる設定スイッチを含む。

７２は電源スイッチであり、カメラ本体１００の電源オン、電源オフの各モードを切り替え設定することができる。また、カメラ本体１００に接続されたレンズユニット３００、外部フラッシュ１１２、記録媒体２００、ＰＣ２１０等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。

８０は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２，８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ‐ｉｏｎ電池、Ｌｉポリマー電池等の二次電池、ＡＣアダプター等からなる電源部である。

９０及び９４はメモリカードやハードディスク等の記録媒体やＰＣとのインターフェース、９２及び９６はメモリカードやハードディスク等の記録媒体やＰＣと接続を行うコネクタである。９８はコネクタ９２及び／或いは９６に記録媒体２００或いはＰＣ２１０が装着されているか否かを検知する記録媒体着脱検知回路である。

なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。

インターフェース及びコネクタとしては、種々の記憶媒体の規格に準拠したものを用いて構成することが可能である。例えば、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）カードやＣＦ（コンパクトフラッシュ（登録商標））カード、ＳＤカード等である。インターフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４カードがある。他にも、Ｐ１２８４カード、ＳＣＳＩ（Small Computer System Interface）カード、ＰＨＳ等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

１０４は光学ファインダであり、撮像レンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６，１０６、ミラー１３０，１３２を介して導き、光学像として結像させて表示することができる。これにより、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダーのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、通知部５４の一部の機能、例えば、合焦状態、手振れ警告、フラッシュ充電、シャッター速度、絞り値、露出補正などが表示される。

１１２は、アクセサリシュー１１０を介して装着される、外部フラッシュ装置である。

１２０はレンズマウント１０６内でカメラ本体１００をレンズユニット３００と接続するためのインターフェースである。

１２２はカメラ本体１００をレンズユニット３００と電気的に接続するコネクタである。また、レンズマウント１０６及びコネクタ１２２にレンズユニット３００が装着されているか否かは、不図示のレンズ着脱検知部により検知される。コネクタ１２２はカメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給する機能も備えている。

コネクタ１２２を介して通信される、レンズユニット３００の各種光学情報（絞り、ズーム位置、瞳距離、焦点距離など）は、カメラ本体１００の不揮発性メモリ５６に記憶される。通信の要求はカメラ側から行う場合もあれば、レンズ側から情報更新のたびに通信される場合もある。

また、コネクタ１２２は電気通信だけでなく、光通信、音声通信により通信を行う構成としてもよい。

２００はメモリカードやハードディスク等の記録媒体である。この記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、カメラ本体１００とのインターフェース２０４、カメラ本体１００と接続を行うコネクタ２０６を備えている。

記録媒体２００としては、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＲＷ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論構わない。

２１０はＰＣであり、磁気ディスク（ＨＤ）等から構成される記録部２１２、カメラ本体１００とのインターフェース２１４、カメラ本体１００と接続をうコネクタ２１６を備えている。インターフェース９４はＵＳＢやＩＥＥＥ１３９４などが挙げられるが、特に限定はない。

次に、上記構成を有する撮像装置において、撮像素子の前方に配置されたローパスフィルタやカバーガラス等の光学素子１４ａ上のゴミの位置及び大きさの情報である静止画撮影用のゴミ情報を取得する方法について説明する。

本実施形態では、ゴミ（異物）の付着している位置及び大きさ等の情報であるゴミ情報を得る（異物情報生成）ためのゴミ検出用画像（異物画像）を撮影し、ゴミデータを抽出し、ゴミデータを生成する。ここでゴミ検出用画像は、できるだけ均一な輝度面を撮影した画像が望ましいが、身近な場所で容易に撮影できることが望ましいため、厳密な均一性を要求するものではない。例えば、青空や白い壁面を撮影することを想定している。

図２は、本実施形態におけるゴミ情報を取得する際のデジタルカメラにおける処理を示すフローチャートである。

まずステップＳ２０１において、操作部７０によりゴミ情報取得モードが選択されたか否かを判定する。ゴミ情報取得モードが選択されるまでステップＳ２０１の判定を繰り返し、ゴミ情報取得モードが選択されるとステップＳ２０２へ進み、シャッタースイッチＳＷ１（６２）がＯＮされたかどうかを判断する。ＯＦＦであればステップＳ２０１に戻って上記処理を繰り返す。

一方、ＯＮであれば、ステップＳ２０３において、絞り、ＩＳＯ値、シャッタースピード、その他撮影関連のパラメータを設定する。ここで設定されるパラメータを図３に示す。絞りはＦ２２など、絞りを絞り込んだ設定とする。レンズマウント１０６に接続されるレンズユニット３００において設定可能な範囲内で最も絞り込んだ状態で撮影するものとしてもよい。このように絞りを絞るのは、ゴミは通常撮像素子１４の表面ではなく、撮像素子１４を保護する保護用ガラスや、撮像素子より被写体側に配置される光学フィルター等の光学素子１４ａ上に付着しているため、レンズユニット３００の絞り値によって結像状態が異なるためである。そのため、絞りが開放値に近いとゴミの像がぼやけてしまい、適切なゴミ検出用の画像が取得できないので、できるだけ絞り込んだ状態で撮影するのが好ましい。

図２のフローチャートの説明に戻ると、この時までに撮影者はできるだけ白い壁などの均一輝度面に撮像装置を向け、シャッタースイッチＳＷ２（６４）を操作することとなる。

ステップＳ２０４ではシャッタースイッチＳＷ２（６４）がＯＮされたかどうかを判断する。ＯＦＦであればステップＳ２０２に戻りシャッタースイッチＳＷ１（６２）の判定を行う。ＯＮであればステップＳ２０５へ進む。ステップＳ２０５ではゴミ検出用画像の撮影（均一輝度面の撮影）を行って、メモリ３０内に画像データを取り込む。

次にステップＳ２０６では、メモリ３０内に記憶した画像データを、画像処理に合わせて縮小する処理を行う。撮影された画像は本実施形態のデジタルカメラで撮影できる画像の最大解像度であるラージ画像である。実際に記録される画像がラージサイズではなく、ミドルサイズやスモールサイズである場合、撮像素子はラージサイズの画像を記録する場合と同じように動作し、画像処理回路によって画像データをミドルサイズやスモールサイズに縮小処理して、記録される画像サイズに変換する。よって、メモリ３０内に記憶されたゴミ検出用の画像データは、記録される画像サイズに合わせて縮小処理される。静止画撮影された画像は、ピントの確認や画質など撮影者によって厳しく評価をされる。また、画像処理に掛けられる時間も長く割り当てることができる。よって、画像処理方法は画質重視の縮小方法が用いられる。

拡大・縮小といった画像処理方法としては、ニアレストネイバー法、バイリニア法、バイキュービック法などが有名であるが、図４にまとめたような特徴がある。静止画撮影時には画像処理に時間が掛けられることから、画質が最も良いバイキュービック法が用いられることが多い。この方法で縮小処理を行うことにより、縮小処理後のゴミ検出用画像のデータは静止画撮影用として精度の高いゴミ情報取得画像となる。

次にステップＳ２０７ではメモリ３０内に記憶した画像データからゴミ情報を取得する。

ここで、ゴミ情報の取得について説明する。具体的には、撮影したゴミ検出用画像からゴミ領域の位置（座標）と大きさを求めるものである。まず、撮影したゴミ検出用画像の領域を複数のブロックに分割し、ブロック内の最大輝度Ｌmax、平均輝度Ｌaveを算出し、次式を用いてブロック内のスレッショルド値Ｔ１を算出する。

Ｔ１＝Ｌave×０.６＋Ｌmax×０.４
次に、ゴミが付着している画素はその輝度が周囲の画素の輝度よりも低下するため、スレッショルド値Ｔ１を超えない画素をゴミ画素とし、ゴミ画素によって構成される孤立領域を各々一つのゴミ領域ｄｉ（ｉ＝０，１，…，ｎ）とする。

図５は、ゴミ領域サイズ算出の概要を示す図である。図５に示すように、ゴミ領域毎に、ゴミ領域を構成する画素の水平方向の座標の最大値Ｘmax および最小値Ｘmin、垂直方向の座標の最大値Ｙmaxおよび最小値Ｙminを求め、ゴミ領域ｄｉのサイズを表す半径ｒｉを次式によって算出する。

ｒｉ＝［√｛（Ｘmax−Ｘmin）²＋（Ｙmax−Ｙmin）²｝］／２
また、このときの中心座標（Ｘｄｉ，Ｙｄｉ）は、近似的に、
Ｘｄｉ＝（Ｘmax＋Ｘmin）／２
Ｙｄｉ＝（Ｙmax＋Ｙmin）／２
で求めるものとする。このように求められた位置（座標）と半径を、ゴミ情報プロファイルとして記録する。

不揮発性メモリ５６のサイズによる制限などにより、ゴミ補正データ（ゴミ情報プロファイル）のデータサイズが制限されている場合がある。このような場合に対応するために、ゴミ位置情報を、大きさやゴミ領域の平均輝度値によってソートする。本実施形態では、ｒｉの大きい順にソートする。ｒｉが等しい場合、平均輝度値の低い順にソートする。このようにすることで、目立つゴミを優先してゴミ補正データに登録することが出来る。なお、ソート済みのゴミ領域をＤｉ、ゴミ領域Ｄｉの半径をＲｉとする。

なお、予め定められたサイズより大きいゴミ領域がある場合、ソートの対象から外し、ソート済みゴミ領域リストの末尾に配置してもよい。大きいゴミ領域については、後に補間処理をするとかえって画質を低下させる場合があり、補正対象の優先順位としては最下位として扱うことが望ましいからである。

このゴミ情報プロファイルは、図６に示すような構造をとる。図６に示す通り、ゴミ情報プロファイルには、ゴミ検出用画像撮影時の、レンズ情報とゴミの位置、大きさの情報が格納される。更に具体的には、ゴミ検出用画像撮影時のレンズ情報として、ゴミ検出用画像撮影時における実際の絞り値（Ｆ値）と、そのときのレンズ瞳位置を格納する。続いて記憶領域に検出したゴミ領域の数（整数値）を格納し、これに続き、個々の具体的なゴミ領域のパラメータを、ゴミ領域の数だけ繰返して格納する。ゴミ領域のパラメータは、ゴミの半径（例えば２バイト）、有効画像領域における中心のｘ座標（例えば２バイト）、おなじく中心のｙ座標（例えば２バイト）の３つの数値のセットである。

取得したゴミ情報はステップＳ２０８で不揮発性メモリ５６に記憶され、ゴミ情報取得のための処理を終了する。

なお、ゴミ情報取得モードにおける撮影動作は、ゴミ情報を取得することを目的とするため、本実施形態では撮影した画像そのものに対して、圧縮及び記録媒体２００への記録処理は行わない。これは撮影者にとって不要な画像データで記録媒体２００内の容量を無駄に消費することがないようにするためであるが、通常画像と同様に、圧縮後、記録媒体２００へ保存しても良く、また、その際に拡張子を変更するなど何らかの手を加えても構わない。

次に、上記構成を有する撮像装置において、撮像素子の前方に配置されたローパスフィルタやカバーガラス等の光学素子１４ａ上の位置及び大きさの情報である動画撮影用のゴミ情報を取得する方法について説明する。

本実施形態では、静止画用ゴミ情報の生成と同様にゴミ（異物）の付着している位置及び大きさ等の情報であるゴミ情報（異物情報）を得るためのゴミ検出用画像を撮影し、ゴミデータを抽出し、ゴミデータを生成する。

図７は、本実施形態における動画用のゴミ情報を取得する際のデジタルカメラにおける処理を示すフローチャートである。なお、図７では、動画用にゴミ検出用画像を再度撮影するように示しているが、実際は、ステップＳ２０１〜ステップＳ２０５の動作は、静止画の場合と同様であり、動画用にあらためてゴミ検出用画像を撮影するのではなく、図２のステップＳ２０５で得られてメモリ３０内に既に記憶されている静止画用のゴミ検出用画像をそのまま動画用のゴミ検出用画像として用いる。

そして、ステップＳ３０６ではメモリ３０内に記憶されているゴミ検出用の画像データに対して、撮像素子の駆動方法に合わせた縮小処理を行い、メモリ３０内に記憶する。通常のモードで動画撮影を行う場合には、決められたフレームレートを維持するために、撮像素子から読み出される画像データを少なくし、読み出し時間を短縮するように撮像素子を駆動する。そのため、ゴミ情報を生成する場合も通常の動画撮影時の撮像素子の駆動方法に合わせた縮小処理が必要となる。

撮像素子から読み出される画像データ（データ量）を少なくする駆動方法を図８を用いて説明する。

図８は撮像素子の一部を拡大した図であり、説明をわかりやすくするために画素に対して列方向を表すＸ１からＸ６までの番号をつけている。また、行方向にも同じようにＹ１からＹ５までの番号をつけている。まず、撮像素子から画像データを読み出すときには、行毎に画像データが読み出されるので、１行分の画像データを読み出す時に画像データを減らす読み出し方法を行う。図８では３画素に対して１画素分の画像データだけを読み出す間引き読み出しを表している。よって読み出される画素はＸ１、Ｘ４、…となる。また、同じように列方向にも画像データを減らす読み出し方法を行う。図８では３行に対して１行だけを読み出す間引き読み出しを表している。よって、読み出される行はＹ１、Ｙ４、…となる。よって、実際に読み出される画素は図８では図中のハッチングを施した（Ｘ１, Ｙ１）、（Ｘ４, Ｙ１）、（Ｘ１, Ｙ４）、（Ｘ４, Ｙ４）となる。これにより本来の撮像素子の画素数に対して１／９の画素を読み出すことになるため、読み出し時間が短縮される。

ステップＳ３０６に話を戻すと、上記のように動画撮影用の撮像素子の駆動方法を行うことによって、読み出されない画素上に存在するゴミ部分は画像データとしては存在せず、ゴミの形状が実際のゴミの形状とは異なった画像データとして読み出されることになる。また、小さなゴミはゴミ部分が画像データに残らなくなったり、ゴミとして映り込む影の濃さが変わってしまったりする。例えば図９のようにゴミが付着した撮像素子において、間引き読み出しを行った場合にはハッチングの部分の画像データだけが読み出されるために図１０のようになり、ゴミの形状が変化することが分かる。そのために、撮像素子の駆動方法に合わせて、読み出されない画素にかかるゴミ部分の情報をメモリ３０内に記憶されているゴミ検出用画像の画像データから削除することで、動画撮影用として精度の高いゴミ情報取得画像となる。

次にステップＳ２０６ではメモリ３０内に記憶した画像データに対して、画像処理方法に合わせた縮小処理を行い、メモリ３０内に記憶する。実際に記録される画像は撮像素子の駆動方法によって縮小された画像サイズのままではなく、画像処理回路によってＶＧＡサイズやＨｉＶｉｓｉｏｎサイズに縮小処理されて、記録される画像サイズに変換される。よって、メモリ３０内に記憶した画像データも、通常の動画として記録される画像と同じ画像処理方法を用いて縮小処理を行う。動画撮影では、縮小処理に時間がかかると動画記録時間が短くなってしまう問題が発生する。また、静止画のようにピントの確認なども厳しく評価されないため、縮小処理時間が比較的高速な縮小処理が選択される。動画撮影時の画像処理方法には、ニアレストネイバー法やバイリニア法が用いられることが多い。画像処理方法に合わせた縮小処理を行うことにより、縮小処理後の画像データは動画撮影用として精度の高いゴミ情報取得画像となる。

次に、ステップＳ２０７では、縮小処理されてメモリ３０内に記憶されたゴミ検出用の画像データからゴミ情報を取得する。

このステップＳ２０７におけるゴミ情報を取得する動作、及びステップＳ２０８の動作は、図２のステップＳ２０７及びステップＳ２０８の動作と同様であるので、説明を省略する。

なお、本実施形態では、動画像に対する縮小処理として、画素数を行と列それぞれ１／３となるように間引く処理をしているが、間引きの程度は撮像素子や実現するフレームレートによって異なる。また、行と列で異なる間引きとなる場合も存在する。また、単純に間引かずに同一色の画素データを複数用いて平均値を求め、１画素のデータとすることで読み出す画像データを縮小する方法を用いてもよい。

また、記録する画像サイズを選択できる場合、画像処理装置による縮小方法や縮小率が変更になるため、それに応じてゴミ情報を分けて取得しても良い。

また、撮影した画像を表示装置に表示するときに表示装置が異なる場合、画像表示メモリに展開される画像サイズが表示装置により変化する。このとき画像処理装置による縮小方法や縮小率が変更になるため、それに応じてゴミ情報を分けて取得しても良い。

次に、ゴミ検出用の画像の撮影ではない通常の撮影を行った場合に、撮影した通常撮影画像データから画像処理によりゴミを除去する動作について説明する。

本実施形態は、撮影した動画像データからゴミを除去するものであるが、動画像の各フレームを１つの静止画と考えれば、静止画からゴミを除去する処理と同様に行うことができる。そのため、以下では、静止画の場合のゴミ除去処理について説明する。

ゴミ検出用画像の撮影ではない通常の撮影（静止画）を行った場合、通常撮影時のカメラ設定値等と共に図６に示したゴミ情報（ゴミ情報プロファイル）を画像データに関連付けて記録媒体２００に記録する。

具体的には、例えば、撮影時のカメラ設定値等が記録される画像ファイルのヘッダ領域であるＥｘｉｆ領域にゴミ補正データを追記することで、関連付けを実現することができる。なお、本実施形態の撮像装置で動画を撮影する場合は、動画像データを例えばＭＰ４ファイルフォーマットで記録する。この場合、一旦不揮発性メモリ５６に記憶されたゴミ情報プロファイルを、動画データの moov ボックス内のヘッダ情報からなる mvhd ボックス、もしくは moof ボックス内の mvhd ボックスに格納しておく。これにより、撮像装置で撮像された動画像データに対してゴミ情報を付加することができる。

続いて、図１１を参照してゴミ除去処理の動作について説明する。

ステップＳ６０１では、選択された画像データにゴミ情報が埋め込まれているかどうか判定する。埋め込まれている場合はステップＳ６０２へ進み、ゴミ情報を取り込む。ステップＳ６０３では取り込んだゴミ情報から画像データにおけるゴミの影響を除去するべく、ゴミの周辺画素による画素補間処理等による補正処理を行う。

抽出したゴミ補正データから座標列Ｄｉ（ｉ＝１，２，…ｎ）、半径列Ｒｉ（ｉ＝１，２，…，ｎ）、絞り値ｆ１とレンズ瞳位置Ｌ１を得る。ここでＲｉは、先にゴミ補正データソート時に求めた座標Ｄｉのゴミの大きさである。また、ｆ１は、ゴミ検出用画像の撮影時のレンズの絞り値、Ｌ１は、同じくゴミ検出用画像の撮影時のレンズの瞳位置である。通常撮影された画像の撮影時の絞り値ｆ２とレンズ瞳位置Ｌ２を取得し、Ｄｉを次式で変換する。ここで、ｄは画像中心から座標Ｄｉまでの距離、Ｈは撮像素子１４の表面とゴミとの距離であるとする。変換後の座標Ｄｉ’と変換後の半径Ｒｉ’は例えば次式で定義する。

Ｄｉ’（ｘ，ｙ）＝（Ｌ２×（Ｌ１−Ｈ）×ｄ／（（Ｌ２−Ｈ）×Ｌ１））×Ｄｉ（ｘ，ｙ）
Ｒｉ’＝（Ｒｉ×ｆ１／ｆ２＋３） （１）
ここでの単位はピクセルであり、Ｒｉ’についての「＋３」はマージン量である。

座標Ｄｉ’、半径Ｒｉ’で示される領域内のゴミを検出し、必要に応じて補間処理を適用する。全ての座標についてゴミ除去処理を適用し、全ての座標について処理が終わっていれば、ステップＳ６０４に進む。

ステップＳ６０４では、撮影した画像からゴミの影響を除去した補正処理後の画像を新たに記録する。

以上でゴミ除去処理を終了する。

以上説明したように、本実施形態によれば、異物情報を静止画撮影用と動画撮影用それぞれに生成することによって、撮影方法に適した異物情報を生成することができ、最適なゴミ除去を実現することが可能となる。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の一実施形態における撮像装置の構成を示すブロック図である。 本発明の一実施形態におけるゴミ情報を取得する際のデジタルカメラにおける処理を示すフローチャートである。 本発明の一実施形態におけるゴミ情報取得時の設定パラメータ一覧を示す図である。 本発明の一実施形態における画像の拡大・縮小の処理方法とその性質を示す図である。 ゴミ領域サイズ算出の概要を示す図である。 ゴミ情報プロファイルの構造を示す図である。 本発明の一実施形態におけるゴミ情報を取得する際のデジタルカメラにおける処理を示すフローチャートである。 撮像素子の駆動方法の概要を示す図である。 撮像素子上のゴミを示す図である。 画像データ上のゴミを示す図である。 本発明の一実施形態における画像データ上のゴミ補正を示すフローチャートである。

Claims (5)

1. 撮像素子と、
   前記撮像素子の前方に配置される光学素子と、
   前記光学素子に付着した異物を前記撮像素子で撮像して得られる異物画像から静止画用の異物情報を生成するとともに、前記異物画像に対して動画撮影時の前記撮像素子の駆動方法に合わせた縮小処理を行うことで動画用の異物情報を生成する異物情報生成手段と、
   を有することを特徴とする撮像装置。
2. 撮像素子と、
   前記撮像素子からの出力信号に基づく画像信号を処理する画像処理手段と、
   前記撮像素子の前方に配置される光学素子と、
   前記光学素子に付着した異物を前記撮像素子で撮像して得られる異物画像から静止画用の異物情報を生成するとともに、前記異物画像に対して動画撮影時の前記画像処理手段による画像処理の方法に合わせた縮小処理を行うことで動画用の異物情報を生成する異物情報生成手段と、
   を有することを特徴とする撮像装置。
3. 撮像素子と、前記撮像素子の前方に配置される光学素子とを有する撮像装置の制御方法であって、
   前記光学素子に付着した異物を前記撮像素子で撮像して得られる異物画像から静止画用の異物情報を生成する静止画用の異物情報生成工程と、
   前記異物画像に対して動画撮影時の前記撮像素子の駆動方法に合わせた縮小処理を行うことで動画用の異物情報を生成する動画用の異物情報生成工程と、
   を有することを特徴とする撮像装置の制御方法。
4. 撮像素子と、前記撮像素子からの出力信号に基づく画像信号を処理する画像処理手段と、前記撮像素子の前方に配置される光学素子とを有する撮像装置の制御方法であって、
   前記光学素子に付着した異物を前記撮像素子で撮像して得られる異物画像から静止画用の異物情報を生成する静止画用の異物情報生成工程と、
   前記異物画像に対して動画撮影時の前記画像処理手段による画像処理の方法に合わせた縮小処理を行うことで動画用の異物情報を生成する動画用の異物情報生成工程と、
   を有することを特徴とする撮像装置の制御方法。
5. 請求項３または４に記載の制御方法をコンピュータに実行させるためのプログラム。

Images