JP5453573B2 - 撮像装置、撮像方法およびプログラム - Google Patents

Description

本発明は、撮像装置、撮像方法およびプログラムに係り、特に、フォーカスブラケット撮影を行う機能を有する撮像装置と、当該撮像装置において実行される撮像方法およびプログラムに関する。

近年、ＣＣＤ（Charge Coupled Device）エリアセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージ・センサ等の固体撮像素子の高解像度化に伴い、デジタル電子スチルカメラ、デジタルビデオカメラ、携帯電話機、ＰＤＡ（Personal Digital Assistant，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮影機能を有する情報機器を撮像装置と称する。

ところで、従来より、焦点位置を変更しながら連続して撮影を行うフォーカスブラケット撮影により撮影された複数の画像を合成処理することにより、ぼけのコントロールを行った画像や、画面全体に焦点の合った全焦点画像を得ることが行われてきた。しかしながら、この合成処理は、連続して撮影を行う間に手ブレや被写体ブレがあると処理に使用する画像間の相関度が下がり、意図した画像が得られない。

これを解決するための技術として、特許文献１（特開２００８−２７１２４０号公報）には、予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影手段と、前記フォーカスブラケット撮影手段により撮影された複数の画像間の被写体の対応点を検出する対応点検出手段と、前記複数の画像の中から所定の基準により選択された１枚の基準画像に対して、前記対応点の位置が一致するように前記基準画像以外の前記複数の画像を変形する画像変形手段と、前記変形された画像を含む複数の画像を合成する画像合成手段と、前記画像合成手段により得られた画像を記録媒体に記録する記録手段と、を備えた撮像装置が開示されている。

しかしながら、上記特許文献１（特開２００８−２７１２４０号公報）に開示されている技術におけるフォーカスブラケット撮影手段によって得られる複数の画像は互いに焦点位置が異なるものであるため、各画像毎にぼけの度合が異なる結果、対応点の検出に失敗しやすい。特に、これは、マクロ撮影を行う場合等に顕著に生じる。

本発明の態様によれば、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することのできる撮像装置、撮像方法およびプログラムを提供する。

本発明の第１の態様によれば、離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得る撮影手段と、前記撮影手段によって得られた複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施す画像処理手段と、前記画像処理手段による前記画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出する検出手段と、前記検出手段によって検出された対応点の位置が一致するように前記画像処理手段による画像処理の実行前の前記非基準画像を変形する変形手段と、前記基準画像と前記変形手段によって変形された前記非基準画像とに基づいてぼけ調整画像を生成する生成手段と、前記生成手段によって生成されたぼけ調整画像を記録媒体に記録する記録手段と、を備えた撮像装置が提供される。

本発明の第１の態様による撮像装置によれば、撮影手段により、離散的に焦点位置を移動して順次画像を撮影（フォーカスブラケット撮影）することにより少なくとも主要被写体に合焦した画像を含む複数の画像が得られる。

ここで、本発明の第１の態様によれば、画像処理手段により、前記撮影手段によって得られた複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理が施され、検出手段により、前記画像処理手段による前記画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点が検出される。

そして、本発明の第１の態様によれば、変形手段により、前記検出手段によって検出された対応点の位置が一致するように前記画像処理手段による画像処理の実行前の前記非基準画像が変形され、生成手段により、前記基準画像と前記変形手段によって変形された前記非基準画像とに基づいてぼけ調整画像が生成されて、記録手段により、前記生成手段によって生成されたぼけ調整画像が記録媒体に記録される。

このように、本発明の第１の態様による撮像装置によれば、離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得て、当該複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施し、当該画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出している。これにより、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。

なお、本発明の第２の態様によれば、第１の態様において、前記画像処理手段が、前記画像処理として平滑化処理および鮮鋭化処理の少なくとも一方を施してもよい。これにより、平滑化処理および鮮鋭化処理という比較的簡易な処理によって、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。

特に、本発明の第３の態様によれば、第２の態様において、前記画像処理手段が、予め定められた第１のフィルタ特性によるフィルタ処理により前記平滑化処理および前記鮮鋭化処理の少なくとも一方を施してもよい。これにより、フィルタ処理という比較的簡易な処理によって、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。

また、本発明の第４の態様によれば、第３の態様において、前記第１のフィルタ特性が、前記基準画像と、前記非基準画像を撮影した際の焦点位置と、に基づいて予め定められてもよい。これにより、新たな手段を要することなく、簡易にフォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。

また、本発明の第５の態様によれば、第１から第４の何れかの態様による撮像装置において、前記撮影手段による撮影によって得られた画像における主要被写体領域と主要被写体領域を除く被写体領域である非主要被写体領域とを特定する特定手段をさらに備え、前記画像処理手段が、前記特定手段によって特定された前記主要被写体領域と前記非主要被写体領域との面積の広い方に対して前記画像処理を施してもよい。これにより、より多くの対応点を検出することができるようになる結果、より高品質なぼけ調整画像を得ることができる。

また、本発明の第６の態様によれば、第１から第４の何れかの態様による撮像装置において、前記撮影手段による撮影によって得られた画像における主要被写体領域と主要被写体領域を除く被写体領域である非主要被写体領域とを特定する特定手段をさらに備え、前記画像処理手段が、前記画像処理として平滑化処理を行う場合は、前記基準画像の前記主要被写体領域および前記非基準画像の前記非主要被写体領域の双方に対して当該平滑化処理を施し、前記画像処理として鮮鋭化処理を行う場合は、前記基準画像の前記非主要被写体領域および前記非基準画像の前記主要被写体領域の双方に対して当該鮮鋭化処理を施してもよい。これにより、さらに多くの対応点を検出することができるようになる結果、より高品質なぼけ調整画像を得ることができる。

また、本発明の第７の態様によれば、第１から第６の何れかの態様による撮像装置において、前記変形手段によって変形された前記非基準画像を含む複数の画像から、画素の座標に応じたぼかし量を算出する算出手段をさらに備え、前記生成手段が、前記算出手段による算出結果に基づき第２のフィルタ特性を決定し、前記基準画像に対して決定したフィルタ特性によるフィルタ処理を行うことにより前記ぼけ調整画像を生成してもよい。これにより、画素単位でフィルタ処理を行うことができる結果、より高品質なぼけ調整画像を得ることができる。

特に、本発明の第８の態様によれば、第７の態様において、前記第２のフィルタ特性が、前記基準画像と、前記非基準画像を撮影した際の焦点位置とに基づいて予め定められていてもよい。これにより、新たな手段を要することなく、簡易に、より高品質なぼけ調整画像を得ることができる。

また、本発明の第９の態様によれば、第１から第６の何れかの態様による撮像装置において、前記生成手段が、前記基準画像と前記変形手段によって変形された前記非基準画像とを合成することにより前記ぼけ調整画像を生成してもよい。これにより、基準画像に対してフィルタ処理を行うことによりぼけ調整画像を生成する場合に比較して、より簡易にぼけ調整画像を生成することができる。

さらに、本発明の第１０の態様によれば、第１から第９の何れかの態様による撮像装置において、前記生成手段が、主要被写体領域に対して非主要被写体領域のぼけの度合が大きくなるように前記ぼけ調整画像を生成してもよい。

一方、本発明の第１１の態様によれば、離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得る撮影工程と、前記撮影工程によって得られた複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施す画像処理工程と、前記画像処理工程による前記画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出する検出工程と、前記検出工程によって検出された対応点の位置が一致するように前記画像処理工程による画像処理の実行前の前記非基準画像を変形する変形工程と、前記基準画像と前記変形工程によって変形された前記非基準画像とに基づいてぼけ調整画像を生成する生成工程と、前記生成工程によって生成されたぼけ調整画像を記録媒体に記録する記録工程と、を有する撮像方法が提供される。

従って、本発明の第１１の態様によれば、本発明の第１の態様と同様に作用するので、本発明の第１の態様と同様に、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。

一方、本発明の第１２の態様によれば、コンピュータを、離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得る撮影手段と、前記撮影手段によって得られた複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施す画像処理手段と、前記画像処理手段による前記画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出する検出手段と、前記検出手段によって検出された対応点の位置が一致するように前記画像処理手段による画像処理の実行前の前記非基準画像を変形する変形手段と、前記基準画像と前記変形手段によって変形された前記非基準画像とに基づいてぼけ調整画像を生成する生成手段と、前記生成手段によって生成されたぼけ調整画像を記録媒体に記録する記録手段と、として機能させるためのプログラムが提供される。

従って、本発明の第１２の態様によれば、コンピュータを本発明の第１の態様と同様に作用させることができるので、本発明の第１の態様と同様に、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。

本発明の態様によれば、離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得て、当該複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施し、当該画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出している。これにより、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。

実施の形態に係るデジタルカメラの電気系の要部構成を示すブロック図である。 第１の実施の形態に係る第１撮影処理プログラムの処理の流れを示すフローチャートである。 実施の形態に係るデジタルカメラにおけるフォーカスブラケット撮影の説明に供する図であり、焦点位置とＡＦ評価値との関係を示すグラフである。 実施の形態に係るデジタルカメラにおけるぼかし量の決定手順の説明に供する概略図である。 実施の形態に係るデジタルカメラにおけるぼかし量の決定手順の説明に供する概略図である。 実施の形態に係るデジタルカメラにおける特徴点と対応点の検出手順の説明に供する概略図である。 実施の形態に係るデジタルカメラにおける特徴点と対応点の検出手順の説明に供する概略図である。 実施の形態に係るラプラシアンフィルタのフィルタ行列を示す図である。 実施の形態に係るぼかし量の絶対値とガウシアンフィルタのσパラメータの関係を示すグラフである。 実施の形態に係るぼかし量の絶対値とガウシアンフィルタのσパラメータの関係を示すグラフである。 第１の実施の形態に係る第１撮影処理プログラムの処理内容の説明に供する概略図である。 第２の実施の形態に係る第２撮影処理プログラムの処理の流れを示すフローチャートである。 第２の実施の形態に係るデジタルカメラにおける主要被写体領域と非主要被写体領域の特定手順の説明に供する概略図である。 第２の実施の形態に係るデジタルカメラにおける主要被写体領域と非主要被写体領域の特定手順の説明に供する概略図である。 第３の実施の形態に係る第３撮影処理プログラムの処理の流れを示すフローチャートである。 第３の実施の形態に係るデジタルカメラにおける簡易構図解析の説明に供する概略図である。 第４の実施の形態に係る第４撮影処理プログラムの処理の流れを示すフローチャートである。 第４の実施の形態に係る第４撮影処理プログラムの処理内容の説明に供する概略図である。 第５の実施の形態に係る第５撮影処理プログラムの処理の流れを示すフローチャートである。 第６の実施の形態に係る第６撮影処理プログラムの処理の流れを示すフローチャートである。 第７の実施の形態に係る第７撮影処理プログラムの処理の流れを示すフローチャートである。 第８の実施の形態に係る第８撮影処理プログラムの処理の流れを示すフローチャートである。

以下、図面を参照して、本発明を実施するための形態について詳細に説明する。なお、ここでは、本発明を、静止画像の撮影を行うデジタル電子スチルカメラ（以下、「デジタルカメラ」という。）に適用した場合について説明する。

［第１の実施の形態］
まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の電気系の要部構成を説明する。

図１に示されるように、本実施の形態に係るデジタルカメラ１０は、被写体像を結像させるためのレンズを含んで構成された光学ユニット２２と、当該レンズの光軸後方に配設された固体撮像素子２４と、入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部２６と、を含んで構成されている。尚、撮像系２０は、撮影手段に対応する。

また、デジタルカメラ１０は、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８と、入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部３０と、を含んで構成されている。

なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ４８の所定領域に直接記憶させる制御も行う。

固体撮像素子２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、固体撮像素子２４から出力された被写体像を示すアナログ信号はアナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタル画像データに変換された後にデジタル信号処理部３０に入力される。

一方、デジタルカメラ１０は、撮影された被写体像やメニュー画面等を表示する液晶ディスプレイ（以下、「ＬＣＤ」という。）３８と、当該被写体像やメニュー画面等をＬＣＤ３８に表示させるための信号を生成してＬＣＤ３８に供給するＬＣＤインタフェース３６と、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）４０と、撮影により得られたデジタル画像データ等を一時的に記憶するメモリ４８と、メモリ４８に対するアクセスの制御を行うメモリインタフェース４６と、を含んで構成されている。尚、ＣＰＵ４０は、画像処理手段、検出手段、変形手段、生成手段、記録手段、特定手段及び算出手段に対応する。

さらに、デジタルカメラ１０は、可搬型のメモリカード５２をデジタルカメラ１０でアクセス可能とするための外部メモリインタフェース５０と、デジタル画像データに対する圧縮処理および伸張処理を行う圧縮・伸張処理回路５４と、を含んで構成されている。

なお、本実施の形態のデジタルカメラ１０では、メモリ４８としてフラッシュ・メモリ（Flash Memory）が用いられ、メモリカード５２としてｘＤピクチャ・カード（登録商標）が用いられているが、これに限るものでないことは言うまでもない。

デジタル信号処理部３０、ＬＣＤインタフェース３６、ＣＰＵ４０、メモリインタフェース４６、外部メモリインタフェース５０、および圧縮・伸張処理回路５４はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０および圧縮・伸張処理回路５４の作動の制御、ＬＣＤ３８に対するＬＣＤインタフェース３６を介した各種情報の表示、メモリ４８およびメモリカード５２へのメモリインタフェース４６ないし外部メモリインタフェース５０を介したアクセスを各々行うことができる。

一方、デジタルカメラ１０には、主として固体撮像素子２４を駆動させるためのタイミング信号（パルス信号）を生成して固体撮像素子２４に供給するタイミングジェネレータ３２が備えられており、固体撮像素子２４の駆動はＣＰＵ４０によりタイミングジェネレータ３２を介して制御される。

さらに、デジタルカメラ１０にはモータ駆動部３４が備えられており、光学ユニット２２に備えられた図示しない焦点調整モータ、ズームモータおよび絞り駆動モータの駆動もＣＰＵ４０によりモータ駆動部３４を介して制御される。

すなわち、本実施の形態に係る上記レンズは複数枚のレンズを有し、焦点距離の変更（変倍）が可能なズームレンズ系として構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータおよび絞り駆動モータは含まれるものであり、これらのモータは各々ＣＰＵ４０の制御によりモータ駆動部３４から供給された駆動信号によって駆動される。

さらに、デジタルカメラ１０には、撮影を実行する際に押圧操作されるレリーズスイッチ（所謂シャッタースイッチ）、デジタルカメラ１０の電源のオン／オフを切り替える際に操作される電源スイッチ、撮影を行うモードである撮影モードおよび被写体像をＬＣＤ３８に再生するモードである再生モードの何れかのモードに設定する際に操作されるモード切替スイッチ、ＬＣＤ３８にメニュー画面を表示させるときに押圧操作されるメニュースイッチ、それまでの操作内容を確定するときに押圧操作される決定スイッチ、直前の操作内容をキャンセルするときに押圧操作されるキャンセルスイッチ等の各種スイッチ類を含んで構成された操作部５６が備えられており、これらの操作部５６はＣＰＵ４０に接続されている。従って、ＣＰＵ４０は、これらの操作部５６に対する操作状態を常時把握することができる。

なお、本実施の形態に係るデジタルカメラ１０のレリーズスイッチは、中間位置まで押下される状態（以下、「半押し状態」という。）と、当該中間位置を超えた最終押下位置まで押下される状態（以下、「全押し状態」という。）と、の２段階の押圧操作が検出可能に構成されている。

そして、デジタルカメラ１０では、レリーズスイッチを半押し状態にすることによりＡＥ（Automatic Exposure、自動露出）機能が働いて露出状態（シャッタースピード、絞りの状態）が設定された後、ＡＦ機能が働いて合焦制御され、その後、引き続き全押し状態にすると露光（撮影）が行われる。

また、デジタルカメラ１０には、撮影時に必要に応じて被写体に照射する光を発するストロボ４４と、ストロボ４４とＣＰＵ４０との間に介在されると共に、ＣＰＵ４０の制御によりストロボ４４を発光させるための電力を充電する充電部４２と、が備えられている。さらに、ストロボ４４はＣＰＵ４０にも接続されており、ストロボ４４の発光はＣＰＵ４０によって制御される。

ところで、本実施の形態に係るデジタルカメラ１０には、離散的に焦点位置を移動して順次画像を撮影することにより、少なくとも主要被写体に合焦した画像を含む複数の画像を得て、当該複数の画像に基づいて主要被写体の領域（以下、「主要被写体領域」という。）を除く領域（以下、「非主要被写体領域」という。）のぼけの度合が調整されたぼけ調整画像を生成して記録するフォーカスブラケット撮影機能が搭載されている。

ここで、本実施の形態に係るデジタルカメラ１０では、ユーザによって操作部５６を介してフォーカスブラケット撮影機能を働かせることが設定された場合のみ、以上のようなフォーカスブラケット撮影が行われ、上記ぼけ調整画像が生成されてメモリカード５２に記録される。

次に、図２を参照して、本実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図２は、操作部５６のレリーズスイッチが半押し状態を経て全押し状態に移行した際に、デジタルカメラ１０のＣＰＵ４０によって実行される第１撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムはメモリ４８の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。

図２のステップ１００では、ＡＦ機能を働かせることにより、主要被写体に対して自動合焦位置判断を行い、次のステップ１０２では、焦点位置間隔ｄを決定する。

本実施の形態では、フォーカスブラケット撮影の際に設定される焦点位置に、主要被写体の合焦位置と、その前後の焦点位置を含むようにする。ここでは、一例として図３に示すように、主要被写体の合焦位置Ｆ３、主要被写体の合焦位置から前後に焦点位置間隔ｄだけ離れた焦点位置Ｆ２およびＦ４、さらに主要被写体の合焦位置Ｆ３から遠ざかる方向に、焦点位置Ｆ２およびＦ４から焦点位置間隔ｄだけ離れた焦点位置のＦ１およびＦ５の計５点をフォーカスブラケット撮影の際の焦点位置とする。なお、焦点位置の端から順に、Ｆ１で撮影された画像の番号を１、Ｆ２で撮影された画像の番号を２、・・・、Ｆ５で撮影された画像の番号を５とする。

本実施の形態に係るデジタルカメラ１０では、絞りのＦ値が小さい場合や焦点距離が長い場合等、被写界深度が浅い場合はｄを小さく、逆に絞りのＦ値が大きい場合や焦点距離が短い場合等、被写界深度が深い場合はｄを大きくするように設定されている。ＣＰＵ４０は、メモリ４８に記憶されたこの設定に基づいて焦点位置間隔ｄを決定する。これにより、任意の絞りと焦点距離において、ぼけ強調に適した焦点の異なる画像を得ることができる。なお、焦点位置間隔ｄは一定でなくてもよく、例えば、主要被写体の合焦位置から見てＮＥＡＲ側とＦＡＲ側で変えるようにしてもよい。

次のステップ１０４では、上記ステップ１００およびステップ１０２の処理によって得られた主要被写体に対する合焦位置および焦点位置間隔ｄにより決定される複数の焦点位置（本実施の形態では、図３に示されるＦ１〜Ｆ５の５箇所の焦点位置）の何れか１つとなるように焦点位置を制御し、次のステップ１０６にて、撮影を行うように制御する。

次のステップ１０８では、撮影回数が予め定められた回数（本実施の形態では、５回）に達したか否かを判定し、否定判定となった場合は上記ステップ１０４に戻る一方、肯定判定となった時点でステップ１１０に移行する。なお、上記ステップ１０４〜ステップ１０８の繰り返し処理を実行する際にステップ１０４では、上記複数の焦点位置のうち、それまでに設定しなかった焦点位置を設定するように制御する。以上のステップ１０４〜ステップ１０８の繰り返し処理により、フォーカスブラケット撮影が行われ、これにより得られた撮影画像がメモリ４８の所定領域に格納される。

ステップ１１０では、以上の処理によって得られた撮影画像のうち、主要被写体に合焦されている画像を基準画像とし、当該基準画像を除く画像を非基準画像として、非基準画像に対して平滑化フィルタにより平滑化処理を施すことによって、非基準画像のぼけの度合を基準画像のぼけの度合に近づける。

ここで、本実施の形態に係るデジタルカメラ１０では、非基準画像に対する平滑化処理によるぼかし量を次のように決定する。

図４Ａ及び図４Ｂに示すように、焦点距離をｆ［ｍｍ］、Ｆ値をＦとするレンズを用いて、ある基準被写体が合焦するように像面が配置されているとする。ここで、基準被写体距離（基準被写体からレンズ中心Ｈまでの距離）をｄ_ｂ［ｍｍ］とし、基準被写体の焦点（像面）とレンズ中心Ｈとの距離をｂ_ｂ［ｍｍ］とする。また、任意の位置にある被写体の被写体距離をｄ［ｍｍ］とし、この被写体の焦点とレンズ中心Ｈとの距離をｂ［ｍｍ］とする。このとき、任意被写体の被写体距離ｄ［ｍｍ］とぼけ半径ｒ［ｍｍ］との関係について考える。なお、図４Ａは任意被写体が基準被写体よりも手前にあるとき（ＮＥＡＲ側：ｄ≦ｄ_ｂ）の関係を表し、図４Ｂは任意被写体が基準被写体よりも遠くにあるとき（ＦＡＲ側：ｄ＞ｄ_ｂ）の関係を表している。

このとき、結像公式より以下の（１）式および（２）式が成り立つ。

また、像面側で形成する相似三角形の関係より、以下の（３）式および（４）式が成り立つ。

ここで、開口径の半径をｆ／２Ｆとしているが、これは「Ｆ値＝焦点距離／開口径」という定義に基づくものである。

また、（３）式および（４）式をまとめて、以下の（５）式で表せる。

（１）式および（２）式をｂ、ｂ_ｂに対して解き、これらを（５）式に代入すると任意の被写体距離ｄとぼけ半径ｒについて以下の関係式が得られる。

ただし、合焦被写体距離は焦点距離よりも長い、すなわち、ｄ_ｂ＞ｆ（１／ｆ＞１／ｄ_ｂ）が成り立つものとする。このぼけ半径ｒ［ｍｍ］が平滑化度合の目安となる。

固体撮像素子２４の画素ピッチをｐ［μｍ］とすれば、画素単位でのぼけ半径ｒ_ｐは、以下の（７）式で表される。

最後に、上記ぼけ半径に基づいてフィルタ特性を決定する。本実施の形態に係るデジタルカメラ１０では、平滑化フィルタとしてガウシアンフィルタを適用し、当該ガウシアンフィルタのσパラメータを次の（８）式により算出する。

ここで、Ｄは平滑化の度合いを調整するための定数である。このように求められたσパラメータからフィルタ係数ｆ（ｘ）を算出するには、次の（９）式を用いて演算を行い、算出されたフィルタ係数の総和が１になるように正規化を行う。

デジタルフィルタの場合は注目画素を中心とした離散位置ごとにｆ（ｘ）が決定される。例えば、５タップフィルタの場合は、ｆ（ｘ）＝｛０．１、０．２、０．４、０．２、０．１｝等となる。なお、一般には画像の明るさが変動しないよう、各係数の総和が１．０になるように正規化される。また、ここでは１次元のフィルタ係数で表現しているが、このフィルタを水平方向と垂直方向に順に施すことにより２次元のフィルタ処理を行うことができる。

なお、本ステップ１１０では、平滑化処理が施された非基準画像をフォーカスブラケット撮影によって得られた非基準画像とは別に生成するようにしている。

次のステップ１１２では、基準画像と上記ステップ１１０の処理によって平滑化処理が施された非基準画像との間における対応点の検出を行う。以下、当該対応点の検出手順について説明する。対応点検出は、複数画像間で対応する点の位置関係を求めるものである。図５Ａ、図５Ｂは、フォーカスブラケット撮影から得られた画像の一例を示す図である。本実施の形態に係るデジタルカメラ１０では、一例として図５Ａに示す基準画像から特徴点を抽出し、その特徴点が一例として図５Ｂに示す追跡画像のどの位置に移動したかを追跡することにより、対応点の検出を行う。

まず、ＣＰＵ４０は、基準画像から特徴点の抽出を行う。ここで、特徴点の抽出の手法は種々のものが提案されているが、ここでは、ある点を中心とする所定領域内の輝度の標準偏差が所定値以上の場合に、その点を特徴点として抽出する。図５Ａにおける丸印が、図５Ａの画像における特徴点を示す。特徴点は多いほうが以後の処理を精度よく行うことができるが、特徴点が多くなると処理負荷が増大するため、特徴点の数はハード性能等から適宜決めればよい。

次に、ＣＰＵ４０は、非基準画像の何れか１つを追跡画像として選択し、当該追跡画像において、基準画像から抽出された特徴点の１つを選択して、この特徴点がどの位置へ移動したかを追跡する。ここで、当該追跡の手法についても種々のものが提案されているが、ここではその点を中心とする所定領域内の相互相関係数が最小となるような座標を見つける手法（ブロックマッチング法）を用いて追跡を行う。

以上の基準画像における特徴点の追跡を全ての非基準画像について実行することにより、対応点の検出処理が終了する。

次のステップ１５０では、上記ステップ１１０による平滑化処理が施される前の非基準画像（フォーカスブラケット撮影によって得られた非基準画像）に対して、上記ステップ１１２の処理によって得られた対応する非基準画像の対応点が基準画像の対応点の位置に極力一致するように画像の変形を行う。

なお、本実施の形態に係るデジタルカメラ１０では、当該画像の変形を、非基準画像に対する平行移動、回転移動、縮小・拡大処理により行う。これらの画像変形は、複数組の対応点の距離の総和が最小となるように移動ベクトルを決めればよい。なお、これらの平行移動、回転移動、および拡大・縮小処理は、アフィン変換により行う。

また、基準画像と非基準画像との間に複雑な動きが生じている場合は、全ての対応点をより精度よく一致させるためにはワーピングを行う。ワーピングは、全ての対応点の組を完全に一致するような移動ベクトルを選択すると共に、その周囲の点も補間により求めるものである。

次のステップ１５２では、ぼかし量の算出を行う。以下、当該ぼかし量の算出手順について説明する。

まず、ＣＰＵ４０は、基準画像および上記ステップ１５０の処理により画像の変形が行われた後の非基準画像の各々について、各画素の鮮鋭度を算出する。

鮮鋭度の算出については、ラプラシアンフィルタ処理による出力値の絶対値を算出することにより行う。図６は、ラプラシアンフィルタのフィルタ行列を示す図である。ラプラシアンフィルタ処理を行うことによりエッジ検出をすることができ、この出力値の絶対値が鮮鋭度を示す。画像のぼけと鮮鋭度に関しては、画像のぼけが小さい画素ほど鮮鋭度が高く、ぼけが大きくなるほど鮮鋭度が低くなるという関係がある。なお、ラプラシアンフィルタのカーネルはこの例に限定されるものではなく、またラプラシアンフィルタ以外の鮮鋭度算出フィルタを用いてもよい。

次に、ＣＰＵ４０は、画素毎に、算出した鮮鋭度が最大値である画像番号をｎとし、基準画像の画像番号をｃとして、次の（１０）式によりぼかし量ｋを算出する。

ここで、ｕはユーザが指定したぼけ強調度合いであり、ｕが１．０よりも大きければ基準設定よりもぼけが強調され、ｕが１．０未満の場合は基準設定よりもぼけが緩和される画像となる。なお、ぼけ強調度合いｕは、ユーザが操作部５６を操作することにより設定が可能となっている。また、本実施の形態では、ｃ＝３である。

次のステップ１５４では、基準画像に対してぼかし処理を行う。本実施の形態に係るデジタルカメラ１０では、ぼかし処理にもガウシアンフィルタを用いる。

まず、ＣＰＵ４０は、上記ステップ１５２の処理によって得られたぼかし量ｋから何れかの画素に対応するぼかし量を選択し、ぼかし量の絶対値｜ｋ｜と所定の閾値Ｔｈとの比較を行う。所定の閾値Ｔｈの方が大きい場合は、この画素を合焦領域とみなして合焦位置Ｆ３で撮影した画素値を出力する。ぼかし量の絶対値｜ｋ｜の方が大きい場合は、この画素をぼけ強調すべき領域とみなしてフィルタ係数を決定する。

前述したように、本実施の形態に係るデジタルカメラ１０では、このフィルタ処理にガウシアンフィルタを用いる。図７Ａ及び図７Ｂは、ぼかし量の絶対値｜ｋ｜と、ガウシアンフィルタのσパラメータの関係を示したグラフである。図７Ａ及び図７Ｂに示すように、ぼかし量の絶対値｜ｋ｜が所定の閾値Ｔｈ以上のとき、ぼかし量の絶対値｜ｋ｜と比例関係にあるガウシアンフィルタのσパラメータが求められ、このσパラメータに応じたガウシアンフィルタ係数ｆ（ｘ）を決定する。ＣＰＵ４０は、メモリ４８の所定領域に記憶されたこの関係に基づいてσパラメータを決定する。

図７Ｂは、注目画素からの距離ｘとガウシアンフィルタのフィルタ係数ｆ（ｘ）の関係を示したグラフである。図７Ｂに示すように、ガウシアンフィルタはσパラメータが大きいほど周辺画素の重みを大きくして加重平均をとる。従って、ぼかし量の絶対値｜ｋ｜の大きさに応じてσパラメータを大きくすることにより、ぼかし量の絶対値｜ｋ｜が大きいほど平滑化の度合いを大きくすることができる。

このように求められたσパラメータを前述した（９）式に代入することによりフィルタ係数ｆ（ｘ）を算出し、当該フィルタ係数の総和が１になるように正規化を行う。なお、ここでも１次元のフィルタ係数で表現しているが、このフィルタを水平方向と垂直方向に順に施すことにより２次元のフィルタ処理を行うことができる。

以上のような、ぼかし量に応じたフィルタ処理を全ての画素について行うことにより、主要被写体の領域を除く領域のぼけの度合が調整された、ぼけ調整画像が生成される。このように、主要被写体の合焦位置で撮影された基準画像に対してフィルタ処理を行うことにより、より自然なぼけ強調が可能となる。なお、このフィルタ処理に用いるフィルタはガウシアンフィルタに限られるものではなく、ローパスフィルタなら他のフィルタでも構わない。例えば、絞りやレンズの特性に応じたぼけ形状を持ったフィルタを用いてもよい。

次のステップ１５６では、上記ステップ１５４の処理によって得られたぼけ調整画像を、圧縮／伸張処理回路５４にて圧縮した後に、外部メモリインタフェース５０を介してメモリカード５２に記録し、その後に本第１撮影処理プログラムを終了する。

以上の第１撮影処理プログラムの実行により、一例として図８に示すように、まず、フォーカスブラケット撮影を行うことにより、主要被写体の領域に合焦された基準画像と、主要被写体の領域を除く背景の領域に合焦された非基準画像が得られる。次に、非基準画像に対して平滑化処理を施すことにより、当該非基準画像における主要被写体を除く背景領域のぼけの度合いを基準画像に近づける。

次に、基準画像の特徴点を検出した後、当該特徴点に対応する対応点を平滑化処理が施された後の非基準画像から検出し、検出した対応点が特徴点に重なるように、平滑化処理が施される前の非基準画像を変形する。

次に、基準画像および変形された非基準画像の各々の各画素の鮮鋭度に基づいて各画素毎のぼかし量を算出し、最後に、算出したぼかし量にて基準画像の背景領域をぼかすことによりぼけ調整画像を生成して、メモリカード５２に記録する。

以上詳細に説明したように、本実施の形態によれば、離散的に焦点位置を移動して順次画像を撮影（フォーカスブラケット撮影）することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得て、当該複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方（本実施の形態では、非基準画像）に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理（本実施の形態では、平滑化処理）を施し、当該画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出している。これにより、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。

また、本実施の形態によれば、前記画像処理として平滑化処理を施しているので、比較的簡易な処理によって、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。

特に、本実施の形態によれば、予め定められた第１のフィルタ特性によるフィルタ処理により前記平滑化処理を施しているので、フィルタ処理という比較的簡易な処理によって、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。

また、本実施の形態によれば、前記第１のフィルタ特性が、前記基準画像と、前記非基準画像を撮影した際の焦点位置と、に基づいて予め定められているので、新たな手段を要することなく、簡易にフォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。

また、本実施の形態によれば、変形された前記非基準画像を含む複数の画像から、画素の座標に応じたぼかし量を算出し、当該算出結果に基づき第２のフィルタ特性を決定し、前記基準画像に対して決定したフィルタ特性によるフィルタ処理を行うことにより、ぼけ調整画像を生成しているので、画素単位でフィルタ処理を行うことができる結果、より高品質なぼけ調整画像を得ることができる。

さらに、本実施の形態によれば、前記第２のフィルタ特性が、前記基準画像と、前記非基準画像を撮影した際の焦点位置とに基づいて予め定められているので、新たな手段を要することなく、簡易に、より高品質なぼけ調整画像を得ることができる。

［第２の実施の形態］
次に、本発明の第２の実施の形態について詳細に説明する。なお、本第２の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。

以下、図９を参照して、本第２の実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図９は、レリーズスイッチが半押し状態を経て全押し状態に移行した際に、本第２の実施の形態に係るデジタルカメラ１０のＣＰＵ４０によって実行される第２撮影処理プログラムの処理の流れを示すフローチャートであり、図９の図２と同一の処理を実行するステップについては図２と同一のステップ番号を付して、その説明を省略する。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。

図９のステップ１２０では、撮影画像における主要被写体領域と主要被写体領域を除く被写体領域である非主要被写体領域との面積を特定する構図解析を行う。以下、当該構図解析の手順について説明する。

本実施の形態に係るデジタルカメラ１０では、操作部５６におけるレリーズスイッチが半押し状態とされた際に実行されるＡＦ機能により得られる情報を利用して上記構図解析を実行する。

すなわち、本実施の形態に係るデジタルカメラ１０では、レリーズスイッチが半押し状態とされた際にＡＦ機能が働いて、一例として図１０Ａに示されるように、撮影画角内の予め定められた分割領域（本実施の形態では、横方向に８領域で縦方向に６領域の合計４８の分割領域）の各々毎に焦点位置が得られる。

ここで、特定の被写体がデジタルカメラ１０から同一の距離に位置するとすれば、当該被写体を含む分割領域の焦点位置は略同一になることが期待される。そこで、本実施の形態に係る構図解析では、予め定められた範囲内の焦点位置となる分割領域の数を被写体の面積として考える。図１０Ｂに示す例では、主要被写体である人物に属する分割領域の数が８で、背景に属する分割領域の数が４０となっており、これらの分割領域の数により主要被写体領域と非主要被写体領域の面積を特定する。

次のステップ１２２では、上記ステップ１２０の処理によって得られた主要被写体領域の面積が、非主要被写体領域の最大の面積より小さいか否かを判定し、肯定判定となった場合はステップ１２４に移行する。

ステップ１２４では、上記第１の実施の形態に係る第１撮影処理プログラムのステップ１１０およびステップ１１２の処理と同様に、非基準画像に対して平滑化フィルタにより平滑化処理を施すことによって、非基準画像のぼけの度合を基準画像のぼけの度合に近づける。その後、次のステップ１２６にて、基準画像と上記ステップ１２４の処理によって平滑化処理が施された非基準画像との間における対応点の検出を行い、その後にステップ１５０に移行する。

一方、上記ステップ１２２において否定判定となった場合はステップ１２８に移行し、基準画像に対して平滑化フィルタにより平滑化処理を施すことによって、基準画像のぼけの度合を非基準画像のぼけの度合に近づける。その後、次のステップ１３０にて、上記ステップ１２８の処理によって平滑化処理が施された基準画像と非基準画像との間における対応点の検出を行い、その後にステップ１５０に移行する。

以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、フォーカスブラケット撮影によって得られた画像における主要被写体領域と主要被写体領域を除く被写体領域である非主要被写体領域とを特定し、特定した前記主要被写体領域と前記非主要被写体領域との面積の広い方に対して前記画像処理を施している。これにより、より多くの対応点を検出することができるようになる結果、より高品質なぼけ調整画像を得ることができる。

［第３の実施の形態］
次に、本発明の第３の実施の形態について詳細に説明する。なお、本第３の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。

以下、図１１を参照して、本第３の実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図１１は、レリーズスイッチが半押し状態を経て全押し状態に移行した際に、本第３の実施の形態に係るデジタルカメラ１０のＣＰＵ４０によって実行される第３撮影処理プログラムの処理の流れを示すフローチャートであり、図１１の図２と同一の処理を実行するステップについては図２と同一のステップ番号を付して、その説明を省略する。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。

図１１のステップ１４０では、撮影画像における主要被写体領域と主要被写体領域を除く非主要被写体領域とを特定する簡易構図解析を行う。

本実施の形態に係るデジタルカメラ１０でも、上記第２の実施の形態に係るデジタルカメラ１０の構図解析と同様に、操作部５６におけるレリーズスイッチが半押し状態とされた際に実行されるＡＦ機能により得られる情報を利用して上記簡易構図解析を実行する。

具体的には、本実施の形態に係る簡易構図解析では、画角内の中央部に位置する分割領域の焦点位置を含み、かつ予め定められた範囲内の焦点位置となる分割領域を主要被写体領域とし、他の領域を非主要被写体領域とする。

ところで、本実施の形態に係る簡易構図解析では、レリーズスイッチが半押し状態とされた際に得られた焦点位置を用いているため、一例として図１２に示すように、当該簡易構図解析により得られる主要被写体領域および非主要被写体領域と、実際にフォーカスブラケット撮影を行っている際の各領域とでは、各領域の位置に若干のずれが生じる。

そこで、次のステップ１４２では、上記ステップ１４０の処理によって特定された主要被写体領域および非主要被写体領域を上記ずれに応じて補正する処理を実行する。以下、図１２を参照して、当該補正処理の手順について説明する。

まず、簡易構図解析で用いた焦点位置を得るためのＡＦ機能が働いている際に得られた画像（以下、「ＡＦ画像」という。）とフォーカスブラケット撮影によって得られた基準画像との間で前述した手順と同様の手順で対応点検出を行う。次に、検出した対応する対応点間の距離およびＡＦ画像から基準画像に対する移動方向を特定する。そして、特定した各対応点間の距離および移動方向に基づいて、上記ステップ１４０の処理によって得られた主要被写体領域と非主要被写体領域との境界線を、最も近接するＡＦ画像における対応点に対する上記距離だけ、対応する上記移動方向に移動する。

次のステップ１４４では、基準画像の上記ステップ１４２の処理によって補正された主要被写体領域に対して平滑化フィルタにより平滑化処理を施すことにより、基準画像の主要被写体領域のぼけの度合を非基準画像の主要被写体領域のぼけの度合に近づける。次のステップ１４４にて、非基準画像の上記ステップ１４２の処理によって補正された非主要被写体領域に対して平滑化フィルタにより平滑化処理を施すことにより、非基準画像の非主要被写体領域のぼけの度合を基準画像の非主要被写体領域のぼけの度合に近づける。

次のステップ１４８では、以上の処理によって平滑化処理が施された基準画像と非基準画像との間における対応点の検出を、上記第１の実施の形態に係る第１撮影処理プログラムのステップ１１２の処理と同様に行う。

以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、撮影によって得られた画像における主要被写体領域と主要被写体領域を除く被写体領域である非主要被写体領域とを特定し、前記基準画像の前記主要被写体領域および前記非基準画像の前記非主要被写体領域の双方に対して、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施している。これにより、さらに多くの対応点を検出することができるようになる結果、より高品質なぼけ調整画像を得ることができる。

［第４の実施の形態］
次に、本発明の第４の実施の形態について詳細に説明する。なお、本第４の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。

以下、図１３を参照して、本第４の実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図１３は、レリーズスイッチが半押し状態を経て全押し状態に移行した際に、本第４の実施の形態に係るデジタルカメラ１０のＣＰＵ４０によって実行される第４撮影処理プログラムの処理の流れを示すフローチャートであり、図１３の図２と同一の処理を実行するステップについては図２と同一のステップ番号を付して、その説明を省略する。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。

図１３のステップ１１０’では、フォーカスブラケット撮影によって得られた撮影画像のうちの基準画像に対して復元フィルタにより復元処理を施すことによって、基準画像のぼけの度合（鮮鋭度）を非基準画像のボケの度合（鮮鋭度）に近づける。

ここで、本実施の形態に係るデジタルカメラ１０では、上記復元フィルタとして上記第１の実施の形態に係る平滑化フィルタの逆フィルタを適用する。なお、当該平滑化フィルタのフィルタ係数は上記第１の実施の形態と同様に導出することができる。

以上の第４撮影処理プログラムの実行により、一例として図１４に示すように、まず、フォーカスブラケット撮影を行うことにより、主要被写体の領域に合焦された基準画像と、主要被写体の領域を除く背景の領域に合焦された非基準画像とが得られる。次に、基準画像に対して復元処理を施すことにより、当該基準画像における背景領域のぼけの度合いを非基準画像に近づける。

次に、基準画像の特徴点を検出した後、当該特徴点に対応する対応点を非基準画像から検出し、検出した対応点が特徴点に重なるように、非基準画像を変形する。次に、基準画像および非基準画像の各々の各画素の鮮鋭度に基づいて各画素毎のぼかし量を算出する。最後に、算出したぼかし量にて基準画像の背景領域をぼかすことによりぼけ調整画像を生成して、メモリカード５２に記録する。

本実施の形態でも、上記第１の実施の形態と同様の効果を奏することができる。

［第５の実施の形態］
次に、本発明の第５の実施の形態について詳細に説明する。なお、本第５の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。

以下、図１５を参照して、本第５の実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図１５は、レリーズスイッチが半押し状態を経て全押し状態に移行した際に、本第５の実施の形態に係るデジタルカメラ１０のＣＰＵ４０によって実行される第５撮影処理プログラムの処理の流れを示すフローチャートであり、図１５の図９と同一の処理を実行するステップについては図９と同一のステップ番号を付して、その説明を省略する。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。

同図のステップ１２４’では、上記第４の実施の形態に係る第４撮影処理プログラムのステップ１１０’の処理と同様の復元フィルタにより、基準画像に対して復元処理を施すことによって、基準画像のぼけの度合（鮮鋭度）を非基準画像のぼけの度合（鮮鋭度）に近づける。また、ステップ１２８’では、非基準画像に対して同様の復元フィルタにより復元処理を施すことによって、非基準画像のぼけの度合を基準画像のぼけの度合に近づける。

本実施の形態でも、上記第２の実施の形態と同様の効果を奏することができる。

［第６の実施の形態］
次に、本発明の第６の実施の形態について詳細に説明する。なお、本第６の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。

以下、図１６を参照して、本第６の実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図１６は、レリーズスイッチが半押し状態を経て全押し状態に移行した際に、本第６の実施の形態に係るデジタルカメラ１０のＣＰＵ４０によって実行される第６撮影処理プログラムの処理の流れを示すフローチャートであり、図１６の図１１と同一の処理を実行するステップについては図１１と同一のステップ番号を付して、その説明を省略する。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。

図１６のステップ１４４’では、上記第４の実施の形態に係る第４撮影処理プログラムのステップ１１０’の処理と同様の復元フィルタにより、基準画像の上記ステップ１４２の処理によって補正された非主要被写体領域に対して復元処理を施すことにより、基準画像の非主要被写体領域のぼけの度合（鮮鋭度）を非基準画像の非主要被写体領域のぼけの度合（鮮鋭度）に近づける。次のステップ１４６’にて、非基準画像の上記ステップ１４２の処理によって補正された主要被写体領域に対して復元処理を施すことにより、非基準画像の主要被写体領域のぼけの度合（鮮鋭度）を基準画像の主要被写体領域のぼけの度合（鮮鋭度）に近づける。

本実施の形態でも、上記第３の実施の形態と略同様の効果を奏することができる。

［第７の実施の形態］
次に、本発明の第７の実施の形態について詳細に説明する。なお、本第７の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。

以下、図１７を参照して、本第７の実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図１７は、レリーズスイッチが半押し状態を経て全押し状態に移行した際に、本第７の実施の形態に係るデジタルカメラ１０のＣＰＵ４０によって実行される第７撮影処理プログラムの処理の流れを示すフローチャートであり、図１７の図２と同一の処理を実行するステップについては図２と同一のステップ番号を付して、その説明を省略する。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。

図１７に示すように、本実施の形態に係る第７撮影処理プログラムは、上記第１の実施の形態に係る第１撮影処理プログラムに対して、ステップ１５２およびステップ１５４の処理に代えてステップ１５３の処理が適用されている点のみが異なっている。

すなわち、図１７のステップ１５３では、基準画像に上記ステップ１５０の処理によって変形した非基準画像を合成することにより、ぼけ調整画像を生成する。以下、当該合成の手順について説明する。

まず、ＣＰＵ４０は、基準画像および画像の変形が行われた非基準画像の各々について、各画素の鮮鋭度を、前述したラプラシアンフィルタ処理による出力値の絶対値を算出することにより導出する。

次に、ＣＰＵ４０は、画素毎に、算出した鮮鋭度が最大である画像が何れの画像であるかを判定し、鮮鋭度が最大である画像が基準画像であれば当該基準画像の画素値を、ぼけ調整画像の画素値として採用する。これに対して、算出した鮮鋭度が最大である画像が、主要被写体の合焦位置より遠い側（ＦＡＲ側）の画像（本実施の形態では、画像番号が４または５の画像）であれば、当該画像の基準画像を中心として点対称の焦点位置とされた、主要被写体の合焦位置より近い側（ＮＥＡＲ側）の画像（本実施の形態では、鮮鋭度が最大である画像が４の場合は画像番号が２の画像で、鮮鋭度が最大である画像が５の場合は画像番号が１の画像）の画素値を、ぼけ調整画像の画素値として採用する。さらに、算出した鮮鋭度が最大である画像がＮＥＡＲ側の画像（本実施の形態では、画像番号が１または２の画像）であれば、当該画像の基準画像を中心として点対称の焦点位置とされたＦＡＲ側の画像（本実施の形態では、鮮鋭度が最大である画像が１の場合は画像番号が５の画像で、鮮鋭度が最大である画像が２の場合は画像番号が４の画像）の画素値を、ぼけ調整画像の画素値として採用する。

以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、基準画像と変形した非基準画像とを合成することにより、ぼけ調整画像を生成しているので、基準画像に対してフィルタ処理を行うことによりぼけ調整画像を生成する場合に比較して、より簡易にぼけ調整画像を生成することができる。

［第８の実施の形態］
次に、本発明の第８の実施の形態について詳細に説明する。なお、本第８の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。

以下、図１８を参照して、本第８の実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図１８は、レリーズスイッチが半押し状態を経て全押し状態に移行した際に、本第８の実施の形態に係るデジタルカメラ１０のＣＰＵ４０によって実行される第８撮影処理プログラムの処理の流れを示すフローチャートであり、図１８の図１７と同一の処理を実行するステップについては図１７と同一のステップ番号を付して、その説明を省略する。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。

図１８に示すように、本実施の形態に係る第８撮影処理プログラムは、上記第７の実施の形態に係る第７撮影処理プログラムに対して、ステップ１５３の処理に代えてステップ１５３’の処理が適用されている点のみが異なっている。

すなわち、図１８のステップ１５３’では、基準画像に上記ステップ１５０の処理によって変形した非基準画像を合成することにより、ぼけ調整画像を生成する。以下、当該合成の手順について説明する。

まず、ＣＰＵ４０は、基準画像および画像の変形が行われた非基準画像の各々について、各画素の鮮鋭度を、前述したラプラシアンフィルタ処理による出力値の絶対値を算出することにより導出する。

次に、ＣＰＵ４０は、画素毎に、鮮鋭度が最大となる画像の画素値を、ぼけ調整画像の画素値として採用する。本実施の形態に係る第８撮影処理プログラムにより得られるぼけ調整画像は、主要被写体領域と非主要被写体領域の双方について合焦されている全焦点画像となる。

本実施の形態でも、上記第７の実施の形態と同様の効果を奏することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記の実施の形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明を抽出できる。実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

例えば、上記第２，第３，第５，第６の実施の形態では、構図解析および簡易構図解析をＡＦ機能により得られる情報を利用して行う場合について説明したが、本発明はこれに限定されるものではない。例えば、撮影画像の色情報に基づいて画像の領域分割を行い、各分割領域毎にＡＦ機能と同様に焦点位置を導出して、各実施の形態と同様に適用する形態としてもよいし、顔検出機能を有するデジタルカメラにおいては、当該機能を用いて得られる顔領域と当該顔領域から推定される胴体領域とを主要被写体領域とし、残りの領域を非主要被写体領域として特定する形態等としてもよい。

また、上記各実施の形態では、本発明の鮮鋭化処理を行うフィルタとして平滑化フィルタの逆フィルタを適用した場合について説明したが、本発明はこれに限定されるものではない。例えば、ウィナーフィルタや、他のローパスフィルタの逆フィルタを適用する形態としてもよい。

また、上記各実施の形態では、対応点を検出する前に、基準画像および非基準画像の少なくとも一方に平滑化処理または鮮鋭化処理（復元処理）を必ず実行する場合について説明したが、本発明はこれに限定されるものではない。例えば、基準画像と非基準画像との間で焦点位置に所定量以上の差があるか否かを判定し、差がある場合のみ平滑化処理または鮮鋭化処理を実行する形態としてもよい。

また、上記各実施の形態では、対応点の検出を画像の全域に渡って行う場合について説明したが、本発明はこれに限定されるものではない。例えば、平滑化処理または鮮鋭化処理により、ぼけの度合が近づいた領域のみを対応点の検出対象とする形態としてもよい。

また、上記各実施の形態では、平滑化処理、鮮鋭化処理、対応点を検出する処理、非基準画像を変形する処理、画像を合成する処理等の各種処理をプログラムによるソフトウェアにより実現する場合について説明したが、本発明はこれに限定されるものではない。これらの処理をハードウェアにより実現する形態としてもよく、さらに、ソフトウェアとハードウェアの双方にて実現する形態としてもよい。

その他、上記各実施の形態で説明したデジタルカメラ１０の構成（図１参照。）は一例であり、本発明の主旨を逸脱しない範囲内において、不要な部分を削除したり、新たな部分を追加したり、接続状態等を変更したりすることができることは言うまでもない。

さらに、上記各実施の形態で説明した各種撮影処理プログラムの処理の流れ（図２，図９，図１１，図１３，図１５〜図１８参照。）も一例であり、本発明の主旨を逸脱しない範囲内において、不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ換えたりすることができることは言うまでもない。

尚、日本特許出願２０１１−０８００３４の開示はその全体が参照により本明細書に取り込まれる。本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

１０ デジタルカメラ
２０ 撮像系（撮影手段）
４０ ＣＰＵ（画像処理手段，検出手段，変形手段，生成手段，記録手段，特定手段，算出手段）
４８ メモリ
５２ メモリカード
５６ 操作部

Claims (12)

1. 離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得る撮影手段と、
   前記撮影手段によって得られた複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施す画像処理手段と、
   前記画像処理手段による前記画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出する検出手段と、
   前記検出手段によって検出された対応点の位置が一致するように前記画像処理手段による画像処理の実行前の前記非基準画像を変形する変形手段と、
   前記基準画像と前記変形手段によって変形された前記非基準画像とに基づいてぼけ調整画像を生成する生成手段と、
   前記生成手段によって生成されたぼけ調整画像を記録媒体に記録する記録手段と、
   を備えた撮像装置。
2. 前記画像処理手段は、前記画像処理として平滑化処理および鮮鋭化処理の少なくとも一方を施す
   請求項１記載の撮像装置。
3. 前記画像処理手段は、予め定められた第１のフィルタ特性によるフィルタ処理により前記平滑化処理および前記鮮鋭化処理の少なくとも一方を施す
   請求項２記載の撮像装置。
4. 前記第１のフィルタ特性は、前記基準画像と、前記非基準画像を撮影した際の焦点位置と、に基づいて予め定められる
   請求項３記載の撮像装置。
5. 前記撮影手段による撮影によって得られた画像における主要被写体領域と主要被写体領域を除く被写体領域である非主要被写体領域とを特定する特定手段をさらに備え、
   前記画像処理手段は、前記特定手段によって特定された前記主要被写体領域と前記非主要被写体領域との面積の広い方に対して前記画像処理を施す
   請求項１から請求項４の何れか１項記載の撮像装置。
6. 前記撮影手段による撮影によって得られた画像における主要被写体領域と主要被写体領域を除く被写体領域である非主要被写体領域とを特定する特定手段をさらに備え、
   前記画像処理手段は、前記画像処理として平滑化処理を行う場合は、前記基準画像の前記主要被写体領域および前記非基準画像の前記非主要被写体領域の双方に対して当該平滑化処理を施し、前記画像処理として鮮鋭化処理を行う場合は、前記基準画像の前記非主要被写体領域および前記非基準画像の前記主要被写体領域の双方に対して当該鮮鋭化処理を施す
   請求項１から請求項４の何れか１項記載の撮像装置。
7. 前記変形手段によって変形された前記非基準画像を含む複数の画像から、画素の座標に応じたぼかし量を算出する算出手段をさらに備え、
   前記生成手段は、前記算出手段による算出結果に基づき第２のフィルタ特性を決定し、前記基準画像に対して決定したフィルタ特性によるフィルタ処理を行うことにより前記ぼけ調整画像を生成する
   請求項１から請求項６の何れか１項記載の撮像装置。
8. 前記第２のフィルタ特性は、前記基準画像と、前記非基準画像を撮影した際の焦点位置とに基づいて予め定められる
   請求項７記載の撮像装置。
9. 前記生成手段は、前記基準画像と前記変形手段によって変形された前記非基準画像とを合成することにより前記ぼけ調整画像を生成する
   請求項１から請求項６の何れか１項記載の撮像装置。
10. 前記生成手段は、主要被写体領域に対して非主要被写体領域のぼけの度合が大きくなるように前記ぼけ調整画像を生成する
    請求項１から請求項９の何れか１項記載の撮像装置。
11. 離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得る撮影工程と、
    前記撮影工程によって得られた複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施す画像処理工程と、
    前記画像処理工程による前記画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出する検出工程と、
    前記検出工程によって検出された対応点の位置が一致するように前記画像処理工程による画像処理の実行前の前記非基準画像を変形する変形工程と、
    前記基準画像と前記変形工程によって変形された前記非基準画像とに基づいてぼけ調整画像を生成する生成工程と、
    前記生成工程によって生成されたぼけ調整画像を記録媒体に記録する記録工程と、
    を有する撮像方法。
12. コンピュータを、
    離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得る撮影手段と、
    前記撮影手段によって得られた複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施す画像処理手段と、
    前記画像処理手段による前記画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出する検出手段と、
    前記検出手段によって検出された対応点の位置が一致するように前記画像処理手段による画像処理の実行前の前記非基準画像を変形する変形手段と、
    前記基準画像と前記変形手段によって変形された前記非基準画像とに基づいてぼけ調整画像を生成する生成手段と、
    前記生成手段によって生成されたぼけ調整画像を記録媒体に記録する記録手段と、
    として機能させるためのプログラム。