JP4678603B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は撮像装置、画像処理装置、撮像方法、及び画像処理方法に係り、特に焦点位置の異なる複数の画像を合成することにより、全焦点画像やぼけ強調画像を得る撮像装置、画像処理装置、撮像方法、及び画像処理方法に関する。

従来より、焦点位置を変更しながら連続して撮影を行うフォーカスブラケット撮影により撮影された複数の画像を合成処理することにより、ぼけのコントロールを行った画像や、画面全体に焦点の合った全焦点画像を得ることが行われてきた。しかしこの合成処理は、連続して撮影を行う間に手ブレや被写体ブレがあると処理に使用する画像間の相関度が下がり、意図した画像が得られないという問題があった。

特許文献１は、焦点距離の異なる複数画像を画像合成処理してぼけコントロール画像を作成する場合に、通常撮影モードにおける撮影条件とは異なる撮影条件に切り換えることにより、合成処理に適した撮影条件で画像を取得することができる撮像装置について開示している。特許文献１に記載の撮像装置によれば、フォーカスブラケット撮影時に、可能な限り撮像素子の露光時間が短くなるような絞り値とその最短露光時間との組み合わせとなるような露光条件を採用することにより、画像のぶれを最小限に抑えることが可能となる。
特開２００２−８４４４４号公報

しかしながら、特許文献１に記載の撮像装置のように可能な限り露光時間が短くなる露光条件に設定しても、手ブレや被写体ブレを起こす可能性は残り、この場合には意図した画像が得られないという欠点があった。本発明はこのような事情に鑑みてなされたもので、手ブレや被写体ブレのあるシーンにおいても、意図した全焦点画像やぼけ強調画像を得ることができる撮像装置、画像処理装置、撮像方法、及び画像処理方法を提供することを目的とする。

前記目的を達成するために本発明に係る撮像装置は、所定の移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影手段であって、前記所定の移動量を、撮影条件で決まる被写界深度が浅いときは小さく、被写界深度が深いときは大きくなるように変更することで前記複数の画像の枚数を変更するフォーカスブラケット撮影手段と、前記フォーカスブラケット撮影手段により撮影された複数の画像の中から選択された１枚の基準画像内の被写体の特徴点を抽出する特徴点抽出手段と、前記複数の画像のうち前記基準画像以外の画像内の前記特徴点に対応する被写体の対応点を検出する対応点検出手段と、前記対応点の座標がそれぞれ対応する前記特徴点の座標に一致するように前記基準画像以外の前記複数の画像を変形する画像変形手段と、前記変形された画像を含む複数の画像の画素毎の鮮鋭度を算出する鮮鋭度算出手段と、画面全体に焦点の合った全焦点画像を得る画像合成手段であって、前記変形された画像を含む複数の画像間で対応する画素のうち最も鮮鋭度の高い画素を選択して、該選択された画素を合成する画像合成手段と、前記画像合成手段により得られた全焦点画像を記録媒体に記録する記録手段とを備え、前記画像合成手段は、前記変形された画像を含む複数の画像間で対応する画素毎の鮮鋭度の高い画素の重みを大きくするように加重平均して画素毎に合成することを特徴とする。

これにより、手ブレや被写体ブレのあるシーンにおいても、全焦点画像を得ることができる。

これにより、意図した全焦点画像を得ることができる。

前記画像変形手段は、ワーピングを用いて画像を変形することが好ましい。

これにより、適切に画像を変形することができる。

前記対応点検出手段は、前記焦点位置の移動に伴い、前記対応点の位置が画面中心から放射方向に変化又は画面中心へ放射方向に変化することを予測し、前記予測結果に基づいて前記対応点を検出することが好ましい。

これにより、対応点検出の性能を向上させることができる。

前記目的を達成するために本発明に係る撮像方法は、所定の移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影工程であって、前記所定の移動量を、撮影条件で決まる被写界深度が浅いときは小さく、被写界深度が深いときは大きくなるように変更することで前記複数の画像の枚数を変更するフォーカスブラケット撮影工程と、前記フォーカスブラケット撮影工程により撮影された複数の画像の中から選択された１枚の基準画像内の被写体の特徴点を抽出する特徴点抽出工程と、前記複数の画像のうち前記基準画像以外の画像内の前記特徴点に対応する被写体の対応点を検出する対応点検出工程と、前記対応点の座標がそれぞれ対応する前記特徴点の座標に一致するように前記基準画像以外の前記複数の画像を変形する画像変形工程と、前記変形された画像を含む複数の画像の画素毎の鮮鋭度を算出する鮮鋭度算出工程と、画面全体に焦点の合った全焦点画像を得る画像合成工程であって、前記変形された画像を含む複数の画像間で対応する画素のうち最も鮮鋭度の高い画素を選択して、該選択された画素を合成する画像合成工程と、前記画像合成工程により得られた全焦点画像を記録媒体に記録する記録工程とを備え、前記画像合成工程は、前記変形された画像を含む複数の画像間で対応する画素毎の鮮鋭度の高い画素の重みを大きくするように加重平均して画素毎に合成することを特徴とする。

これにより、手ブレや被写体ブレのあるシーンにおいても、全焦点画像を得ることができる。

本発明によれば、複数の画像間の対応点の位置が一致するように画像を変形し、対応点の位置を一致させた状態で画像の合成を行うので、手ブレや被写体ブレのあるシーンにおいても、意図した全焦点画像やぼけ強調画像を得る撮像装置、画像処理装置、撮像方法、及び画像処理方法を提供することができる。

以下、添付図面に従って本発明を実施するための最良の形態について説明する。

＜第１の実施の形態＞
図１は、本発明に係る第１の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。

ＣＰＵ２４は、シャッタースイッチを含む操作部２３の入力に基づいてデジタルカメラ１内の各回路を統括制御するもので、カメラ制御プログラムにしたがった処理を実行する。

このＣＰＵ２４の各回路の制御は、アドレスバス２５及びデータバス２６を介しておこなう。またＣＰＵ２４は、メインメモリ２８との間で、必要なデータの授受を行う。メインメモリ２８の内部はＲＯＭ領域とＲＡＭ領域に分かれており、このＲＯＭ領域には、カメラ制御プログラム、起動時のオープニング画像、停止時のエンディング画像、デジタルカメラ１の操作に使用するメニュー画像等のＧＵＩ用の画像、スクリーンセイバー用の画像、処理中のプログレス表示用の画像（目盛りが変化する砂時計の画像等）、キー操作音（シャッター音等）、警告音、及びエラー音等を示す音声データ等が記録されている。

デジタルカメラ１に電源が投入されると、ＣＰＵ２４はこれを検出し、一定期間メインメモリ２８のＲＯＭ領域に格納されているオープニング画像を表示部３５に表示した後、撮影モードで撮影スタンバイ状態にする。この撮影スタンバイ状態では、ＣＰＵ２４は、表示部３５に動画（スルー画）を表示させる。

ユーザ（撮影者）は、表示部３５に表示されるスルー画を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。

上記撮影スタンバイ状態時に操作部２３の図示しないシャッタースイッチが押されると、ＣＰＵ２４は、積算部３１で算出したＡＦ評価値に基づいて合焦位置を判断し、レンズ駆動部１６を介してレンズ１１を駆動しフォーカス制御を行い、絞り駆動部１７を介して絞り１２を駆動し露出制御を行い、レンズ１１、絞り１２、Ｉｒカットフィルタ１３、及び光学ローパスフィルタ１４を介して固体撮像素子１５の受光面上に被写体像を結像させる。ここで、必要であれば発光部１９を撮影補助光として発光させる。またこのとき、受光部２０により発光部１９の発光量を制御する。固体撮像素子１５の受光面に結像された被写体像をその光量に応じた量の信号電荷に変換し、この信号電荷はＣＰＵ２４の指令に従い撮像素子駆動部１８から与えられる駆動パルスに基づいてアナログ信号処理部２１に送られ、ここで相関二重サンプリング処理された後に増幅され、Ａ／Ｄ変換器２２に加えられる。

Ａ／Ｄ変換器２２によってデジタル信号に変換された点順次のＲ、Ｇ、Ｂ信号は、メインメモリ制御部２７を介してメインメモリ２８のＲＡＭ領域に記憶される。

デジタル信号処理部２９は、上記メインメモリ２８のＲＡＭ領域に格納されたＲ、Ｇ、Ｂの生データを読み出し、これらに光源種に応じたデジタルゲインをかけることでホワイトバランス調整を行うとともに、ガンマ（階調変換）処理、シャープネス処理等を行ってＲ、Ｇ、Ｂ信号を生成する。更にＹＣ信号処理して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）を生成し再びメインメモリ２８のＲＡＭ領域に格納する。

上記のようにしてメインメモリ２８のＲＡＭ領域に格納されたＹＣ信号は、圧縮伸張処理部３０により所定のフォーマットに圧縮されたのち、メモリ制御部３２を介して、デジタルカメラ１に着脱自在な記録媒体３３に記録される。

また各種操作部２３を操作して再生モードが選択されると、記録メディアに記録されている最終コマの画像ファイルがメモリ制御部３２を介して読み出される。この読み出された画像ファイルの圧縮データは、圧縮伸張処理部３０により非圧縮のＹＣ信号に伸張される。伸張されたＹＣ信号は、表示用の信号形式に変換されて表示部３５に出力される。これにより、表示部３５には記録メディアに記録されている最終コマの画像が表示される。

次に、デジタルカメラ１における全焦点画像撮影について説明する。図２は、全焦点画像を撮影するための全焦点画像撮影モードの動作を示すフローチャートである。本発明に係るデジタルカメラ１の全焦点画像撮影モードでは、フォーカスブラケット撮影を行い、各撮影画像の対応点を検出し、対応点の位置が一致するように各撮影画像を変形し、変形した画像を合成することにより全焦点画像を得る。

操作部２３の図示しないモードスイッチを操作することにより全焦点画像撮影モードが設定され、さらに操作部２３のシャッタースイッチが押されると、ＣＰＵ２４はこれらの操作に基づいて、焦点位置を設定し（ステップＳ２１）、撮影を行う（ステップＳ２２）。次に撮影した回数の判定を行う（ステップＳ２３）。所定回数に満たない場合は、異なる焦点位置に設定し（ステップＳ２１）、さらに撮影を行う（ステップＳ２２）。このように異なる焦点位置での撮影を繰り返し、所定回数の撮影を行う（フォーカスブラケット撮影）。各撮影画像は、メインメモリ２８のＲＡＭ領域に格納される。

ここで、所定回数については、デジタルカメラ１内において予め定められた回数でもよいし、ユーザが設定できるようにしてもよい。また、撮影条件で決まる被写界深度を判断し、この被写界深度に応じて決定してもよい。全焦点画像を得るためには、画像内の全ての被写体において、いずれか１枚の画像においては合焦していることが必要である。よって、被写界深度が浅い場合は焦点位置の移動量を少なくして撮影枚数を多くする必要がある。また被写界深度が深い場合は焦点位置の移動量を多くして撮影枚数を少なくすることにより、無駄に多くの枚数を撮影してメモリを消費したり、処理負荷を増やすことを防止することができる。

また、この焦点位置の移動については、焦点位置が近い位置から遠い位置へ移動しても、遠い位置から近い位置へ移動しても、又はランダムに移動してもよい。

所定回数の撮影が終了すると、各撮影画像における対応点の検出を行う（ステップＳ２４）。

ここで、画像内の対応点の検出について説明する。対応点検出は、複数画像間で対応する点の位置関係を求めるものである。図３は、フォーカスブラケット撮影から得られた画像を示す図である。対応点検出部３６が、図３（ａ）に示す基準画像から特徴点を抽出し、その特徴点が図３（ｂ）に示す追跡画像のどの位置に移動したかを追跡することにより、対応点の検出を行う。図４は、デジタルカメラ１の対応点検出の動作について示すフローチャートである。

まず、ＣＰＵ２４は、対応点検出部３６へフォーカスブラケット撮影を行った複数画像を入力する（ステップＳ４１）。次に、対応点検出部３６は、この複数画像の中から基準画像を選択し（ステップＳ４２）、この基準画像から特徴点の抽出を行う（ステップＳ４３）。基準画像の選択については、デジタルカメラ１内において予め定められた方法に基づいて選択してもよいし、ユーザが選択してもよい。ここでは、最初に撮影した画像を基準画像とする。特徴点抽出の手法は種々のものが提案されているが、ここでは、ある点を中心とする所定領域内の輝度の標準偏差が所定値以上の場合に、その点を特徴点として抽出する。図３（ａ）における丸印が、図３（ａ）の画像における特徴点を示す。特徴点は多いほうが以後の処理を精度よく行うことができるが、特徴点が多くなると処理負荷が増大するため、特徴点の数はハード性能から適宜決めればよい。

次に、追跡画像の選択を行う（ステップＳ４４）。ステップＳ４１で入力された複数画像のうち、基準画像以外の画像を選択する。

選択した追跡画像において、基準画像から抽出された特徴点の１つを選択し（ステップＳ４５）、この特徴点ががどの位置へ移動したかを追跡する（ステップＳ４６）。追跡手法についても種々のものが提案されているが、ここではその点を中心とする所定領域内の相互相関係数が最小となるような座標を見つける手法（ブロックマッチング法）を用いて追跡を行う。なお、本発明ではフォーカスブラケット撮影を行っているので、焦点位置が移動することによって対応点が移動する方向、及び移動する量は予測可能である。焦点位置の移動による対応点の移動は、画面中心から放射方向へ、又はその逆方向への移動であり、これは焦点位置の移動方向から予測可能である。またその移動量も焦点位置の移動量から予測可能である。よって、これらを考慮して対応点を検出することで、精度、速度ともに対応点検出性能を向上させることができる。

特徴点の追跡が終了すると、全特徴点に対して処理を行ったか否かの判定を行う（ステップＳ４７）。処理を行っていない特徴点がある場合は、その特徴点を選択し（ステップＳ４５）、追跡を行う（ステップＳ４６）。このように全ての特徴点において、追跡を行う。

全ての特徴点に対して処理を行うと、次に全ての追跡画像に対してこの処理を行ったか否かの判定を行う（ステップＳ４８）。前述したように、この処理は基準画像以外の画像について行う。処理を行っていない追跡画像がある場合は、その追跡画像において同様の処理を行う。全ての追跡画像に対して処理が終了すると、対応点検出処理が終了する。

対応点検出処理が終了すると、次に画像変形を行う（ステップＳ２５）。この画像変形処理は、対応点検出処理で得られた各追跡画像の対応点が基準画像の対応点の位置に極力一致するように、画像変形部３７が追跡画像を変形する。図５は、画像変形について示す図である。図５（ａ）に示す基準画像に対して、図５（ｂ）に示すように各対応点が平行移動している場合は、平行移動を行う。また図５（ｃ）に示すように各対応点が回転移動移動している場合は、回転移動を行う。また図５（ｄ）に示すように各対応点が拡大（縮小）している場合は、縮小（拡大）を行う。これらの画像変形は、複数組の対応点の距離の総和が最小となるように移動ベクトルを決めればよい。なお、これらの平行移動、回転、及び拡大・縮小処理は、アフィン変換により行う。

また図５（ｅ）に示すように基準画像と追跡画像との間に複雑な動きが生じている場合は、全ての対応点をより精度よく一致させるためにはワーピングを行う。ワーピングは全ての対応点の組を完全に一致するような移動ベクトルを選択するとともに、その周囲の点も補間により求めるものである。

このように対応点の位置を極力一致させた複数画像に対して、画像合成を行う（ステップＳ２６）。図６は、画像合成処理の動作を示すフローチャートである。画像合成処理では、複数画像において最も鮮鋭度が高い画像、即ち最も焦点の合った画像の画素値を選択し、合成することにより、最終画像として画面内のどの位置においても鮮鋭度が高い画像、即ち全焦点画像を得る。

まず、画像合成部３８が、処理を行う画素の選択を行う（ステップＳ６１）。この画素の選択の順序については、画面の端から順に行えばよく、また他の順序でも構わない。次に、画像の選択を行い（ステップＳ６２）、選択した画像における、ステップＳ６１で選択された画素の鮮鋭度を算出する（ステップＳ６３）。

鮮鋭度の算出については、ラプラシアンフィルタ処理による出力値の絶対値を算出することにより行う。図７は、ラプラシアンフィルタのフィルタ行列を示す図である。ラプラシアンフィルタ処理を行うことによりエッジ検出をすることができ、この出力値の絶対値が鮮鋭度を示す。画像のぼけと鮮鋭度に関しては、画像のぼけが小さい画素ほど鮮鋭度が高く、ぼけが大きくなるほど鮮鋭度が低くなるという関係がある。なお、ラプラシアンフィルタのカーネルはこの例に限定されるものではなく、またラプラシアンフィルタ以外の鮮鋭度算出フィルタを用いてもよい。

次に、全画像に対して鮮鋭度の算出が終了したか否かの判定を行う（ステップＳ６４）。鮮鋭度の算出をしていない画像が有る場合には、再び画像の選択を行い（ステップＳ６２）、選択した画像における、ステップＳ６１で選択された画素の鮮鋭度を算出する（ステップＳ６３）。このように、全画像に対して、ステップＳ６１で選択された画素の鮮鋭度を算出する。

次に、鮮鋭度が最大となる画像の画素値を出力する（ステップＳ６５）。ステップＳ６３において算出した、各画像のステップＳ６１で選択した画素のラプラシアンフィルタ処理における出力値の絶対値を比較し、最大の値である画像の画素値を出力画素して採用する。また、鮮鋭度の高い画像の画素値に対する重みを大きくして加重平均を算出し、これを出力してもよい。

以上の処理を全ての画素に対して行う。全画素に対して処理が行われたか否かを判定し、全画素に対して終了した場合は、画像合成処理が終了する。

画像合成処理が終了すると、ＣＰＵ２４は画像合成部３８の出力画像をメモリ制御部３２を介して記録媒体３３に記録して、全焦点画像撮影が終了する（ステップＳ２７）。

この画像合成部３８の出力画像は、記録媒体３３に保存せずに、表示制御部３４を介して表示部３５に表示するだけでもよいし、図示しない外部インターフェースを用いて、外部モニタに表示したり、プリンタ等に印刷物として出力してもよい。

このようにして、被写体ブレや手ブレがあっても、全焦点画像を得ることができる。

特徴点の抽出方法や、特徴点の追跡方法、画像の変形方法、及び画素の鮮鋭度の算出方法については、本実施の形態の方法に限定されず、どの手法を用いても構わない。

＜第２の実施の形態＞
次に、デジタルカメラ１におけるぼけ強調撮影について説明する。図８は、ぼけ強調画像を撮影するためのぼけ強調撮影モードの動作を示すフローチャートである。なお、図２のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

本発明に係るデジタルカメラ１のぼけ強調画像撮影モードでは、オートフォーカスにより主要被写体の合焦位置とその前後の焦点位置での撮影を含むフォーカスブラケット撮影を行い、各撮影画像の対応点を検出し、対応点の位置が一致するように各撮影画像を変形し、変形した画像を合成することによりぼけ強調画像を得る。

まず操作部２３のモードスイッチを操作することにより、ぼけ強調画像撮影モードに設定される。次に操作部２３におけるシャッターボタンが押されると、まず主要被写体に対して自動合焦位置判断（ＡＦ）を行う（ステップＳ８１）。このＡＦについては、通常撮影の際に行われるＡＦと同じものでよく、撮影に先立ってレンズの焦点位置を駆動させ、その都度積算部３１でバンドパスフィルタの出力値等のＡＦ評価値を算出し、ＣＰＵにて最もＡＦ評価値の高い焦点位置を合焦位置と判断する。

ぼけ強調画像撮影モードでのフォーカスブラケット撮影においては、主要被写体のＡＦ合焦位置と主要被写体のＡＦ合焦位置の前後の焦点位置を含むように焦点位置を移動させて撮影を行う。図９は、デジタルカメラ１の各焦点位置を横軸に、各焦点位置における主要被写体に対するＡＦ評価値を縦軸に表したグラフである。最もＡＦ評価値の高い焦点位置が主要被写体の合焦位置であり、この主要被写体の合焦位置をＢとすると、本実施の形態のフォーカスブラケット撮影においては、合焦位置Ｂと、その前後に所定距離ｄだけ離れた焦点位置Ａ及びＣの３点を撮影の際の焦点位置とする。このｄについては、予めデジタルカメラ１内に記憶された固定値でもよいし、ユーザが設定してもよい。また被写界深度を判断し、この被写界深度によって異ならせてもよい。被写界深度によりぼけの度合いが異なるため、被写界深度によりｄの値を変更することにより、適切なぼけ具合の意図する画像を得ることが可能となる。

このように決められた焦点位置において、第１の実施の形態の全焦点画像撮影モードと同様に、フォーカスブラケット撮影を行う（ステップＳ２１〜Ｓ２３）。各撮影画像は、メインメモリ２８のＲＡＭ領域に格納される。

フォーカスブラケット撮影が終了すると、各撮影画像における対応点の検出を行う（ステップＳ２４）。ここでは、基準画像を主要被写体の合焦位置Ｂで撮影された画像とする。対応点検出は第１の実施の形態と同様に行う。

対応点検出処理が終了すると、次に画像変形を行う（ステップＳ２５）。画像変形においても、第１の実施の形態と同様に行う。

画像変形処理が終了すると、次に画像合成を行う。図１０は第２の実施の形態における画像合成処理の動作のフローチャートである。なお、図６のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。本発明の第２の実施の形態のデジタルカメラ１のぼけ強調画像撮影モードにおいては、画像合成処理において、複数画像において基準画像が最も鮮鋭度が高い場合は基準画像の画素を選択し、基準画像以外の画像が最も鮮鋭度が高い場合は、主要被写体の合焦位置に関して、画素の鮮鋭度が最大の焦点位置と対称となる焦点位置で撮影された画像の画素を選択することにより、ぼけ強調画像を得る。

第１の実施の形態と同様に、画像合成部３８は、処理を行う画素の選択を行い（ステップＳ６１）、この選択された画素の各画像の鮮鋭度を算出する（ステップＳ６２〜Ｓ６４）。図１１は、主要被写体の合焦位置Ｂで撮影された画像と、その合焦位置の前後の焦点位置であるＡ及びＣで撮影された画像の、鮮鋭度の関係を示すグラフである。フォーカスブラケット撮影で３枚の画像を撮影した場合、このＡ、Ｂ、及びＣの焦点位置で撮影された画像の鮮鋭度の関係は、図１１（ａ）に示すＣが最大の場合、図１１（ｂ）に示すＢが最大の場合、及び図１１（ｃ）に示すＡが最大の場合の３種類に分類することができる。

全画像において選択された画素の鮮鋭度を算出すると、この算出された鮮鋭度に基づいて、基準画像の鮮鋭度が最大であるか否か、即ち鮮鋭度が図１１（ｂ）に示す関係であるか否かの判定を行う（ステップＳ１０１）。基準画像の鮮鋭度が最大の場合は、基準画像の画素値を出力する（ステップＳ１０２）。基準画像の鮮鋭度が最大でない場合は、主要被写体の合焦位置より遠い側の画像の鮮鋭度が最大であるか否か、即ち鮮鋭度が図１１（ａ）に示す関係であるか否かの判定を行う（ステップＳ１０３）。主要被写体の合焦位置より遠い側の画像の鮮鋭度が最大の場合は、主要被写体の合焦位置より近い側の画像の画素値を出力する（ステップＳ１０４）。また逆に、主要被写体の合焦位置より遠い側の画像の鮮鋭度が最大でない場合は、主要被写体の合焦位置より近い側の画像の鮮鋭度が最大である、即ち鮮鋭度が図１１（ｃ）に示す関係であるので、主要被写体の合焦位置より遠い側の画像の画素値を出力する（ステップＳ１０５）。

この処理を、全ての画素について行う。全画素に対して処理が終了したと判断すると（ステップＳ１０６）、画像合成処理が終了する。

画像合成処理が終了すると、ＣＰＵ２４は画像合成部３８の出力画像をメモリ制御部３２を介して記録媒体３３に記録して（ステップＳ２７）、ぼけ強調画像撮影が終了する。

このように、主要被写体の合焦位置Ｂで撮影された画像の鮮鋭度が低い画素の座標において、ぼけが強くなる画素値を選択することにより、ぼけ強調が可能となる。焦点位置が３点を超える場合でも、鮮鋭度の最大値を取る焦点位置と合焦位置を挟んで反対側の焦点位置にある複数画像から、ぼけ強調度合いに応じて選択すればよい。つまり、よりぼけを強調したい場合には、より鮮鋭度の低い画像の画素値を出力すればよい。

なお、本実施の形態においては主要被写体の合焦位置と、合焦位置に対してｄだけ離れたＡ及びＣにおいてフォーカスブラケット撮影を行ったが、Ａ及びＣはＢに対して対称でなく、ｄとｄ’のように合焦位置からの距離が異なってもよい。

また、本実施の形態の図１０に示す画像合成処理は、対応点検出及び画像変形を行わない画像に対して行ってもよい。即ち、フォーカスブラケット撮影した複数画像において、直接この画像合成処理を行ってもよい。

＜第３の実施の形態＞
本発明に係る第３の実施の形態のぼけ強調撮影について説明する。図１２は、本発明に係る第３の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。図１に示すブロック図とは、画像合成部３８の代わりにフィルタ処理部４０を備えたところだけが異なる。

図１３は、デジタルカメラ１のぼけ強調撮影モードの動作を示すフローチャートである。なお、図２及び図８のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。本発明の第３の実施の形態のデジタルカメラ１のぼけ強調画像撮影モードでは、オートフォーカスにより主要被写体の合焦位置とその前後の焦点位置での撮影を含むフォーカスブラケット撮影を行い、各撮影画像の対応点を検出し、対応点の位置が一致するように各撮影画像を変形し、変形した画像から各画素の鮮鋭度を算出し、鮮鋭度に基づいたフィルタ係数で基準画像にフィルタ処理を施すことによりぼけ強調画像を得る。

これまでと同様に、ぼけ強調撮影モードにおいて操作部２３のシャッターボタンが押されると、主要被写体に対して自動合焦位置判断を行い（ステップＳ８１）、次に焦点位置間隔ｄを決定する（ステップＳ１６１）。

本実施の形態では、フォーカスブラケット撮影の際に設定される焦点位置には、主要被写体の合焦位置と、その前後の焦点位置を含むようにする。ここでは図１４に示すように、主要被写体の合焦位置Ｆ３、主要被写体の合焦位置から前後に焦点間隔ｄだけ離れた焦点位置Ｆ２及びＦ４、さらに主要被写体の合焦位置Ｆ３から遠ざかる方向に、焦点位置Ｆ２及びＦ４から焦点間隔ｄだけ離れた焦点位置のＦ１及びＦ５、の計５点をフォーカスブラケット撮影の際の焦点位置とする。なお、焦点位置の端から順に、Ｆ１で撮影された画像の番号を１、Ｆ２で撮影された画像の番号を２、・・・、Ｆ５で撮影された画像の番号を５、とする。

図１５は、撮影時の絞りと焦点距離、及びフォーカスブラケット撮影時の焦点位置の間隔ｄの関係を３次元的に示したグラフである。このように、絞りのＦ値が小さい場合や焦点距離が長い場合など、被写界深度が浅い場合はｄを小さく、逆に絞りのＦ値が大きい場合や焦点距離が短い場合など、被写界深度が深い場合はｄを大きくするように設定されている。ＣＰＵ２４は、メインメモリ２８のＲＯＭ領域に記憶されたこの設定に基づいて焦点間隔ｄを決定する。これにより、任意の絞りと焦点距離において、ぼけ強調に適した焦点の異なる画像を得ることができる。なお、焦点間隔ｄは一定でなくてもよく、例えば主要被写体の合焦位置から見てＮＥＡＲ側とＦＡＲ側で変えるようにしてもよい。

以上のように撮影時の絞りと焦点距離から焦点間隔ｄを決定すると、次にＦ１〜Ｆ５の焦点位置において、フォーカスブラケット撮影を行う（ステップＳ２１〜Ｓ２３）。この撮影の順序に関しては、適宜決めてよい。各撮影画像は、メインメモリ２８のＲＡＭ領域に格納される。

フォーカスブラケット撮影が終了すると、主要被写体の合焦位置で撮影された画像を基準画像として、各撮影画像における対応点の検出を行う（ステップＳ２４）。対応点の検出は、第一の実施の形態と同様に行う。対応点検出処理が終了すると、次に画像変形を行う（ステップＳ２５）。

画像変形処理が終了すると、次にぼかし量算出を行う（ステップＳ１６２）。図１６は、ぼかし量算出処理の動作を示すフローチャートである。なお、図６のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

最初に、フィルタ処理部４０が、処理を行う画素の選択を行う（ステップＳ６１）。次に、画像の選択を行い（ステップＳ６２）、選択した画像における、ステップＳ６１で選択された画素の鮮鋭度を算出する（ステップＳ６３）。鮮鋭度の算出においては、第１の実施の形態と同様に、ラプラシアンフィルタ処理における出力値の絶対値を算出することにより行う。全画像に対して、ステップＳ６１で選択された画素の鮮鋭度を算出する。

全画像に対して鮮鋭度の算出が終了したと判断すると（ステップＳ６４）、次に算出した鮮鋭度が最大である画像番号ｎを算出し（ステップＳ１９１）、ぼかし量ｋを算出する（ステップＳ１９２）。

ここで、主要被写体の合焦位置で撮影された画像番号をｃとすると、ぼかし量ｋは以下の式で表される。

（数１）
ｋ＝ｕ×（ｎーｃ）
ここで、ｕはユーザが指定したぼけ強調度合いであり、ｕが１．０よりも大きければ基準設定よりもぼけが強調され、ｕが１．０未満の場合は基準設定よりもぼけが緩和される画像となる。なお、ぼけ強調度合いｕは、ユーザが操作部２３を操作することにより設定が可能となっている。また、本実施の形態ではｃ＝３である。

このぼかし量ｋの算出を全ての画素について行う。全ての画素について終了したと判断すると（ステップＳ６６）、ぼかし量算出処理が終了する。

ぼかし量算出処理が終了すると、次にぼかし処理を行う（ステップＳ１６３）。図１７は、ぼかし処理の動作を示すフローチャートである。本実施の形態では、ぼかし処理にガウシアンフィルタを用いる。

まずフィルタ処理部４０が、画素の選択を行い（ステップＳ６１）、選択した画素のぼかし量ｋを選択する。図１６のステップＳ１９２で算出された各画素のぼかし量ｋは、メインメモリ２８のＲＡＭ領域に記憶されており、これを読み出す。

次に、読み出したぼかし量の絶対値｜ｋ｜と所定の閾値Ｔｈとの比較を行う（ステップＳ２０２）。所定の閾値Ｔｈの方が大きい場合は、この画素を合焦領域とみなして被写体の合焦位置Ｆ３で撮影した画素値を出力する（ステップＳ１４６）。ぼかし量の絶対値｜ｋ｜の方が大きい場合は、この画素をぼけ強調すべき領域とみなしてフィルタ係数を決定する（ステップＳ２０３）。

前述したように、本実施の形態では、このフィルタ処理にガウシアンフィルタを用いる。図１８は、ぼかし量の絶対値｜ｋ｜と、ガウシアンフィルタのσパラメータの関係を示したグラフである。図１８に示すように、ぼかし量の絶対値｜ｋ｜が所定の閾値Ｔｈ以上のとき、ぼかし量の絶対値｜ｋ｜と比例関係にあるガウシアンフィルタのσパラメータが求められ、このσパラメータに応じたガウシアンフィルタ係数ｆ（ｘ）を決定する。ＣＰＵ２４は、メインメモリ２８のＲＡＭ領域に記憶されたこの関係に基づいてσパラメータを決定する。

図１８（ｂ）は、注目画素からの距離ｘとガウシアンフィルタのフィルタ係数ｆ（ｘ）の関係を示したグラフである。図１８（ｂ）に示すように、ガウシアンフィルタはσパラメータが大きいほど周辺画素の重みを大きくして加重平均をとる。よってぼかし量の絶対値｜ｋ｜の大きさに応じてσパラメータを大きくすることにより、ぼかし量の絶対値｜ｋ｜が大きいほど平滑化の度合いを大きくすることができる。

このように求められたσパラメータからフィルタ係数ｆ（ｘ）を算出するには、[数２]を用いて演算を行い、算出されたフィルタ係数の総和が１になるように正規化
を行う。

デジタルフィルタの場合は注目画素を中心とした離散位置ごとにｆ（ｘ）が決定される。例えば５タップフィルタの場合は、ｆ（ｘ）＝{０．１、０．２、０．４、０．２、０．１}などとなる。なお一般には画像の明るさが変動しないよう、各係数の総和が１．０になるように正規化される。またここでは１次元のフィルタ係数で表現しているが、このフィルタを水平方向と垂直方向に順に施すことにより２次元のフィルタ処理を行うことができる。

このように、選択した画素について、ぼかし量に応じたフィルタ処理を行い、出力画素値を算出する（ステップＳ１４５）。この処理を全画素について行い、全画素に対して処理が終了したと判断すると（ステップＳ６６）、ぼかし処理が終了する。このように、主要被写体の合焦位置Ｂで撮影された基準画像に対してフィルタ処理を行うことにより、より自然なぼけ強調が可能となる。

なお、このフィルタ処理に用いるフィルタはガウシアンフィルタに限られるものではなく、ローパスフィルタなら他のフィルタでも構わない。例えば絞りやレンズの特性に応じたぼけ形状を持ったフィルタを用いてもよい。

ぼかし処理が終了すると、ＣＰＵ２４はフィルタ処理部４０の出力画像をメモリ制御部３２を介して記録媒体３３に記録して（ステップＳ２７）、ぼけ強調撮影が終了する。

このようにして、ぼけ強調画像を得ることができる。

なお、本実施の形態の図１６及び図１７に示すぼかし処理は、対応点検出及び画像変形を行わない画像に対して行ってもよい。即ち、フォーカスブラケット撮影した複数画像において、直接このぼかし処理を行ってもよい。

図１は、本発明に係る第１の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。 図２は全焦点画像を撮影するための全焦点画像撮影モードの動作を示すフローチャートである。 図３は、フォーカスブラケット撮影から得られた画像を示す図である。 図４は、デジタルカメラ１の対応点検出の動作について示すフローチャートである。 図５は、画像変形について示す図である。 図６は、画像合成処理の動作を示すフローチャートである。 図７は、ラプラシアンフィルタのフィルタ行列を示す図である。 図８は、ぼけ強調撮影モードの動作を示すフローチャートである。 図９は、各焦点位置と各焦点位置におけるＡＦ評価値を示したグラフである。 図１０は第２の実施の形態における画像合成処理の動作のフローチャートである。 図１１は、主要被写体の合焦位置Ｂで撮影された画像と、その合焦位置の前後の焦点位置であるＡ及びＣで撮影された画像の、鮮鋭度を示すグラフである。 図１２は、本発明に係る第３の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。 図１３は、第３の実施の形態のぼけ強調撮影モードの動作を示すフローチャートである。 図１４は、各焦点位置と各焦点位置におけるＡＦ評価値を示したグラフである。 図１５は、絞りと焦点距離と焦点位置の間隔ｄの関係を示すグラフである。 図１６は、ぼかし量算出処理の動作を示すフローチャートである。 図１７は、ぼかし処理の動作を示すフローチャートである。 図１８は、ぼかし量の絶対値｜ｋ｜とガウシアンフィルタのσパラメータの関係、及びを示したグラフである。

符号の説明

１…デジタルカメラ、１１…撮影レンズ、１２…絞り、１３…Ｉｒカットフィルタ、１４…光学ローパスフィルタ、１５…固体撮像素子、２３…操作部、２４…ＣＰＵ、２５…アドレスバス、２６…データバス、２７…メインメモリ制御部、２８…メインメモリ、３２…メモリ制御部、３３…記録媒体、３６…対応点検出部、３７…画像変形部、３８…画像合成部、４０…フィルタ処理部

Claims (5)

1. 所定の移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影手段であって、前記所定の移動量を、撮影条件で決まる被写界深度が浅いときは小さく、被写界深度が深いときは大きくなるように変更することで前記複数の画像の枚数を変更するフォーカスブラケット撮影手段と、
   前記フォーカスブラケット撮影手段により撮影された複数の画像の中から選択された１枚の基準画像内の被写体の特徴点を抽出する特徴点抽出手段と、
   前記複数の画像のうち前記基準画像以外の画像内の前記特徴点に対応する被写体の対応点を検出する対応点検出手段と、
   前記対応点の座標がそれぞれ対応する前記特徴点の座標に一致するように前記基準画像以外の前記複数の画像を変形する画像変形手段と、
   前記変形された画像を含む複数の画像の画素毎の鮮鋭度を算出する鮮鋭度算出手段と、
   画面全体に焦点の合った全焦点画像を得る画像合成手段であって、前記変形された画像を含む複数の画像間で対応する画素のうち最も鮮鋭度の高い画素を選択して、該選択された画素を合成する画像合成手段と、
   前記画像合成手段により得られた全焦点画像を記録媒体に記録する記録手段と、
   を備え、
   前記画像合成手段は、前記変形された画像を含む複数の画像間で対応する画素毎の鮮鋭度の高い画素の重みを大きくするように加重平均して画素毎に合成することを特徴とする撮像装置。
2. 前記対応点検出手段は、前記焦点位置の移動に伴い、前記対応点の位置が画面中心から放射方向に変化又は画面中心へ放射方向に変化することを予測し、前記予測結果に基づいて前記対応点を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記対応点検出手段は、前記焦点位置の移動に伴う前記対応点の移動量を予測することを特徴とする請求項２に記載の撮像装置。
4. 前記画像変形手段は、ワーピングを用いて画像を変形することを特徴とする請求項１から３のいずれかに記載の撮像装置。
5. 所定の移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影工程であって、前記所定の移動量を、撮影条件で決まる被写界深度が浅いときは小さく、被写界深度が深いときは大きくなるように変更することで前記複数の画像の枚数を変更するフォーカスブラケット撮影工程と、
   前記フォーカスブラケット撮影工程により撮影された複数の画像の中から選択された１枚の基準画像内の被写体の特徴点を抽出する特徴点抽出工程と、
   前記複数の画像のうち前記基準画像以外の画像内の前記特徴点に対応する被写体の対応点を検出する対応点検出工程と、
   前記対応点の座標がそれぞれ対応する前記特徴点の座標に一致するように前記基準画像以外の前記複数の画像を変形する画像変形工程と、
   前記変形された画像を含む複数の画像の画素毎の鮮鋭度を算出する鮮鋭度算出工程と、
   画面全体に焦点の合った全焦点画像を得る画像合成工程であって、前記変形された画像を含む複数の画像間で対応する画素のうち最も鮮鋭度の高い画素を選択して、該選択された画素を合成する画像合成工程と、
   前記画像合成工程により得られた全焦点画像を記録媒体に記録する記録工程と、
   を備え、
   前記画像合成工程は、前記変形された画像を含む複数の画像間で対応する画素毎の鮮鋭度の高い画素の重みを大きくするように加重平均して画素毎に合成することを特徴とする撮像方法。

Images