JP6929145B2 - 撮像装置、撮像方法およびプログラム - Google Patents

Description

本発明は、画像合成を行う撮像装置に関するものである。

カメラからの距離が異なる複数の被写体を撮像する場合、あるいは、奥行き方向に長い被写体を撮像する場合に、撮像光学系における被写界深度が足りないために、被写体の一部にしかピントを合わせられない場合がある。

そこで、ピント位置を変化させて複数の画像を撮像し、各画像から合焦している領域のみを抽出して１枚の画像を合成して撮像領域全体に合焦している合成画像を生成する技術（以下、深度合成という）が知られている（特許文献１を参照）。この深度合成の技術を用いることで、意図する被写体の全体に対してピントを合わせた画像を得ることができる。

特開２００２−８４４４４号公報

しかしながら、深度合成の技術を用いて撮像する場合、手振れなどが発生すると、以下の課題が生じることがある。

図１３は、深度合成における手振れを説明するための図である。図１３（ａ）は理想的な深度合成を用いる撮像を説明するための図である。図１３（ａ）では、ユーザがデジタルカメラを１３０１に置き、所定の距離１３０２ずつピント位置を移動させながら複数回撮像を行う。

図１３（ｂ）は図１３（ａ）での撮像において、３枚目の画像を撮像するとき、手振れが発生してしまった場合を示す。撮像位置１３０１が光軸方向で後方にずれたことで、本来撮像されるべき距離よりも近い位置にピント位置が来る。さらに、図１３（ｃ）のように、４枚目の画像を撮像するとき、図１３（ｂ）の手振れの方向と反対する方向へ手振れが発生してしまった場合を示す。この場合４枚目の画像は本来撮像されるべきピント位置よりも遠くなっている。図１３（ｃ）で撮像された複数の画像を用いて合成処理を行うと、領域１３０３において合焦している画像が存在せず、合成画像にはぼけた部分が残ってしまう。

本発明は、以上の課題を鑑みてなされたもので、ピント位置を変化させて撮像した複数の画像を用いて合成するとき、手振れなどによるぼけを低減させる合成画像を生成できる撮像装置を提供することが目的とする。

本発明は、撮像手段と、複数の目標ピント位置の設定を行う設定手段と、ピント位置の算出手段と、を有し、前記撮像手段は、前記目標ピント位置に応じた複数の画像を撮像し、前記算出手段は、前記複数の画像のそれぞれが撮像されたときの、被写体に対するピント位置を算出し、前記設定手段は、前記目標ピント位置と、算出されたピント位置との比較結果に応じて、前記目標ピント位置の少なくとも一部を再設定し、前記撮像手段が順に撮像した第１の画像と第２の画像において、前記第１の画像を撮像したときに算出されたピント位置と、前記第２の画像を撮像したときに算出されたピント位置との差が、予め定められた閾値より大きい場合に、前記設定手段は、それより後に撮像する画像のための目標ピント位置の一部を再設定することを特徴とする撮像装置を提供する。

本発明によれば、ピント位置を変化させて撮像した複数の画像を用いて合成するとき、手振れなどによるぼけを低減させる合成画像を生成できる。

本発明の第１の実施形態の撮像装置の一例としてのデジタルカメラの外観図である。 本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。 第１の実施形態のセンサのアレイを説明するための図である。 第１の実施形態における光信号の画素への入射を説明するための図である。 第１の実施形態における深度合成の処理を説明するためのフローチャートである。 第１の実施形態における撮像画像評価処理を説明するフローチャートである。 第１の実施形態におけるピント位置の補正を説明するためのフローチャートである。 第１の実施形態におけるピント位置の変化量補正を説明するための図である。 第２の実施形態におけるデジタル一眼レフカメラの構造を説明するための図である。 第２の実施形態における深度合成の処理を説明するためのフローチャートである。 第３の実施形態における深度合成の処理を説明するためのフローチャートである。 第３の実施形態におけるコントラスト値の解析を説明するための図である。 深度合成における手振れを説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の説明では、デジタルカメラを例にあげて説明を行うが、ピント位置の調整ができる撮像装置を用いれば、本発明を適用することができる。

（第１の実施形態）
図１は、本実施形態の撮像装置の一例としてのデジタルカメラの外観図である。モニタ１０１は画像や各種情報を表示する。シャッターボタン１０２は撮像指示を行うために設けられる。モード切り替えスイッチ１０３は各種モードを切り替えるために設けられる。コネクタ１０４は接続ケーブル１０５とデジタルカメラとを接続する。コントローラーホイール１０６は回転操作可能な操作部材である。スイッチ１０７は電源スイッチであり、電源オン、電源オフを切り替える。メモリカード１０８は記録媒体である。スロット１０９はメモリカード１０８を格納するためのスロットである。スロット１０９に格納されたメモリカード１０８は、デジタルカメラの本体との通信が可能である。蓋１１０はスロット１０９の蓋である。

図２は本実施形態に係るデジタルカメラの構造を示すブロック図である。デジタルカメラ２００は、静止画を撮像することができ、かつ、ピント位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ２００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。

制御部２０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ２０５に内蔵されたプログラムを読み出しながら、デジタルカメラ２００の各部分を制御する。たとえば、後述するように、制御部２０１が、後述する撮像部２０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部２０７に対して、予め用意された設定に基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部２１０によってデジタルカメラ２００に入力され、制御部２０１を通して、デジタルカメラ２００の各部分に達する。

駆動部２０２は、モーターなどによって構成され、制御部２０１の指令の下で、後述する光学系２０３を機械的に動作させる。たとえば、制御部２０１の指令に基づいて、駆動部２０２が光学系２０３に含まれるフォーカスレンズの位置を移動させ、光学系２０３の焦点距離を調整する。

光学系２０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、ピント位置を変えることができる。ただし、ここでいう「ピント位置」は、特に説明がなければ、被写体を基準にして定義されるものである。

撮像部２０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部２０４に、ＣＣＤやＣＭＯＳセンサなどを適用することができる。撮像部の構造について、詳細は後述する。撮像部２０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。

ＲＯＭ２０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ２００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ２０６は、書き換え可能な揮発性メモリであり、デジタルカメラ２００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部２０７は、撮像部２０４から出力された画像、あるいは後述する内蔵メモリ２０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部２０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理部２０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部２０１がＲＯＭ２０５から読み出したプログラムに従って処理することで、制御部２０１が画像処理部２０７の機能の一部または全部を兼用するようにしてもよい。制御部２０１が画像処理部２０７の全ての機能を兼用する場合には、画像処理部２０７をハードウェアとして有する必要はなくなる。

表示部２０８は、ＲＡＭ２０６に一時保存されている画像、または、後述する内蔵メモリ２０９に保存されている画像、あるいは、デジタルカメラ２００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。図１におけるモニタ１０１は、表示部２０８に該当する。

内蔵メモリ２０９は、撮像部２０４が撮像した画像や画像処理部２０７の処理を得た画像、および、画像撮像時のピント位置の情報などを記録する場所である。また、内蔵メモリの代わりに、図１のように、メモリカード１０８などを用いてもよい。

操作部２１０は、たとえば、デジタルカメラ２００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部２０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部２１０を経由して、制御部２０１に達する。図１におけるシャッターボタン１０２、モード切り替えスイッチ１０３、コントローラーホイール１０６およびスイッチ１０７は操作部２１０に該当する。

図３は、本実施形態における撮像部２０４を構成するセンサのアレイを説明するための図である。図３（ａ）では、画素３００は、互いに独立に光信号を読み取れる光電変換部３０１と３０２の２つを有することを示す。ただし、それぞれの画素は、３つ以上の光電変換部を有する構造でもよい。たとえば、図３（ｂ）では、画素３１０は、光電変換部３１１乃至３１４の４つを有する構造を示す。以下の記述では、１つの画素が２つの光電変換部を有する構造に基づいて説明する。

図４は、本実施形態において、光信号の画素への入射を説明するための図である。

図４では、画素アレイ４０１には、マイクロレンズ４０２と、カラーフィルタ４０３と、光電変換部４０４と４０５とがある。光電変換部４０４と４０５とは、同じ画素に属し、マイクロレンズ４０２とカラーフィルタ４０３に対応する。この図４はデジタルカメラを上から見た図であって、１つの画素に対応する２つの光電変換部４０４と４０５が左右に並んで配置されていることを示している。射出瞳４０６から出る光束のうち、光軸４０９を境にして、上側の光束（領域４０７からの光束に相当）は光電変換部４０５に入射し、下側の光束（領域４０８からの光束に相当）は光電変換部４０４に入射する。つまり、光電変換部４０４と４０５とはそれぞれ撮像レンズの射出瞳の異なる領域の光を受光している。ここで光電変換部４０４が受光した信号をＡ像、光電変換部４０５で受光した信号をＢ像とすると、制御部２０１は、Ａ像とＢ像の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。

図５は、本実施形態における深度合成の処理を説明するためのフローチャートである。

ユーザの指令が操作部２１０を経て制御部２０１に達すると、深度合成の処理が始まる。制御部２０１はステップＳ５０１で、デジタルカメラ２００の被写体深度に基づいて１枚目の画像を撮像するときのピント位置と、２枚目以降の画像を撮像するときの画像間のピント位置の変化量、および撮像枚数を設定する。これらの値により複数のピント位置が演算され、設定される。次に制御部２０１はステップＳ５０２で光学系２０３を構成するレンズを移動させて、デジタルカメラ２００のピント位置を変化させる。１枚目であれば予め設定したピント位置となるようにレンズを移動させ、２枚目以降であれば、予め設定したピント位置のうち、撮像が済んでいないピント位置の中で、最も至近側あるいは無限遠側のピント位置まで動かす。ステップＳ５０３で撮像部２０４を制御して撮像を行う。制御部２０１はステップＳ５０４で、ステップＳ５０３で撮像した画像の評価を行う。撮像画像評価の詳細については後述する。

制御部２０１はステップＳ５０５で撮像画像が基準を満たしているか否かを判定し、基準を満たしている場合はステップＳ５０６に進み、設定枚数分の画像を撮像したかどうかを判定する。

ステップＳ５０５で制御部２０１、撮像画像が基準を満たしていないと判定した場合、設定ステップＳ５０７で次の撮像のための設定したピント位置の補正を行い、ステップＳ５０２に戻る。ステップＳ５０７での設定したピント位置の補正の詳細については後述する。

ステップＳ５０６で設定枚数の画像を撮像したと判定された場合、ステップＳ５０８で制御部２０１は合成処理を実行し、合成画像を生成する。ステップＳ５０６で設定枚数の画像を撮像していないと判定された場合、ステップＳ５０２に戻る。

ステップＳ５０８での画像合成では、公知の方法を用いればよく、その一例を以下に述べる。まず、位置合わせのため、２つの画像の相対位置をずらしながら、これら複数の画像の画素の出力の差の絶対値総和（ＳＡＤ：Ｓｕｍ Ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を求める。この絶対値総和の値が最も小さくなるときの、２つの画像の相対的な移動量と移動方向を求める。そして、求めた移動量と移動方向に応じたアフィン変換もしくは射影変換の変換係数を算出した後、変換係数による移動量と絶対値総和から算出した移動量との誤差が最小となるように、最小二乗法を用いて変換係数を最適化する。その最適化された変換係数に基づいて、位置合わせの対象となる画像に対して、変形処理を行う。画像処理部２０７は、ステップＳ５０３で撮像部２０４によって撮像されたすべての画像に対して、上述した位置合わせと変形処理とを行った後、各画像の各々の領域に対して合成比率を与える。一例としては、画像処理部２０７は、同一領域に対応する複数の画像のうち、合焦している領域を有する画像の該当領域に含まれる画素に１００％の合成比率を与え、ほかの画像の該当領域に含まれる画素に０％の合成比率を与える。あるいは、各領域の画像間の合焦の度合いに応じて、各画像の該当領域に合成比率を割り振るようにしてもよい。なお、合成境界での不自然さを防ぐため、画像処理部２０７は隣接画素間で合成比率が段階的に変化するようにする。最後に、各々の画素の合成比率に基づいて、合成画像を生成する。

次に、ステップＳ５０４での撮像画像評価について説明する。

図６は本実施形態における撮像画像評価処理を説明するフローチャートである。撮像画像評価処理が始まると制御部２０１は、ステップＳ６０１で、直近のステップＳ５０３で撮像した時のピント位置を算出する。本実施形態においては、静止画の撮像時に撮像素子の各画素におけるＡ像とＢ像との位相差から撮像時のピント位置を算出する。

ステップＳ６０２で、制御部２０１はピント位置のずれ量を算出する。ステップＳ６０１で取得した撮像時のピント位置と、ステップＳ５０１で設定した各々のピント位置とから、ピント位置のずれ量を算出する。たとえば、ステップＳ６０１で取得したピント位置がＮ番目に撮像された画像のピント位置であれば、ステップＳ５０１で設定したピント位置のうち、Ｎ番目に位置するピント位置と比較することで、ピント位置のずれ量を算出する。

ステップＳ６０３で制御部２０１はピント位置のずれ量が所定値以内であるかを判定る。

ステップＳ６０３で焦点距離のずれ量が所定量を超えている場合、制御部２０１はステップＳ６０４に進み、基準を満たしていないと判定し、処理を終了させる。

反対に、ステップＳ６０３で焦点距離のずれ量が所定値以内である場合、制御部２０１はステップＳ６０５に進み、基準を満たしていると判定し、処理を終了させる。これらステップＳ６０４または６０５の判定結果に基づいて、図５のステップＳ５０５の判定が行われる。

以上、ステップＳ５０４での撮像画像評価の処理についての説明である。

次に、ステップＳ５０７におけるピント位置の補正の処理について説明する。図７は、本実施形態におけるピント位置の補正を説明するためのフローチャートである。

ステップＳ７０１で、制御部２０１は前回の撮像におけるピント位置と、今回の撮像におけるピント位置の距離を算出する。ステップＳ７０２で、制御部２０１はステップＳ７０１で算出した画像のピント位置の距離が所定値を越えているか否かを判定する。この所定値は、焦点距離と撮像素子の許容錯乱円径に基づいて決められる値であって、この所定値を超えると、これら２つの画像の間に、いずれの画像においても合焦状態とならない領域が生じてしまう。

制御部２０１は、ステップＳ７０２でピント位置の距離が所定値を超えていると判定した場合には、ステップＳ７０３に進み、前回の撮像位置と今回の撮像位置の間に新たなピント位置を追加する。同時に、制御部２０１は、前述したステップＳ５０６での予定枚数に、１枚を足す。そして、制御部２０１はステップＳ７０４に進む。制御部２０１がステップＳ７０４で新たなピント位置を追加した場合、その直後のステップＳ６０３で、この追加したピント位置で画像の撮像を行うことが望ましい。ほかのピント位置での撮像が済んでから、追加したピント位置での撮像を行ってもよいが、その間にカメラに手振れが生じた場合、その手振れに応じて、追加したピント位置を再度修正する必要が生じるためである。反対に、制御部２０１は、ステップＳ７０２でピント位置の距離が所定値以内であると判定した場合には、新たなピント位置を追加せずにステップＳ７０４に進む。

ステップＳ７０４では、ステップＳ５０１で設定したピント位置、あるいは、前回のステップＳ７０４を処理したときに更新されたピント位置を、新たなピント位置で更新する。すなわち、図６のステップＳ６０２でピント位置のずれ量を算出する際の、基準となるピント位置を更新する。具体的には、至近側から順にピント位置を設定して撮像している場合には、撮像済みのピント位置のうち最も無限遠側のピント位置を基準として、ステップＳ５０１で設定したピント位置の変化量ずつずらしたピント位置を、残りの撮像枚数分だけ設定する。つまり、撮像済みのピント位置のうち最も無限遠側のピント位置が、最初にステップＳ５０１で設定したピント位置よりも無限遠側にずれていれば、残りの撮像時に設定される複数のピント位置もそれぞれ同じ量だけ無限遠側にずれた位置に再設定される。こうすることで、ピント位置が途中でずれてしまったとしても、その後に撮像される画像間のピント位置の差を一定に保つことが可能である。

このように、制御部２０１は、ステップＳ７０４でピント位置の補正を行い、図７のフローチャートを終了させる。

図８は、本実施形態におけるピント位置の補正を説明するための図である。図８（ａ）は、図５のステップＳ５０１で設定したピント位置を示す。

図８（ｂ）は３枚目の画像を撮像するときに、光軸方向の手前側に手振れが発生した様子を示す。ピント位置８０１、ピント位置８０２、ピント位置８０３は、それぞれ１枚目、２枚目、３枚目の画像を撮像したときのピント位置を示す。本来の３枚目の画像を撮像するときのピント位置よりも、矢印８２１が示す量だけ、実際に３枚目の画像を撮像したときのピント位置８０３がずれている。この状態は、図６のステップＳ６０３ではＮＯと判断され、図７のステップＳ７０２ではＹＥＳと判断される状態に該当する。ここで、ピント位置がずれてはいるが、２枚目の画像のピント位置に、３枚目の画像のピント位置が近くなっただけであるため、ここではピント位置の追加は行われない。

図８（ｃ）は４枚目の画像を撮像するときのピント位置８０４を示している。３枚目の画像のピント位置８０３に対して、図５のステップＳ５０１で設定した変化量だけずらした位置に、新たなピント位置８０４が設定されている。

図８（ｄ）は、５枚目の画像を撮像するときに、光軸方向の無限遠側に手振れが発生した様子を示す。予定していた５枚目の画像を撮像するときのピント位置から、矢印８２２で示す量だけ、実際に５枚目の画像を撮像したときのピント位置８０５がずれている。図９（ｄ）では、４枚目の画像を撮像したときのピント位置８０４と、５枚目の画像を撮像したときのピント位置８０５との距離が、所定値を越えている。そのため、これらのピント位置の間には、４枚目と５枚目の画像のいずれにおいても被写体深度に含まれない領域が存在する。この状態は、図６のステップＳ６０３でＮＯと判断され、図７のステップＳ７０２でＮＯと判断される状態に該当する。

そこで、図８（ｅ）に示すように、ピント位置８０４とピント位置８０５の間に新たなピント位置８１１を設定し、このピント位置８１１で撮像する。このピント位置８１１を設定するｈそりが、図７のステップＳ７０３に該当する。もし、ピント位置８０４とピント位置８０５の間隔が広く、ピント位置を１つ追加するだけでは十分ではない場合には、２つ以上のピントを追加するようにしてもよい。新たなピント位置を追加することにより、ピント位置が隣接する画像間のピント位置の距離を、所定値以内に収めることができる。

図８（ｆ）では、ピント位置８０５に対して、図５のステップＳ５０１で設定した変化量だけずらした位置に、新たなピント位置８０６を設定し、画像を撮像する様子を示す。

このように、第１の実施形態によれば、ピント位置を変化させて撮像した複数の画像を用いて合成するとき、実際に画像を撮像したときのピント位置と、予定していたピント位置とのずれを算出することで、次の撮像のピント位置を調整し、合成画像を生成する際のぼけを低減させることができる。

なお、手前側への手振れの量が大きい場合には、予定していた枚数分の画像を撮像したとしても、予定より手前で撮像が完了してしまう可能性がある。そこで、制御部２０１は、図５のステップＳ５０６で予定枚数が完了した場合であっても、最も至近側のピント位置と最も無限遠側のピント位置が当初の設定していた範囲よりも狭い場合には、ピント位置をさらに追加して撮像を行うようにしてもよい。たとえば、ステップＳ５０１で設定された値から導ける最後の画像のピント位置に比べ、実際に最後に撮像した画像のピント位置が最初に撮像した画像のピント位置に近ければ、ピント位置の分布範囲が狭いと判断することができる。反対に、無限遠側の手振れの量が大きく、途中でピント位置を追加した結果、予定していた枚数分の画像を撮像する前に、当初予定していたピント位置での撮像を完了した場合には、その時点で撮像を終了してもよい。

（第２の実施形態）
第２の実施形態では、撮像部２０４とは別に、焦点検出用のセンサを設けた撮像装置を用いた例について説明する。以下では、図面を参照しながら詳細に説明する。なお、第１の実施形態と同様な所の説明は省略する。

図９は、デジタル一眼レフカメラの構造を説明するための図である。以下では、デジタル一眼レフカメラに基づいて説明するが、これに限らず、撮像部２０４と焦点検出用のセンサとを別々に設けた撮像装置であればよい。デジタル一眼レフカメラ９００にはレンズ鏡筒９０１が装着されており、画像を撮像するときには、ミラー９０３およびサブミラー９０４が撮像光路から避難し、レンズ鏡筒９０１を通過した光は撮像センサ９０２に導かれる。画像を撮像する前後は、図９に示すように、撮像光路に配置されたミラー９０３によって反射した光の一部がプリズム９０５によって屈折された後、ファインダー９０７に導かれる。ミラー９０３に到達した光の一部はミラー９０３を通過し、ミラー９０３に接続されているサブミラー９０４により反射してＡＦセンサ９０６に導かれる。ＡＦセンサ９０６は、ピント位置のずれ量と方向とを算出することができる。

図１０は、本実施形態における深度合成の処理を説明するためのフローチャートである。ステップＳ１００１乃至Ｓ１００８については、第１の実施形態の図５のステップＳ５０１乃至Ｓ５０８と同様である。

制御部２０１は、ステップＳ１００１で初期ピント位置とピント位置の変化量と撮像回数とを設定すると、ステップＳ１００２でミラー９０３を撮像光路に挿入する。そして制御部２０１は、ステップＳ１００３の撮像の前のステップＳ１０１３で、ミラー９０３を撮像光路から退避させる。

ステップＳ１０１２でＡＦセンサ９０６が測距情報を取得し、取得した距離情報は、制御部２０１が行うステップＳ１００４での撮像画像評価に用いられる。実際には、ステップＳ１０１２で測距情報を取得するタイミングと、ステップＳ１００３で撮像を行うタイミングにはずれがあるが、その差はわずかであるため、問題はない。よって、ステップＳ１００２で取得した距離情報を用いてステップＳ１００４で撮像画像評価を行うことができる。

第２の実施形態によれば、撮像部２０４とは別に焦点検出用のセンサを設けた撮像装置を用いても、ピント位置を変化させて撮像した複数の画像を用いて合成するとき、手振れが発生してもぼけを低減させる合成画像を生成できる。

（第３の実施形態）
第３の実施形態では、ピント位置のずれ量と方向とを直接算出する代わりに、コントラスト値の解析の結果に基づいて、撮像時のピント位置を推定し、撮像画像評価などを行う撮像装置を用いた例について説明する。以下では、図面を参照しながら、第３の実施形態を詳細に説明する。なお、第１の実施形態と同様な所は、省略する。

図１１は、本実施形態における深度合成の処理を説明するためのフローチャートである。

ステップＳ１１０１で、制御部２０１は、ユーザの設定に基づいて、初期ピント位置とピント位置の変化量と撮像枚数とを設定する。ステップＳ１１０２で制御部２０１は、撮像装置のピント位置を、ステップＳ１１０１で設定したピント位置のうち、最も無限遠側のピント位置まで移動させる。次に、ステップＳ１１０３で撮像装置は設定した各々のピント位置で、撮像を行う。

ステップＳ１１０４で、画像処理部２０７は、注目点を設定し、各画像における注目点のコントラスト値を解析する。画像処理部２０７が、画像からエッジ部を抽出し、このエッジ部に、なるべく多くの注目点を設定するほうが好ましい。図１２は、本実施形態における注目点のコントラスト値を説明するための図である。図１２（ａ）は、被写体を表し、領域１２０１乃至１２０４は画像処理部２０７が任意に指定した領域（以下、注目点と称す）である。設定したピント位置で撮像した各画像において、それぞれの注目点のコントラスト値を算出し、プロットすると、コントラスト値と設定したピント位置との関係を得ることができる。図１２（ｂ）は、図１２（ａ）の注目点１２０１乃至１２０４のそれぞれにおいて、コントラスト値と設定したピント位置との関係を曲線１２１１乃至１２１４で示す。図１２（ｂ）では、注目点にピントが合うとき、コントラスト値が高くなり、ピント位置がずれるほど、コントラスト値が下がることを示している。手振れが発生しなければ、コントラスト値と設定したピント位置との関係は、図１２（ｂ）になる。

次に、ステップＳ１１０４での注目点のコントラスト値の解析について、例を挙げながら説明する。簡略のため、以下では注目点１２０１と１２０２のみについて解析する例を説明する。図１２（ｃ）は、実際の撮像において、注目点１２０１および１２０２の各ピント位置のコントラスト値を示す。図１２（ｃ）では、撮像部２０４が離散的なのピント位置で撮像したため、離散的なコントラスト値の値になるが、これらのコントラスト値の近似曲線は図１２（ｂ）の曲線１２１１および１２１２である。したがって、画像処理部２０７が図１２（ｃ）のようなコントラスト値を算出できれば、制御部２０１は、撮像中に手振れなどが発生しておらず、ステップＳ１１０５で、ピント位置の追加が必要でないと判断する。

図１２（ｄ）は、手前側に手振れてしまう場合のコントラスト値を示す。図１２（ｄ）では、コントラスト値は、極大値をもち、滑らかに変化しているが、ピント位置１２２０のところでのコントラスト値のみ、ほかの値より大きくずれている。ピント位置１２２０以外のコントラスト値の近似曲線は曲線１２２１および１２２２で示す。注目点１２０１のコントラスト値１２２３は、曲線１２２１のピント位置１２２０での値より高く、注目点１２０２のコントラスト値１２２４は、曲線１２２２のピント位置１２２０での値より低いことがわかる。つまり、ピント位置１２２０で撮像した画像の注目点のコントラスト値は、曲線１２２１と１２２２において、より手前側のピント位置の値に近くなる。これにより、制御部２０１は、手前側に手振れてしまうことを判断できる。

図１２（ｅ）は、無限遠側に手振れてしまう場合のコントラスト値を示す。図１２（ｅ）では、図１２（ｄ）と同様に、ピント位置１２３０のところでのコントラスト値のみ、ほかの値より大きくずれている。ピント位置１２２０以外のコントラスト値の近似曲線は曲線１２３１および１２３２で示す。具体的に、注目点１２０１のコントラスト値１２３３は、曲線１２３１のピント位置１２３０での値より低く、注目点１２０２のコントラスト値１２３４は、曲線１２３２のピント位置１２３０での値より高いことがわかる。つまり、ピント位置１２３０で撮像した画像の注目点のコントラスト値は、曲線１２３１と１２３２において、より無限遠側のピント位置の値に近くなる。これにより、制御部２０１は、無限遠に手振れてしまうことを判断できる。

画像処理部２０７は、ステップＳ１１０１でなるべく多くの注目点を設定すると、上記の手振れの方向の判断の正確性を高めることができる。また、画像処理部２０７は、近似曲線を算出できないようなコントラスト値をもつ注目点を、ステップＳ１１０５でのピント位置の追加の判断に使わない。

手振れが発生すると、ピント位置１２２０または１２３０で、合成に使える画像を撮像できなかったので、制御部２０１は、ステップＳ１１０５で、ピント位置の追加が必要であると判断する。次に、ステップＳ１１０６に進み、ピント位置を追加し、ステップＳ１１０７で撮像部２０４は、追加したピント位置で撮像を行う。追加するピント位置は、前述するピント位置１２２０また１２３０にあるのは好ましいが、合焦しない区間が発生しない限り、ピント位置１２２０また１２３０の近くにある任意の位置でよい。

一方、ステップＳ１１０６で、制御部２０１は、ピント位置の追加が必要でないと判断する場合、直接、ステップＳ１１０８に進む。ステップＳ１１０８で、画像処理部２０７は、合成処理を行う。

第３の実施形態によれば、ピント位置を変化させて撮像した複数の画像を用いて合成するとき、手振れによるずれた量と方向とを直接算出しなくても、次の撮像のピント位置を調整し、ぼけを低減させる合成画像を生成できる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００ デジタルカメラ
２０１ 制御部
２０２ 駆動部
２０３ 光学系
２０４ 撮像部
２０５ ＲＯＭ
２０６ ＲＡＭ
２０７ 画像処理部
２０８ 表示部
２０９ 内蔵メモリ
２１０ 操作部

Claims (10)

1. 撮像手段と、
   複数の目標ピント位置の設定を行う設定手段と、
   ピント位置の算出手段と、を有し、
   前記撮像手段は、前記目標ピント位置に応じた複数の画像を撮像し、
   前記算出手段は、前記複数の画像のそれぞれが撮像されたときの、被写体に対するピント位置を算出し、
   前記設定手段は、前記目標ピント位置と、算出されたピント位置との比較結果に応じて、前記目標ピント位置の少なくとも一部を再設定し、
   前記撮像手段が順に撮像した第１の画像と第２の画像において、前記第１の画像を撮像したときに算出されたピント位置と、前記第２の画像を撮像したときに算出されたピント位置との差が、予め定められた閾値より大きい場合に、前記設定手段は、それより後に撮像する画像のための目標ピント位置の一部を再設定することを特徴とする撮像装置。
2. 前記複数の画像を合成する合成手段を有することを特徴とする請求項１に記載の撮像装置。
3. 前記複数の画像は、少なくとも一部の画角が重複することを特徴とする請求項２に記載の撮像装置。
4. 前記合成手段は、前記複数の画像のそれぞれの合焦している領域を用いて、合成画像を生成することを特徴とする請求項２または３に記載の撮像装置。
5. 前記撮像手段は、１つのマイクロレンズに対して、複数の光電変換部を有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記算出手段は、前記複数の光電変換部の出力に基づいて、それぞれが撮像された時の被写体に対するピント位置を算出することを特徴とする請求項５に記載の撮像装置。
7. 前記画像のコントラスト値の検出を行うコントラスト値の検出手段を有し、
   前記算出手段は、前記コントラスト値に基づいて、前記複数の画像のそれぞれが撮像された時の被写体に対するピント位置を算出することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 焦点検出用のセンサを有し、
   前記算出手段は、前記焦点検出用のセンサに基づいて、前記複数の画像のそれぞれが撮像された時の被写体に対するピント位置を算出することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 撮像ステップと、
   複数の目標ピント位置の設定を行う設定ステップと、
   ピント位置の算出ステップと、を有し、
   前記撮像ステップにおいては、前記目標ピント位置に応じた複数の画像を撮像し、
   前記算出ステップにおいては、前記複数の画像のそれぞれが撮像されたときの、被写体に対するピント位置を算出し、
   前記設定ステップにおいては、前記目標ピント位置と、算出されたピント位置との比較結果に応じて、前記目標ピント位置の少なくとも一部を再設定し、
   前記設定ステップにおいて順に撮像した第１の画像と第２の画像において、前記第１の画像を撮像したときに算出されたピント位置と、前記第２の画像を撮像したときに算出されたピント位置との差が、予め定められた閾値より大きい場合に、前記設定ステップにおいては、それより後に撮像する画像のための目標ピント位置の一部を再設定することを特徴とする撮像方法。
10. 撮像装置のコンピュータに動作させるプログラムであって、
    撮像ステップと、
    複数の目標ピント位置の設定を行う設定ステップと、
    ピント位置の算出ステップと、を行わせ、
    前記撮像ステップにおいては、前記目標ピント位置に応じた複数の画像を撮像し、
    前記算出ステップにおいては、前記複数の画像のそれぞれが撮像されたときの、被写体に対するピント位置を算出し、
    前記設定ステップにおいては、前記目標ピント位置と、算出されたピント位置との比較結果に応じて、前記目標ピント位置の少なくとも一部を再設定し、
    前記設定ステップにおいて順に撮像した第１の画像と第２の画像において、前記第１の画像を撮像したときに算出されたピント位置と、前記第２の画像を撮像したときに算出されたピント位置との差が、予め定められた閾値より大きい場合に、前記設定ステップにおいては、それより後に撮像する画像のための目標ピント位置の一部を再設定することを特徴とするプログラム。

Images