JP6590899B2 - 撮像装置、撮像方法およびプログラム - Google Patents

Description

本発明は、複数の画像に対して位置合わせを行う撮像装置に関するものである。

デジタルカメラなどの撮像装置からの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。こうした深度合成の技術を正しく行うために、画像間の正しい位置合わせが不可欠である。特許文献２には、複数の画像において特徴点を検出して追跡し、検出した特徴点を用いて変換係数を求め、この変換係数に基づく画像の位置合わせを行ってから画像合成を行う方法が開示されている。

特開平１０−２９０３８９号公報 特開２００８−２７１２４０号公報

特許文献１に記載の方法で深度合成の画像を作成する際に、品位の高い合成画像を得るためには、ピント位置を細かく変えながら、大量の画像を撮像することが望ましい。

しかしながら、ピント位置の変化が少ないと、以下のような課題が生じることがある。たとえば、隣り合う画像間の変化があまりにも少なく、デジタルカメラに設けられた画像処理部が画像間の違いが検出できず、位置合わせのための変換係数が求められないことがある。また、デジタルカメラに設けられた光学系では、レンズのカムの咬み合わせの余裕分（遊び）が大きくて、画像間のピント位置の変化を小さく設定しても、光学系が設定した通りに動けず、ピントが変わらなくなることもある。

本発明は、上記の課題を鑑みてなされたものであり、ピント位置を細かく設定したときに撮像した複数の画像に対して位置合わせを行うとき、精度高く実行でき、合成画像を作成できる撮像装置を提供することを目的とする。

上記課題を解決するため、本願発明は、撮像手段と、ピント位置を変えさせながら前記撮像手段に複数の画像を撮像させる制御手段と、合成手段と、前記撮像手段が撮像した画像に対して特徴点を検出し、２枚の画像の対応する前記特徴点を用いて該２枚の画像の位置合わせのための変換係数の算出を行う算出手段と、を有し、前記制御手段は、前記複数の画像のうちの前記ピント位置が隣り合う２枚の画像の位置合わせのための前記変換係数が、予め定められた条件を満たさないと判断される場合、前記撮像手段を制御する方法を変更して再撮像させ、前記合成手段は、前記撮像手段が撮像した画像のうち、前記変換係数が予め定められた条件を満たす隣り合う２枚の画像に対して合成を行う撮像装置を提供する。

本発明の構成によれば、ピント位置を細かく設定したときに撮像した複数の画像に対して精度の高い位置合わせを行い、品位の高い合成画像を生成できる撮像装置を提供することができる。

本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。 本発明の実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。 本発明の実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。 本発明の実施形態における被写体像が結像面に結像する様子を示す図である。 本発明の実施形態における深度合成の撮像を説明するための図である。 本発明の実施形態における画像合成の処理を説明するためのフローチャートである。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本実施形態に係る撮像装置であるデジタルカメラの概略構成を示す背面斜視図である。

デジタルカメラ１００の背面には、画像や各種の情報を表示する表示部１０１と、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材からなる操作部１０２が設けられている。また、デジタルカメラ１００の背面には、撮像モード等を切り替えるモード切替スイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。デジタルカメラ１００の上面には、撮像指示を行うシャッタボタン１２１と、デジタルカメラ１００の電源のオン／オフを切り替える電源スイッチ１２２と、被写体に対して閃光を照射するストロボ１４１が設けられている。

デジタルカメラ１００は、有線あるいは無線通信を介して外部装置と接続可能であり、外部装置に画像データ（静止画データ、動画データ）等を出力することができる。デジタルカメラ１００の下面には、蓋１３１により開閉可能な記録媒体スロット（不図示）が設けられており、記録媒体スロットに対してメモリカード等の記録媒体１３０を挿抜することができるようになっている。

記録媒体スロットに格納された記録媒体１３０は、デジタルカメラ１００のシステム制御部２１０（図２参照）と通信可能である。なお、記録媒体１３０は、記録媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、光学ディスクやハードディスク等の磁気ディスクであってもよく、更に、デジタルカメラ１００の本体に内蔵されていてもよい。

図２は、デジタルカメラ１００のハードウェア構成を示すブロック図である。デジタルカメラ１００は、バリア２０１、撮像レンズ２０２、シャッタ２０３及び撮像部２０４を備える。バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。撮像レンズ２０２は、ズームレンズ、フォーカスレンズを含むレンズ群により構成されており、撮像光学系を構成する。シャッタ２０３は、絞り機能を備え、撮像部２０４に対する露光量を調節する。撮像部２０４は、光学像を電気信号（アナログ信号）に変換する撮像素子であり、例えば、ＲＧＢの画素が規則的に配置されたベイヤー配列構造を有するＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサである。なお、シャッタ２０３は、機械式シャッタ（以下、メカシャッタという）であってもよいし、撮像素子のリセットタイミングの制御によって蓄積時間を制御する電子シャッタであってもよい。

または、撮像部２０４を、ステレオ画像が取得できる、１つ画素に複数の光電変換部に設けられる構造にすれば、自動焦点検出（ＡＦ）処理がより素早くできる。

図３は、本実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。

図３では、画素アレイ３０１が、マイクロレンズ３０２と、カラーフィルタ３０３と、光電変換部３０４および３０５を備えている。光電変換部３０４と３０５とは、同じ画素に属し、共通する１つのマイクロレンズ３０２と１つのカラーフィルタ３０３に対応する。図３はデジタルカメラ１００を上から見た図であって、１つの画素に対応する２つの光電変換部３０４と３０５が左右に並んで配置されていることを示している。射出瞳３０６から出る光束のうち、光軸３０９を境にして、上側の光束（領域３０７からの光束に相当）は光電変換部３０５に入射し、下側の光束（領域３０８からの光束に相当）は光電変換部３０４に入射する。つまり、光電変換部３０４と３０５とはそれぞれ撮像レンズの射出瞳の異なる領域の光を受光している。ここで光電変換部３０４が受光した信号をＡ像、光電変換部３０５で受光した信号をＢ像とすると、Ａ像とＢ像のように、１対の瞳分割画像の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。特に、撮像素子の全体に、２つの光電変換部を有する画素を全面的に配置すれば、撮像素子が、画面上の任意の位置における被写体の距離情報を得ることができる。

ただし、上述した距離情報は、２つの光電変換部を有する画素でなく、普通の画像を有する撮像素子を用いても得られる。たとえば、撮像部２０４が、複数のレンズの相対位置を変えながら、ピント位置の異なる複数の画像を生成する。後述する画像処理部２０６は、それぞれの画像に対して、ブロックに分割し、分割したブロックのコントラストを算出する。画像処理部２０６は、撮像した複数の画像の同じ位置にあるブロックのコントラストを比較し、コントラストの最も大きいブロックを合焦しているブロックと判断する。最後に、画像処理部２０６は、合焦しているブロックが撮影された画像のピント位置から、各々のブロックの距離情報を求めればよい。

デジタルカメラ１００は、Ａ／Ｄ変換器２０５、画像処理部２０６、メモリ制御部２０７、Ｄ／Ａ変換器２０８、メモリ２０９及びシステム制御部２１０を備える。撮像部２０４からＡ／Ｄ変換器２０５へアナログ信号が出力され、Ａ／Ｄ変換器２０５は、取得したアナログ信号をデジタル信号からなる画像データに変換して、画像処理部２０６またはメモリ制御部２０７へ出力する。

画像処理部２０６は、Ａ／Ｄ変換器２０５から取得した画像データまたはメモリ制御部２０７から取得したデータに対して、画素補間やシェーディング補正等の補正処理、ホワイトバランス処理、γ補正処理、色変換処理等を行う。また、画像処理部２０６は、画像の切り出しや変倍処理を行うことで電子ズーム機能を実現する。更に、画像処理部２０６は撮像した画像の画像データを用いて所定の演算処理を行い、こうして得られた演算結果に基づいてシステム制御部２１０が露光制御や測距制御を行う。例えば、システム制御部２１０により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理が行われる。画像処理部２０６は、撮像した画像の画像データを用いて所定の演算処理を行い、得られた演算結果を用いて、システム制御部２１０はＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

画像処理部２０６は、画像合成処理回路を有する。画像合成処理回路は、単純な加算平均合成だけでなく、合成対象の画像データの各領域において最も明るい値または暗い値を持つ画素を選択して１枚の画像データを生成する比較明合成や比較暗合成等の処理を行うことができる。また、合成結果を特定の基準に基づいて評価し、判定する。たとえば、合成された画像の数が所定数に満たさない場合や、合成後の画像の長さが基準値に満たさない場合に、合成に失敗したと判定する。なお、画像処理部２０６を備える構成の代わりに、システム制御部２１０によるソフトウェア処理によって画像合成処理の機能を実現する構成としてもよい。

Ａ／Ｄ変換器２０５から出力される画像データは、画像処理部２０６及びメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介して、メモリ２０９に書き込まれる。メモリ２０９は、表示部１０１に表示する画像データを格納する画像表示用メモリ（ビデオメモリ）を兼ねている。メモリ２０９は、所定枚数の静止画像、パノラマ画像（広角画像）、パノラマ画像合成結果を格納することができる記憶容量を備えている。なお、メモリ２０９は、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラム等を展開する作業領域として用いることもできる。

メモリ２０９に格納されている画像表示用データ（デジタルデータ）は、Ｄ／Ａ変換器２０８に送信される。Ｄ／Ａ変換器２０８は、受信したデジタルデータをアナログ信号に変換して表示部１０１に供給し、これにより、表示部１０１に画像が表示される。表示部１０１は、液晶ディスプレイまたは有機ＥＬディスプレイ等の表示装置であり、Ｄ／Ａ変換器２０８からのアナログ信号に基づいて画像を表示する。表示部１０１における画像表示のオン／オフは、システム制御部２１０によって切り替えられ、画像表示をオフにすることで電力消費を低減させることができる。なお、撮像部２０４からＡ／Ｄ変換器２０５を通じてメモリ２０９に蓄積されるデジタル信号をＤ／Ａ変換器２０８によりアナログ信号に変換して表示部１０１に逐次表示することにより、スルー画像を表示する電子ビューファインダ機能を実現することができる。

デジタルカメラ１００は、不揮発性メモリ２１１、システムタイマ２１２、システムメモリ２１３、検出部２１５及びストロボ制御部２１７を備える。不揮発性メモリ２１１は、電気的に消去や記憶が可能なメモリ（例えば、ＥＥＰＲＯＭ等）であり、システム制御部２１０が実行するプログラムや動作用の定数等を格納する。また、不揮発性メモリ２１１は、システム情報を記憶する領域やユーザ設定情報を記憶する領域を有しており、システム制御部２１０は、デジタルカメラ１００の起動時に不揮発性メモリ２１１に記憶された種々の情報や設定を読み出して復元する。

システム制御部２１０は、ＣＰＵを備え、不揮発性メモリ２１１に記憶されている各種のプログラムコードを実行することにより、デジタルカメラ１００の全体的な動作を制御する。なお、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラムや動作用の定数、変数等は、システムメモリ２１３上に展開される。システムメモリ２１３には、ＲＡＭが用いられる。更に、システム制御部２１０は、メモリ２０９やＤ／Ａ変換器２０８、表示部１０１等を制御することにより、表示制御を行う。システムタイマ２１２は、各種の制御に用いる時間や内蔵された時計の時間を計測する。ストロボ制御部２１７は、被写体の明るさに応じて、ストロボ１４１の発光を制御する。検出部２１５は、ジャイロやセンサを含み、デジタルカメラ１００の角速度情報、姿勢情報等を取得する。なお、角速度情報は、デジタルカメラ１００によるパノラマ撮像時の角速度及び角加速度の情報を含む。また、姿勢情報は、水平方向に対するデジタルカメラ１００の傾き等の情報を含む。

図２に示される表示部１０１、操作部１０２、コントローラホイール１０３、シャッタボタン１２１、モード切替スイッチ１０４、電源スイッチ１２２及びストロボ１４１は、図１を参照して説明したものと同じである。

操作部１０２を構成する各種の操作部材は、例えば、表示部１０１に表示される種々の機能アイコンの選択に用いられ、所定の機能アイコンが選択されることにより、場面毎に機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、ＤＩＳＰボタン等が挙げられる。例えば、メニューボタンが押下されると、各種の設定を行うためのメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて、直感的に設定操作を行うことができる。

回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指定するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。システム制御部２１０は、このパルス信号を解析して、デジタルカメラ１００の各部を制御する。

シャッタボタン１２１は、第１スイッチＳＷ１と第２スイッチＳＷ２を有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でオンとなり、これにより、撮像準備を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第１スイッチＳＷ１がオンになった信号を受信すると、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でオンとなり、これにより、撮像開始を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第２スイッチＳＷ２がオンになった信号を受信すると、撮像部２０４からの信号読み出しから記録媒体１３０への画像データの書き込みまでの一連の撮像動作を行う。

モード切替スイッチ１０４は、デジタルカメラ１００の動作モードを、静止画撮像モード、動画撮像モード、再生モード等の各種モードの間で切り替えるためのスイッチである。静止画撮像モードは、オート撮像モード等の他に、パノラマ撮像によりパノラマ画像を合成するパノラマ画像撮像モードを含む。

デジタルカメラ１００は、電源部２１４及び電源制御部２１８を備える。電源部２１４は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプタ等であり、電源制御部２１８へ電力を供給する。電源制御部２１８は、電源部２１４における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びシステム制御部２１０の指示に基づいて、必要な電圧を必要な期間、記録媒体１３０を含む各部へ供給する。

デジタルカメラ１００は、記録媒体１３０が記録媒体スロット（不図示）に装着された際に、記録媒体１３０とシステム制御部２１０との間の通信を可能にするための記録媒体Ｉ／Ｆ２１６を備える。記録媒体１３０の詳細については、図１を参照して既に説明しているため、ここでの説明を省略する。

次に、深度合成（フォーカスブラケット）について簡単に説明する。

図４は、本実施形態における被写体像が結像面に結像する様子を示す図である。

図４（ａ）は、被写体４０１が光学レンズ４０２によって面４０３ａ上に像４０４として結像している様子を示している。すなわち、面４０３ａと撮像素子の撮像センサ面とが互いに一致すれば、被写体４０１は面４０３ａにて「点」として結像し、合焦画像として記録される。

図４（ｂ）は、像の結像面と撮像センサ面とが一致しない場合を示している。撮像センサ面４０３ｂが図４（ａ）に示される面４０３ａとは異なる位置にある場合、光学レンズ４０２により結像される被写体４０１は、錯乱円４０５として撮像センサ面４０３ｂ上に写る。このとき、錯乱円４０５が撮像センサの許容錯乱円よりも小さい場合、錯乱円４０５は合焦した場合の「点」と同等とみなすことができ、合焦画像と同等の画像が得られる。一方、錯乱円４０５が許容錯乱円よりも大きい場合、撮像センサ面４０３ｂではぼけた画像が得られる。

図４（ｃ）は、上記の様子を側面から示した図である。ここで、焦点４１０にて被写体が結像し、面４１１ａの位置に撮像センサ面が存在する場合、錯乱円径４１２ａが得られる。このときの錯乱円径４１２ａは、撮像センサの許容錯乱円径４１３よりも小さい。このため、撮像センサにて記録される画像４１７は、ぼけの無い合焦画像となる。一方、撮像センサ面が面４１４ａの位置に存在する場合、このときの錯乱円径４１５ａは、許容錯乱円径４１３よりも大きい。このため、撮像センサ面４１４ａ上の画像４１８ａは、ぼけた画像となる。錯乱円径４１２ａが許容錯乱円径４１３よりも小さくなる斜線で示される領域は焦点深度４１６ａであり、これを被写体側に換算して置き換えたものが被写界深度となる。

図４（ｄ）は、図４（ｃ）と比べて、絞りを絞った状態を示す図である。絞りを絞った状態では、図４（ｃ）の錯乱円径４１２ａと４１５ａがそれぞれ、面４１１ｂに対しての錯乱円径４１２ｂ、面４１４ｂに対しての錯乱円径４１５ｂとなるように変化する。このとき、図４（ｃ）の錯乱円径４１５ａと比較して、図４（ｄ）の錯乱円径４１５ｂは小さい。このため、そのときに得られる画像４１８ｂは、画像４１８ａよりもぼけ量の少ない画像となる。また、そのときの焦点深度４１６ｂは、焦点深度４１６ａよりも深い。

図５は、本実施形態における深度合成の撮像を説明するための図である。ここでは、合焦させる被写体として、被写体５１乃至５３を想定している。それぞれの被写体５１乃至５３は、互いに異なる距離（被写体距離）に存在するものとし、デジタルカメラ１００に近い側から（近距離側から遠距離側に向かう方向に）被写体５１、５２、５３の順に位置している。デジタルカメラ１００の構造上、１回の撮像で被写体５１乃至５３を全部被写界深度に入れることができない。また、より高い解像感を得るため、各々の画像の被写界深度を小さくすることもある。こうした場合では、複数の被写体５１乃至５３のすべてに対して合焦した深度合成画像を得るには、フォーカスブラケット撮像を行う焦点範囲５００（ブラケット範囲）を、複数の焦点深度でカバーする必要がある。焦点深度５１１乃至５１６は、それぞれの撮像における焦点深度を示し、焦点範囲５００をカバーするように並んでいる。すなわち、焦点深度５１１乃至５１６となるピント位置で撮像（６回の撮像）を行うことにより、焦点範囲５００の範囲内の被写体５１乃至５３は、いずれかの画像において合焦した状態となる。また、このようにして撮像された複数の画像から、それぞれの撮像における焦点深度内の領域を画像合成することにより、焦点範囲５００の全域（ブラケット全域）で合焦した画像を得ることができる。

しかしながら、上記のように、深度合成の画像の撮像において、画質のよい合成画像を得るために、枚数の多い画像を撮像する。そのため、画像間のピント位置の差が極端に小さくなると、画像間の変化が小さすぎるために、検出した変換係数が使えないこともある。たとえば、レンズのカムの咬み合わせの余裕分（遊び）が大きくて、画像間のピント位置の変化を小さく設定しても、レンズが設定通りの位置まで動けないことがある。または、そもそも設定したピント位置の間隔があまりにも小さくて、ピント位置を再設定しないとレンズが設定した通りのピント間隔を実現できないこともある。このような課題を解決するために、本実施形態においては、以下に述べるように、撮像条件の再設定を行う。以下では、図を用いて本実施形態における画像合成の詳細について述べる。

図６は、本実施形態での画像合成の処理を説明するためのフローチャートである。なお、下記の説明では、位置合わせのための係数として、アフィン係数を用いる。アフィン係数は、下記の（式１）に示したように計算することができる。

（式１）では、（ｘ´、ｙ´）は位置合わせを行った後の座標を示し、（ｘ、ｙ）は位置合わせを行う前の座標を示す。行列Ａはアフィン係数を示す。

ステップＳ６０１で、システム制御部２１０は、ユーザの入力またはデフォルト設定に従って、撮像条件の設定を行う。ここでいう撮像条件には、まず、合成画像の枚数やピント位置などが含まれる。たとえば、ユーザは表示部１０１が兼用するタッチパネルを通して合焦位置を指定し、その合焦位置に相当するピント位置の光軸方向の前後に等間隔に複数のピント位置を指定する。または、ユーザは表示部１０１が兼用するタッチパネルで２つの位置を指定し、この２つの位置の間に等間隔にピント位置を設定してもよい。なお、ピント位置の数（合成用の画像の数）については、システム制御部２１０は、処理負荷を考慮して増やしてもよい。一般的に、ピント位置が多いほど、深度合成画像の画質が良いが、処理負荷を考慮してピント位置の数を決める必要がある。同時に、システム制御部２１０は、設定したピント位置において、距離順に撮像順番を決める。

また、ステップＳ６０１では、システム制御部２１０は、ピント位置に合わせて、撮像するときの被写界深度を設定する。被写界深度の設定では、図５のように、ブラケット範囲を全部カバーできるように設定しなければならない。

また、ステップＳ６０１で、システム制御部２１０は、ピント位置や被写界深度以外には、ＩＳＯ感度やシャッタースピードなどの設定も行う。それに、ステップＳ６０１でいう撮像条件は、レンズやシャッタの制御方法なども含まれている。具体的な説明は後述する。

ステップＳ６０２で、撮像部２０４が、設定したピント位置で同じ画角に対して順に合成用の画像の撮像を行う。

ステップＳ６０３で、システム制御部２１０は、ステップＳ６０２で撮像部２０４が撮像した画像から、基準画像を選択する。

ステップＳ６０４で、システム制御部２１０は、基準画像から特徴点を抽出する。特徴点の抽出の方法は種々のものがあるが、一例としては、ある点を中心とする所定の領域内の輝度の標準偏差が所定値以上の場合、システム制御部２１０は、その点を特徴点として抽出する。また、抽出する特徴点の数が多いほど処理の精度が上がるが、同時に処理負荷が増えてしまうため、システム制御部２１０などのハードウェアの性能によって特徴点の数を事前に決められるのが好ましい。

ステップＳ６０５で、システム制御部２１０は、基準画像以外の画像から、被検出画像を選択する。

ステップＳ６０６で、システム制御部２１０は、基準画像の特徴点から未追跡のものから１つを選択する。

ステップＳ６０７で、システム制御部２１０は、特徴点の追跡を行う。システム制御部２１０は、ステップＳ６０５で選択した被検出画像において、ステップＳ７０４で選択した特徴点に対応する点を探す。探し方の一例としては、システム制御部２１０は、被検出画像においてステップＳ６０６で選択した特徴点と同じ位置を中心とする所定の範囲を、探索範囲として設定する。システム制御部２１０は、探索範囲において、特徴点との輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。この点を特徴点と対応する点として後述する画像の変形処理までに、メモリ２０９がその対応関係を記憶する。システム制御部２１０は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

例えば、２枚の画像において追跡前後の対応する３つの点のそれぞれの座標が、（ｘ１、ｙ１）と（ｕ１、ｖ１）、（ｘ２、ｙ２）と（ｕ２、ｖ２）および（ｘ３、ｙ３）と（ｕ３、ｖ３）とする。下記の（式２）と（式３）とを連立して解くことでアフィン係数を算出することができる。

システム制御部２１０は、軌跡が一直線状に位置しない４点以上の特徴点があるとき、最小二乗法を用いて正規化する。システム制御部２１０は、軌跡が一直線状に位置しない３つの特徴点を検出できない場合、アフィン係数を算出できず、後述するステップＳ７０８で変換係数が使えないと判断する。

ステップＳ６０８では、システム制御部２１０は、ステップＳ６０５で選択した被検出画像において、基準画像のすべての特徴点に対して追跡を行ったかどうかについて判断する。まだ基準画像のすべての特徴点が処理されていない場合は、ステップＳ６０６に戻り、未処理の特徴点から改めて追跡対象の特徴点を選択する。基準画像のすべての特徴点が処理された場合は、ステップＳ６０９に進む。

ステップＳ６０９で、システム制御部２１０は、追跡した特徴点の位置に基づいて、変換係数を算出する。ここでいう変換は、公知の平行移動、回転移動、拡大・縮小のうちのいずれか１つまたは複数の変換方法を指す。一般的に、システム制御部２１０は、ステップＳ６０７で検出した対応点（特徴点とそれに対応する被検出画像の点）の位置が一致になるように、かつ最短な距離で変換処理を行うための係数を変換係数として計算する。

ステップＳ６１０で、システム制御部２１０は、ステップＳ６０９で算出した変換係数は位置合わせに使えるかどうかについて判断する。前述したように、撮像時のピント位置の差が少なく、画像間の変化が極めて少ない場合では、ステップＳ６０７で追跡した特徴点と基準画像の特徴点との位置が極めて近くなる。こうした特徴点から変換係数を検出すると、変換係数が極めて小さくなり、または、０になる可能性がある。システム制御部２１０は、こうした極めて小さい変換係数を位置合わせに使っても、精度の高い位置合わせが実現できないので、こうした変換係数を使えないと判断する。具体的に、たとえばアフィン係数を変換係数として用いる場合、変換前の座標を（ｘ，ｙ）と、変換後の座標を（ｘ´，ｙ´）と書くと、下記の（式４）が成り立つ。なお、（式４）と（式１）とが実質的に同一である。

（式４）では、ａとｅが１に近いほど、また、ｂ、ｄ、ｃ及びｆが０に近いほど、変換前後の座標の変化が少ない。システム制御部２１０は、ａおよびｅと１との差を閾値と比較し、ｂ、ｄ、ｃ及びｆと０との差を別の閾値と比較すると、変換係数が使えるかどうかを判断できる。また、システム制御部２１０は、上記の要素に対してそれぞれの閾値を予め定めてもよい。

また、前述した通り、システム制御部２１０は、画像において抽出した一直線にない特徴点が３つ未満の場合、アフィン係数を算出できず、ステップＳ６１０で変換係数が使えないと判断する。より好ましいのは、システム制御部２１０は、画像において所定数以上、すなわち３つ以上の一直線にない特徴点が抽出できないと判断した途端、フローはステップＳ６０５に戻る。

または、システム制御部２１０は、特徴点の位置の変化について判断し、特徴点の変化の前後の位置の差が予め定められた閾値より小さければ、変換係数が使えないと判断する。この場合では、システム制御部２１０は、変換係数が使えるかどうかを判断する前に、必ずしも変換係数の算出を行う必要がない。

ステップＳ６１０で、システム制御部２１０は変換係数が使えると判断したらステップＳ６１２に進む一方、ステップＳ６１０で、システム制御部２１０は変換係数が使えないと判断した場合は、ステップＳ６１１に進み、撮像条件の再設定を行う。ここでの再設定の方法について説明する。

前述した撮像レンズ２０２のカムの咬み合わせの余裕分などの影響で、想定したピント位置をずらした撮像ができかなった、撮像した画像がピント位置をずらす前、ずらした後で全く変化しないなどの現象が発生していると考えられる。その場合において、撮像方法そのものの変更を行うのが効果的である。例えば、撮像レンズ２０２の制御方法を変更するなどが考えられる。一般的にフォーカスブラケット撮像はレンズ内の焦点位置にレンズを停止させて行われる。ただ今回の事例のような場合は、撮像レンズ２０２を停止させてしまうと次の動き出しまでに、カムの咬み合わせによる余裕分などの影響で、次の焦点位置に向けて、期待していたピント位置まで移動できない場合がある。このような場合は、撮像レンズ２０２を停止させることなく、ピント位置を至近から無限遠に向けて連続的に移動させ、その過程で連続的に撮像を行うなどの方法が考えられる。たとえば、撮像レンズ２０２の移動後にアクチュエータの通電を切らずバックラッシュ除去を維持する、あるいは、撮像レンズ２０２の移動後にアクチュエータの通電は切って、撮像毎にバックラッシュ除去、所謂フォーカスレンズの突き当てを行うでもよい。またこの場合は、前述したような撮像レンズ２０２の制御方法に伴って、撮像部２０４に設けられた撮像センサにおける露光から読み出し完了までの処理を高速化するために、シャッタ制御方式、所謂機械式シャッタと電子シャッタを切り替えてもよい。また、撮像センサの読み出し方式をより高速に読み出せるモードに変更し、または、撮像の方向を至近から無限遠方向で撮像していたものを無限遠から至近の方向に変更して、レンズ移動方向によってカムの咬み合わせが違う場合では効果的である。

また、撮像レンズ２０２に組み込まれるフォトインタプタなどで撮像レンズ２０２の移動量を検出する構成にするなどで、撮像した画像がピント位置をずらす前後で全く変化しない現象が発生していると特定できる場合がある。この場合では、ステップＳ６０１で設定したピント位置の間隔を再設定する。また、ここで提案されている、レンズ制御方式、シャッタ制御方式、撮像センサの読み出し方式、レンズの移動方向の変更、ピント間隔の変更は、それぞれ組み合わせて変更してもよいし、各々独立して変更してもよい。このように、ステップＳ６１１での撮像条件の再設定を行う。

上述した変換係数が使えない場合での撮像条件の再設定について、下記の表１にまとめた。

ステップＳ６１２では、システム制御部２１０は、基準画像以外のすべての画像に対して変換係数の算出の処理が完了したかどうかについて判断する。まだすべての画像が完了していない場合、ステップＳ６０５に戻る。

ステップＳ６１３で、システム制御部２１０は、画像の合成に用いられる画像に対して位置合わせを行う。たとえば、システム制御部２１０は、前述した（式１）に示したアフィン係数の式を用いて位置合わせを行うことができる。

ステップＳ６１４で、システム制御部２１０は、位置合わせを行った後の画像に対して合成を行う。合成処理では、システム制御部２１０は、各々の画像の合焦位置を抽出して合成し、画像全体に合焦しているような合成画像を生成する。図３に示したような複数の光電変換部を有する画素からなる撮像素子を用いる場合、デジタルカメラ１００が瞳分割の光信号から、合焦位置を抽出することができる。一般的な撮像素子しかもたないデジタルカメラ１００の場合では、コントラスト値の最も高い位置を合焦位置として抽出する。

まず、システム制御部２１０は、それぞれの画像のコントラスト値を算出する。コントラスト値の算出の方法の一例としては、たとえば、システム制御部２１０がそれぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式５）を用いて輝度Ｙを算出する。
Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・（式５）

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式６）乃至（式８）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

ステップＳ６１４で、システム制御部２１０は、同一座標を有する各々の画像の画素から、コントラスト値の最も高いものを選んで、合成画像の同一座標に置き換える。システム制御部２１０は、すべての画素に対して、こうした置き換えを行うと、撮像領域全体に合焦している合成画像を生成できる。

ただし、前述の合成処理は一例にすぎず、本実施形態は、撮像領域全体に合焦している合成画像以外の合成にも適用できる。たとえば、システム制御部２１０は、加算合成処理、加重加算合成処理、比較明合成処理、比較暗合成処理などを行ってもよい。

上述した実施形態では、変換係数が使えない画像をスキップしない場合、すべての画像を再設定した撮像条件で撮りなおす。しかしながら、これに限らなく、撮像条件を再設定する前に撮像した画像を再撮像しないことも可能であると考えられる。

また、上述した実施系形態では、被検出画像と基準画像とに対して特徴点を追跡し、算出した変換係数が使えないと判断した時点で位置合わせが困難で撮像条件の再設定が必要であるという前提で行うが、これに限らない。被検出画像と基準画像とに対して検出した特徴点から算出した変換係数が使えなくても、他の画像と基準画像とから算出した使える変換係数から、ピント位置の関係を利用して、被検出画像の変換係数を導出することもできる。こうして算出した変換係数も使えないと判断して初めて、本実施形態で記述したような撮像条件の再設定を行うように実施してもよい。

また、ユーザが設定したブラケット範囲において、撮像した画像間のすべての違いが少なく、変換係数の検出が難しい場合、そもそも深度合成を行う必要性が低いと考えられる。こうした場合では、深度合成を行わずに、１枚の画像を撮像することにする。

本実施形態によれば、ピント位置を細かく移動させて撮像した複数の画像の合成において、場合に応じて撮像条件を再設定することによって、精度よく位置合わせを行うことができる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０２ 操作部
１０４ モード切替スイッチ
１３０ 記録媒体
２０４ 撮像部
２０６ 画像処理部
２０７ メモリ制御部
２０９ メモリ
２１０ システム制御部
２１５ 検出部
２１６ Ｉ／Ｆ

Claims (13)

1. 撮像手段と、
   ピント位置を変えさせながら前記撮像手段に複数の画像を撮像させる制御手段と、
   合成手段と、
   前記撮像手段が撮像した画像に対して特徴点を検出し、２枚の画像の対応する前記特徴点を用いて該２枚の画像の位置合わせのための変換係数の算出を行う算出手段と、を有し、
   前記制御手段は、前記複数の画像のうちの前記ピント位置が隣り合う２枚の画像の位置合わせのための前記変換係数が、予め定められた条件を満たさないと判断される場合、前記撮像手段を制御する方法を変更して再撮像させ、
   前記合成手段は、前記撮像手段が撮像した画像のうち、前記変換係数が予め定められた条件を満たす隣り合う２枚の画像に対して合成を行うことを特徴とする撮像装置。
2. 前記制御手段は、レンズ制御方式の変更、シャッタ制御方式の変更、撮像センサの読み出し方式の変更、レンズの移動方向の変更、および、前記ピント位置の間隔の変更のいずれか１つまたは複数を行うことによって、前記撮像手段を制御する方法を変更して再撮像させることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記撮像手段にレンズを停止せずに前記複数の画像を撮像させることによって、前記レンズ制御方式の変更を行うことを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、機械式シャッタを電子シャッタに変更することによって、前記シャッタ制御方式の変更を行うことを特徴とする請求項２または３に記載の撮像装置。
5. 前記制御手段は、前記ピント位置の間隔を広くすることによって前記ピント位置の間隔の変更を行うことを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記合成手段は、前記変換係数の大きさが予め定められた閾値より大きい場合に、前記予め定められた条件を満たすと判断することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記合成手段は、前記変換係数の要素が、予め定められた範囲にある場合に、前記予め定められた条件を満たすと判断することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 前記合成手段は、前記変換係数の算出に用いられる画像間で、対応するいずれかの前記特徴点のそれぞれの画像における座標の差が予め定められた閾値よりも大きい場合に、前記予め定められた条件を満たすと判断することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
9. 前記合成手段は、前記変換係数の算出に用いられる画像間で、対応するすべての前記特徴点のそれぞれの画像における座標の差が予め定められた閾値よりも大きい場合に、前記予め定められた条件を満たすと判断することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
10. 前記合成手段は、前記変換係数の算出に用いられる画像間で、対応する特徴点のうち、座標の差が予め定められた閾値より大きなものの数が所定数以上である場合に、前記予め定められた条件を満たすと判断することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
11. 前記変換係数はアフィン係数であり、前記所定数は３であることを特徴とする請求項１０に記載の撮像装置。
12. 撮像ステップと、
    ピント位置を変えさせながら前記撮像ステップにおいて複数の画像を撮像させる制御ステップと、
    合成ステップと、
    前記撮像ステップにおいて撮像した画像に対して特徴点を検出し、２枚の画像の対応する前記特徴点を用いて該２枚の画像の位置合わせのための変換係数の算出を行う算出ステップと、を有し、
    前記制御ステップにおいては、前記複数の画像のうちの前記ピント位置が隣り合う２枚の画像の位置合わせのための前記変換係数が、予め定められた条件を満たさないと判断される場合、前記撮像ステップにおいて制御する方法を変更して再撮像させ、
    前記合成ステップにおいては、前記撮像ステップにおいて撮像した画像のうち、前記変換係数が予め定められた条件を満たす隣り合う２枚の画像に対して合成を行うことを特徴とする撮像方法。
13. 撮像装置をコンピュータに動作させるコンピュータのプログラムであって、
    撮像ステップと、
    ピント位置を変えさせながら前記撮像ステップにおいて複数の画像を撮像させる制御ステップと、
    合成ステップと、
    前記撮像ステップにおいて撮像した画像に対して特徴点を検出し、２枚の画像の対応する前記特徴点を用いて該２枚の画像の位置合わせのための変換係数の算出を行う算出ステップと、を行わせ、
    前記制御ステップにおいては、前記複数の画像のうちの前記ピント位置が隣り合う２枚の画像の位置合わせのための前記変換係数が、予め定められた条件を満たさないと判断される場合、前記撮像ステップにおいて制御する方法を変更して再撮像させ、
    前記合成ステップにおいては、前記撮像ステップにおいて撮像した画像のうち、前記変換係数が予め定められた条件を満たす隣り合う２枚の画像に対して合成を行うことを特徴とするプログラム。

Images