JP6573379B2 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Description

本発明は、いわゆる流し撮りに関する画像合成処理を行う画像処理装置に関する。

移動する主被写体を追って撮像装置をパンニングしながら静止画撮像を行う流し撮りにおいて、主被写体の像部分（以下、主被写体部分という）のぶれを低減するために、複数回の連続撮像により取得した複数のフレーム画像を合成する手法がある。

ただし、この手法では、主被写体部分は合成画像内で静止しているが、背景や前景等の非主被写体の像部分（以下、非主被写体部分という）が断続的にずれるだけで、該非主被写体部分が流れるような流し撮り画像が得られない。したがって、合成画像のうち非主被写体部分が流れているようにぼかすフィルタ処理（例えばＬＰＦ処理）が必要となるが、主被写体部分も同じ合成画像内に含まれているため、非主被写体部分のみを適切にぼかすことは難しい。

特許文献１には、撮像装置のパンニングを検出することで流し撮り中であると判定し、撮像により取得された動画像内（フレーム画像間）から移動被写体とその動きベクトルを検出する撮像装置が開示されている。この撮像装置では、検出した動きベクトルに基づいて非主被写体部分をぼかす処理を行う。

特許第４７５２６８５号

特許文献１にて開示された撮像装置では、動きベクトルを検出するためにフレーム画像を複数のブロックに分割し、ブロックごとの平均輝度値を用いてフレーム画像間でのマッチング判定を行う。しかしながら、主被写体部分と非主被写体部分が同じブロックに存在すると、主被写体部分と非主被写体部分の区別が困難であり、この結果、主被写体の動きベクトルを正確に算出することができない。

本発明は、流し撮りにおいて連続取得した複数のフレーム画像を合成する場合に、非主被写体部分を正確に判別してフィルタ処理を行うことができるようにした画像処理装置およびこれを備えた撮像装置を提供する。

本発明の一側面としての画像処理装置は、連続撮像により生成された複数の静止画像を用いて画像合成処理を行う画像処理装置であって、静止画像の生成に用いられた撮像素子から出力される位相差検出方式による焦点検出用の信号を用いて各静止画像における単位画素ごとのデフォーカス量に関するマップを作成するマップ作成手段と、マップを用いて、各静止画像における第１の被写体領域と該第１の被写体領域よりもデフォーカス量が大きい第２の被写体領域を判定する被写体判定手段と、マップを用いて、複数の静止画像間における第２の被写体領域の移動量と連続撮像の撮像周期とから第２の被写体領域の移動速度を取得する速度取得手段と、移動速度に基づいて第２の被写体領域に対するフィルタ処理の設定を行う処理設定手段と、複数の静止画像のうち少なくとも２つを合成するとともにフィルタ処理を行う画像合成処理により合成画像を生成する合成処理手段とを有することを特徴とする。

なお、静止画像の生成に用いられる撮像素子と上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理プログラムは、コンピュータに、連続撮像により生成された複数の静止画像を用いて画像合成処理を行わせるコンピュータプログラムである。該プログラムは、コンピュータに、静止画像の生成に用いられた撮像素子から出力される位相差検出方式による焦点検出用の信号を用いて各静止画像における単位画素ごとのデフォーカス量に関するマップを作成させ、マップを用いて、各静止画像における第１の被写体領域と該第１の被写体領域よりもデフォーカス量が大きい第２の被写体領域を判定させ、マップを用いて、複数の静止画像間における第２の被写体領域の移動量と連続撮像の撮像周期とから第２の被写体領域の移動速度を取得させ、移動速度に基づいて第２の被写体領域に対するフィルタ処理の設定を行わせ、複数の静止画像のうち少なくとも２つを合成するとともにフィルタ処理を行う画像合成処理により合成画像を生成させることを特徴とする。

本発明によれば、流し撮りにおいて連続取得した複数のフレーム画像を合成する場合に、第２の被写体領域（非主被写体部分）を正確に判別して適切なフィルタ処理を行うことで、良好な流し撮り合成画像を容易に得ることができる。

本発明の実施例である撮像装置の構成を示すブロック図。 実施例の撮像装置の撮像レンズの射出瞳を通った光束が撮像素子の画素に入射する様子を示す図。 実施例の撮像素子を示す図。 上記撮像素子の画素の回路を示す図。 実施例における被写体を示す図。 実施例における連続撮像時の構図を示す図。 実施例における連続撮像により得られたフレーム画像を示す図。 本発明の実施例１における流し撮り画像合成処理を示すフローチャート。 実施例１における各主被写体の距離情報とＬＰＦ処理の設定例を示す図。 実施例１における算出速度の表示例を示す図。 本発明の実施例２における流し撮り画像合成処理を示すフローチャート。 実施例２における各主被写体の距離情報とＬＰＦ処理の設定例を示す図。 本発明の実施例３における流し撮り画像合成処理を示すフローチャート。 本発明の実施例５である撮像装置の構成を示すブロック図。 実施例５における信頼度と基線長と距離との関係を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、後述する各実施例において共通する撮像面位相差検出方式での焦点検出（デフォーカス量検出）について、図２を用いて説明する。撮像面位相差検出方式での焦点検出は、撮像装置が記録用画像を取得するための撮像素子を用いて位相差検出方式で行う焦点検出である。

図２には、不図示の被写体から撮像レンズに入射して該撮像レンズの射出瞳１１４を通った光束が撮像素子における単位画素の１つに入射する様子を示している。ここにいう単位画素は、位相差検出方式でのデフォーカス量検出に用いる最小単位の画素という意味である。

単位画素１００は、２つ（一対）の光電変換部を構成する第１のフォトダイオード１０１Ａと第２のフォトダイオード１０１Ｂとを有する。また、単位画素１００には、第１および第２のフォトダイオード１０１Ａ，１０１Ｂに対して、カラーフィルタ１１２とマイクロレンズ１１３が設けられている。

マイクロレンズ１１３を有する単位画素１００に対して、撮像レンズの射出瞳１１４から入射する光束の中心を光軸１１５とする。射出瞳１１４からの光は光軸１１５を中心として単位画素１００のマイクロレンズ１１３に入射する。射出瞳１１４における互いに異なる領域である瞳領域１１６Ａ，１１６Ｂのうち瞳領域１１６Ａからの光束は、マイクロレンズ１１３を通って第１のフォトダイオード１０１Ａにて受光される。また、瞳領域１１６Ｂからの光束は、マイクロレンズ１１３を通って第２のフォトダイオード１０１Ｂにて受光される。第１のフォトダイオード１０１Ａからの出力信号である画素信号をＡ像信号といい、第２のフォトダイオード１０１Ｂからの出力信号である画素信号をＢ像信号という。Ａ像信号およびＢ像信号は、位相差検出方式による焦点検出用の信号であり、撮像レンズの焦点状態（デフォーカス量）に応じた位相差を有する。このため、Ａ像信号およびＢ像信号の位相差を求めることで、被写体に対する撮像レンズのデフォーカス量を求めることができ、さらには被写体までの距離も求めることができる。

なお、Ａ像信号とＢ像信号を加算した（Ａ＋Ｂ）像信号は、表示用画像や記録用画像を生成するため単位画素１００からの撮像信号として用いることができる。

次に、撮像素子１１０１の構成を図３および図４を用いて説明する。図３には、撮像素子１１０１の全体構成を示している。

撮像素子１１０１は、撮像面としての画素領域１と、垂直走査回路２と、読み出し回路３と、水平走査回路４と、出力アンプ５とを有する。画素領域１には、複数の単位画素１００が行列状に配置されている。図３には４×４の１６単位画素を示しているが、実際の撮像素子１１０１上には数１００万以上の単位画素１００が行列状に配置されている。

図２で説明したように、各単位画素１００は、第１のフォトダイオード１０１Ａと第２のフォトダイオード１０１Ｂを有する。垂直走査回路２は、画素領域１の単位画素１００を１行単位で選択し、選択行の単位画素１００に対して駆動信号を送出する。読み出し回路３は、単位画素１００からの出力信号を１列ごとに読み出して各単位画素１００からの出力信号を増幅し、増幅後の出力信号をサンプルホールドする。

水平走査回路４は、読み出し回路３でサンプルホールドされた信号を列ごとに順次出力アンプ５に出力するための走査信号を送出する。出力アンプ５は、水平走査回路４からの走査信号に応じて、読み出し回路３でサンプルホールドされた信号を信号処理回路１１０３に出力する。垂直走査回路２、読み出し回路３および水平走査回路４は、タイミング発生回路１１０２からのタイミング信号により駆動される。

図４には、単位画素１００の回路を示している。第１のフォトダイオード１０１Ａおよび第２のフォトダイオード１０１Ｂにはそれぞれ、第１の転送スイッチ１０２Ａおよび第２の転送スイッチ１０２Ｂが接続されている。また、第１および第２の転送スイッチ１０２Ａ，１０２Ｂの出力は、フローティングディフュージョン領域１０３を通じて増幅部１０４に接続されている。フローティングディフュージョン領域１０３には、リセットスイッチ１０５が接続されており、増幅部１０４には選択スイッチ１０６が接続されている。

第１および第２のフォトダイオード１０１Ａ，１０１Ｂは、同じマイクロレンズ１１３を通過した光を受光して、その受光量に応じた電荷を生成する光電変換部として機能する。転送スイッチ１０２Ａ，１０２Ｂはそれぞれ、第１および第２のフォトダイオード１０１Ａ，１０１Ｂで生成された電荷を共通のフローティングディフュージョン領域１０３に転送する転送部として機能する。転送スイッチ１０２Ａ，１０２Ｂはそれぞれ、垂直走査回路２からの転送パルス信号ＰＴＸＡ，ＰＴＸＢによって制御される。フローティングディフュージョン領域１０３は、第１および第２のフォトダイオード１０１Ａ，１０１Ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。

増幅部１０４は、ソースフォロワＭＯＳトランジスタであり、フローティングディフュージョン領域１０３により変換された電圧信号を増幅して画素信号として出力する。リセットスイッチ１０５は、垂直走査回路２からのリセットパルス信号ＰＲＥＳによって制御され、フローティングディフュージョン領域１０３の電位を基準電位ＶＤＤ１０８にリセットする。選択スイッチ１０６は、垂直走査回路２からの垂直選択パルス信号ＰＳＥＬによって制御され、増幅部１０４で増幅された電圧信号を垂直出力線１０７に画素信号として出力する。

図１には、以上のように構成された撮像素子１１０１を用いた撮像装置の構成を示す。撮像レンズ１０００は、撮像素子１１０１上に被写体像を形成する。撮像レンズ１０００は、図示はしないが、変倍（ズーム）レンズ、フォーカスレンズおよび絞りを含み、レンズ駆動回路１１０９によってズーム制御、フォーカス制御および絞り制御が行われる。撮像レンズ１０００は撮像装置に一体に設けられてもよいし、着脱（交換）可能に設けられてもよい。

撮像素子１１０１には、図３に示したように複数の単位画素１００が行列状に配置されている。撮像素子１１０１は、被写体像を光電変換して複数の画素信号からなる画像信号を出力する。

信号処理部１１０３は、撮像素子１１０１からの画像信号に各種処理を行って静止画像や動画像としての画像データを生成したり、処理後の画像信号を圧縮したりする。信号処理部１１０３は、撮像素子１１０１からのＡ像信号と（Ａ＋Ｂ）像信号との差分信号としてＢ像信号を生成してもよい。

タイミング発生回路１１０２は、撮像素子１１０１を駆動するタイミング信号を出力する。システム制御・演算部１１０４は、各種演算を行うとともに、撮像素子１１０１の動作を含む撮像装置全体（システム）の動作を制御する。

信号処理部１１０３から出力された画像データは、メモリ部１１０５に一時的に記憶される。表示部１１０６は、各種情報や画像データを表示する。外部記録部１１０７は、半導体メモリ等の記録媒体に画像データを記録したり記録媒体からの画像データを読み出したりする。操作部１１０８は、スイッチ、ボタン、タッチパネル等の入力デバイス群を含み、撮像装置に対するユーザ指示を受け付ける。

焦点検出部１１０９は、撮像素子１１０１の各単位画素１００からのＡ像信号およびＢ像信号を用いて位相差検出方式の焦点検出処理を行い、単位画素１００ごとのデフォーカス量を算出する。

被写体判定部１１１０は、焦点検出部１１０９により算出された単位画素１００ごとのデフォーカス量に関するデータを撮像素子１１０１上の全単位画素１００に対応させて行列状に並べたデフォーカスマップを作成する。つまり、デフォーカスマップは、撮像素子１１０１を用いて取得された静止画像（後述するフレーム画像）上での撮像素子１１０１の各単位画素１００に対応する画素（以下、フレーム画像の単位画素という）ごとのデフォーカス量に関するデータを示す。

なお、デフォーカス量に関するデータは、デフォーカス量そのもの又はデフォーカス量に対応する値のデータである。さらに、デフォーカス量は被写体距離に対応するので、デフォーカス量に関するデータは、被写体距離そのものや被写体距離に対応する値のデータも含む。

そして、被写体判定部１１１０は、デフォーカスマップを用いて、後述するフレーム画像に含まれる被写体部分（画像領域）が主被写体に対応する主被写体部分か、非主被写体に対応する非主被写体部分かを判定する。この際、デフォーカス量が小さい被写体部分にはユーザが撮像対象として選択している主被写体が写っているとみなすことができ、デフォーカス量が大きい被写体部分には背景や前景である非主被写体が写っているとみなすことができる。このため、被写体判定部１１１０は、フレーム画像のうちデフォーカスマップにおけるデフォーカス量が所定値より小さい又は該所定値と同じ領域、すなわち撮像光学系のピントが合っている領域を主被写体部分（第１の被写体領域）として判定する。また、デフォーカス量が上記所定値より大きい領域、すなわち撮像光学系のピントが合っていない領域を非主被写体部分（第２の被写体領域）として判定する。被写体判定部１１１０は、マップ作成手段および判定手段として機能する。

被写体移動量算出部１１１１および被写体速度演算部１１１２はそれぞれ、デフォーカスマップに基づいて、複数のフレーム画像間（静止画像間）での非主被写体部分の移動量および移動速度を演算（取得）する。ここにいう移動量および移動速度は、撮像素子１１０１の撮像面に平行な方向での移動量および移動速度である。被写体移動量算出部１１１１および被写体速度演算部１１１２は、速度取得手段として機能する。

フィルタ処理決定部１１１３は、被写体の移動速度に基づいて、フィルタ処理としてのローパスフィルタ（ＬＰＦ）処理の設定、例えばＬＰＦ処理に用いるローパスフィルタのタップ数を決定する。フィルタ処理決定部１１１３は、処理設定手段として機能する。

合成処理部１１１４は、複数のフレーム画像のうち少なくとも２枚のフレーム画像を合成して合成画像を生成するとともに、合成画像（または合成前のフレーム画像）に対してフィルタ処理決定部１１１３による決定に応じたフィルタ処理を行う。合成処理部１１１４は、合成処理手段として機能する。

被写体判定部１１１０、被写体移動量算出部１１１１、速度演算部１１１２、フィルタ処理決定部１１１３および合成処理部１１１４により、連続撮像により生成された複数のフレーム画像を用いて画像処理を行う画像処理装置が構成される。

流し撮りでは、図５に示すように、水平方向に移動する主被写体（流し撮り対象としての第１の被写体）と移動しない非主被写体（背景や前景）を含むシーンを、これらから離れた撮像位置から主被写体を追って撮像装置をパンニングしながら撮像する。各実施例では、この流し撮りにおいて複数回の撮像を連続して行う。このような流し撮り連続撮像によって生成される複数の静止画像（以下、それぞれをフレーム画像という）は図７（ａ）に示すようになる。図７（ａ）では、連続撮像により生成（取得）された４枚のフレーム画像を示している。各フレーム画像において、主被写体である車が写っている画像領域が主被写体部分であり、非主被写体である樹木や標識が写っている画像領域が非主被写体部分である。

これら４枚のフレーム画像を取得するための連続撮像中ではユーザによる撮像装置のパンニングによって移動する主被写体を正確に追うことができている。このため、図７（ｂ）に示すように、フレーム画像間での主被写体部分の移動量は０であり（つまりは主被写体部分は静止して見え）、複数の非主被写体部分の移動量はいずれも矢印の長さで示すように同一量である（つまりは同じ速度で移動しているように見える）。

各実施例では、これら４枚のフレーム画像のうち少なくとも２枚のフレーム画像を合成することで１枚の合成画像を生成する。ただし、このまま少なくとも２枚のフレーム画像を合成するだけでは非主被写体部分が断続的にずれて見える合成画像が得られる。このため、各実施例では、合成画像のうち主被写体部分以外の非主被写体部分が流れているようにぼかすためのフィルタ処理を行う。

図８（ａ）のフローチャートには、本発明の実施例１の撮像装置において上記画像処理装置が行う流し撮り画像合成処理を示している。画像処理装置は、コンピュータにより構成され、コンピュータプログラムとしての画像処理プログラムに従って実行する。「Ｓ」はステップを示す。

Ｓ１０において、被写体判定部１１１０は、流し撮り連続撮像により連続して生成された複数（ここでは４枚とする）のフレーム画像を取得するとともに、フレーム画像ごとにデフォーカスマップを作成する。

次に、Ｓ１１において、被写体判定部１１１０は、デフォーカスマップに基づいて各フレーム画像における主被写体部分と非主被写体部分とを検出（判定）する。

次に、Ｓ１２において、被写体移動量算出部１１１１は、４枚のフレーム画像における前後で隣接する２フレーム画像間（１枚目と２枚目の間、２枚目と３枚目の間、３枚目と４枚目の間）での非主被写体部分の移動量（画素数）を求める。さらに、被写体速度演算部１１１２は、被写体移動量算出部１１１１により算出された移動量とフレーム画像の取得周期（連続撮像の撮像周期：以下、フレームレートという）とを用いて上記隣接２フレーム画像間での非主被写体部分の移動速度を算出する。

そして、Ｓ１３において、合成処理部１１１４は、４枚のフレーム画像における１枚目と４枚目のフレーム画像を合成する画像合成処理を行って合成画像（以下、流し撮り合成画像という）を生成するとともに、該流し撮り合成画像に対してＬＰＦ処理を行う。この際、フィルタ処理決定部１１１３は、被写体速度演算部１１１２により算出された非主被写体部分の移動速度に基づいてＬＰＦ処理の設定を決定する。

図８（ｂ）のフローチャートには、Ｓ１３において合成処理部１１１４が行う画像合成処理を示している。

Ｓ１４において、合成処理部１１１４は、１枚目と４枚目のフレーム画像の画素ごとの画素値をそれぞれ加算して平均化するフレーム加算平均処理を行うことで１枚の合成画像を生成する。

次に、Ｓ１５において、合成処理部１１１４は、Ｓ１２で被写体速度演算部１１１２により算出された隣接２フレーム画像間での非主被写体部分の移動速度の平均値（以下、平均移動速度という）を算出する。さらに、フィルタ処理決定部１１１３は、該非主被写体部分の平均移動速度に基づいて、ＬＰＦ処理に用いるローパスフィルタのタップ数を決定する。そして、合成処理部１１１４は、決定されたタップ数を有するローパスフィルタを合成画像のうち非主被写体部分に適用する。これにより、非主被写体部分の移動平均化処理が行われる。つまり、単に１枚目と４枚目のフレーム画像を合成するだけでは断続的にずれて見える非主被写体部分が流れているようにぼける。こうして、フィルタ処理を含む画像合成処理が終了し、良好な流し撮り合成画像が得られる。

図１０に、Ｓ１３（Ｓ１４，Ｓ１５）で行う画像合成処理を模式的に示している。合成処理部１１１４は、１枚目と４枚目のフレーム画像を合成する一方、隣接２フレーム画像間での非主被写体部分の移動速度ＶＡ，ＶＢ，ＶＣから平均移動速度Ｖを算出する。そして、該平均移動速度Ｖに基づいてＬＰＦ処理の設定（タップ数）を決定する。

図９（Ａ）には、１枚目のフレーム画像（第１のフレーム画像）の一部に対応するデフォーカスマップを示している。主被写体部分をМで示し、２つの非主被写体部分をＮМで示す。また、上段には単位画素の列数を、左側には単位画素の行数を示している。

図９（Ｂ）は第ｎ（ｎ枚目）のフレーム画像の一部に対応するデフォーカスマップを示している。第１のフレーム画像に対して、主被写体部分Мは移動せず、２つの非主被写体部分ＮМは移動している。

図９（Ｃ）は、第１のフレーム画像と第ｎのフレーム画像とを合成して得られる画像を示している。主被写体部分Ｍにはずれはないが、上側に示す背景に対応する非主被写体部分ＮМは４単位画素分ずれており、また下側に示す前景に対応する非主被写体部分ＮМは５単位画素分ずれている。したがって、フィルタ処理決定部１１１３は、上側の非主被写体部分に適用するＬＰＦのタップ数を４に決定し、下側の非主被写体部分に適用するＬＰＦのタップ数を５に決定する。

図１１（ａ）のフローチャートには、本発明の実施例２の撮像装置において画像処理装置が行う流し撮り画像合成処理を示している。実施例１では、流し撮り連続撮像により取得された４枚のフレーム画像間で主被写体部分の移動量が０である場合について説明したが、本実施例では該移動量が０ではない、つまり主被写体部分に位置ずれが生じる場合について説明する。画像処理装置は、コンピュータにより構成され、コンピュータプログラムとしての画像処理プログラムに従って実行する。「Ｓ」はステップを示す。

図１１におけるＳ１０，Ｓ１１は、実施例１のＳ１０，Ｓ１１と同じであるので、説明は省略する。本実施例では、Ｓ１１の後にＳ１６ において、被写体移動量算出部１１１１は、隣接２フレーム画像間の主被写体部分の位置ずれ（ぶれ）量を求める。

この後、Ｓ１２’において、被写体移動量算出部１１１１は、Ｓ１６で求めた位置ずれ量で非主被写体部分の移動量を補正する。そして、被写体速度演算部１１１２は、補正された移動量とフレームレートとを用いて隣接２フレーム画像間での非主被写体部分の移動速度を算出する。

また、Ｓ１３’において、合成処理部１１１４は、１枚目と４枚目のフレーム画像を合成する画像合成処理を行って合成画像を生成する。

図１１（ｂ）のフローチャートには、Ｓ１３’において合成処理部１１１４が行う画像合成処理を示している。

Ｓ１７では、合成処理部１１１４は、４枚目のフレーム画像の主被写体部分が１枚目のフレーム画像の主被写体部分に重なるように、４枚目のフレーム画像を１枚目のフレーム画像に対して主被写体部分の位置ずれ量分だけシフトさせる。

そして、実施例１と同じＳ１４およびＳ１５で１枚目のフレーム画像とＳ１７でシフトさせた４枚目のフレーム画像とを合成するとともに、合成画像に対してＬＰＦ処理を行う。

図１２（Ａ）には、第１のフレーム画像の一部に対応するデフォーカスマップを示している。主被写体部分をМで示し、２つの非主被写体部分をＮМで示す。また、上段には単位画素の列数を、左側には単位画素の行数を示している。

図１２（Ｂ）は、第ｎのフレーム画像の一部に対応するデフォーカスマップを示している。第１のフレーム画像に対して、２つの非主被写体部分ＮМが移動しているだけでなく、上段の列数を参照すると分かるように主被写体部分Мにも位置ずれがある。

図１２（Ｃ）は、第１のフレーム画像と第ｎのフレーム画像とを合成して得られる画像であって、主被写体部分の位置ずれを補正する前の画像を示している。主被写体部分Мにぶれが生じている。一方、図１２（Ｄ）は、第１のフレーム画像と第ｎのフレーム画像とを合成して得られる画像であって主被写体部分の位置ずれが補正された後の画像を示している。主被写体部分Ｍのずれは良好に補正されている。一方、上側に示す背景に対応する非主被写体部分ＮМは４単位画素分ずれており、また下側に示す前景に対応する非主被写体部分ＮМは５単位画素分ずれている。したがって、フィルタ処理決定部１１１３は、上側の非主被写体部分に適用するＬＰＦのタップ数を４に決定し、下側の非主被写体部分に適用するＬＰＦのタップ数を５に決定する。

このように、ユーザによる撮像装置のパンニングによって移動する主被写体を正確に追えなくても、容易に流し撮り合成画像を取得することができる。

なお、主被写体部分の位置ずれの補正をユーザが表示部１１０６に表示されたフレーム画像を見ながら行い、その後に被写体速度演算部１１１２による非主被写体部分の移動量の演算を行うようにしてもよい。

図１３（ａ）のフローチャートには、本発明の実施例３の撮像装置において画像処理装置が行う流し撮り画像合成処理を示している。本実施例では、実施例１に対して、Ｓ１２で非主被写体部分の移動速度の算出を行ったフレーム画像が、後述する最終合成フレーム画像か否かを判定する。画像処理装置は、コンピュータにより構成され、コンピュータプログラムとしての画像処理プログラムに従って実行する。「Ｓ」はステップを示す。

図１３（ａ）におけるＳ１０，Ｓ１１は、実施例１のＳ１０，Ｓ１１と同じであるので、説明は省略する。本実施例ではＳ１８では、被写体速度演算部１１１２は、非主被写体部分の移動速度に基づいて、合成画像における非主被写体部分にて所定の流れ効果（流れ量）を得るために必要なフレーム画像の枚数、つまりは流し撮り連続撮像の撮像回数を判定（設定）する。また、このときの最後のフレーム画像を合成画像の生成に用いる最終合成フレーム画像に設定する。

そして、被写体速度演算部１１１２は、Ｓ１２で非主被写体部分の移動速度の算出を行ったフレーム画像が最終合成フレーム画像か否かを判定し、最終合成フレーム画像あれば合成処理部１１１４はＳ１３に進んで画像合成処理を行う。図１３（ｂ）のフローチャートに示す画像合成処理は実施例１（図８（ｂ））と同じである。

一方、最終合成フレーム画像でなければ、Ｓ１０に戻って、次のフレーム画像の取得〜非主被写体部分の移動速度の算出を繰り返す。
本実施例によれば、不要なフレーム画像の取得を防ぐことができる。

次に、本発明の実施例４について説明する。本実施例では、撮像装置に対して主被写体が近づきながら水平方向に移動するシーンに対して流し撮り連続撮像を行う場合について説明する。この場合、複数のフレーム画像における主被写体部分は、フレーム画像ごとに拡大する。このときの隣接２フレーム画像間での主被写体部分の拡大率が大きすぎると、画像合成処理により主被写体部分が二重になる。

このため、本実施例では、図１３（ａ）に示したＳ１１での主被写体部分の検出において、被写体判定部１１１０は、隣接２フレーム画像間での主被写体部分の拡大率を算出（取得）する。そして、合成処理部１１１４は、該拡大率が所定値を超えるか否かを判定し、超える場合は該隣接２フレーム画像のうち後のフレーム画像をその後の処理（画像合成処理およびその他の処理）において使用しないように制限する。

本実施例によれば、主被写体部分が二重に合成されるような良好ではない流し撮り合成画像が得られることを回避することができる。

図１４には、本発明の実施例５である撮像装置の構成を示している。本実施例の撮像装置は、実施例１の撮像装置（図１）に対して信頼度判定部１１１５を追加した構成を有する。本実施例の撮像装置において、実施例１の撮像装置と共通する構成要素には、実施例１と同符号を付して説明に代える。

信頼度判定部１１１５は、図１５に示すように、撮像装置から主被写体までの距離と撮像素子の単位画素１００における第１および第２のフォトダイオード１０１Ａ，１０１Ｂ間の間隔である基線長とに基づいてデフォーカス量の信頼度を判定する。図１５に示すように、最短撮像距離以上の被写体距離の範囲において、基線長が長く、被写体距離が近いほど信頼度が高くなる。

フィルタ処理決定部１１１３は、図８（ｂ）のＳ１５において、非主被写体部分について被写体速度演算部１１１２で算出された平均移動速度と信頼度判定部１１１５で判定された信頼度とに基づいてフィルタ処理の設定（ローパスフィルタのタップ数）を決定する。具体的には、非主被写体のデフォーカス量の信頼度が図１５に示す所定の信頼度Ｔｈを下回る場合は、その非主被写体と被写体距離が近く信頼度が高い非主被写体が写っている非主被写体部分に対するフィルタ処理の設定を用いる。

本実施例によれば、非主被写体部分をより正確にぼかすためのフィルタ処理が可能となる。

以上説明した各実施例によれば、流し撮り連続撮像により取得した複数のフレーム画像を合成する場合に、非主被写体部分を正確に判別して適切なフィルタ処理を行うことで、良好な流し撮り合成画像を容易に得ることができる。

なお、本実施例では、複数のフレーム画像間での非主被写体部分の平均移動速度に対して一対一でフィルタ処理に用いるフィルタのタップ数を決定する場合について説明したが、平均移動速度の範囲ごとにタップ数を決定するようにしてもよい。

また、各実施例では、４枚のフレーム画像のうち１枚目と４枚目を合成する場合について説明したが、これは例に過ぎず、１枚目と４枚目以外のフレーム画像同士を合成したり２枚以上のフレーム画像を合成したりしてもよい。

また、各実施例では、フレーム画像の合成処理を行って生成した合成画像に対してフィルタ処理を行う場合について説明したが、フレーム画像ごとにフィルタ処理を行った後にこれらフィルタ処理後のフレーム画像同士を合成してもよい。

さらに、上記各実施例では、フレーム画像においてデフォーカスマップが生成される最小単位としての単位画素が撮像素子１１０１において一対の光電変換部を有する１つの単位画素１００に対応する場合について説明した。しかし、フレーム画像の単位画素を撮像素子１１０１の複数の単位画素１００に対応させてもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１１０１ 撮像素子
１１０９ 焦点検出部
１１１０ 被写体判定部
１１１１ 被写体移動量算出部
１１１２ 被写体速度演算部
１１１３ フィルタ処理決定部
１１１４ 合成処理部

Claims (11)

1. 連続撮像により生成された複数の静止画像を用いて画像合成処理を行う画像処理装置であって、
   前記静止画像の生成に用いられた撮像素子から出力される位相差検出方式による焦点検出用の信号を用いて前記各静止画像における単位画素ごとのデフォーカス量に関するマップを作成するマップ作成手段と、
   前記マップを用いて、前記各静止画像における第１の被写体領域と該第１の被写体領域よりもデフォーカス量が大きい第２の被写体領域を判定する被写体判定手段と、
   前記マップを用いて、前記複数の静止画像間における前記第２の被写体領域の移動量と前記連続撮像の撮像周期とから前記第２の被写体領域の移動速度を取得する速度取得手段と、
   前記移動速度に基づいて前記第２の被写体領域に対するフィルタ処理の設定を行う処理設定手段と、
   前記複数の静止画像のうち少なくとも２つを合成するとともに前記フィルタ処理を行う前記画像合成処理により合成画像を生成する合成処理手段とを有することを特徴とする画像処理装置。
2. 前記フィルタ処理の設定は、該フィルタ処理に用いるフィルタのタップ数の設定であることを特徴とする請求項１に記載の画像処理装置。
3. 前記フィルタ処理は、ローパスフィルタを用いた処理であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記処理設定手段は、前記複数の静止画像における前記第２の被写体部分の平均移動速度を求め、該平均移動速度に基づいて前記フィルタ処理の設定を行うことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記処理設定手段は、前記第２の被写体領域が複数あるときは、該第２の被写体領域ごとに前記移動速度に基づいて前記フィルタ処理の設定を行うことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記速度取得手段は、前記マップから前記複数の静止画像間での前記第１の被写体領域の位置ずれ量を検出し、該位置ずれ量を用いて前記第２の被写体領域の前記移動量を補正し、補正された前記移動量と前記撮像周期とを用いて前記第２の被写体領域の前記移動速度を取得することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記速度取得手段は、前記第２の被写体領域の前記移動速度に基づいて、前記複数の静止画像の数を設定することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記被写体判定手段は、前記複数の静止画像のうち連続して生成された２つの静止画像間での前記第１の被写体領域の拡大率を取得し、
   前記合成処理手段は、前記拡大率が所定値を超える場合は前記２つの静止画像のうち後で生成された静止画像の使用を制限することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記第２の被写体領域の前記デフォーカス量の信頼度を判定する信頼度判定手段を有し、
   前記処理設定手段は、前記信頼度に応じて前記フィルタ処理の設定を行うことを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 静止画像の生成に用いられる撮像素子と、
    請求項１から９のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
11. コンピュータに、連続撮像により生成された複数の静止画像を用いて画像合成処理を行わせるコンピュータプログラムであって、
    前記コンピュータに、
    前記静止画像の生成に用いられた撮像素子から出力される位相差検出方式による焦点検出用の信号を用いて前記各静止画像における単位画素ごとのデフォーカス量に関するマップを作成させ、
    前記マップを用いて、前記各静止画像における第１の被写体領域と該第１の被写体領域よりもデフォーカス量が大きい第２の被写体領域を判定させ、
    前記マップを用いて、前記複数の静止画像間における前記第２の被写体領域の移動量と前記連続撮像の撮像周期とから前記第２の被写体領域の移動速度を取得させ、
    前記移動速度に基づいて前記第２の被写体領域に対するフィルタ処理の設定を行わせ、
    前記複数の静止画像のうち少なくとも２つを合成するとともに前記フィルタ処理を行う前記画像合成処理により合成画像を生成させることを特徴とする画像処理プログラム。