JP6006506B2 - 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 - Google Patents

Description

本発明は、主要被写体以外の領域のボケを強調した画像を生成する画像処理技術に関する。

写真撮影の技法の１つに、被写界深度を浅くしてピントの合う範囲を狭くし、ピントが合っている被写体像以外の背景をボカして撮影する方法がある。被写界深度が浅い写真を撮影するには、カメラの絞りを開放し、焦点距離を長くする必要がある。一般に、撮影レンズが大口径であり、絞りとシャッタ速度との組み合わせを種々選択することができる一眼レフカメラでは、この技法を用いて写真を撮影することが可能である。

一方、近年普及しているコンパクトサイズのデジタルスチルカメラや撮影機能を有するカメラ付き携帯電話では、小型化のために、レンズ口径が小さく、焦点距離が非常に短い撮影レンズが採用されているため、被写界深度が非常に深くなっている。このため、これらの機器では、上記技法を用いて、背景をボカした写真を撮影することが困難となっている。

そこで、人物等の主要被写体を、背景等の他の被写体に比べて際立たせるために、実際の絞りやレンズの駆動によって撮影される画像のボケよりも、主要被写体以外の領域のボケを強調した画像を生成する画像処理方法が提案されている。以下、この方法を背景ボカシと呼ぶ。

背景ボカシを実現するためには、人物等の主要被写体の領域を、背景等の他の被写体の領域から分離する処理が必要である。この処理方法の１つとして、合焦位置を変化させた２枚の画像を撮影し、両画像間におけるエッジ量の増減により主要被写体の領域と、他の被写体の領域を分離する方法がある。

ここで、撮影者が手持ち状態で合焦位置を変化させて撮影を行った場合、撮影されたそれぞれの画像は、手ブレ等により相対的な位置ズレが発生している。そのため、上記方法を適用するためには、相対的な位置ズレを補正し、両画像間の位置を合わせた後に、エッジ量の増減を算出する必要がある。

しかし、位置合わせを行うための位置ズレ量を算出する際に、ボケ具合の異なる画像間で相関演算を行うため、位置ズレ量演算結果の精度が低下してしまう場合がある。

また、合焦位置の異なる画像間における位置合わせを経て、背景ボカシを実現する方法として、例えば特許文献１では、本撮影画像間に２枚の間引き画像を取得し、これら間引き画像を用いて本撮影画像間の位置ズレ量を算出する方法が提案されている。具体的には、まず、１回のシャッター操作で合焦位置を変化させて２回の連続撮影動作を行い、主要被写体に対して焦点を合わせた本撮影画像Ａと、主要被写体の背景に焦点を合わせた本撮影画像Ｂ、および本撮影画像Ａと本撮影画像Ｂの撮影間において、２枚の間引き画像を取り込む。次に、２枚の間引き画像を用いて、本撮影画像Ａに対する本撮影画像Ｂの位置ズレ量を算出する。そして、本撮影画像Ａと、算出した位置ズレ量を基に位置ズレを補正した本撮影画像Ｂとを合成して、所望のボケ具合を有する画像を得る。

特開２００２−１１２０９５号公報

しかしながら、上記特許文献１では、本撮影画像と間引き画像との間には時間的に差があるので、例えば、本撮影画像の撮影時と間引き画像撮影時の間に手ブレが生じると、間引き画像間で算出した位置ズレ量は、手ブレの影響を受けている。そのため、間引き画像間の位置ズレ量を本撮影画像の位置ズレ量とすると、実際の位置ズレ量に対して誤差が生じてしまう。

さらに、特許文献１は本撮影画像よりもサイズの小さい間引き画像を用いて位置ズレ量を算出しているため、算出される位置ズレ量の精度が低下してしまう。具体的に説明すると、特許文献１のように、本撮影画像に対して、１／８の間引き画像で位置ズレ量を算出した場合、最終的に算出したい本撮影画像における位置ズレ量に換算すると、８画素単位でしか位置ズレ量を検出することができなくなってしまう。

さらに、特許文献１は本撮影画像間のボケ具合の変化に応じて間引き率を可変とする構成とはなっていないため、本撮影画像間のボケ具合に合わせて適応的に処理を変化させ、位置合わせの精度を向上させる処理ができない。

本発明は、上記課題に鑑みてなされ、その目的は、合焦位置の異なる画像間における位置合わせを高精度に行うことができる画像処理技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、合焦位置の異なる複数枚の画像を撮影する撮影手段と、前記複数枚の画像のうちの第１の画像に含まれるいずれかの被写体の像に対する、前記複数枚の画像のうちの第２の画像に含まれる前記被写体の像のボケ量を算出するボケ量算出手段と、前記ボケ量算出手段で算出されたボケ量に基づいて、前記第１の画像と前記第２の画像のサイズを変更するリサイズ手段と、前記リサイズ手段によりサイズが変更された前記第１の画像と前記第２の画像の間における位置ズレ量を検出する位置ズレ量検出手段と、を有する。

本発明によれば、合焦位置の異なる画像間における位置合わせを高精度に行うことができる。

本実施形態の画像処理装置の構成を例示するブロック図。 本実施形態の画像処理部の構成を例示するブロック図。 実施形態１によるボカシ処理を示すフローチャート。 図３の被写体領域判別処理を示すフローチャート。 実施形態１において合焦位置を変化させて撮影した２枚の画像を例示する図。 実施形態１において主要被写体および背景に合焦した状態を説明する模式図。 実施形態１の撮像素子における画素ピッチを説明する模式図。 フィルタの周波数特性を例示する模式図。 主要被写体に合焦した画像に対してフィルタリングを施した画像を例示する図。 画像を小領域に分割する方法を説明する模式図。 実施形態１のボカシ処理による位置合わせ後の画像を例示する図。 実施形態１の被写体領域判別処理により抽出されたエッジ画像を例示する図。 実施形態２の画像処理部の構成を例示するブロック図。 実施形態２によるボカシ処理を示すフローチャート。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］本発明の画像処理装置を、一眼レフデジタルカメラなどの撮像装置により実現した例について説明する。

なお、実施形態１では、本発明の効果である、合焦位置の異なる画像間における位置合わせを高精度に行う処理の例として、合焦位置の異なる複数枚（２枚）の画像を用いて背景ボカシを行う処理について説明する。合焦位置の異なる画像間における位置合わせを高精度に行うために、まず両画像間における主要被写体のボケ具合の差（以下、ボケ量）を算出する。次に両画像間における主要被写体のボケ量が等しくなるフィルタを選択し、主要被写体に合焦している画像に対してフィルタリングを行う。つまり両画像間における主要被写体の持つ周波数帯域を合わせる処理を行う。そして、上記フィルタリングの後に、両画像間の位置合わせを行うための位置ズレ量を算出する。

このような処理を行うことで、位置合わせを行うための位置ズレ量を算出する際に、ボケ具合の等しい画像間で相関演算を行うため、位置ズレ量演算結果の精度が良くなる。さらに、合焦位置の異なる画像間のボケ量に応じて適宜フィルタを選択することで、適応的に処理を変化させることができる。その結果、位置合わせの精度が向上する。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成について説明する。

図１において、撮影レンズ１００１は、被写体像を光学的に撮像素子１００２上に結像させる。撮像素子１００２は、ＣＣＤやＣＭＯＳイメージセンサ等を構成する光電変換素子であり、撮影レンズ１００１を通過した被写体像を電気信号に変換して画像信号を生成する。Ａ／Ｄ変換部１００３は、上記撮像素子１００２が出力するアナログ画像信号をデジタル画像データに変換する。

レンズ駆動部１００４は、後述のシステム制御部１００５により制御され、撮影レンズ１００１を光軸方向に駆動し、合焦位置を変更する。さらに、上記撮影レンズ１００１の駆動情報を出力することができる。

システム制御部１００５は、装置全体を統括して制御する機能を有し、ＣＰＵ、ＲＯＭ、ＲＡＭ、インタフェース回路等からなる。

表示部１００６は、液晶ディスプレイ（ＬＣＤ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイで構成され、撮像素子１００２で生成された画像データや、メモリ部１００７から読み出した画像データを表示する。メモリ部１００７は、画像データを記録する機能を有し、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等を収容したパッケージなどを用いた情報記録媒体を含んでもよい。また、この情報記録媒体を撮像装置に対して着脱可能に設けてもよい。

バス１００８は、Ａ／Ｄ変換部１００３、レンズ駆動部１００４、システム制御部１００５、表示部１００６、メモリ部１００７、および画像処理部１１００の間で情報をやり取りする際の伝送路として用いられる。

画像処理部１１００は、一般的な画像処理のほか、合焦位置の異なる複数の画像信号とレンズ駆動情報とから、被写体領域を抽出し、主要被写体領域以外の所定の領域にボカシ処理を行う。

＜画像処理部の構成＞ここで、図２ないし図４を参照して、本実施形態の画像処理部１１００の構成および機能について説明する。

図２に示すように、画像処理部１１００は、フィルタ設定部１１０１、フィルタ処理部１１０２、位置ズレ量算出部１１０３、位置ズレ補正部１１０４、エッジ抽出部１１０５、エッジ積分値算出部１１０６、エッジ積分値比較部１１０７、ボカシ処理部１１０８を有する。

＜ボカシ処理＞図３を参照して、本実施形態の画像処理部１１００によるボカシ処理について説明する。なお、図３の処理は、システム制御部１００５が、ＲＯＭに格納されたプログラムを、ＲＡＭなどの揮発性メモリのワークエリアに展開し、実行することで実現される。

図３において、ステップＳ３００１では、システム制御部１００５は、レンズ駆動部１００４を制御して撮影レンズ１００１を駆動し、撮像素子１００２を駆動して合焦位置の異なる２枚の画像を連続撮影する。ここで、画像は手持ち状態で連続撮像された画像とする。なお、撮影する画像は、手持ち状態で撮像された画像に限らず、撮像者の意図した動き（パンニングまたはズーミング）、あるいはカメラの光学装置や撮像素子に機械的に動きを与える構成から得てもよい。

まずはじめに、撮影レンズ１００１を主要被写体である人物に合焦する第１のレンズ位置に駆動し、撮影を行う。このとき撮影される画像を図５（ａ）に示す。主要被写体に合焦しているので、主要被写体以外の背景はボケている。ここで、主要被写体は人物に限らず、例えば、犬や猫、鳥といった動物や、車、電車、飛行機といった乗り物でもよい。
次に、撮影レンズ１００１を第１のレンズ位置から、背景に合焦する第２のレンズ位置までΔｘだけ駆動し、撮影を行う。このとき撮影される画像を図５（ｂ）に示す。背景に合焦しているので、主要被写体はボケている。さらに手ブレによって位置ズレが発生している。

なお、撮影順序は上記に限らず、背景に合焦した画像から撮影してもよい。

また、本実施形態では、後述の画像間の位置ズレ量を算出する方法として、ブロックマッチングを用いる。そのため、レンズ駆動量Δｘは、合焦位置を変化させた際のボケ量が、ブロックマッチングで検出可能な範囲に限られる。

さらに、合焦位置を変化させて撮影する画像を２枚としているが、枚数は少なくとも２枚以上であればよく、さらに複数の画像を用いる構成としてもよい。

ステップＳ３００２では、システム制御部１００５は、ステップＳ３００１で合焦位置の異なる画像を撮影した際のレンズ駆動情報として、主要被写体に合焦する第１のレンズ位置から背景に合焦する第２のレンズ位置までのレンズ駆動量Δｘを取得する。

ステップＳ３００３では、システム制御部１００５は、フィルタ設定部１１０１において、ステップＳ３００２で取得したレンズ駆動量Δｘを用いて、主要被写体に合焦した第１の画像（図５（ａ））と、背景に合焦した第２の画像（図５（ｂ））の間における主要被写体のボケ量を算出する。そして、算出した主要被写体のボケ量に応じて、主要被写体の持つ周波数帯域を合わせるフィルタを設定する。

このような処理を行うことで、合焦位置の異なる画像間であっても、被写体の周数数帯域を合わせる処理を行った後に、位置ズレ量算出の相関演算を行うため、高精度な演算結果を得ることができる。

＜ボケ量算出方法＞以下に、本実施形態のボケ量算出方法について説明する。

図６（ａ）は主要被写体に合焦している状態を表し、図６（ｂ）は背景に合焦している状態を表す。図６（ａ）では主要被写体から撮影レンズを通過した被写体像が撮像素子面上で結像しており、主要被写体が鮮明に撮影される。一方、図６（ｂ）では、図６（ａ）より撮影レンズを光軸方向にレンズ駆動量Δｘだけ駆動し、背景に合焦している。つまり、背景から撮影レンズを通過した被写体像が撮像素子面上で結像し、背景が鮮明に撮影される。この状態における主要被写体からの被写体像は、光軸上で撮像素子面より手前で結像し、撮像素子面上ではΔｙだけ広がって結像する。そのため、主要被写体はボケて撮影される。ここで、上記Δｙが主要被写体のボケ量となる。ボケ量Δｙは、予めレンズ駆動量Δｘに対するボケ量Δｙを記憶しておくことで算出することができる。

ところで、図６（ａ）の拡大記述部分Ｃにあるように、撮影レンズ１００１には球面収差及び非点収差が存在するため、厳密にいうと、撮影レンズ１００１は決して点を点として結像することができない。すなわち、ある面積を伴った円の集合体として像を形作っていることになる。ここで、撮像素子面上で、被写体である点像がぼやけて円像となっても、点像として許容できる円の直径を許容錯乱円σという。

許容錯乱円σは図７に示す撮像素子における画素ピッチΔｐと等しく、以下の関係がある。
σ＝Δｐ・・・（１）
上記式１より、例えばレンズ駆動前の主要被写体を表す画素がｘ画素であり、かつ、ボケ量がΔｙであるとすると、駆動後の主要被写体を表す画素はｘΔｙ画素となる。

＜フィルタ設定＞次に、本実施形態の画像処理部１１００のフィルタ設定部１１０１によるフィルタ設定処理について説明する。主要被写体の持つ周波数帯域を合わせるフィルタの設定について説明する。

本実施形態では、合焦位置の異なる画像間における主要被写体のボケ量を等しくするために、主要被写体に合焦した第１の画像（図５（ａ））に対してフィルタリングを行い、背景に合焦した第２の画像（図５（ｂ））における主要被写体の持つ周波数帯域と同じにする。なお、主要被写体の画像上の大まかな位置は、撮影時に焦点を合わせた画像上の位置を使用したり、画面中央付近に被写体がいると仮定したりすることで決定する。

ボケ量の大きさに応じて、用いるフィルタを設定するために、図８に示すように周波数特性の異なる複数のフィルタを用意し、予めレンズ駆動量Δｘと対応づけておく。そして、ステップＳ３００２において、レンズ駆動量Δｘを取得すると、レンズ駆動量Δｘに対応したフィルタを設定する。また、ボケ量の大きさに応じて適宜フィルタを作成する構成としてもよい。

ステップＳ３００４では、フィルタ処理部１１０２において、ステップＳ３００３で設定したフィルタを主要被写体に合焦した第１の画像（図５（ａ））に施す。その結果が図９であり、主要被写体のボケ量が、背景に合焦した第２の画像（図５（ｂ））における主要被写体のボケ量と等しい。

ステップＳ３００５では、位置ズレ量算出部１１０３において、主要被写体の位置が合うように、２枚の画像の位置ズレ量を算出する。位置ズレ量算出の対象となる画像は、ステップＳ３００４で得た結果（図９）と、背景に合焦した画像（図５（ｂ））である。ここで位置ズレ量の算出において、図９を基準画像として、図５（ｂ）を比較画像として位置ズレ量を算出する。

位置ズレ量算出方法としては、例えば以下のブロックマッチングを用いる。

基準画像（図９）と基準画像からの位置ズレ量を算出する比較画像（図５（ｂ））を図１０に示すように、水平方向にＮ分割、垂直方向にＭ分割した複数の小領域に分割する。そして、基準画像の小領域を比較画像の小領域内で移動させながら相関値を求め、相関値が最も小さい位置までの動きベクトルをその領域の位置ズレ量とする。相関値としては、例えば差分絶対値和（ＳＡＤ）などを使用する。なお、位置ズレ量を算出する方法はブロックマッチングに限らず、他の位置ズレ量検出手法でもよい。

主要被写体のボケ量が等しいため、主要被写体が存在する小領域では精度の高い位置ズレ量演算結果が得られる。また、位置ズレ量の算出は等倍の画像を用いるため、算出される位置ズレ量は１画素単位の精度で算出することができる。

ステップＳ３００６では、位置ズレ補正部１１０４において、まずステップＳ３００５で算出した各小領域における位置ズレ量から、主要被写体の変形を示す射影変換のパラメータを算出する。そして、算出した射影変換パラメータを用いて比較画像（図５（ｂ））に射影変換を施す。その結果得られる画像が図１１であり、基準画像（図９）における主要被写体と一致するような形に位置合わせされる。一方、主要被写体以外の背景の位置は一致しない。なお、位置ズレ補正の方法については、射影変換に限定されるわけではない。

ステップＳ３００７では、位置合わせをした２枚の画像（図９および図１１）を用いて、被写体領域の判別を行う。

＜被写体領域判別処理＞ここで、図４を参照して、図３のステップＳ３００７の被写体領域判別処理について説明する。なお、図４の処理は、システム制御部１００５が、ＲＯＭに格納されたプログラムを、ＲＡＭなどの揮発性メモリのワークエリアに展開し、実行することで実現される。

図４において、ステップＳ４００１では、システム制御部１００５は、エッジ抽出部１１０５において、位置合わせをした２枚の画像のエッジを抽出する。エッジ抽出方法は、高周波帯域のみの信号を通過させるハイパスフィルタを用いる。図９に対してエッジ抽出を行った結果が図１２（ａ）であり、図１１に対してエッジ抽出を行った結果が図１２（ｂ）である。なお、エッジ抽出方法は上記の方法に限らず、画像におけるエッジを正確に抽出する方法であれば他の手法でもよい。

ステップＳ４００２では、システム制御部１００５は、エッジ積分値算出部１１０６において、エッジ抽出を行った画像（図１２（ａ）、（ｂ））ごとにエッジ積分値を算出する。

エッジ積分値の算出方法は、図１２（ａ）と（ｂ）をステップＳ３００５と同様にして、画像を水平方向にＮ分割、垂直方向にＭ分割した複数の小領域に分割する。そして、上記小領域毎に、エッジ量を積分する。ここで、今後の処理の説明のために、図１２（ａ）における各小領域をｂｌｋ＿ｒｅｆ［０］〜ｂｌｋ＿ｒｅｆ［Ｍ＊Ｎ−１］と呼び、図１２（ｂ）における各小領域をｂｌｋ＿ｃｏｍｐ［０］〜ｂｌｋ＿ｃｏｍｐ［Ｍ＊Ｎ−１］と呼ぶ。

ステップＳ４００３では、システム制御部１００５は、エッジ積分値比較部１１０７において、ステップＳ４００２で算出した、小領域毎のエッジ積分値を比較する。

比較の方法は、図１２（ａ）における各小領域ｂｌｋ＿ｒｅｆ［０］〜ｂｌｋ＿ｒｅｆ［Ｍ＊Ｎ−１］のエッジ積分値を、図１２（ｂ）における各小領域ｂｌｋ＿ｃｏｍｐ［０］〜ｂｌｋ＿ｃｏｍｐ［Ｍ＊Ｎ−１］のエッジ積分値で除算し、各小領域ごとのエッジ比率を算出する。そして、エッジ比率が１に近い小領域を主要被写体の領域と判定する。ここで、低コントラスト領域におけるエッジ比率も１付近の値として算出されるため、ステップＳ３００６において、主要被写体の変形を示す射影変換のパラメータ算出に用いた小領域を参照する。そして、上記射影変換のパラメータ算出に用いた小領域とエッジ比率が１付近の小領域との距離が一定量以上離れている場合は、主要被写体の領域ではなく、低コントラスト領域と判定する。

ステップＳ４００３での処理により分割した小領域の単位で、上記小領域が主要被写体領域であるか否かの判別を行った。さらに細かい領域で主要被写体領域であるか否かの判別を行うには、エッジ比率が１付近の小領域において、さらなる分割を行い、上記処理を繰り返すことで、より細かい領域で主要被写体領域を判別することができる。

図３に戻り、ステップＳ３００８では、システム制御部１００５は、ボカシ処理部１１０８において、主要被写体に合焦した画像（図５（ａ））に対して、ステップＳ３００７で判別した主要被写体以外の領域にボカシ処理としてローパスフィルタ処理を施す。これにより、主要被写体像領域以外の領域におけるカットオフ周波数以下の空間周波数成分が低減され、主要被写体以外の被写体像を、実際の絞りやレンズの駆動によって撮影される画像のボケよりも、さらにボケさせることができるようになる。

以上のような構成および機能を備えることで、合焦位置の異なる画像間における位置合わせを行うための位置ズレ量を算出する際に、被写体の周波数帯域を合わせた画像間で相関演算を行うため、高精度な位置ズレ量演算結果を得ることができる。

さらに、位置合わせを行う画像自体を用いて位置ズレ量を算出するので、特許文献１で懸念された、本撮影画像と間引き画像間における時間的な差に起因する位置ズレ量の誤差が生じることはない。

さらに、位置ズレ量の算出は等倍の画像を用いるため、算出される位置ズレ量は１画素単位の精度で算出することができる。

さらに、合焦位置の異なる画像間のボケ量に応じて適宜フィルタを選択することで、位置合わせの精度を向上することができる。

［実施形態２］次に、実施形態２について説明する。

実施形態２では、合焦位置の異なる画像間における位置合わせを高精度に行うために、まず実施形態１と同様に、両画像間における主要被写体のボケ量を算出する。次にボケ量の逆数を倍率として設定し、設定した倍率に従い、画像のリサイズ処理を行う。ここでのリサイズ処理は縮小処理となる。そして、上記リサイズ処理の後に、両画像間の位置合わせを行うための位置ズレ量を算出する。

このような処理を行うことで、合焦位置の異なる画像間における位置合わせを高精度に行うことができるだけではなく、縮小画像を用いて位置ズレ量を算出するため、演算量を減らすことができ、処理を高速化できる。

実施形態２の装置構成は実施形態１の図１と同様であるため説明を省略するが、画像処理部１１００の構成は相違する。

＜画像処理部の構成＞ここで、図１３および図１４を参照して、実施形態２の画像処理部１１００の構成および機能について説明する。なお、実施形態１と同じ処理を行うブロックには、同じ符号を付して示している。実施形態１の構成と異なる点は倍率設定部１１０９と画像リサイズ部１１１０が追加された点である。

＜ボカシ処理＞図１４を参照して、実施形態２の画像処理部１１００によるボカシ処理について説明する。なお、図１４の処理は、システム制御部１００５が、ＲＯＭに格納されたプログラムを、ＲＡＭなどの揮発性メモリのワークエリアに展開し、実行することで実現される。

図１４において、ステップＳ１４０１とＳ１４０２は、実施形態１のステップＳ３００１とＳ３００２と同じである。なお、主要被写体に合焦した画像を基準画像、背景に合焦した画像を比較画像とする。

ステップＳ１４０３では、システム制御部１００５は、倍率設定部１１０９において、ステップＳ１４０２で取得したレンズ駆動量Δｘを用いて、合焦位置の異なる画像間における主要被写体のボケ量を算出する。ボケ量の算出方法は実施形態１と同じであるため説明を省略する。次に、算出した主要被写体のボケ量に応じて、ボケ量の逆数を倍率として設定する。具体的に説明すると、レンズ駆動前の主要被写体を表す画素がｘ画素であり、かつ、ボケ量がΔｙであった場合、駆動後の主要被写体を表す画素はｘΔｙ画素となる。この場合、設定する倍率は１／Δｙとなる。

ステップＳ１４０４では、システム制御部１００５は、画像リサイズ部１１１０において、ステップＳ１４０３で設定した倍率に従い、ステップＳ１４０１で撮影した２枚の画像をリサイズする。本実施形態では、Δｙ＞０とし、上記リサイズは縮小処理とする。ここで、縮小処理を行うと、高周波成分により折り返しひずみといわれる画像劣化を引き起こしてしまう。このため、折り返しひずみを回避するため、ローパスフィルタにより高周波成分を除去した後に縮小処理を行うものとする。上記リサイズ処理を行うことにより、基準画像と比較画像における主要被写体のボケ量が等しいとみなすことができる縮小画像を得る。

ステップＳ１４０５では、システム制御部１００５は、位置ズレ量算出部１１０３において、主要被写体の位置が合うように、２枚の画像の位置ズレ量を算出する。位置ズレ量算出の対象となる画像は、ステップＳ１４０４で得たリサイズ処理後の２枚の縮小画像である。

ここで、実施形態１と同様にブロックマッチングによって１画素単位で位置ズレ量を算出すると、算出した位置ズレ量はリサイズ処理によって縮小された画像間における位置ズレ量であるため、等倍に換算すると、精度が低い位置ズレ量となる。具体的に説明すると、ボケ量Δｙが４であるとすると、倍率は１／４となる。続くリサイズ処理により１／４に縮小された画像を用いて位置ズレ量を算出する。そして、縮小画像において算出した位置ズレ量が（２，４）であるとすると、元の等倍画像での位置ズレ量は（８，１６）となる。一方、縮小画像において算出した位置ズレ量が（３，４）であるとすると、つまり先に算出した位置ズレ量から１画素ズレた場合、元の等倍画像での位置ズレ量は（１２，１６）となる。このように１／４の縮小画像を用いて位置ズレ量を算出すると、元の等倍画像における４画素単位でしか位置ズレ量を検出することができない。

そこで、本実施形態では、サブ画素単位の精度で位置ズレ量を算出する。ブロックマッチングにおけるサブ画素推定方法は、例えば、特開２００９−３０１１８１号公報に記載の等角直線フィッティングやパラボラフィッティングを使用する。サブ画素単位の精度で位置ズレ量を算出すると、先のように縮小画像において算出した位置ズレ量が（２．０，４．０）である場合、元の等倍画像での位置ズレ量は（８．０，１６．０）となる。一方、縮小画像において算出した位置ズレ量が（２．３，４．０）と、先に算出した位置ズレ量から０．３画素ズレた場合、元の等倍画像での位置ズレ量は（９．２，１６．０）となる。そして、小数点１位以下の数字を四捨五入して、１画素単位の（９，１６）と近似できる。このように元の等倍画像における１画素単位で位置ズレ量を検出することができる。

ステップＳ１４０６では、システム制御部１００５は、位置ズレ補正部１１０４において、ステップＳ１４０５で算出した各領域における位置ズレ量にステップＳ１４０３で設定した倍率の逆数を乗じ、元の等倍画像における位置ズレ量に換算する。次に、換算した位置ズレ量を基に、主要被写体の変形を示す射影変換のパラメータを算出する。そして、算出した射影変換パラメータに基づいて、比較画像に対して射影変換を施す。射影変換を施した結果、基準画像における主要被写体と、比較画像における主要被写体の位置が一致するように２枚の画像が位置合わせされる。

ステップＳ１４０７とＳ１４０８では、システム制御部１００５は、フィルタ設定部１１０１において、図３のステップＳ３００３およびＳ３００４と同様に、基準画像での主要被写体と、比較画像での主要被写体のボケ量が等しくなるフィルタを設定する。そして、フィルタ処理部１１０２において、基準画像に対してフィルタリングを行った結果、基準画像における主要被写体のボケ量が、比較画像における主要被写体のボケ量と等しくなっている。

続くステップＳ１４０９とＳ１４１０は、図３のステップＳ３００７とＳ３００８と同じである。

以上のような構成および機能を備えることで、合焦位置の異なる画像間における位置合わせを高精度に行うことができるだけではなく、縮小画像を用いて位置ズレ量を算出するため、演算量を減らすことができ、処理を高速化することができる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (9)

1. 合焦位置の異なる複数枚の画像を撮影する撮影手段と、
   前記複数枚の画像のうちの第１の画像に含まれるいずれかの被写体の像に対する、前記複数枚の画像のうちの第２の画像に含まれる前記被写体の像のボケ量を算出するボケ量算出手段と、
   前記ボケ量算出手段で算出されたボケ量に基づいて、前記第１の画像と前記第２の画像のサイズを変更するリサイズ手段と、
   前記リサイズ手段によりサイズが変更された前記第１の画像と前記第２の画像の間における位置ズレ量を検出する位置ズレ量検出手段と、を有することを特徴とする画像処理装置。
2. 前記撮影手段は、レンズを駆動して合焦位置を変更するレンズ駆動手段を有し、
   被写体に合焦させた第１の画像と、前記第１の画像とは異なる位置に合焦させた第２の画像を撮影することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影手段は、前記位置ズレ量検出手段が検出できる範囲でレンズを駆動して画像を撮影することを特徴とする請求項２に記載の画像処理装置。
4. 前記ボケ量算出手段は、前記レンズ駆動手段の駆動情報により、ボケ量を算出することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記リサイズ手段は、前記ボケ量算出手段により算出されたボケ量の逆数に基づいて、前記第１の画像と前記第２の画像のサイズを変更することを特徴とする請求項１に記載の画像処理装置。
6. 元の画像のフィルタリングを行うフィルタリング手段をさらに有し、
   前記リサイズ手段は、前記フィルタリング手段によりフィルタリングされた画像をリサイズすることを特徴とする請求項１に記載の画像処理装置。
7. 前記位置ズレ量検出手段は、サブ画素単位の精度で位置ズレ量を検出することを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 前記位置ズレ量検出手段により検出された位置ズレ量を用いて、合焦位置の異なる画像間における位置ズレを補正する位置ズレ補正手段をさらに有することを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
9. 合焦位置の異なる複数枚の画像を用いて所定の領域に画像処理を施す画像処理方法において、
   合焦位置の異なる複数枚の画像を撮影する撮影工程と、
   前記複数枚の画像のうちの第１の画像に含まれるいずれかの被写体の像に対する、前記複数枚の画像のうちの第２の画像に含まれる前記被写体の像のボケ量を算出するボケ量算出工程と、
   前記ボケ量算出工程で算出されたボケ量に基づいて、前記第１の画像と前記第２の画像のサイズを変更するリサイズ工程と、
   前記リサイズ工程によりサイズが変更された前記第１の画像と前記第２の画像の間における位置ズレ量を検出する位置ズレ量検出工程と、を有することを特徴とする画像処理方法。