JP5971954B2 - 画像処理装置、画像処理装置を有する撮像装置、画像処理方法、プログラム、及びプログラムを記憶した記憶媒体 - Google Patents

Description

本発明は、合焦位置を変更して撮影した画像の被写体と背景を分離する方法に関し、特に複数枚連写して撮影した画像間の被写体の像倍率の差異を考慮して、被写体と背景を分離する画像処理装置に関するものである。

写真撮影の技法の１つに、被写界深度を浅くしてピントの合う範囲を狭くし、ピントがあっている被写体像以外の背景をボカして撮影するという方法がある。被写界深度が浅い写真を撮影するには、カメラの絞りを開放し、焦点距離を長くする必要がある。一般に、撮影レンズが大口径であり、絞りとシャッタ速度との組み合わせを種々選択することができる一眼レフカメラでは、この技法を用いて写真を撮影することが可能である。

一方、近年普及しているコンパクトサイズのデジタルスチルカメラや撮影機能を有するカメラ付き携帯電話では、小型化のために、レンズ口径が小さく、焦点距離が非常に短い撮影レンズが採用されているため、被写界深度が非常に深くなっている。このため、これらの機器では、上記技法を用いて、背景をボカした写真を撮影することが困難となっている。

そこで、実際の絞りやレンズの駆動によって撮影される画像のボケよりも、ボケを強調した画像を画像処理によって生成する方法が提案されている。以下、この方法を背景ボカシと呼ぶ。

背景ボカシを実現するためには、人物などの主要被写体の領域を、背景など他の被写体の領域から分離する処理が必要である。その処理方法のうちのひとつとして、合焦位置を変化させた２枚の画像を撮影し、両画像間におけるエッジ量の増減により主要被写体の領域と、背景の領域を分離する方法がある。

ここで、撮影者が手持ち状態で合焦位置を変化させて撮影を行った場合、撮影されたそれぞれの画像は、手ブレ等により相対的な位置ズレが発生している。そのため、上記方法を適用するためには、相対的な位置ズレを補正し、両画像間の位置を合わせた後に、エッジ量の増減を算出する必要がある。

しかし、位置合わせを行うための位置ズレ量を算出する際に、ボケ具合の異なる画像間で相関演算を行うため、位置ズレ量演算結果の精度が悪くなってしまうという問題があった。

また、合焦位置の異なる画像間における位置合わせを経て、背景ボカシを実現する方法として、例えば特許文献１では、本撮影画像間に２枚の間引き画像を取得し、該間引き画像を用いて本撮影画像間の位置ズレ量を算出する方法が提案されている。具体的には、まず、１回のシャッター操作で合焦位置を変化させて２回の連続撮影動作を行う。次に、得られた主要被写体に対して焦点を合わせた本撮影画像Ａと、主要被写体の背景に焦点を合わせた本撮影画像Ｂ、および本撮影画像Ａと本撮影画像Ｂの撮影間において、２枚の間引き画像を取り込む。次に、該２枚の間引き画像を用いて、本撮影画像Ａに対する本撮影画像Ｂの位置ズレ量を算出する。そして、本撮影画像Ａと、算出した位置ズレ量を基に位置ズレを補正した本撮影画像Ｂとを合成して、所望のボケ具合を有する画像を得る方法である。

特開２００２−１１２０９５号公報

しかしながら、上述の特許文献１に開示された従来技術では、本撮影画像と間引き画像間には時間的に差があるので、例えば、本撮影画像の撮影時と間引き画像撮影時の間に手ブレが生じると、間引き画像間で算出した位置ズレ量は、手ブレの影響を受けている。そのため、間引き画像間の位置ズレ量を本撮影画像の位置ズレ量としてみなすと、誤差が生じてしまう。

さらに、本撮影画像よりもサイズの小さい間引き画像を用いて位置ズレ量を算出しているため、算出される位置ズレ量の精度が粗くなってしまう。具体的に説明すると、特許文献１における実施例のように、本撮影画像に対して、１／８の間引き画像で位置ズレ量を算出した場合、最終的に算出したい本撮影画像における位置ズレ量に換算すると、８画素単位でしか位置ズレ量を検出することができない。

また、合焦位置を変化させたことによる被写体の像倍率の変化を考慮していないので、位置合わせの精度を向上させる処理ができない。

本発明は、上記問題に鑑みてなされたものであり、合焦位置の異なる画像間における被写体と背景の分離を高精度に行う画像処理装置を提供することを目的とする。

本発明の一側面としての画像処理装置は、主被写体に合焦させた第１の画像と、前記第１の画像とは合焦位置の異なる第２の画像を取得する画像取得手段と、前記第１の画像の被写体の第１の像倍率と前記第２の画像の被写体の第２の像倍率の差異に応じて、前記第１の像倍率と前記第２の像倍率の差異を縮めるように前記第１の画像及び前記第２の画像の少なくともいずれかの画像サイズを変更する画像サイズ変更手段と、前記画像サイズ変更手段により前記画像サイズが変更された後の前記第１の画像及び前記第２の画像のそれぞれについて、領域毎に被写体のエッジを抽出する抽出手段と、画像間のエッジ量の比と画像上に仮定された主被写体の位置からの距離に基づいて、前記第１の画像の領域毎に主被写体とそれ以外の被写体に判別する判別手段と、を有することを特徴とする。

本発明の更なる目的又はその他の特徴は、以下、添付図面を参照して説明される好ましい実施例によって明らかにされるであろう。

本発明によれば、合焦位置を変更して複数枚連写して撮影した画像間の被写体の像倍率の差異を考慮して、画像間の被写体の像倍率を合わせることで、被写体と背景を精度よく分離する画像処理装置を提供することができる。

第１と第２の実施の形態の画像処理装置を構成するブロック図である。 第１の実施の形態の画像処理装置の画像処理部を構成するブロック図である。 第１の実施の形態のフローチャートである。 第１と第２の実施の形態の被写体領域を判別する処理を表すフローチャートである。 第２の実施の形態の画像処理装置の画像処理部を構成するブロック図である。 第２の実施の形態のフローチャートである。 第１の実施の形態の撮影画像である。 第１と第２の実施の形態の画像間の像倍率の変化を示す図である。 第１の実施の形態の２枚目の画像の像倍率を合わせた画像である。 第１の実施の形態の撮影画像のエッジ画像である。 第１の実施の形態の画像を小領域に分割する説明をするための模式図である。 第２の実施の形態の撮影画像である。 第２の実施の形態の２枚目の画像の像倍率を合わせた画像である。 第２の実施の形態の２枚目の画像を１枚目の画像に位置合わせした画像である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１、図２は、本発明の実施形態にかかわる画像処理装置の概略構成を表すブロック図である。

以下、図１と図２を参照して、本発明の第１の実施例による、被写体と背景の分離方法について説明する。

図１は、実施例１の画像処理装置に適用可能な構成を示したブロック図である。

図１において、撮影レンズ１００１は、被写体像を光学的に撮像素子１００２上に結像させる。撮像素子１００２（撮影手段）は、ＣＣＤやＣＭＯＳセンサー等の光電変換素子で、撮影レンズ１００１を通過した被写体像を電気信号に変換して画像信号を生成する。Ａ／Ｄ変換部１００３は、撮像素子１００２が出力する画像信号をデジタルの画像信号に変換する。

レンズ駆動部１００４（レンズ駆動手段）は、後述のシステム制御部１００５によって制御され、撮影レンズ１００１を光軸方向に駆動し、合焦位置を変更する。さらに、撮影レンズ１００１の駆動情報を出力することができる。

システム制御部１００５は、装置全体の動作を制御、統括する制御機能部である。

表示部１００６は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイで構成され、撮像素子１００２で生成された画像や、メモリ部１００７から読み出した画像を用いて、画像を表示する。メモリ部１００７は、画像を記録する機能を有し、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよく、この情報記録媒体を着脱可能にしてもよい。

バス１００８は、Ａ／Ｄ変換部１００３、レンズ駆動部１００４、システム制御部１００５、表示部１００６、メモリ部１００７、および画像処理部１１００の間で情報をやり取りするために用いられる。

画像処理部１１００は、複数の合焦位置の異なる画像信号とレンズ駆動情報から、被写体領域を抽出し、被写体領域以外の領域にボカシ処理を行う。

ここで、本発明の特徴部分である画像処理部１１００の具体的な構成について説明をする。図２は、画像処理部１１００の具体的な構成の一例を示すブロック図である。

実施例１に係る画像処理部１１００は図２に示される構成を有する。具体的には、フィルタ設定部１１０１、フィルタ処理部１１０２、エッジ抽出部１１０５、エッジ積分値算出部１１０６、エッジ積分値比較部１１０７、ボカシ処理部１１０８、倍率設定部１１０９、画像リサイズ部１１１０を有する構成となっている。

図３は、上記画像処理部の処理内容を説明するためのフローチャートである。以下、図３のフローチャートに沿って実施例１の説明を行う。

なお、本実施例ではステップＳ３００１の撮影時には、画像処理装置を三脚等に固定して撮影することで、手ぶれ等の影響による２枚の画像間で位置ズレは生じておらず無視できるものとする。

まずはじめに、撮影レンズ１００１を主要被写体である人物に合焦する第１のレンズ位置に駆動し、撮影を行う。このとき撮影される画像（第１の画像）を図７（ａ）に示す。主要被写体に合焦しているので、主要被写体以外の背景はボケている。ここで、主要被写体は人物に限らず、例えば、犬や猫、鳥といった動物や、車、電車、飛行機といった乗り物でもよい。

次に、撮影レンズ１００１を第１のレンズ位置から、背景に合焦する第２のレンズ位置までΔｘだけ駆動し、撮影を行う。このとき撮影される画像（第２の画像）を図７（ｂ）に示す。なお、図７（ｂ）の点線は実際の被写体に存在するものではなく、図７（ａ）の被写体を表しており、図７（ａ）と図７（ｂ）の被写体の像倍率の差異を表すための表示である。

なお、撮影順序は背景に合焦した画像から撮影してもよいが、前述の通り主要被写体に合焦した画像を１枚目に撮影した方が、撮影開始から合焦した主要被写体が撮影されるまでの時間差がないのでより好ましい。

さらに、合焦位置を変化させて撮影する画像を２枚としているが、枚数は少なくとも２枚以上であればよく、さらに複数の画像を用いる構成としてもよい。例えば、主要被写体が複数種類存在する場合は、複数の被写体のそれぞれに合焦した画像と背景に合焦した画像を撮影し、これら複数の画像を使用してもよい。

ステップＳ３００２では、ステップＳ３００１で合焦位置の異なる画像を撮影した際のレンズ駆動情報として、主要被写体に合焦する第１のレンズ位置から背景に合焦する第２のレンズ位置までのレンズ駆動量Δｘを取得する。

ステップＳ３００３では、フィルタ設定部１１０１において、まずステップＳ３００２で取得したレンズ駆動量Δｘを用いて、主要被写体に合焦した画像（図７（ａ））と、背景に合焦した画像（図７（ｂ））間における主要被写体の像倍率の変化率を算出する。そして、算出した主要被写体の像倍率の変化率に応じて、主要被写体の像倍率を等しくするように画像をリサイズする。

以下、像倍率の変化率の算出方法について説明する。

ステップＳ３００３では、倍率設定部１１０９（像倍率算出手段）において、メモリ１００７に記憶されたレンズ駆動部１００４のレンズ駆動情報に基づいて、被写体の像倍率の変化を検出し、倍率を設定する。図８を用いて、像倍率の変化率ａの算出方法について述べる。図８（ａ）は１枚目の画像を撮影した時の撮影レンズ１００１と撮像素子１００２の位置関係を表した図である。図８（ｂ）は２枚目の画像を撮影した時の撮影レンズ１００１と撮像素子１００２の位置関係を表した図である。

図８（ａ）と図８（ｂ）のＬは１枚目の画像撮影時の被写体、Ｌ０は撮像素子１００２に投影された被写体を表す。Ｓ０は撮影レンズ１００１と被写体の距離、Ｓ１は撮影レンズ１００１と撮像素子１００２の距離、Δｘは１枚目の画像の撮影時から２枚目の画像の撮影時の間に撮影レンズ１００１を移動した距離を表す。１枚目と２枚目の画像における被写体の像倍率の変化率を算出するためにまず、以下に示すレンズの公式（式１）を用いる。
１／ｆ＝１／Ｓ０＋１／Ｓ１ （式１）
式１を式変形すると式２であらわせる。
Ｓ０＝ｆ・Ｓ１／（Ｓ１−ｆ） （式２）
式２を使用すると、１枚目の画像の撮影時の像倍率ｍ１（第１の像倍率）は式３であらわせる。
像倍率ｍ１＝Ｓ１／Ｓ０＝（Ｓ１−ｆ）／ｆ （式３）
２枚目の画像の撮影時の像倍率ｍ２（第２の像倍率）は式４であらわせる。
像倍率ｍ２＝（Ｓ１＋Δｘ−ｆ）／ｆ （式４）
式３と式４より、１枚目の画像の像倍率に対する２枚目の画像の像倍率変化率ａは下記式５であらわせる。
像倍率変化率ａ＝ｍ２／ｍ１＝（Ｓ１＋Δｘ−ｆ）／（Ｓ１−ｆ） （式５）
レンズの焦点距離ｆと、１枚目の画像を撮影した時のレンズと撮像面の距離Ｓ１、レンズ駆動距離Δｘは既知であるので、式５より像倍率変化率ａが求められ、この値を２枚目画像のリサイズ倍率を設定するのに用いる。

ステップＳ３００４で、ステップＳ３００３で設定された倍率ａに基づき、画像リサイズ部１１１０で２枚目の画像を１／ａ倍リサイズして縮小して、１枚目の画像と被写体の大きさを一致させる。ここで、縮小処理を行うと、高周波成分により折り返しひずみといわれる画像劣化を引き起こしてしまう。このため、折り返しひずみを回避するため、フィルタ設定部１１０１で設定したフィルタを用いてフィルタ処理部１１０２においてローパスフィルタにより高周波成分を除去した後に縮小処理を行うものとする。なお、上記説明では２枚目の画像を１／ａ倍リサイズしたが、１枚目の画像をａ倍リサイズすることで２枚目の画像と被写体の大きさを一致させてもよい。

ステップＳ３００４では、画像リサイズ部１１１０（画像サイズ変更手段）において、ステップＳ３００３で設定した倍率で背景に合焦した画像（図７（ｂ））をリサイズする。その結果が図９であり、主要被写体の像倍率が、主要被写体に合焦した画像（図７ａ）における主要被写体の像倍率と等しい。

ここで、図４は、ステップＳ３００７の被写体領域判別の処理手順を示すフローチャートである。以下、図４のフローチャートに沿ってステップＳ３００７の被写体領域判別の処理手順の説明を行う。

ステップＳ４００１では、エッジ抽出部１１０５（エッジ抽出手段）において、位置合わせをした２枚の画像のエッジを抽出する。エッジ抽出方法は、高周波帯域のみの信号を通過させるハイパスフィルタを用いる。図７（ａ）に対してエッジ抽出を行った結果が図１０（ａ）であり、図９に対してエッジ抽出を行った結果が図１０（ｂ）である。なお、図１０（ｂ）の画像サイズを図１０（ａ）の画像サイズに合わせるために、縮小して小さくなった分を補うように図９に対して周辺部を付加してからエッジ抽出を行う。また、エッジ抽出方法は上記方法に限らず、画像におけるエッジを正確に抽出する方法であれば他の手法でもよい。

ステップＳ４００２では、エッジ積分値算出部１１０６において、エッジ抽出を行った画像（図１０（ａ）、図１０（ｂ））ごとにエッジ積分値を算出する。

エッジ積分値の算出方法は、図１０（ａ）と図１０（ｂ）を図１１に示すように、水平方向にＮ分割、垂直方向にＭ分割した複数の小領域に分割する。そして、該小領域毎に、エッジ量を積分する。ここで、今後の処理の説明のために、図１０（ａ）における各小領域をｂｌｋ＿ｒｅｆ［０］〜ｂｌｋ＿ｒｅｆ［Ｍ^＊Ｎ−１］と呼び、図１０（ｂ）における各小領域をｂｌｋ＿ｃｏｍｐ［０］〜ｂｌｋ＿ｃｏｍｐ［Ｍ^＊Ｎ−１］と呼ぶ。

ステップＳ４００３では、エッジ積分値比較部１１０７（被写体分離手段）において、ステップＳ４００２で算出した、小領域毎のエッジ積分値を比較する。

比較の方法は、図１０（ａ）における各小領域ｂｌｋ＿ｒｅｆ［０］〜ｂｌｋ＿ｒｅｆ［Ｍ^＊Ｎ−１］のエッジ積分値を、図１０（ｂ）における各小領域ｂｌｋ＿ｃｏｍｐ［０］〜ｂｌｋ＿ｃｏｍｐ［Ｍ^＊Ｎ−１］のエッジ積分値で除算する。そして、各小領域ごとのエッジ比率を算出する。そして、エッジ比率が１に近い小領域を主要被写体の領域と判定する。ここで、低コントラスト領域におけるエッジ比率も１付近の値として算出される。そこで、主要被写体の画像上の大まかな位置を、撮影時に焦点を合わせた画像上の位置を使用したり、画面中央付近に被写体がいると仮定したりすることで決定する。その上で、その位置に対してエッジ比率が１付近の小領域との距離が一定量以上離れている場合は、主要被写体の領域ではなく、低コントラスト領域と判定する。

ステップＳ４００３の処理により、分割した小領域の単位で、該小領域が主要被写体領域であるか否かの判別を行った。さらに細かい領域で主要被写体領域であるか否かの判別を行うには、エッジ比率が１付近の小領域において、さらなる分割を行い、上記処理を繰り返すことで、より細かい領域で主要被写体領域を判別することができる。

以下、図３に戻って説明する。

ステップＳ３００８では、ボカシ処理部１１０８において、主要被写体に合焦した画像（図７（ａ））に対して、ステップＳ３００７で判別した主要被写体以外の領域にボカシ処理としてローパスフィルタ処理を施す。これにより、主要被写体像領域以外の領域におけるカットオフ周波数以下の空間周波数成分が低減され、主要被写体以外の被写体の像を、実際の絞りやレンズの駆動によって撮影される画像のボケよりも、さらにボケさせることができるようになる。

また、本実施例では、撮影された２枚の画像のエッジ積分値の比率を用いて主要被写体領域の判別を行ったが、特にこの方法に限定されるわけではない。例えば、一般にＤＦＦ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）として知られている手法を用いて、合焦位置の異なる画像間のボケ量の違いを元に、撮像装置からの距離を求めて被写体と背景を分離することで、主要被写体領域の判別を行ってもよい。

また、本実施例では、撮影時に主要被写体領域を判別しているが、再生時に主要被写体領域を判別してもよい。つまり、２枚の撮影画像のヘッダーファイルにレンズ駆動情報や像倍率情報を記録しておき、該画像を取得可能な画像取得手段を有するパソコンや撮像装置で再生する際に本実施例の処理を行って主要被写体領域を判別してもよい。

以上のように構成することで、合焦位置を変化させた画像間において、主被写体の像倍率を等しくさせることで、高精度で主被写体と背景を分離できる。

以下、図１と図５を参照して、本発明の第２の実施例による、被写体と背景の分離方法について説明する。

第１の実施例と同じ符号を与えている構成については説明を省略する。

図６は、本発明の第２の実施例による主被写体と背景の分離方法を説明するフローチャートである。なお、実施例１と同じ処理を行う場合には、詳細説明は省略する。

また、実施例２では、後述の画像間の位置ズレ量を算出する方法として、ブロックマッチングを用いる。そのため、レンズ駆動量Δｘは、合焦位置を変化させた際のボケ量が、ブロックマッチングで検出可能な範囲に限られる。

ステップＳ６００１からＳ６００４までは実施例１のステップＳ３００１からＳ３００４と同じ処理であるので、説明は省略する。ただし、本実施例ではステップＳ６００１の撮影時には、画像処理装置を手で保持して撮影することで、手ぶれ等の影響により２枚の画像間で位置ズレは生じているものとする。撮影された２枚の画像を図１２（ａ）と図１２（ｂ）とする。

ステップＳ６００５では、位置ズレ量算出部１１０３（位置ズレ量算出手段）において、主要被写体の位置が合うように、２枚の画像の位置ズレ量を算出する。位置ズレ量算出の対象となる画像は、ステップＳ６００４で得た図１３と、主要被写体に合焦した画像（図１２（ａ））である。ここで位置ズレ量算出において、図１２（ａ）を基準画像とし、図１３を比較画像として位置ズレ量を算出する。

位置ズレ量を算出する方法としては、例えば、下記ブロックマッチングを用いる。

基準画像（図１２（ａ））と基準画像からの位置ズレ量を算出する比較画像（図１３）を図１１に示すように、水平方向にＮ分割、垂直方向にＭ分割した複数の小領域に分割する。そして、基準画像の小領域を比較画像の小領域内で移動させながら相関値を求め、相関値が最も小さい位置までの動きベクトルをその領域の位置ズレ量とする。相関値としては、例えば差分絶対値和（ＳＡＤ）などを使用する。なお、位置ズレ量を算出する方法はブロックマッチングに限らず、他の手法でもよい。

また本実施例では、サブピクセル精度で位置ズレ量を算出する。ブロックマッチングにおけるサブピクセル精度での推定方法は、特開２００９−３０１１８１号公報に記載の等角直線フィッティングやパラボラフィッティングといったサブ画素単位の位置ズレを算出可能なサブ画素推定手段を使用する。

主要被写体の像倍率が等しいため、主要被写体が存在する小領域では精度の高い位置ズレ量演算結果が得られる。

ステップ６００６では、位置ズレ補正部１１０４において、まずステップＳ６００５で算出した各小領域における位置ズレ量を基に、主要被写体の変形を示す射影変換のパラメータを算出する。そして、算出した射影変換パラメータに基づいて、比較画像（図１３）に射影変換を施す。その結果得られる画像が図１４であり、基準画像（図１２（ａ））における主要被写体と一致するような形に位置合わせされる。一方、主要被写体以外の背景の位置は一致しない。なお、位置ズレ補正の方法については、射影変換に限定されるわけではない。

基準画像（図１２（ａ））と像倍率を合わせて位置合わせした画像（図１４）を用いて、被写体と背景の分離処理を行う。被写体と背景の分離処理であるステップＳ６００７は、実施例１のステップＳ３００７と同じ処理であるので説明を省略する。ボカシ処理であるステップＳ６００８も実施例１のＳ３００８と同じ処理なので説明を省略する。

以上のように構成することで、合焦位置を変化させた画像間において位置ズレが生じている場合においても主被写体の像倍率を等しくさせることで、高精度で主被写体と背景を分離できる。

なお、上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

本発明の画像処理装置は、コンパクトカメラなどの撮像装置やパソコン等に好適に利用できる。

１１００ 画像処理部
１１０５ エッジ抽出部
１１０７ エッジ積分値比較部
１１０９ 倍率設定部
１１１０ 画像リサイズ部

Claims (6)

1. 主被写体に合焦させた第１の画像と、前記第１の画像とは合焦位置の異なる第２の画像を取得する画像取得手段と、
   前記第１の画像の被写体の第１の像倍率と前記第２の画像の被写体の第２の像倍率の差異に応じて、前記第１の像倍率と前記第２の像倍率の差異を縮めるように前記第１の画像及び前記第２の画像の少なくともいずれかの画像サイズを変更する画像サイズ変更手段と、
   前記画像サイズ変更手段により前記画像サイズが変更された後の前記第１の画像及び前記第２の画像のそれぞれについて、領域毎に被写体のエッジを抽出する抽出手段と、
   画像間のエッジ量の比と画像上に仮定された主被写体の位置からの距離に基づいて、前記第１の画像の領域毎に主被写体とそれ以外の被写体に判別する判別手段と、
   を有することを特徴とする画像処理装置。
2. 前記画像サイズ変更手段により前記画像サイズが変更された後の前記第１の画像及び前記第２の画像の位置ズレを補正する補正手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の画像に対して前記主被写体以外の領域にぼかし処理を施すぼかし手段を有することを特徴とする請求項１または２に記載の画像処理装置。
4. 請求項１〜３のいずれか１項に記載の画像処理装置と、
   レンズを駆動して合焦位置を変更するレンズ駆動手段と、
   前記第１の画像及び前記第２の画像を撮影する撮影手段と、を有することを特徴とする撮像装置。
5. 前記第１の像倍率と前記第２の像倍率は、前記レンズ駆動手段の駆動情報から算出されることを特徴とする、請求項４に記載の撮像装置。
6. 主被写体に合焦させた第１の画像と、前記第１の画像とは合焦位置の異なる第２の画像を取得する画像取得ステップと、
   前記第１の画像の被写体の第１の像倍率と前記第２の画像の被写体の第２の像倍率の差異に応じて、前記第１の像倍率と前記第２の像倍率の差異を縮めるように前記第１の画像及び前記第２の画像の少なくともいずれかの画像サイズを変更する画像サイズ変更ステップと、
   前記画像サイズ変更ステップにより前記画像サイズが変更された後の前記第１の画像及び前記第２の画像のそれぞれについて、領域毎に被写体のエッジを抽出する抽出ステップと、
   画像間のエッジ量の比と画像上に仮定された主被写体の位置からの距離に基づいて、前記第１の画像の領域毎に主被写体とそれ以外の被写体に判別する判別ステップと、
   を有することを特徴とする画像処理方法。