JP6003974B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、略等しい構図でピント位置が異なる複数の画像に基づいて、各画像を分割した複数の領域のぼかし量を決定し、当該ぼかし量に応じたぼかし処理を施した画像を生成する撮像装置が開示されている（例えば、特許文献１参照）。
例えば、被写体にピントを合わせた被写体合焦画像と、ピント位置を後ろにずらした背景合焦画像を撮像した後、各画像に対して所定のエッジ検出用フィルタを施して対応する位置の画素の評価値を算出する。そして、算出された評価値に基づいて、背景領域を特定して当該背景領域のぼかしを強調するぼかし処理を行ったり、被写体領域を特定して当該被写体領域を抽出する処理を行う。

特開２０１１−１０１９４号公報

しかしながら、ピントが合っていない前景や背景に存する物の光学像は、ぼけた状態となって当該光学像が拡がってしまう。特に、例えば、蛍光灯などの高輝度の物から放たれて撮像素子に入射する光の強度が強いと、回折限界や収差に起因する撮像レンズの解像力によっては被写体合焦画像上に当該物の拡がった光学像の輪郭部分が明確に表れてしまう。この結果、被写体合焦画像内で当該物の光学像のエッジの誤検出が生じて、背景領域であるにも拘わらず被写体領域であると特定されてしまうといった問題がある。

そこで、本発明の課題は、被写体合焦画像内で被写体領域の特定を適正に行うことができる画像処理装置、画像処理方法及びプログラムを提供することである。

前記課題を達成するため、本発明に係る画像処理装置の一様態は、
合焦位置を異ならせて略等しい構図で撮像された複数の画像のうちの、所定の被写体を合焦した被写体合焦画像と、前記被写体合焦画像とは前記合焦位置が異なる一の画像と、において、同一の被写体の輪郭部分の大きさが異なる領域を推定する推定手段と、前記推定手段によって推定された領域に基づいて、前記被写体合焦画像内で前記所定の被写体が含まれる被写体領域を特定する特定手段と、前記被写体合焦画像内のエッジを検出する検出手段と、を備え、前記特定手段は、前記検出手段により検出された前記エッジのうちの、前記推定手段により推定された輪郭拡大領域に対応する前記エッジの評価値を低下させて前記被写体領域を特定する、ことを特徴とする。
また、前記課題を達成するため、本発明に係る画像処理方法の一様態は、
画像処理装置を用いた画像処理方法であって、撮像装置により合焦位置を異ならせて略等しい構図で撮像された複数の画像のうちの、所定の被写体を合焦した被写体合焦画像と、前記被写体合焦画像とは前記合焦位置が異なる一の画像と、において、同一の被写体の輪郭部分の大きさが異なる領域を推定する推定処理と、前記推定処理によって推定された領域に基づいて、前記被写体合焦画像内で前記所定の被写体が含まれる被写体領域を特定する特定処理と、前記被写体合焦画像内のエッジを検出する検出処理と、を含み、前記特定処理では、前記検出処理により検出された前記エッジのうちの、前記推定処理により推定された輪郭拡大領域に対応する前記エッジの評価値を低下させて前記被写体領域を特定する、ことを特徴とする。
また、前記課題を達成するため、本発明に係るプログラムの一様態は、
画像処理装置のコンピュータを、合焦位置を異ならせて略等しい構図で撮像された複数の画像のうちの、所定の被写体を合焦した被写体合焦画像と、前記被写体合焦画像とは前記合焦位置が異なる一の画像と、において、同一の被写体の輪郭部分の大きさが異なる領域を推定する推定手段、前記推定手段によって推定された領域に基づいて、前記被写体合焦画像内で前記所定の被写体が含まれる被写体領域を特定する特定手段、前記被写体合焦画像内のエッジを検出する検出手段、として機能させ、前記特定手段は、前記検出手段により検出された前記エッジのうちの、前記推定手段により推定された輪郭拡大領域に対応する前記エッジの評価値を低下させて前記被写体領域を特定する、ことを特徴とする。

また、前記課題を達成するため、本発明に係る画像処理装置の一様態は、
合焦位置を異ならせて略等しい構図で撮像された複数の画像のうちの、所定の被写体を合焦した被写体合焦画像と、前記被写体合焦画像とは前記合焦位置が異なる一の画像と、において、同一の被写体の輪郭部分の大きさが異なる領域を推定する推定手段と、前記推定手段によって推定された領域に基づいて、前記被写体合焦画像内で前記所定の被写体が含まれる被写体領域を特定する特定手段と、を備え、前記一の画像は、露光時間を前記被写体合焦画像よりも短くして撮像された短時間露光画像を含み、前記推定手段は、前記被写体合焦画像及び前記短時間露光画像の各々の輝度情報に基づいて、前記被写体合焦画像内で輪郭部分の輝度値が急峻に変化した輝度変化領域を輪郭拡大領域として推定する、ことを特徴とする。
また、前記課題を達成するため、本発明に係る画像処理方法の一様態は、
画像処理装置を用いた画像処理方法であって、撮像装置により合焦位置を異ならせて略等しい構図で撮像された複数の画像のうちの、所定の被写体を合焦した被写体合焦画像と、前記被写体合焦画像とは前記合焦位置が異なる一の画像と、において、同一の被写体の輪郭部分の大きさが異なる領域を推定する推定処理と、前記推定処理によって推定された領域に基づいて、前記被写体合焦画像内で前記所定の被写体が含まれる被写体領域を特定する特定処理と、を含み、前記一の画像は、露光時間を前記被写体合焦画像よりも短くして撮像された短時間露光画像を含み、前記推定処理では、前記被写体合焦画像及び前記短時間露光画像の各々の輝度情報に基づいて、前記被写体合焦画像内で輪郭部分の輝度値が急峻に変化した輝度変化領域を輪郭拡大領域として推定する、ことを特徴とする。
また、前記課題を達成するため、本発明に係るプログラムの一様態は、
画像処理装置のコンピュータを、合焦位置を異ならせて略等しい構図で撮像された複数の画像のうちの、所定の被写体を合焦した被写体合焦画像と、前記被写体合焦画像とは前記合焦位置が異なる一の画像と、において、同一の被写体の輪郭部分の大きさが異なる領域を推定する推定手段、前記推定手段によって推定された領域に基づいて、前記被写体合焦画像内で前記所定の被写体が含まれる被写体領域を特定する特定手段、として機能させ、 前記一の画像は、露光時間を前記被写体合焦画像よりも短くして撮像された短時間露光画像を含み、前記推定手段は、前記被写体合焦画像及び前記短時間露光画像の各々の輝度情報に基づいて、前記被写体合焦画像内で輪郭部分の輝度値が急峻に変化した輝度変化領域を輪郭拡大領域として推定する、ことを特徴とする。

本発明によれば、被写体合焦画像内で被写体領域の特定を適正に行うことができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による画像生成処理に係る動作の一例を示すフローチャートである。 図２の画像生成処理における輝度変化領域推定処理に係る動作の一例を示すフローチャートである。 図２の画像生成処理に係る画像の一例を模式的に示す図である。 図２の画像生成処理に係る画像の一例を模式的に示す図である。 図２の画像生成処理を説明するための図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

本実施形態の撮像装置１００は、背景内の所定の被写体Ｓにピントを合わせて撮像された被写体合焦画像Ｐ１及び被写体合焦画像Ｐ１の撮像条件とは異なる所定の撮像条件で撮像され、被写体合焦画像Ｐ１と略等しい構図を有する一の画像（被写体非合焦画像Ｐ２）の各々の画像情報に基づいて、被写体合焦画像Ｐ１内で、被写界深度外に存する物に対応し、輪郭部分が一の画像における当該物の対応する領域の輪郭部分よりも拡大されてなる輪郭拡大領域Ａを推定する。そして、撮像装置１００は、当該輪郭拡大領域Ａの推定結果を基準として、被写体合焦画像Ｐ１内で所定の被写体Ｓが含まれる被写体領域Ｂを特定する。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、表示制御部６と、表示部７と、記録媒体制御部８と、操作入力部９と、中央制御部１０とを備えている。
また、撮像部１、撮像制御部２、画像データ生成部３、メモリ４、画像処理部５、表示制御部６、記録媒体制御部８及び中央制御部１０は、バスライン１１を介して接続されている。

撮像部１は、撮像手段として、所定の被写体Ｓを撮像してフレーム画像を生成する。
具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂと、レンズ駆動部１ｃとを備えている。

レンズ部１ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部１ｂは、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
レンズ駆動部１ｃは、例えば、図示は省略するが、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
なお、撮像部１は、レンズ部１ａ、電子撮像部１ｂ及びレンズ駆動部１ｃに加えて、レンズ部１ａを通過する光の量を調整する絞り（図示略）を備えても良い。

撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、レンズを通過した光学像を電子撮像部１ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、被写体の撮像の際に、レンズ駆動部１ｃの合焦駆動部の駆動を制御して、フォーカスレンズを光軸方向に移動させてレンズ部１ａの合焦位置を調整する。具体的には、撮像制御部２は、被写体合焦画像Ｐ１（図４（ａ）参照）の撮像の際に、合焦駆動部によりフォーカスレンズを光軸方向に移動させてピントを背景内の所定の被写体Ｓ（例えば、ぬいぐるみ等）に合わせる。また、撮像制御部２は、被写体非合焦画像Ｐ２（図４（ｂ）参照）の撮像の際に、合焦駆動部によりフォーカスレンズを所定の被写体Ｓに対する前後方向に移動させて所定の被写体Ｓが被写界深度外に存するようにピントを合わせる。
被写体合焦画像Ｐ１と被写体非合焦画像Ｐ２の撮像は、所定の時間間隔を空けて連続して行われる。より具体的には、被写体合焦画像Ｐ１と被写体非合焦画像Ｐ２の撮像は、当該撮像装置１００本体と所定の被写体Ｓとの距離、レンズ部１ａの焦点距離（画角）を変えることなく所定の時間間隔を空けて連続して行われる。これにより、被写体合焦画像Ｐ１と被写体非合焦画像Ｐ２は、略等しい構図を有することとなる。
ここで、被写体合焦画像Ｐ１と被写体非合焦画像Ｐ２の撮像は、構図のずれを生じさせないように当該装置本体が三脚などに固定されて行われるのが好ましい。また、当該装置本体を手持ちで撮像する場合には、被写体非合焦画像Ｐ２の撮像の際に、被写体合焦画像Ｐ１の半透過の画像をライブビュー画像に重畳表示させるようなガイド表示を行っても良い。

なお、撮像制御部２は、レンズ部１ａのフォーカスレンズに代えて、電子撮像部１ｂを光軸方向に移動させてレンズ部１ａの合焦位置を調整するようにしても良い。
また、撮像制御部２は、ＡＦ（自動合焦処理）に加えて、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。

画像データ生成部３は、電子撮像部１ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部５や中央制御部１０等によって処理されるデータ等を一時的に格納する。

画像処理部５は、第１画像取得部５ａと、第２画像取得部５ｂと、輪郭拡大領域推定部５ｃと、エッジ検出部５ｄと、被写体領域特定部５ｅと、画像生成部５ｆとを具備している。
なお、画像処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

第１画像取得部５ａは、被写体合焦画像Ｐ１を取得する。
即ち、第１画像取得部５ａは、第１取得手段として、背景内の所定の被写体Ｓにピントを合わせて撮像部１により撮像された被写体合焦画像Ｐ１（図４（ａ）参照）を取得する。具体的には、第１画像取得部５ａは、背景内の所定の被写体Ｓ（例えば、ぬいぐるみ等）にピントを合わせた状態で撮像部１により撮像され、画像データ生成部３により生成された被写体合焦画像Ｐ１の画像データ（ＹＵＶデータ）を、メモリ４から取得する。

第２画像取得部５ｂは、被写体非合焦画像Ｐ２を取得する。
即ち、第２画像取得部５ｂは、第２取得手段として、撮像部１により被写体合焦画像Ｐ１の撮像条件とは異なる所定の撮像条件で撮像され、被写体合焦画像Ｐ１と略等しい構図を有する被写体非合焦画像Ｐ２（一の画像；図４（ｂ）参照）を取得する。具体的には、第２画像取得部５ｂは、背景内の所定の被写体Ｓが被写界深度外に存するようにピントを合わせた状態で撮像部１により撮像され、画像データ生成部３により生成された被写体非合焦画像Ｐ２の画像データ（ＹＵＶデータ）を、メモリ４から取得する。
なお、図４（ｂ）に示す被写体非合焦画像Ｐ２は、ピントを合わせる位置を所定の被写体Ｓに対する後方向に移動させて撮像された画像（背景合焦画像）であるが、一例であってこれに限られるものではなく、例えば、ピントを合わせる位置を所定の被写体Ｓに対する前方向に移動させて撮像された画像（前景合焦画像；図示略）であっても良い。

輪郭拡大領域推定部５ｃは、被写体合焦画像Ｐ１内で輪郭拡大領域Ａを推定する。
ここで、輪郭拡大領域Ａは、被写体合焦画像Ｐ１内で、所定の被写体Ｓに焦点を合わせたときの被写界深度外に存する物に対応する領域である。即ち、輪郭拡大領域Ａは、ピントが合っていないぼけた領域であるため、当該被写体合焦画像Ｐ１内の輪郭拡大領域Ａの輪郭部分は、被写体非合焦画像（一の画像）Ｐ２における当該輪郭拡大領域Ａに対応する対応領域Ｃ（図４（ｂ）参照）の輪郭部分よりも拡大された状態となる。
また、輪郭拡大領域Ａは、例えば、輪郭部分の色及び明るさのうちの少なくとも一方が周辺領域に対して急峻な変化を有している。ここで、急峻な変化とは、被写体合焦画像Ｐ１に対してエッジ検出処理（詳細後述）を行った場合に、輪郭拡大領域Ａの輪郭部分にてエッジが検出される程度の変化のことを言う。例えば、輪郭拡大領域Ａとしては、撮像部１のＣＣＤやＣＭＯＳ等の撮像素子に入射する光の輝度レベルが検出可能範囲の上限よりも大きい高輝度の物（例えば、蛍光灯などの光源等）に対応する輝度変化領域Ａ１等が挙げられる。輝度変化領域Ａ１は、例えば、蛍光灯などの光源等の高輝度の物を逆光状態で撮像した場合に、撮像部１の露出条件によっては撮像された画像内で白とびした状態となる領域を含む。
つまり、仮に、被写体合焦画像Ｐ１に対してエッジ検出処理を行った場合には、ピントが合っている所定の被写体Ｓだけでなく、ピントが合っていない輪郭拡大領域Ａに対応する物のエッジも検出される。同様に、被写体非合焦画像Ｐ２に対してエッジ検出処理を行った場合には、ピントが合っている輪郭拡大領域Ａに対応する対応領域Ｃの物のエッジが検出されるが、当該エッジは被写体合焦画像Ｐ１における輪郭拡大領域Ａに対応する物のエッジよりも縮小した状態となり、大きさに相違が生じる。

また、輪郭拡大領域推定部５ｃは、被写体合焦画像Ｐ１及び被写体非合焦画像Ｐ２の各々の輝度情報に基づいて、被写体合焦画像Ｐ１内で輪郭部分の輝度値が周辺領域に対して急峻に変化した輝度変化領域Ａ１を輪郭拡大領域Ａとして推定する。具体的には、輪郭拡大領域推定部５ｃは、第１判定部ｃ１と、第２判定部ｃ２とを具備しており、当該第１判定部ｃ１及び第２判定部ｃ２の判定結果に基づいて輝度変化領域Ａ１を推定する。

第１判定部ｃ１は、第１判定手段として、被写体合焦画像Ｐ１と被写体非合焦画像Ｐ２の間で対応する各画素の輝度値の差分が第１判定値よりも大きいか否かを判定する。
具体的には、第１判定部ｃ１は、第１画像取得部５ａにより取得された被写体合焦画像Ｐ１のＹＵＶデータのうちの輝度信号（Ｙ１）を取得するとともに、第２画像取得部５ｂにより取得された被写体非合焦画像Ｐ２のうちの輝度信号（Ｙ２）を取得する。そして、第１判定部ｃ１は、被写体合焦画像Ｐ１と被写体非合焦画像Ｐ２の間で対応する複数の画素（ｘ，ｙ）の各々について輝度値の差分を算出し、当該輝度値の差分が第１判定値Ｔｈｒ１よりも大きいか否かを下記式（１）に従って判定する。
Ｙ１（ｘ，ｙ）−Ｙ２（ｘ，ｙ）＞Ｔｈｒ１ …式（１）
なお、第１判定値Ｔｈｒ１の値は、ユーザによる操作入力部９の所定操作に基づいて設定されても良いし、デフォルトとして予め定められている所定の値や設定されたホワイトバランスのモード（例えば、蛍光灯下や太陽光下等）を基準とする所定の値に自動的に設定されても良い。

第２判定部ｃ２は、第２判定手段として、被写体合焦画像Ｐ１の各画素の輝度値が第２判定値よりも大きいか否かを判定する。
具体的には、第２判定部ｃ２は、第１画像取得部５ａにより取得された被写体合焦画像Ｐ１のＹＵＶデータのうちの輝度信号（Ｙ１）を取得する。そして、第２判定部ｃ２は、被写体合焦画像Ｐ１の複数の画素（ｘ，ｙ）のうち、第１判定部ｃ１によって輝度値の差分が第１判定値Ｔｈｒ１よりも大きいと判定された各画素を特定した後、当該画素の各々について、輝度値が第２判定値Ｔｈｒ２よりも大きいか否かを下記式（２）に従って判定する。
Ｙ１（ｘ，ｙ）＞Ｔｈｒ２ …式（２）
なお、第２判定値Ｔｈｒ１の値は、第１判定値Ｔｈｒ１と同様に、ユーザによる操作入力部９の所定操作に基づいて設定されても良いし、デフォルトとして予め定められている所定の値や設定されたホワイトバランスのモード（例えば、蛍光灯下や太陽光下等）を基準とする所定の値に自動的に設定されても良い。

また、輪郭拡大領域推定部５ｃは、第１判定部ｃ１及び第２判定部ｃ２の両方の判定結果に基づいて、上記式（１）及び式（２）の両方を満たす画素を含む領域を特定する。
そして、輪郭拡大領域推定部５ｃは、上記式（１）及び式（２）の両方を満たす画素（図５（ａ）中、白で表す領域）を第１の画素値「１」とし、当該画素以外の画素（図５（ａ）中、黒で表す領域）を第２の画素値「０」として表す二値画像等の輝度変化領域情報Ｍ（図５（ａ）参照）を生成する。
即ち、輝度変化領域情報Ｍのうち、第１の画素値「１」を有する画素が、被写体合焦画像Ｐ１内の、例えば、蛍光灯などの光源等の高輝度の物に対応する輝度変化領域Ａ１の縁部に対応することとなる。

なお、輪郭拡大領域Ａとして、例えば、蛍光灯などの光源等の高輝度の物に対応する輝度変化領域Ａ１を例示して説明したが、例えば、色や濃度等が周辺領域に対して急峻な変化を有する領域であっても良い。
このように、輪郭拡大領域推定部５ｃは、被写体合焦画像Ｐ１及び被写体非合焦画像（一の画像）Ｐ２の各々の画像情報に基づいて、被写体合焦画像Ｐ１内で、被写界深度外に存する物に対応し、輪郭部分が一の画像における当該物に対応する領域の輪郭部分よりも拡大されてなる輪郭拡大領域Ａを推定する推定手段を構成している。

エッジ検出部５ｄは、被写体合焦画像Ｐ１内のエッジを検出する。
即ち、エッジ検出部５ｄは、検出手段として、被写体合焦画像Ｐ１内に存する物に係るエッジを検出する。具体的には、エッジ検出部５ｄは、第１画像取得部５ａにより取得された被写体合焦画像Ｐ１のＹＵＶデータに対して所定の微分フィルタ（例えば、ハイパスフィルタ等）を用いて微分演算を行って、輝度値や色や濃度に急峻な変化があるところをエッジとして検出するエッジ検出処理を行う。
これにより、エッジ検出部５ｄは、例えば、被写体合焦画像Ｐ１内で、ピントが合っている所定の被写体Ｓのエッジとともに、ピントが合っていない輪郭拡大領域Ａ（輝度変化領域Ａ１）に対応する物のエッジも検出する。

被写体領域特定部５ｅは、被写体合焦画像Ｐ１内で所定の被写体Ｓが含まれる被写体領域Ｂを特定する。
即ち、被写体領域特定部５ｅは、特定手段として、輪郭拡大領域推定部５ｃによる輪郭拡大領域Ａの推定結果を基準として、被写体合焦画像Ｐ１内で所定の被写体Ｓが含まれる被写体領域Ｂを特定する。具体的には、被写体領域特定部５ｅは、輪郭拡大領域推定部５ｃにより生成された輝度変化領域情報Ｍを取得して、エッジ検出部５ｄにより検出された全てのエッジ（即ち、所定の被写体Ｓ及び輝度変化領域Ａ１に係るエッジ）のうち、輝度変化領域Ａ１に対応する各エッジの評価値を低下させて被写体領域Ｂを特定する。
例えば、被写体領域特定部５ｅは、各エッジの強度や所定数のエッジにより囲まれる候補領域内に存する画素数等に応じて評価値を算出し、評価値が最も高くなった候補領域を所定の被写体Ｓが含まれる被写体領域Ｂとして特定する。
このとき、被写体領域特定部５ｅは、例えば、複数の候補領域のうち、輝度変化領域Ａ１に対応する各エッジや当該エッジにより囲まれる候補領域の評価値（信頼度）を低下させて、被写体領域Ｂとして特定され難くする。また、被写体領域特定部５ｅは、例えば、輝度変化領域Ａ１に対応するエッジにより囲まれる候補領域の大きさを小さく（収縮）することで、各候補領域を構成する画素数に応じて算出される評価値を相対的に低下させて、被写体領域Ｂとして特定され難くする。

なお、被写体領域特定部５ｅは、被写体合焦画像Ｐ１内の被写体領域Ｂの特定に、輪郭拡大領域推定部５ｃによる輝度変化領域Ａ１の推定結果を基準として行うようにしたが、例えば、輪郭拡大領域Ａとしての色や濃度等が周辺領域に対して急峻な変化を有する領域の推定結果を用いても良い。

画像生成部５ｆは、被写体合焦画像Ｐ１内の被写体領域Ｂ以外の背景領域をぼかしたぼかし画像Ｐ３を生成する。
即ち、画像生成部５ｆは、画像生成手段として、被写体合焦画像Ｐ１に対してぼかし処理を施して、当該被写体合焦画像Ｐ１内の被写体領域Ｂ以外の背景領域をぼかしたぼかし画像Ｐ３（図５（ｂ）参照）を生成する。具体的には、画像生成部５ｆは、被写体領域特定部５ｅにより特定された被写体領域Ｂのアルファ値を「１」とし、それ以外の背景領域のアルファ値を「０」とする二値情報を生成する。そして、画像生成部５ｆは、当該二値情報に対してローパスフィルタを施して境界領域に中間値（０≦α≦１）を生じさせ、被写体合焦画像Ｐ１内で被写体領域Ｂの位置を示す位置情報としてのアルファマップ（図示略）を生成する。そして、画像生成部５ｆは、生成されたアルファマップを利用して、被写体合焦画像Ｐ１に対してぼかし処理を施して、当該被写体合焦画像Ｐ１内の背景領域及び境界領域をそれぞれ所定の強度でぼかしたぼかし画像Ｐ３を生成する。
なお、ほかし処理としては、例えば、被写体合焦画像Ｐ１の画像データにガウス型のボカシフィルターをかけることで行う方法が挙げられるが、一例であってこれに限られるものではなく、公知の手法であれば適宜任意に変更可能である。

表示制御部６は、メモリ４に一時的に格納されている表示用の画像データを読み出して表示部７に表示させる制御を行う。
具体的には、表示制御部６は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に格納されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部７に出力する。

表示部７は、例えば、液晶表示パネルであり、表示制御部６からのビデオ信号に基づいて電子撮像部１ｂにより撮像された画像などを表示画面に表示する。具体的には、表示部７は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部７は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。

記録媒体制御部８は、記録媒体Ｒが着脱自在に構成され、装着された記録媒体Ｒからのデータの読み出しや記録媒体Ｒに対するデータの書き込みを制御する。
即ち、記録媒体制御部８は、画像処理部５の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録媒体Ｒに記録させる。
なお、記録媒体Ｒは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。

中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装
置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００による画像生成処理について、図２〜図６を参照して説明する。
図２は、画像生成処理に係る動作の一例を示すフローチャートである。図３は、画像生成処理における輝度変化領域推定処理に係る動作の一例を示すフローチャートである。

画像生成処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中からぼかし画像生成モードが選択指示された場合に、中央制御部１０の制御下にて当該撮像装置１００の各部により実行される処理である。
また、図２に示す画像生成処理にあっては、輪郭拡大領域Ａとして輝度変化領域Ａ１を推定して、当該輝度変化領域Ａ１の推定結果を基準として被写体領域Ｂを特定するものとする。

図２に示すように、先ず、表示制御部６は、撮像部１による被写体の撮像により生成された複数のフレーム画像に基づいてライブビュー画像を表示部７の表示画面に表示させる（ステップＳ１）。
具体的には、撮像制御部２は、レンズ部１ａを通過した光学像を所定周期毎に電子撮像部１ｂにより二次元の画像信号（ＲＧＢ画像データ）に変換させ、画像データ生成部３は、電子撮像部１ｂから出力されて入力される二次元の画像信号を所定周期毎にデジタルの画像信号に変換して各フレーム画像のＹＵＶデータを生成する。画像データ生成部３により生成された各フレーム画像のＹＵＶデータは、順次メモリ４に出力され、当該メモリ４に格納される。表示制御部６は、メモリ４に一時的に格納されている表示用の画像データを読み出して表示部７にライブビュー画像を表示させる制御を行う。

次に、中央制御部１０のＣＰＵは、ユーザによる操作入力部９のシャッタボタンの所定操作（例えば、全押し操作）に基づいて、当該操作入力部９から出力される撮像指示が入力されたか否かを判定する（ステップＳ２）。
ここで、撮像指示が入力されていないと判定されると（ステップＳ２；ＮＯ）、中央制御部１０のＣＰＵは、処理をステップＳ１に戻し、ステップＳ２にて、撮像指示が入力されたと判定されるまで（ステップＳ２；ＹＥＳ）、表示制御部６は、ライブビュー画像を表示部８の表示画面に表示させる制御を行う。

そして、ユーザによる所定の被写体Ｓの構図等の調整が終了した後、ユーザによって操作入力部９のシャッタボタンが所定操作（例えば、全押し操作）されることにより、中央制御部１０のＣＰＵにより撮像指示が入力されたと判定されると（ステップＳ２；ＹＥＳ）、撮像制御部２は、レンズ駆動部１ｃの合焦駆動部によりフォーカスレンズを光軸方向に移動させてピントを背景内の所定の被写体Ｓ（例えば、ぬいぐるみ等）に合わせ、被写体合焦画像Ｐ１（図４（ａ）参照）を撮像させる（ステップＳ３）。画像データ生成部３は、被写体合焦画像Ｐ１の画像信号をデジタルの画像信号に変換して当該被写体合焦画像Ｐ１のＹＵＶデータを生成する。
画像データ生成部３により生成された被写体合焦画像Ｐ１のＹＵＶデータは、メモリ４に出力され、当該メモリ４に一時的に格納される。

続けて、撮像制御部２は、合焦駆動部によりフォーカスレンズを所定の被写体Ｓに対する前後方向に移動させて所定の被写体Ｓが被写界深度外に存するようにピントを合わせ、被写体合焦画像Ｐ１と略等しい構図を有する被写体非合焦画像Ｐ２（図４（ｂ）参照）を撮像させる（ステップＳ４）。画像データ生成部３は、被写体非合焦画像Ｐ２の画像信号をデジタルの画像信号に変換して当該被写体非合焦画像Ｐ２のＹＵＶデータを生成する。
画像データ生成部３により生成された被写体非合焦画像Ｐ２のＹＵＶデータは、メモリ４に出力され、当該メモリ４に一時的に格納される。

次に、画像処理部５は、被写体合焦画像Ｐ１内で、輪郭部分の輝度値が周辺領域に対して急峻に変化した輝度変化領域Ａ１を推定する輝度変化領域推定処理（図３参照）を行う（ステップＳ５）。
ここで、図３を参照して、輝度変化領域推定処理について詳細に説明する。

図３に示すように、画像処理部５の第１画像取得部５ａは、メモリ４に格納されている被写体合焦画像Ｐ１の画像データ（ＹＵＶデータ）を取得する（ステップＳ５１）。続けて、第２画像取得部５ｂは、メモリ４に格納されている被写体非合焦画像Ｐ２の画像データ（ＹＵＶデータ）を取得する（ステップＳ５２）。
なお、被写体合焦画像Ｐ１の画像データの取得後に被写体非合焦画像（一の画像）Ｐ２の画像データの取得を行うようにしたが、これらの画像の取得処理の順序は一例であってこれに限られるものではなく、順序を逆、即ち、被写体非合焦画像Ｐ２の画像データの取得後に被写体合焦画像Ｐ１の画像データの取得を行うようにしても良い。

次に、輪郭拡大領域推定部５ｃの第１判定部ｃ１は、被写体合焦画像Ｐ１と被写体非合焦画像Ｐ２の間で対応する各画素の輝度値の差分が第１判定値よりも大きいか否かを判定する（ステップＳ５３）。
具体的には、第１判定部ｃ１は、被写体合焦画像Ｐ１のＹＵＶデータのうちの輝度信号（Ｙ１）及び被写体非合焦画像Ｐ２のうちの輝度信号（Ｙ２）を取得した後、被写体合焦画像Ｐ１と被写体非合焦画像Ｐ２の間で対応する複数の画素（ｘ，ｙ）の各々について、輝度値の差分が第１判定値Ｔｈｒ１よりも大きいか否かを下記式（１）に従って判定する。
Ｙ１（ｘ，ｙ）−Ｙ２（ｘ，ｙ）＞Ｔｈｒ１ …式（１）

ステップＳ５３にて、輝度値の差分が第１判定値Ｔｈｒ１よりも大きいと判定されると（ステップＳ５３；ＹＥＳ）、輪郭拡大領域推定部５ｃの第２判定部ｃ２は、被写体合焦画像Ｐ１の複数の画素のうち、第１判定部ｃ１により輝度値の差分が第１判定値Ｔｈｒ１よりも大きいと判定された画素の輝度値が第２判定値よりも大きいか否かを判定する（ステップＳ５４）。
具体的には、第２判定部ｃ２は、被写体合焦画像Ｐ１のＹＵＶデータのうちの輝度信号（Ｙ１）を取得した後、被写体合焦画像Ｐ１の複数の画素（ｘ，ｙ）のうち、輝度値の差分が第１判定値Ｔｈｒ１よりも大きいと判定された画素の各々について、輝度値が第２判定値Ｔｈｒ２よりも大きいか否かを下記式（２）に従って判定する。
Ｙ１（ｘ，ｙ）＞Ｔｈｒ２ …式（２）

ステップＳ５４にて、輝度値が第２判定値Ｔｈｒ２よりも大きいと判定されると（ステップＳ５４；ＹＥＳ）、輪郭拡大領域推定部５ｃは、被写体合焦画像Ｐ１内で、輝度値が第２判定値Ｔｈｒ２よりも大きいと判定された画素を含む領域を特定する（ステップＳ５５）。即ち、輪郭拡大領域推定部５ｃは、被写体合焦画像Ｐ１内で、上記式（１）及び式（２）の両方を満たす画素を含む領域を特定する。
そして、輪郭拡大領域推定部５ｃは、上記式（１）及び式（２）の両方を満たす画素（図５（ａ）中、白で表す領域）を第１の画素値「１」とし、当該画素以外の画素（図５（ａ）中、黒で表す領域）を第２の画素値「０」として表す二値画像等の輝度変化領域情報Ｍ（図５（ａ）参照）を生成して（ステップＳ５６）、輝度変化領域推定処理を終了する。
なお、生成された輝度変化領域情報Ｍは、所定の格納手段（例えば、メモリ４等）に一時的に格納される。

一方、ステップＳ５３にて、輝度値の差分が第１判定値Ｔｈｒ１よりも大きくないと判定された場合（ステップＳ５３；ＮＯ）、或いは、ステップＳ５４にて、輝度値が第２判定値Ｔｈｒ２よりも大きくないと判定された場合（ステップＳ５４；ＮＯ）には、画像処理部５は、ステップＳ５５、Ｓ５６の各処理をスキップして、輝度変化領域推定処理を終了する。

図２に戻り、画像処理部５のエッジ検出部５ｄは、被写体合焦画像Ｐ１内のエッジを検出するエッジ検出処理を行う（ステップＳ６）。
具体的には、エッジ検出部５ｄは、例えば、被写体合焦画像Ｐ１のＹＵＶデータに対してハイパスフィルタをかけて、輝度値や色や濃度等に急峻な変化があるところをエッジとして検出する。

続けて、画像処理部５は、所定の格納手段（例えば、メモリ４等）に輝度変化領域情報Ｍが格納されているか否かに応じて、輝度変化領域推定処理にて輝度変化領域情報Ｍが生成されたか否かを判定する（ステップＳ７）。
ここで、輝度変化領域情報Ｍが生成されたと判定されると（ステップＳ７；ＹＥＳ）、被写体領域特定部５ｅは、輪郭拡大領域推定部５ｃによる輝度変化領域Ａ１の推定結果を基準として、被写体合焦画像Ｐ１内で所定の被写体Ｓが含まれる被写体領域Ｂを特定する（ステップＳ８）。具体的には、被写体領域特定部５ｅは、輪郭拡大領域推定部５ｃにより生成された輝度変化領域情報Ｍを取得して、エッジ検出部５ｄにより検出された全てのエッジ（即ち、所定の被写体Ｓ及び輝度変化領域Ａ１に係るエッジ）の強度や所定数のエッジにより囲まれる候補領域内に存する画素数等に応じて評価値を算出する。このとき、被写体領域特定部５ｅは、輝度変化領域Ａ１に対応する各エッジの評価値を低下させることで、輝度変化領域Ａ１が被写体領域Ｂとして特定され難くする。そして、被写体領域特定部５ｅは、評価値が最も高くなった候補領域を所定の被写体Ｓが含まれる被写体領域Ｂとして特定する。

次に、画像生成部５ｆは、被写体合焦画像Ｐ１に対してぼかし処理を施して、当該被写体合焦画像Ｐ１内の被写体領域Ｂ以外の背景領域をぼかしたぼかし画像Ｐ３（図５（ｂ）参照）を生成する（ステップＳ９）。
具体的には、画像生成部５ｆは、被写体合焦画像Ｐ１内で被写体領域Ｂの位置を示す位置情報としてのアルファマップを利用して、被写体合焦画像Ｐ１に対してぼかし処理を施して、当該被写体合焦画像Ｐ１内の背景領域及び境界領域をそれぞれ所定の強度でぼかしたぼかし画像Ｐ３を生成する。

一方、ステップＳ７にて、輝度変化領域情報Ｍが生成されていないと判定されると（ステップＳ７；ＮＯ）、被写体領域特定部５ｅは、輝度変化領域Ａ１を考慮せずに、被写体合焦画像Ｐ１内で所定の被写体Ｓが含まれる被写体領域Ｂを特定する（ステップＳ１０）。具体的には、被写体領域特定部５ｅは、エッジ検出部５ｄにより検出された全てのエッジ（即ち、所定の被写体Ｓ及び輝度変化領域Ａ１に係るエッジ）の強度や所定数のエッジにより囲まれる候補領域内に存する画素数等に応じて評価値を算出する。そして、被写体領域特定部５ｅは、評価値が最も高くなった候補領域を所定の被写体Ｓが含まれる被写体領域Ｂとして特定する（ステップＳ１０）。
その後、画像処理部５は、処理をステップＳ９に移行して、画像生成部５ｆは、上記と略同様に、被写体合焦画像Ｐ１内にて、ステップＳ１０にて特定された被写体領域Ｂ以外の背景領域をぼかしたぼかし画像（図示略）を生成する（ステップＳ９）。

そして、記録媒体制御部８は、画像生成部５ｆにより生成され、画像処理部５の符号化部により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化されたぼかし画像Ｐ３のＹＵＶデータを取得して、記録媒体Ｒに記録させて（ステップＳ１１）、画像生成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、被写体合焦画像Ｐ１及び被写体非合焦画像（一の画像）Ｐ２の各々の画像情報に基づいて、被写体合焦画像Ｐ１内で、被写界深度外に存する物に対応し、輪郭部分が一の画像における当該物に対応する領域の輪郭部分よりも拡大されてなる輪郭拡大領域Ａを推定して、当該輪郭拡大領域Ａの推定結果を基準として、被写体合焦画像Ｐ１内で所定の被写体Ｓが含まれる被写体領域Ｂを特定するので、被写体合焦画像Ｐ１内に被写界深度外に存する物の拡がった光学像の輪郭部分が明確に表れた輪郭拡大領域Ａが含まれている場合であっても、当該輪郭拡大領域Ａの推定結果を基準として、被写体合焦画像Ｐ１内で所定の被写体Ｓが含まれる被写体領域Ｂを特定することで、被写界深度外に存する物の光学像のエッジの誤検出を生じさせ難くして被写体領域Ｂの特定を適正に行うことができる。

具体的には、例えば、蛍光灯などの高輝度の物から放たれて電子撮像部１ｂに入射する光の輝度レベルが検出可能範囲の上限よりも大きかったり（光の強度が強かったり）、レンズ部１ａの解像力が低い場合には、被写体合焦画像Ｐ１上に当該物の拡がった光学像の輪郭部分が明確に表れてしまう。即ち、被写体合焦画像Ｐ１における輪郭拡大領域Ａ（輝度変化領域Ａ１）の輪郭部分は、被写体非合焦画像（一の画像）Ｐ２における当該輪郭拡大領域Ａに対応する対応領域Ｃの輪郭部分よりも拡大されてしまい、高輝度の物の光学像のエッジの誤検出を生じさせる虞がある。
このような場合であっても、予め被写体合焦画像Ｐ１内で輪郭部分の輝度値が急峻に変化した輝度変化領域Ａ１を推定しておくことで、被写体合焦画像Ｐ１内から検出された全てのエッジ（所定の被写体Ｓ及び輝度変化領域Ａ１に係るエッジ）のうち、輝度変化領域Ａ１に対応するエッジの評価値を低下させることで、高輝度の物の光学像のエッジの誤検出を生じさせ難くして被写体合焦画像Ｐ１内で被写体領域Ｂの特定を適正に行うことができる。

また、背景内の所定の被写体Ｓに合焦させて撮像された被写体合焦画像Ｐ１及びピントを合わせる位置を所定の被写体Ｓに対する前後方向に移動させて撮像された被写体非合焦画像Ｐ２の各々の輝度情報に基づいて、被写体合焦画像Ｐ１内で輝度変化領域Ａ１を推定するので、輪郭拡大領域Ａとしての輪郭部分の輝度値が急峻に変化した輝度変化領域Ａ１の推定を適正に行うことができる。
具体的には、被写体合焦画像Ｐ１内で、当該被写体合焦画像Ｐ１と被写体非合焦画像Ｐ２の間で対応する各画素の輝度値の差分が第１判定値よりも大きく、且つ、輝度値が第２判定値よりも大きい画素を含む領域を輝度変化領域Ａ１として推定するので、被写体合焦画像Ｐ１と被写体非合焦画像Ｐ２の間で対応する各画素の輝度値の差分だけでなく、被写体合焦画像Ｐ１の各画素の輝度値自体も考慮して、当該被写体合焦画像Ｐ１内で輝度変化領域Ａ１を適正に推定することができる。つまり、輝度値の差分が第１判定値よりも大きい画素であっても、輝度値が第２判定値よりも大きくない画素を除外することができることとなって、例えば、蛍光灯などの高輝度の物に対応する領域を輝度変化領域Ａ１として適正に推定することができる。

また、被写体合焦画像Ｐ１内の被写体領域Ｂ以外の背景領域をぼかしたぼかし画像Ｐ３を生成した場合に、被写体領域Ｂと背景領域の判別を適正に行うことができなかったために背景領域であるにも拘わらず被写体領域Ｂと特定されてしまい不自然なぼかし画像Ｐ４（図６参照）が生成されることがなくなる。
即ち、図６に示すぼかし画像Ｐ４は、輪郭拡大領域Ａ（輝度変化領域Ａ１）が背景領域であるにも拘わらず被写体領域であると判定されてしまい、輪郭拡大領域Ａのぼけ度合が他の背景領域に比べて全体的に小さくなっている。特に、輪郭拡大領域Ａの中心部は、全くぼけていないような状態となっている。これに対して、本実施形態の撮像装置１００によれば、輪郭拡大領域Ａに対して他の背景領域と略同等のぼけ度合を付与することができ、被写体領域Ｂ以外の背景領域全域に亘って自然なぼけが付与されたぼかし画像Ｐ３（図５（ｂ）参照）を生成することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、一の画像としての被写体非合焦画像Ｐ２を用いて輪郭拡大領域Ａ（輝度変化領域Ａ１）を推定するようにしたが、一例であってこれに限られるものではなく、輪郭拡大領域Ａの推定に用いられる一の画像は適宜任意に変更可能である。
即ち、一の画像は、被写体合焦画像Ｐ１の撮像条件とは異なる所定の撮像条件で撮像され、被写体合焦画像Ｐ１と略等しい構図を有する画像であれば良く、例えば、一の画像として、撮像部１の電子撮像部１ｂの露光時間を被写体合焦画像Ｐ１よりも短くして当該撮像部１により撮像された短時間露光画像を用いても良い。そして、輪郭拡大領域推定部５ｃは、被写体合焦画像Ｐ１及び短時間露光画像の各々の輝度情報に基づいて、被写体合焦画像Ｐ１内で輪郭部分の輝度値が急峻に変化した輝度変化領域Ａ１を輪郭拡大領域Ａとして推定するようにしても良い。つまり、例えば、蛍光灯などの光源等の高輝度の物は、電子撮像部１ｂに入射する光の強度が強いため、電子撮像部１ｂの露光時間を短時間としても電荷の蓄積を行うことができる。これにより、電子撮像部１ｂの露光時間を被写体合焦画像Ｐ１よりも短くして撮像された短時間露光画像のうち、電子撮像部１ｂの電荷が蓄積されている画素に対応する領域が高輝度の物に対応する可能性が高いと考えられる。
そこで、輪郭拡大領域推定部５ｃは、短時間露光画像のうちの輝度信号を取得して、当該短時間露光画像内で高輝度の物に対応する高輝度領域を特定する。そして、輪郭拡大領域推定部５ｃは、被写体合焦画像Ｐ１のＹＵＶデータのうちの輝度信号を取得して、当該被写体合焦画像Ｐ１内で、短時間露光画像の高輝度領域に対応する領域を輝度変化領域Ａ１（輪郭拡大領域Ａ）として推定する。

このような構成としても、輪郭拡大領域Ａの推定結果を基準として、被写体合焦画像Ｐ１内で所定の被写体Ｓが含まれる被写体領域Ｂを特定することで、被写界深度外に存する物の光学像のエッジの誤検出を生じさせ難くして被写体領域Ｂの特定を適正に行うことができる。

また、上記実施形態にあっては、第１判定部ｃ１による判定処理後に第２判定部ｃ２による判定処理を行うようにしたが、これらの判定処理の順序は一例であってこれに限られるものではなく、順序を逆、即ち、第２判定部ｃ２による判定処理後に第１判定部ｃ１による判定処理を行うようにしても良い。
さらに、輪郭拡大領域推定部５ｃは、第１判定部ｃ１及び第２判定部ｃ２の両方の判定結果に基づいて、即ち、上記式（１）及び式（２）の両方を満たす画素を含む領域を輝度変化領域Ａ１として推定するようにしたが、一例であってこれに限られるものではなく、第１判定部ｃ１及び第２判定部ｃ２のうちの何れか一方を具備し、上記式（１）及び式（２）のうちの何れか一方のみを満たす画素を含む領域を輝度変化領域Ａ１として推定しても良い。
具体的には、輪郭拡大領域推定部５ｃは、第１判定部ｃ１による判定処理のみを行って、被写体合焦画像Ｐ１内で、輝度値の差分が第１判定値Ｔｈｒ１よりも大きい画素（上記式（１）のみを満たす画素）を特定した場合には、当該画素を含む領域を輝度変化領域Ａ１として推定する。また、輪郭拡大領域推定部５ｃは、第２判定部ｃ２による判定処理のみを行って、被写体合焦画像Ｐ１内で、輝度値が第２判定値Ｔｈｒ２よりも大きい画素（上記式（２）のみを満たす画素）を特定した場合には、当該画素を含む領域を輝度変化領域Ａ１として推定する。

また、上記実施形態にあっては、被写体合焦画像Ｐ１内のエッジの検出結果を利用して、被写体領域Ｂを特定するようにしたが、被写体合焦画像Ｐ１内のエッジを利用するか否かは適宜任意に変更可能である。即ち、撮像装置１００は、必ずしもエッジ検出部５ｄを具備する必要はなく、輪郭拡大領域Ａの推定結果を基準として、被写体合焦画像Ｐ１内で所定の被写体Ｓが含まれる被写体領域Ｂを特定可能であれば如何なる構成であっても良い。

さらに、上記実施形態にあっては、画像生成部５ｆが被写体合焦画像Ｐ１内の被写体領域Ｂ以外の背景領域をぼかしたぼかし画像Ｐ３を生成するようにしたが、必ずしも画像生成部５ｆを具備する必要はなく、ぼかし画像Ｐ３を生成するか否かは適宜任意に変更可能である。
また、撮像装置１００による被写体領域Ｂの特定後の後処理は、ぼかし画像Ｐ３の生成に限られるものではなく、一例であって適宜任意に変更可能である。即ち、撮像装置１００は、特定された被写体領域Ｂを利用して、当該所定の被写体Ｓに対する前後方向にピントの位置を変えた複数の画像の撮像、所謂、フォーカスブラケット撮像を行うようにしても良いし、被写体合焦画像Ｐ１から被写体領域Ｂが含まれる画像を切り抜く処理を行うようにしても良い。

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像処理装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る画像処理を実行可能なものであれば如何なる構成であっても良い。

加えて、上記実施形態にあっては、第１取得手段、第２取得手段、推定手段、特定手段としての機能を、中央制御部１０の制御下にて、第１画像取得部５ａ、第２画像取得部５ｂ、輪郭拡大領域推定部５ｃ、被写体領域特定部５ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１取得処理ルーチン、第２取得処理ルーチン、推定処理ルーチン、特定処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部１０のＣＰＵを、背景内の所定の被写体Ｓにピントを合わせて撮像装置により撮像された被写体合焦画像Ｐ１を取得する第１取得手段として機能させるようにしても良い。また、第２取得処理ルーチンにより中央制御部１０のＣＰＵを、撮像装置により被写体合焦画像Ｐ１の撮像条件とは異なる所定の撮像条件で撮像され、被写体合焦画像Ｐ１と略等しい構図を有する一の画像を取得する第２取得手段として機能させるようにしても良い。また、推定処理ルーチンにより中央制御部１０のＣＰＵを、被写体合焦画像Ｐ１及び一の画像の各々の画像情報に基づいて、被写体合焦画像Ｐ１内で、被写界深度外に存する物に対応し、輪郭部分が一の画像における当該物に対応する領域の輪郭部分よりも拡大されてなる輪郭拡大領域Ａを推定する推定手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１０のＣＰＵを、推定手段による輪郭拡大領域Ａの推定結果を基準として、被写体合焦画像Ｐ１内で所定の被写体Ｓが含まれる被写体領域Ｂを特定する特定手段として機能させるようにしても良い。

同様に、第１判定手段、第２判定手段、検出手段、画像生成手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
背景内の所定の被写体にピントを合わせて撮像手段により撮像された被写体合焦画像を取得する第１取得手段と、
前記撮像手段により前記被写体合焦画像の撮像条件とは異なる所定の撮像条件で撮像され、前記被写体合焦画像と略等しい構図を有する一の画像を取得する第２取得手段と、
前記被写体合焦画像及び前記一の画像の各々の画像情報に基づいて、前記被写体合焦画像内で、被写界深度外に存する物に対応し、輪郭部分が前記一の画像における当該物に対応する領域の輪郭部分よりも拡大されてなる輪郭拡大領域を推定する推定手段と、
この推定手段による前記輪郭拡大領域の推定結果を基準として、前記被写体合焦画像内で前記所定の被写体が含まれる被写体領域を特定する特定手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記一の画像は、ピントを合わせる位置を前記所定の被写体に対する前後方向に移動させて前記撮像手段により撮像された被写体非合焦画像を含み、
前記推定手段は、更に、
前記被写体合焦画像及び前記被写体非合焦画像の各々の輝度情報に基づいて、前記被写体合焦画像内で輪郭部分の輝度値が急峻に変化した輝度変化領域を前記輪郭拡大領域として推定することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記推定手段は、
前記被写体合焦画像と前記被写体非合焦画像の間で対応する各画素の輝度値の差分が第１判定値よりも大きいか否かを判定する第１判定手段を更に有し、この第１判定手段による判定結果に基づいて、輝度値の差分が前記第１判定値よりも大きい画素を含む領域を前記輝度変化領域として推定することを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記推定手段は、
前記被写体合焦画像の各画素の輝度値が第２判定値よりも大きいか否かを判定する第２判定手段を更に有し、この第２判定手段による判定結果に基づいて、輝度値が前記第２判定値よりも大きい画素を含む領域を前記輝度変化領域として推定することを特徴とする請求項２又は３に記載の画像処理装置。
＜請求項５＞
前記一の画像は、前記撮像手段の露光時間を前記被写体合焦画像よりも短くして当該撮像手段により撮像された短時間露光画像を含み、
前記推定手段は、更に、
前記被写体合焦画像及び前記短時間露光画像の各々の輝度情報に基づいて、前記被写体合焦画像内で輪郭部分の輝度値が急峻に変化した輝度変化領域を前記輪郭拡大領域として推定することを特徴とする請求項１に記載の画像処理装置。
＜請求項６＞
前記輝度変化領域は、前記撮像手段の撮像素子に入射する光の輝度レベルが検出可能範囲の上限よりも大きい高輝度の物に対応する領域であることを特徴とする請求項２〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記被写体合焦画像内のエッジを検出する検出手段を更に備え、
前記特定手段は、
前記検出手段により検出されたエッジのうち、前記推定手段により推定された前記輪郭拡大領域に対応するエッジの評価値を低下させて前記被写体領域を特定することを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
＜請求項８＞
前記被写体合焦画像に対してぼかし処理を施して、当該被写体合焦画像内の前記被写体領域以外の背景領域をぼかしたぼかし画像を生成する画像生成手段を更に備えることを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
＜請求項９＞
画像処理装置を用いた画像処理方法であって、
背景内の所定の被写体にピントを合わせて撮像装置により撮像された被写体合焦画像を取得する処理と、
前記撮像装置により前記被写体合焦画像の撮像条件とは異なる所定の撮像条件で撮像され、前記被写体合焦画像と略等しい構図を有する一の画像を取得する処理と、
前記被写体合焦画像及び前記一の画像の各々の画像情報に基づいて、前記被写体合焦画像内で、被写界深度外に存する物に対応し、輪郭部分が前記一の画像における当該物に対応する領域の輪郭部分よりも拡大されてなる輪郭拡大領域を推定する処理と、
前記輪郭拡大領域の推定結果を基準として、前記被写体合焦画像内で前記所定の被写体が含まれる被写体領域を特定する処理と、
を含むことを特徴とする画像処理方法。
＜請求項１０＞
画像処理装置のコンピュータを、
背景内の所定の被写体にピントを合わせて撮像装置により撮像された被写体合焦画像を取得する第１取得手段、
前記撮像装置により前記被写体合焦画像の撮像条件とは異なる所定の撮像条件で撮像され、前記被写体合焦画像と略等しい構図を有する一の画像を取得する第２取得手段、
前記被写体合焦画像及び前記一の画像の各々の画像情報に基づいて、前記被写体合焦画像内で、被写界深度外に存する物に対応し、輪郭部分が前記一の画像における当該物に対応する領域の輪郭部分よりも拡大されてなる輪郭拡大領域を推定する推定手段、
この推定手段による前記輪郭拡大領域の推定結果を基準として、前記被写体合焦画像内で前記所定の被写体が含まれる被写体領域を特定する特定手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
１ 撮像部
２ 撮像制御部
５ 画像処理部
５ａ 第１画像取得部
５ｂ 第２画像取得部
５ｃ 輪郭拡大領域推定部
ｃ１ 第１判定部
ｃ２ 第２判定部
５ｄ エッジ検出部
５ｅ 被写体領域特定部
５ｆ 画像生成部
１０ 中央制御部

Claims (12)

1. 合焦位置を異ならせて略等しい構図で撮像された複数の画像のうちの、所定の被写体を合焦した被写体合焦画像と、前記被写体合焦画像とは前記合焦位置が異なる一の画像と、において、同一の被写体の輪郭部分の大きさが異なる領域を推定する推定手段と、
   前記推定手段によって推定された領域に基づいて、前記被写体合焦画像内で前記所定の被写体が含まれる被写体領域を特定する特定手段と、
   前記被写体合焦画像内のエッジを検出する検出手段と、
   を備え、
   前記特定手段は、前記検出手段により検出された前記エッジのうちの、前記推定手段により推定された輪郭拡大領域に対応する前記エッジの評価値を低下させて前記被写体領域を特定する、
   ことを特徴とする画像処理装置。
2. 前記推定手段は、
   前記被写体合焦画像及び前記一の画像の各々の画像情報に基づいて、前記被写体合焦画像内で、被写界深度外に存する物に対応し、輪郭部分が前記一の画像における前記物に対応する領域の輪郭部分よりも拡大されてなる前記輪郭拡大領域を推定し、
   前記特定手段は、
   前記推定手段による前記輪郭拡大領域の推定結果を基準として、前記被写体合焦画像内で前記所定の被写体が含まれる前記被写体領域を特定することを特徴とする請求項１記載の画像処理装置。
3. 前記一の画像は、合焦する位置を前記所定の被写体に対する前後方向に移動させて撮像された被写体非合焦画像を含み、
   前記推定手段は、更に、
   前記被写体合焦画像及び前記被写体非合焦画像の各々の輝度情報に基づいて、前記被写体合焦画像内で輪郭部分の輝度値が急峻に変化した輝度変化領域を前記輪郭拡大領域として推定することを特徴とする請求項２に記載の画像処理装置。
4. 前記推定手段は、
   前記被写体合焦画像と前記被写体非合焦画像との間で対応する各画素の輝度値の差分が第１判定値よりも大きいか否かを判定する第１判定手段を更に有し、前記第１判定手段による判定結果に基づいて、輝度値の差分が前記第１判定値よりも大きい画素を含む領域を前記輝度変化領域として推定することを特徴とする請求項３に記載の画像処理装置。
5. 前記推定手段は、
   前記被写体合焦画像の各画素の輝度値が第２判定値よりも大きいか否かを判定する第２判定手段を更に有し、前記第２判定手段による判定結果に基づいて、輝度値が前記第２判定値よりも大きい画素を含む領域を前記輝度変化領域として推定することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記輝度変化領域は、撮像手段の撮像素子に入射する光の輝度レベルが検出可能範囲の上限よりも大きい高輝度の物に対応する領域であることを特徴とする請求項３〜５の何れか一項に記載の画像処理装置。
7. 前記被写体合焦画像に対してぼかし処理を施して、前記被写体合焦画像内の前記被写体領域以外の背景領域をぼかしたぼかし画像を生成する画像生成手段を更に備えることを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
8. 画像処理装置を用いた画像処理方法であって、
   撮像装置により合焦位置を異ならせて略等しい構図で撮像された複数の画像のうちの、所定の被写体を合焦した被写体合焦画像と、前記被写体合焦画像とは前記合焦位置が異なる一の画像と、において、同一の被写体の輪郭部分の大きさが異なる領域を推定する推定処理と、
   前記推定処理によって推定された領域に基づいて、前記被写体合焦画像内で前記所定の被写体が含まれる被写体領域を特定する特定処理と、
   前記被写体合焦画像内のエッジを検出する検出処理と、
   を含み、
   前記特定処理では、前記検出処理により検出された前記エッジのうちの、前記推定処理により推定された輪郭拡大領域に対応する前記エッジの評価値を低下させて前記被写体領域を特定する、
   ことを特徴とする画像処理方法。
9. 画像処理装置のコンピュータを、
   合焦位置を異ならせて略等しい構図で撮像された複数の画像のうちの、所定の被写体を合焦した被写体合焦画像と、前記被写体合焦画像とは前記合焦位置が異なる一の画像と、において、同一の被写体の輪郭部分の大きさが異なる領域を推定する推定手段、
   前記推定手段によって推定された領域に基づいて、前記被写体合焦画像内で前記所定の被写体が含まれる被写体領域を特定する特定手段、
   前記被写体合焦画像内のエッジを検出する検出手段、
   として機能させ、
   前記特定手段は、前記検出手段により検出された前記エッジのうちの、前記推定手段により推定された輪郭拡大領域に対応する前記エッジの評価値を低下させて前記被写体領域を特定する、
   ことを特徴とするプログラム。
10. 合焦位置を異ならせて略等しい構図で撮像された複数の画像のうちの、所定の被写体を合焦した被写体合焦画像と、前記被写体合焦画像とは前記合焦位置が異なる一の画像と、において、同一の被写体の輪郭部分の大きさが異なる領域を推定する推定手段と、
    前記推定手段によって推定された領域に基づいて、前記被写体合焦画像内で前記所定の被写体が含まれる被写体領域を特定する特定手段と、
    を備え、
    前記一の画像は、露光時間を前記被写体合焦画像よりも短くして撮像された短時間露光画像を含み、
    前記推定手段は、前記被写体合焦画像及び前記短時間露光画像の各々の輝度情報に基づいて、前記被写体合焦画像内で輪郭部分の輝度値が急峻に変化した輝度変化領域を輪郭拡大領域として推定する、
    ことを特徴とする画像処理装置。
11. 画像処理装置を用いた画像処理方法であって、
    撮像装置により合焦位置を異ならせて略等しい構図で撮像された複数の画像のうちの、所定の被写体を合焦した被写体合焦画像と、前記被写体合焦画像とは前記合焦位置が異なる一の画像と、において、同一の被写体の輪郭部分の大きさが異なる領域を推定する推定処理と、
    前記推定処理によって推定された領域に基づいて、前記被写体合焦画像内で前記所定の被写体が含まれる被写体領域を特定する特定処理と、
    を含み、
    前記一の画像は、露光時間を前記被写体合焦画像よりも短くして撮像された短時間露光画像を含み、
    前記推定処理では、前記被写体合焦画像及び前記短時間露光画像の各々の輝度情報に基づいて、前記被写体合焦画像内で輪郭部分の輝度値が急峻に変化した輝度変化領域を輪郭拡大領域として推定する、
    ことを特徴とする画像処理方法。
12. 画像処理装置のコンピュータを、
    合焦位置を異ならせて略等しい構図で撮像された複数の画像のうちの、所定の被写体を合焦した被写体合焦画像と、前記被写体合焦画像とは前記合焦位置が異なる一の画像と、において、同一の被写体の輪郭部分の大きさが異なる領域を推定する推定手段、
    前記推定手段によって推定された領域に基づいて、前記被写体合焦画像内で前記所定の被写体が含まれる被写体領域を特定する特定手段、
    として機能させ、
    前記一の画像は、露光時間を前記被写体合焦画像よりも短くして撮像された短時間露光画像を含み、
    前記推定手段は、前記被写体合焦画像及び前記短時間露光画像の各々の輝度情報に基づいて、前記被写体合焦画像内で輪郭部分の輝度値が急峻に変化した輝度変化領域を輪郭拡大領域として推定する、
    ことを特徴とするプログラム。