JP4924430B2 - 撮影装置、画像処理装置およびプログラム - Google Patents

Description

本発明は、被写界を撮影して撮影画像データを生成する撮影装置などに関する。

従来からポートレート撮影や植物等のクローズアップ撮影では、意図的な前景または背景のぼかしによって主要被写体を浮かび上がらせた写真表現が一般的に好まれている。かかる写真表現を行う場合には、被写界深度を非常に浅くするとともに主要被写体にピントを合わせた状態で撮影を行う。ここで、被写界深度はレンズの口径や焦点距離などの光学的要素によって決定される。

一方、一般的な電子カメラの撮像素子の露光面は、いわゆる銀塩カメラの露光面（フイルム）のサイズに比べて著しく小さい。このため、銀塩カメラと同じ画角を得ようとすると、銀塩カメラの撮影レンズの焦点距離に比べてデジタルカメラの撮影レンズの焦点距離は短くなる。また、絞り径の大きな撮影レンズは大型、高価となるため、一般的な電子カメラでは絞り径の小さな撮影レンズが用いられていることが多い。したがって、一般的な電子カメラでは被写界深度が銀塩カメラよりも深くなる傾向があり、上記のようなボケ味を生かした写真表現を苦手とすることが多い。

そのため、特許文献１や特許文献２では、デジタル的な画像処理によってポートレート撮影調の画像を生成する技術が開示されている。
しかし、上記特許文献１の技術では１回の撮影で複数箇所を測距して各被写体とカメラとの距離に応じて主要被写体以外のボケを強調する。そのため、複数箇所を測距できる測距手段が必要となってカメラの構成が複雑化する点で改善の余地があった。

一方、上記特許文献２の技術では、複数の撮影光学系を介して得た焦点深度の異なる画像からコントラスト比を求め、このコントラスト比をもとに電気的なボケを付加するローパスフィルタのパラメータを設定する。しかし、焦点深度の異なる画像を得るために複数の撮影光学系が必要となる。そのため、カメラの構成が複雑化し、大型化する点で改善の余地があった。

また、カメラの小型化を図るために、１つの撮影光学系を有するカメラで上記の動作を実現しようとする場合、焦点調節状態を維持したまま、絞り値を変更して２回の撮影を撮影を行い、各々の撮影画像に対して処理を施す必要がある。そのため、処理時間が問題となる。
特開平１１−２６６３８８号公報 特開２００２−１０１２６号公報

本発明は上記従来技術の課題の少なくとも１つを解決するためのものである。本発明の目的の１つは、電子カメラにおいて、より簡易な構成で画像処理によるポートレート撮影調の画像を生成できる手段を提供することである。また、本発明の目的の１つは、撮影時の画像処理時間を短縮するとともに、より簡易な構成で画像処理によるポートレート撮影調の画像を生成できる手段を提供することである。

一の発明に係る撮影装置は、撮影部と、画像分割部と、ボケ検出部と、ボケ強調部と、ボケ度合い調整部とを備える。撮影部は、被写界を撮影して撮影画像データを生成する。画像分割部は、撮影画像データの画像を主要被写体が位置する第１領域と主要被写体を含まない第２領域とに区画する。ボケ検出部は撮影画像データの画像のうち、第２領域の画像のボケ度合いを検出する。ボケ強調部は、第２領域の画像に対して、検出された画像のボケ度合いの大きさに応じて画像処理後の画像のボケ度合いを大きくするボケ強調処理を施す。ボケ度合い調整部は、第２領域における被写体の大きさに応じて、第２領域の画像のボケ度合いを調整する。

ここで、上記発明に関する構成を画像処理装置、画像処理方法、記録媒体、コンピュータプログラムなどに変換して表現したものも本発明の具体的態様として有効である。なお、上記の画像処理装置等は、上記の第１領域および第２領域を示す付属情報が予め生成されている画像ファイルを使用するものであってもよい。

本発明の一の形態では、撮影時に複数箇所を測距することなく、画像処理によるポートレート撮影調の画像を生成できる。
また、本発明の他の形態では、撮影時に長い画像処理時間を要することなく、より簡易な構成で画像処理によるポートレート撮影調の画像を生成できる。

第１実施形態の電子カメラの構成を示すブロック図 第１実施形態の電子カメラの「ボケ強調モード」での動作を示す流れ図 「ボケ強調モード」における第１領域の決定方法の説明図 モノクロ画像における輪郭部分での階調変化を示す図 第２領域の画像のボケ度合いと画像処理によるボケの強調量の相関図 ２種類の点拡がり関数のフィルタの特性を示す図 ２種類の点拡がり関数のフィルタの特性を３次元的に示す図 第１実施形態の「ボケ強調モード」における画像処理前の状態を示す図 第１実施形態の「ボケ強調モード」における画像処理後の状態を示す図 第２実施形態の電子カメラの「ボケ強調モード」での動作を示す流れ図 第２実施形態での画像処理を説明するための概念図 第３実施形態の電子カメラの「ボケ強調モード」での動作を示す流れ図 第３実施形態における領域分割を説明するための概念図 第４実施形態の画像処理装置のブロック図 第４実施形態の画像処理プログラムの動作を示す流れ図 第５実施形態の電子カメラの構成を示すブロック図 第５実施形態の電子カメラの「ボケ強調モード」での動作を示す流れ図 第６実施形態の電子カメラの「ボケ強調モード」での動作を示す流れ図 画像のボケ度合いに応じて異なるフィルタを適用する場合の画像処理を説明する概念図 第７実施形態の電子カメラの「ボケ強調モード」での動作を示す流れ図

（第１実施形態の説明）
図１は第１実施形態の電子カメラの構成を示すブロック図である。
電子カメラは、撮影レンズ１１と、レンズ駆動部１２と、撮像素子１３と、Ａ／Ｄ変換部１４と、バッファメモリ１５と、画像処理部１６と、圧縮伸長処理部１７と、記録Ｉ／Ｆ１８と、レリーズ釦などを含む操作部材１９と、液晶モニタ２０と、発光部２１と、ＣＰＵ２２およびデータバス２３とを有している。なお、バッファメモリ１５、画像処理部１６、圧縮伸長処理部１７、記録Ｉ／Ｆ１８、液晶モニタ２０およびＣＰＵ２２は、データバス２３を介して接続されている。

撮影レンズ１１は、ズームレンズ１１ａと合焦位置調節用のフォーカシングレンズ１１ｂとを含む複数のレンズ群で構成されている。撮影レンズ１１の位置はレンズ駆動部１２によって光軸方向に駆動調整される。なお、レンズ駆動部１２は、撮影レンズ１１のレンズ位置を検出するエンコーダを有している。そして、レンズ駆動部１２はＣＰＵ２２に対して撮影レンズ１１の焦点距離情報を出力する。

撮像素子１３は、撮影レンズ１１を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。なお、撮像素子１３は、非レリーズ時（撮影待機時）にも所定間隔毎に被写体を露光してアナログ画像信号（スルー画像信号）を出力する。このスルー画像信号は、高解像度の静止画像を撮影する静止画本撮影動作の前段階の予備動作であるスルー画像撮影動作によって得られる信号である。このスルー画像信号は、それぞれ後述のＡＦ演算およびＡＥ演算やファインダ用画像の生成などに使用される。

Ａ／Ｄ変換部１４は撮像素子１３のアナログ画像信号をデジタル画像信号に変換する。
バッファメモリ１５は、画像処理部１６での画像処理の前工程および後工程でデータを一時的に保存する。
画像処理部１６は、デジタル画像信号に画像処理（欠陥画素補正、ガンマ補正、補間、色変換、エッジ強調など）を施して撮影画像データを生成する。また、画像処理部１６は、スルー画像信号に基づいてファインダ用画像を順次生成する。さらに、後述の「ボケ強調モード」では、画像処理部１６は撮影画像データのエッジ抽出処理やボケ強調処理などの各種画像処理を実行する。

圧縮伸長処理部１７は解析部および圧縮部を有するＡＳＩＣである（解析部および圧縮部の個別的な図示は省略する）。圧縮伸長処理部１７の解析部では、撮影画像データに対して空間周波数の解析を行う。また、圧縮伸長処理部１７の圧縮部は、ＪＰＥＧ（Joint Photographic Experts Group）形式による圧縮伸長処理を実行する。なお、後述の「ボケ強調モード」では、撮影画像データのボケ度合いの検出のために、解析部による空間周波数の解析処理が利用される。

なお、解析部がボケ度合い検出のために空間周波数解析を行っている場合には、圧縮部による画像データの圧縮処理は必ずしも必要でない。すなわち、ボケ度合いの検出に必要なのは空間周波数の解析結果であり、画像データの圧縮処理は不要である。したがって、この場合には圧縮伸長処理部１７の出力するデータは記録媒体２４には記録されない（圧縮伸長処理部１７から記録媒体２４に圧縮データは出力されない）。

記録Ｉ／Ｆ１８には、記録媒体２４を接続するためのコネクタが形成されている。記録媒体２４は公知の半導体メモリ、小型ハードディスク、ＤＶＤ等の光ディスクなどで構成される。記録媒体２４は、電子カメラに内蔵されるものであっても、外部に設けられるものであってもよい。そして、記録Ｉ／Ｆ１８は、記録媒体２４に対する撮影画像データの書き込み／読み込みを制御する。なお、図１では、半導体メモリを内蔵したカード型記録媒体を記録媒体２４の例として示す。

操作部材１９は入力釦やレリーズ釦などを備えている。操作部材１９の入力釦は、例えば、電子カメラの撮影モード（通常撮影モード、ボケ強調モード等）の切り換え入力や、焦点検出エリアの手動入力や、シーンアシスト機能の要否入力などを受け付ける。
ここで、「ボケ強調モード」は画像処理によって前景または背景をぼかして、主要被写体を浮かび上がらせたポートレート撮影調の画像を生成するモードである。なお、ユーザーは、「ボケ強調モード」において、撮影時に撮影画像を加工する第１のモードと、撮影後に画像処理を行うための第２のモードとを選択することができる。

液晶モニタ２０は、例えば電子カメラの背面部分に配置される。液晶モニタ２０には、撮影画像データの再生画面や電子カメラの各種設定を変更するための設定画面などを表示できる。また、撮影時の液晶モニタ２０にはファインダ用画像を動画表示することも可能である。なお、上記のシーンアシスト機能を使用した場合、液晶モニタ２０のファインダ動画像には、撮影時における主要被写体の位置決めを補助する構図補助フレームが合成表示される（図３（ｂ）参照）。

発光部２１は、例えば、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光制御回路などから構成されている。
ＣＰＵ２２は、図示しないＲＯＭに格納されたシーケンスプログラムに従って電子カメラの各部動作を制御する。また、ＣＰＵ２２はスルー画像信号に基づいて公知のコントラスト方式のＡＦ演算や、公知のＡＥ演算などを実行する。

以下、第１実施形態の電子カメラの「ボケ強調モード」での動作を、図２の流れ図を参照しつつ説明する。
ステップＳ１０１：ユーザーは、レリーズ釦の全押し動作により電子カメラに被写体の静止画本撮影を指示する。電子カメラのＣＰＵ２２はレリーズ時に撮像素子１３を駆動させて被写体像を撮影する。そして、画像処理部１６はレリーズ時の画像信号に基づいて撮影画像データを生成する。この撮影画像データはバッファメモリ１５に一時的に記録される。なお、ＣＰＵ２２は撮影情報（焦点検出エリアの位置、シーンアシスト機能の設定情報および顔認識情報、焦点距離情報など）をバッファメモリ１５等に一時的に記録する。

ステップＳ１０２：ＣＰＵ２２は画像処理部１６にエッジ抽出処理を指示する。画像処理部１６は、微分フィルタ（ラプラシアンフィルタなど）によって撮影画像データにエッジ抽出処理を施す。そして、ＣＰＵ２２は、抽出されたエッジ（画像の輪郭線）に基づいて撮影画像データの画像を複数の領域に分割する。
ステップＳ１０３：ＣＰＵ２２は、Ｓ１０２で分割された領域から、主要被写体の位置する領域（第１領域）と、それ以外の領域（第２領域）とを決定する。ここで、ＣＰＵ２２は第１領域を以下の（１）〜（３）のいずれかの方法（あるいは（１）〜（３）の複数の組み合わせ）で決定する。

（１）ＣＰＵ２２は撮影時に選択された焦点検出エリアが位置する領域を第１領域に決定する（図３（ａ）参照）。主要被写体にピントを合わせて撮影するために、通常は主要被写体の位置する焦点検出エリアを選択してＡＦ動作が行われるからである。
（２）シーンアシスト機能を用いて撮影がされている場合には、ＣＰＵ２２は上記の構図補助フレームと重複する領域をもとに第１領域に決定する（図３（ｂ）参照）。構図補助フレーム内に主要被写体が位置していると考えられるからである。

例えば、重複する領域内に肌色などの特定色の領域がある場合には、その領域と連続する領域を第１領域とする。あるいは、構図補助フレームの形状と類似する形状のエッジ（輪郭）が構図補助フレームの近傍に（または一部重複して）存在する場合には、このエッジ内の領域を第１領域とする。なお、構図補助フレームを跨いでいる領域については、例えば、ＣＰＵ２２は構図補助フレーム内に過半数の画素が含まれる領域のみを第１領域に含めるようにしてもよい。

（３）人間の顔領域を認識する顔認識機能を用いて撮影がされている場合には、ＣＰＵ２２は検出された顔が位置する領域を第１領域に決定する（図３（ｃ）参照）。この場合には、人を主要被写体として撮影された可能性が高いからである。ここで、顔認識時に顔の上下方向の情報も取得できる場合には、ＣＰＵ２２は顔の下側に位置する領域も第１領域に含めるようにしてもよい。顔の下側には主要被写体である人物の体が位置する可能性が高いからである。なお、顔が複数検出された場合には、ＣＰＵ２２は最も至近側に位置する顔の領域を主要被写体に認定して第１領域を決定する。

ステップＳ１０４：画像処理部１６は、ＣＰＵ２２の指示により、撮影画像データのうちの第１領域（Ｓ１０３）の部分に対して公知のコントラスト強調処理（階調補正等）を施す。なお、ユーザーの設定変更により、ＣＰＵ２２はＳ１０４のコントラスト強調処理を省略することもある。
ステップＳ１０５：ＣＰＵ２２は、「ボケ強調モード」において第１モードが選択されているか否かを判定する。第１モードが選択されている場合（ＹＥＳ側）にはＳ１０６に移行する。一方、第２モードが選択されている場合（ＮＯ側）にはＳ１０９に移行する。

ステップＳ１０６：ＣＰＵ２２は、圧縮伸長処理部１７を用いた周波数解析により撮影画像データの第２領域（Ｓ１０３）のボケ度合いを検出する。このＳ１０６では、ＣＰＵ２２は第２領域全体の平均的なボケ度合いを求める。具体的には、ＣＰＵ２２は以下の（１）〜（３）の手順でボケ度合いを検出する。
（１）ＣＰＵ２２は、撮影画像データの画像を８×８画素程度の画素ブロックに分割する。

（２）圧縮伸長処理部１７は、ＣＰＵ２２の指示によって、撮影画像データのうち、第２領域に含まれる各画素ブロックにＤＣＴ変換（離散コサイン変換）を施す。
（３）圧縮伸長処理部１７は、ＤＣＴ変換後のＤＣＴ係数を画像のボケ度合いの情報として取得する。
ここで、圧縮伸長処理部１７のＤＣＴ係数と画像のボケ度合いとの相関について簡単に説明する。図４はモノクロ画像における輪郭部分での階調変化を示す図である。図４（ａ）のように明暗の変化が急峻な場合（輪郭が明確な画像）には、画像データに高域空間周波数成分が多く含まれる。そのため、ＤＣＴ変換後の各周波数成分に対応するＤＣＴ係数は、高い空間周波数まで０でない値を有する。

一方、図４（ｂ）のように明暗の変化がなだらかな場合（輪郭がボケた画像）は、図４（ａ）の場合と比べて画像データから高域空間周波数成分が少なくなる。このようなボケた画像データをＤＣＴ変換した場合には、図４（ａ）の場合に比較して低い空間周波数成分から係数が０となる。したがって、ＤＣＴ変換後の各周波数成分に対する係数の分布から画像のボケ度合いを判断することができる。画像のボケ度合い（画像における高域空間周波数成分の多さ）の判断は、例えば所定の空間周波数成分以上の係数値の和が所定値以上か否かによって判断することができる。

なお、画像に含まれる高域空間周波数成分の量は元の画像の絵柄によっても左右される。そのため、ＣＰＵ２２は画像のボケ度合いの情報として画像の色差および明度などの情報を補助的に使用してもよい。また、上述のＤＣＴ変換は一例であり、ウェーブレット変換などのその他の直交変換を用いるものであってもかまわない。
ステップＳ１０７：画像処理部１６は、ＣＰＵ２２の指示により、撮影画像データのうちの第２領域（Ｓ１０３）の部分に対してボケ強調処理を施す。このボケ強調処理は、点拡がり関数（PSF:Point Spread Function）のフィルタ演算（畳み込み演算）で実行され
る。

ここで、図５に示すように、画像処理部１６は第２領域のボケ度合い（Ｓ１０６）の大きさに応じて第２領域の画像のボケを強調する。すなわち、Ｓ１０６で検出された第２領域のボケ度合いが小さい場合には、画像処理部１６は図６（ａ）、図７（ａ）のような点の拡がりの小さな関数のフィルタを選択し、画像処理による第２領域のボケの強調量を小さくする。

一方、Ｓ１０６で検出された第２領域のボケ度合いが大きい場合には、画像処理部１６は図６（ｂ）、図７（ｂ）のような点の拡がりの大きな関数のフィルタを選択し、画像処理による第２領域のボケの強調量を大きくする。なお、図６（ａ）（ｂ）では、簡単のため、注目する点に対して一方向の拡がり特性のみを示している。また、図６、図７に示す点拡がり関数のフィルタは例示であり、実際には３種類以上の点拡がり関数のフィルタから適用するフィルタを選択するようにしてもかまわない。さらに、図９において、画像（図８）に対してＳ１０７の画像処理を施した例を示す。

ステップＳ１０８：ＣＰＵ２２は、上記のボケ強調処理後の撮影画像データを記録媒体２４に記録して一連の処理を終了する。
ステップＳ１０９：この場合には、ＣＰＵ２２は撮影画像データにおける第１領域および第２領域を示す付属情報を生成する。
ステップＳ１１０：ＣＰＵ２２は、撮影画像データ（Ｓ１０１）と付属情報（Ｓ１０９）とを対応付けして画像ファイルを生成する。そして、ＣＰＵ２２は、上記の画像ファイルを記録媒体２４に記録して一連の処理を終了する。なお、この画像ファイルは、後述の第４実施形態のように、ユーザーがパーソナルコンピュータなどで事後的にボケ強調処理を行う場合に用いられる。

以下、第１実施形態の効果を説明する。
第１実施形態では、前景または背景に相当する第２領域に対して、検出した画像のボケ度合いに応じてボケ強調処理が施される（Ｓ１０７）。また、第１実施形態では、主要被写体の位置する第１領域に対しては、コントラスト強調処理が施される（Ｓ１０４）。したがって、第１実施形態では、電子カメラにおいてコントラストの優れたポートレート撮影調の画像を容易に得ることができる。また、画像処理後の第２領域のボケ具合は元の撮影画像のボケ度合いに比例するので、実際の遠近感に近い自然なボケ具合の画像を得ることができる。

さらに、第１実施形態では、検出した画像のボケ度合いに応じてボケ強調処理を行うので、特許文献１の技術のように特別な測距手段などを必要としない。しかも、第１実施形態では画像のボケ度合いを圧縮伸長処理部で検出するため、周波数解析用の特別な回路やソフトウエアなども不要となる。そのため、第１実施形態では、ほぼ通常の電子カメラの構成で上記のようなポートレート撮影調の画像を得ることできる点で顕著な効果を有する。

（第１実施形態の変形例）
上記の第１実施形態では、第２領域の全体にＤＣＴ変換を行うことで画像のボケ度合いの情報を取得する（Ｓ１０６）。しかし、ＣＰＵ２２は、第２領域のうちで画像の輪郭部分を対象として周波数解析を実行し、第２領域における輪郭部分の高域周波数成分に基づいて画像のボケ度合いを判断するようにしてもよい。

一例として、ＣＰＵ２２は、画像処理部１６によるエッジ抽出処理（Ｓ１０２）の結果に基づいて、第２領域の輪郭部分を特定する。そして、圧縮伸長処理部１７は、撮影画像データのうち、第２領域の輪郭部分を含む各画素ブロックのみをＤＣＴ変換する。そして、ＣＰＵ２２は、第２領域の輪郭部分のＤＣＴ係数を画像のボケ度合いの情報として取得する。勿論、ＣＰＵ２２は、他の公知の周波数解析（離散フーリエ変換やウエーブレット変換など）で第２領域の輪郭部分の画像に含まれる高域周波数成分を求め、画像のボケ度合いを判断するようにしてもよい。

（第２実施形態の説明）
図１０は第２実施形態の電子カメラの「ボケ強調モード」での動作を示す流れ図である。ここで、第２実施形態および第３実施形態では、電子カメラのブロック図は図１と共通することから図示を省略するとともに、共通の構成には同一符号を付して説明を省略する。

この第２実施形態は第１実施形態の変形例であって、図１１に示すように第２領域をボケ度合いに応じてさらに複数の部分領域に分割し、第２領域の画像に対するボケ強調処理を各部分領域ごとにそれぞれ行う点で第１実施形態と相違する。なお、図１０のＳ２０１〜Ｓ２０５は図２のＳ１０１〜Ｓ１０５にそれぞれ対応し、図１０のＳ２０９〜Ｓ２１１は図２のＳ１０８〜Ｓ１１０にそれぞれ対応するので重複説明を省略する。

ステップＳ２０６：ＣＰＵ２２は、圧縮伸長処理部１７を用いた画面内の空間周波数解析により撮影画像データの第２領域（Ｓ２０３）のボケ度合いを検出する。ボケ度合いの具体的な検出手順は図２のＳ１０６と共通するので説明を省略する。このＳ２０６では、ＣＰＵ２２は第２領域の各画素ブロックごとに画像のボケ度合いの情報（ＤＣＴ変換時の各周波数成分に対する係数など）をそれぞれ求める。

ステップＳ２０７：ＣＰＵ２２は、Ｓ２０６での各画素ブロック毎のボケ度合いに基づいて第２領域をさらに複数の部分領域に分割する。例えば、ＣＰＵ２２は、ボケ度合いの値に対して設定された閾値ごとに各画素ブロックを段階的にまとめることで第２領域を分割する（図１１（ｂ）参照）。なお、ＣＰＵ２２は、Ｓ２０２で抽出された輪郭線の情報も併用して第２領域を複数の部分領域に分割するようにしてもよい。

ステップＳ２０８：画像処理部１６は、ＣＰＵ２２の指示により、第２領域の各部分領域（Ｓ２０７）に対して、それぞれのボケ度合いの大きさに応じたボケ強調処理を施す（図１１（ｃ）参照）。ボケ強調処理については図２のＳ１０７と共通するので説明を省略する。
この第２実施形態の構成によっても上記第１実施形態とほぼ同様の効果を得ることができる。特に第２実施形態では各部分領域ごとに異なるボケ強調処理が行われるので、第１実施形態に比べてより実際の遠近感に近い自然なボケ具合の画像を得ることができる。

（第３実施形態の説明）
図１２は第３実施形態の電子カメラの「ボケ強調モード」での動作を示す流れ図である。
この第３実施形態は第１実施形態の変形例であって、発光部２１で発光を行って撮影した第１撮影画像データと非発光で撮影した第２撮影画像データとに基づいて、第１撮影画像データの画像を第１領域および第２領域に分割する点で第１実施形態と相違する。なお、図１２のＳ３１１〜Ｓ３１３は図２のＳ１０８〜Ｓ１１０にそれぞれ対応するので重複説明を省略する。

ステップＳ３０１：ユーザーは、レリーズ釦の全押しにより電子カメラに被写体の撮影を指示する。電子カメラのＣＰＵ２２はレリーズ時に発光部２１を発光させるとともに撮像素子１３を駆動させて被写体像を撮影する。そして、画像処理部１６はレリーズ時の画像信号に基づいて第１撮影画像データを生成する。この第１撮影画像データはバッファメモリ１５に一時的に記録される。なお、ＣＰＵ２２は撮影情報（焦点検出エリアの位置、シーンアシスト機能の設定情報および顔認識情報など）をバッファメモリ１５等に一時的に記録する。

ステップＳ３０２：Ｓ３０１の撮影後において、ＣＰＵ２２は発光部２１を発光させることなく撮像素子１３を駆動させてＳ３０１と略同一の被写体像を撮影する。そして、画像処理部１６はこの画像信号に基づいて第２撮影画像データを生成する。この第２撮影画像データもバッファメモリ１５に一時的に記録される。
ステップＳ３０３：ＣＰＵ２２は、第１撮影画像データ（Ｓ３０１）および第２撮影画像データ（Ｓ３０２）とに基づいて、第１撮影画像データの画像を複数の領域に分割する。具体的には、ＣＰＵ２２は以下の（１）または（２）の方法によって画像を分割する（図１３参照）。

（１）ＣＰＵ２２は、第１撮影画像データおよび第２撮影画像データの明るさの差分値を画素毎に演算する。そして、ＣＰＵ２２は明るさの差分値に基づいて第１撮影画像データの画像を複数の領域に分割する。
一般に発光撮影時の照度は光源からの距離の２乗に比例して小さくなる。すなわち、発光撮影時には主要被写体は明るく照射される一方で、主要被写体より遠くに位置する背景部分の明るさは低くなる。したがって、発光撮影時と非発光撮影時との明るさの差分値はカメラからの距離に応じて変化するので、かかる差分値を用いれば撮影画像の領域分割を行うことができる。

（２）ＣＰＵ２２は、第１撮影画像データの明るさと第２撮影画像データの明るさとの比率を演算する。そして、ＣＰＵ２２は明るさの比率に基づいて第１撮影画像データの画像を複数の領域に分割する。
上記（１）の差分値で領域分割を行うと、反射率の高い部分と低い部分とが隣接する被写体では領域分割の精度が低下することが起こりうる。例えば、黒髪の人物の顔を撮影する場合を考えると、黒髪の部分は反射率が低いので明るさの差分値が小さくなる一方で、顔の部分では相対的に反射率が高いことから明るさの差分値が大きくなる。従って、上記の場合には、人物が髪の部分と顔の部分で領域が分割される場合がある。

ここで、第１撮影画像データの明るさは、発光部２１による照明光と環境光との和に被写体の反射率を乗じた値（（照明光成分＋環境光成分）×反射率）となる。また、第２撮影画像データの明るさは環境光に被写体の反射率を乗じた値（環境光成分×反射率）となる。したがって、明るさの比率に基づいて領域分割を行う場合には、被写体の反射率が相殺されることから、上記のように反射率の高い部分と低い部分とが隣接する被写体についても、高い精度で領域分割することが可能となる。

ステップＳ３０４：ＣＰＵ２２は、Ｓ３０３で分割された領域から、主要被写体の位置
する領域（第１領域）と、それ以外の領域（第２領域）とを決定する。ＣＰＵ２２は、図２のＳ１０３と同様に、焦点検出エリアの位置、構図補助フレームの位置、顔認識で検出された顔の位置などに基づいて第１領域を決定する。
ステップＳ３０５：画像処理部１６は、ＣＰＵ２２の指示により、撮影画像データのうちの第１領域（Ｓ３０４）の部分に対して公知のコントラスト強調処理（階調補正等）を施す。なお、ユーザーの設定変更により、ＣＰＵ２２はＳ３０５からＳ３０７までの処理を選択的に省略することもある。

ステップＳ３０６：画像処理部１６は、ＣＰＵ２２の指示により、撮影画像データのうちの第２領域（Ｓ３０４）の部分のゲインを増加し、第２領域の明度を増加させる補正処理を実行する。これにより、背景が極端に暗い画像を好ましい明るさに補正することができる。
ステップＳ３０７：画像処理部１６は、ＣＰＵ２２の指示により、撮影画像データのうちの第２領域（Ｓ３０４）の部分に、例えばメデイアンフィルタによるノイズ低減処理を実行する。これにより、背景部分のゲイン増加（Ｓ３０６）で目立ちやすくなったノイズが低減するので撮影画像の画質が向上する。なお、後述のボケ強調処理によっても画像のノイズは低減するため、Ｓ３０７での処理を省略してもよい。

ステップＳ３０８：ＣＰＵ２２は、「ボケ強調モード」において第１モードが選択されているか否かを判定する。第１モードが選択されている場合（ＹＥＳ側）にはＳ３０９に移行する。一方、第２モードが選択されている場合（ＮＯ側）にはＳ３１２に移行する。
ステップＳ３０９：ＣＰＵ２２は、明るさの差分値または明るさの比率（Ｓ３０３）に基づいて第２領域のボケの強調量を決定する。具体的には、ＣＰＵ２２は、第１領域および第２領域間における明るさの差分値または明るさの比率の差が大きいほど、画像処理による第２領域のボケの強調量を大きく設定する。

ステップＳ３１０：画像処理部１６は、ＣＰＵ２２の指示により、第１撮影画像データのうちの第２領域の部分に対してボケ強調処理を施す。このボケ強調処理は図２のＳ１０７と共通するので説明を省略する。
以下、第３実施形態の効果を説明する。
第３実施形態では、発光撮影および非発光撮影による２つの画像データの情報に基づいて第１領域と第２領域とを分割する（Ｓ３０３，Ｓ３０４）。したがって、第３実施形態では被写界が暗い場合においても高い精度で画像の領域分割を実行できる。

また、第３実施形態では、発光撮影、非発光撮影において得られた両画像の明るさの差分値または明るさの比率（Ｓ３０３）に応じて、前景または背景に相当する第２領域にボケ強調処理を施す（Ｓ３１０）。そのため、電子カメラにおいてコントラストの優れたポートレート撮影調の画像を容易に得ることができる。また、画像処理後の第２領域のボケ具合は上記の明るさの差分値または明るさの比率に比例するので、実際の遠近感に近い自然なボケ具合の画像を得ることができる。

さらに、第３実施形態においても、特許文献１の技術のように特別な測距手段などを必要としない。そのため、第３実施形態でも、ほぼ通常の電子カメラの構成で上記のようなポートレート撮影調の画像を得ることできる点で顕著な効果を有する。
（第４実施形態の説明）
図１４は第４実施形態の画像処理装置のブロック図である。第４実施形態はパーソナルコンピュータ等に画像処理プログラムを実行させて画像処理装置を構成する例である。

ここで、第４実施形態の画像処理プログラムは、予め電子カメラで生成された「撮影画像データ」、または上記第１実施形態から第３実施形態で生成された「画像ファイル」を
処理対象とする。
画像処理装置は、制御部３１と、メモリ３２と、バスＩ／Ｆ３３と、表示ドライバ部３４と、ディスクドライブ部３５と、各部を接続するシステムバス３６とを有している。また、画像処理装置には、キーボードやポインティングデバイス等の入力手段３７と、モニタ３８とが接続されている。

制御部３１は画像処理装置の各部を演算制御し、後述の画像処理プログラムを実行する。メモリ３２はプログラムおよびデータを記憶し、制御部３１へのデータ送信や制御部３１から返された処理結果を記憶する。バスＩ／Ｆ３３は、画像処理装置に接続された周辺機器（例えば、電子カメラや記録媒体など）とのデータ送受信を例えばＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４などのシリアル通信規格に準拠して制御する。表示ドライバ部３４はモニタ３８に画像出力を行う。ディスクドライブ部３５では、光ディスク、光磁気ディスクなどの記録媒体に対して撮影画像データの読み出し／書き込みを実行する。

以下、第４実施形態の画像処理プログラムの動作を図１５の流れ図を参照しつつ説明する。
ステップＳ４０１：制御部３１は、バスＩ／Ｆ３３またはディスクドライブ部３５から撮影画像データまたは画像ファイルを読み込む。
ステップＳ４０２：制御部３１は処理対象が「画像ファイル」か否かを判定する。処理対象が画像ファイルである場合（ＹＥＳ側）にはＳ４０３に移行する。一方、処理対象が撮影画像データである場合（ＮＯ側）にはＳ４０４に移行する。

ステップＳ４０３：制御部３１は、画像ファイルの付属情報を読み出して、撮影画像データにおける第１領域および第２領域の情報を取得する。その後、Ｓ４０６に移行する。
ステップＳ４０４：この場合には、まず、制御部３１は撮影画像データにエッジ抽出処理を施し、撮影画像データの画像を抽出されたエッジに基づいて複数の領域に分割する。次に、制御部３１は上記の分割領域から、主要被写体の位置する領域（第１領域）と、それ以外の領域（第２領域）とを決定する。なお、第１領域および第２領域の決定は第１実施形態と同様であるので説明を省略する。

ステップＳ４０５：制御部３１は、撮影画像データのうちの第１領域の部分に対して公知のコントラスト強調処理（階調補正等）を施す。
ステップＳ４０６：制御部３１は画面内の空間周波数解析により撮影画像データの第２領域のボケ度合いを検出する。この空間周波数解析では、上記実施形態のようにＪＰＥＧ圧縮に用いられるＤＣＴ変換を利用してもよく、また高速フーリエ変換など他の公知の周波数解析手段によってもよい。

ステップＳ４０７：制御部３１は、撮影画像データのうちの第２領域の部分に対して、点拡がり関数のフィルタ演算によるボケ強調処理を施す。制御部３１は、第２領域のボケ度合い（Ｓ４０６）の大きさに比例してボケの強調量を大きく設定する。以上で画像処理プログラムの一連の動作が終了する。
上記の第４実施形態では、コンピュータによる後処理工程によっても、第１実施形態から第３実施形態と同様のポートレート撮影調の画像を生成することが可能となる。したがって、第４実施形態によれば、撮影現場において毎回の撮影ごとに時間のかかる画像処理を行う必要がなくなるので、撮影時におけるユーザーの利便性がより向上する。

（第５実施形態の説明）
図１６は第５実施形態の電子カメラの構成を示すブロック図である。なお、図１６において図１と共通の構成には同一符号を付して説明を省略する。
この第５実施形態の電子カメラは第１実施例の変形例であって、ＲＯＭ２５がＣＰＵ２３に接続されている。このＲＯＭ２５には、ボケ強調モードでの被写体のボケ度合いを決定するための複数のルックアップテーブル（ＬＵＴ）が記録されている。ここで、上記のＬＵＴには、撮影レンズ１１の焦点距離とボケ度合いの大きさの補正値との対応関係を記録した第１ＬＵＴと、被写体の大きさとボケ度合いの大きさの補正値との対応関係を記録した第２ＬＵＴとが含まれる。

以下、第５実施形態の電子カメラの「ボケ強調モード」での動作を、図１７の流れ図を参照しつつ説明する。なお、図１７のＳ５０１〜Ｓ５０６は図２のＳ１０１〜Ｓ１０６にそれぞれ対応し、図１７のＳ５１２〜Ｓ５１４は図２のＳ１０８〜Ｓ１１０にそれぞれ対応するので重複説明を省略する。
ステップＳ５０７：ＣＰＵ２２は、焦点距離情報（Ｓ５０１）に基づいて、ＲＯＭ２５の第１ＬＵＴからボケ度合いの大きさの補正値（第１補正値）を取得する。このＳ５０７の第１補正値により、撮影レンズ１１の焦点距離によるボケ度合いの変化が画像に反映されて、より自然なぼかし画像を得ることが可能となる。ここで、Ｓ５０７での第１補正値は、撮影レンズ１１の焦点距離の値が大きくなると、画像のボケ度合いをより大きくするように設定されている。一般的に、写真撮影において被写体の大きさが同じであれば、短焦点側では背景のボケが小さくなり、長焦点側では背景のボケが大きくなる傾向があるためである。

ステップＳ５０８：ＣＰＵ２２は、第２領域における各々の被写体の大きさを検出する。例えば、ＣＰＵ２２は、Ｓ５０２での領域分割の結果に基づいて第２領域を個々の被写体ごとに分割し、その領域の画素数から被写体の大きさを検出する。また、ＣＰＵ２２は、第２領域で隣接する画素同士が同程度の輝度値または色相を有する場合、これらの画素群を同一の被写体とみなしてグループ化し、このグループ化した画素数から被写体の大きさを検出してもよい。さらに、顔認識機能を用いた撮影時において第２領域内に人物の顔がある場合には、ＣＰＵ２２は顔認識処理での顔領域の大きさに関する情報から被写体の大きさを検出してもよい。

ステップＳ５０９：ＣＰＵ２２は、第２領域における各々の被写体の大きさ（Ｓ５０８）に基づいて、ＲＯＭ２５の第２ＬＵＴからボケ度合いの大きさの補正値（第２補正値）を取得する。このＳ５０９の第２補正値により、被写体の大きさによるボケ度合いの変化が画像に反映されて、より自然なぼかし画像を得ることが可能となる。ここで、Ｓ５０９での第２補正値は、被写体の大きさが大きくなると、画像のボケ度合いをより大きくするように設定されている。一般的に、写真撮影において撮影レンズ１１の焦点距離が同じであれば、背景の被写体が小さいほど画像のボケが小さくなり、背景の被写体が大きいほど画像のボケが大きくなる傾向があるからである。

ステップＳ５１０：ＣＰＵ２２は、Ｓ５０６で取得した第２領域の画像のボケ度合いの値を、第１補正値（Ｓ５０７）および第２補正値（Ｓ５０９）によって補正し、画像処理による画像のぼかし度合いを決定する。ここで、第２補正値の値は第２領域内の各被写体ごとに異なる。したがって、第２領域内に複数の被写体があるときには、ＣＰＵ２２は各被写体ごとに画像のぼかし度合いの値を求めることも可能である。

なお、Ｓ５１０では、ＣＰＵ２２が上記の各パラメータからぼかし度合いを演算してもよい。また、上記の各パラメータからぼかし度合いを求めるテーブルを予め生成しておいて、ＣＰＵ２２は画像毎にテーブルを参照してぼかし度合いを求めるようにしてもよい。
ステップＳ５１１：画像処理部１６は、ＣＰＵ２２の指示により、Ｓ５１０で取得したぼかし度合いの値に基づいて、第２領域に対するボケ強調処理を実行する。なお、Ｓ５１１でのボケ強調処理はＳ１０７と同様に行われる。

第５実施形態によれば、上記第１実施形態とほぼ同様の効果に加えて、撮影レンズ１１の焦点距離や被写体の大きさによるボケ度合いの変化を反映した、より自然なぼかし画像を得ることができる。
（第６実施形態の説明）
図１８は、第６実施形態の電子カメラの「ボケ強調モード」での動作を説明する流れ図である。なお、第６実施形態の電子カメラの構成は、図１に示す第１実施形態の電子カメラと共通するので重複説明は省略する。

ステップＳ６０１：撮影待機時において、ＣＰＵ２２は所定間隔毎に撮像素子１３を駆動させる。撮像素子１３は画像信号を間引き読み出しで読み出してスルー画像信号を出力する。画像処理部１６は、液晶モニタ２０に合わせてリサイズ（画素数変換）されたファインダ用画像をスルー画像信号に基づいて生成する。ＣＰＵ２２は液晶モニタ２０にファインダ用画像を順次表示する。したがって、ユーザーは液晶モニタ２０に動画表示されたファインダ用画像によって被写体のフレーミングを行うことができる。

ステップＳ６０２：ＣＰＵ２２はユーザーによってレリーズ釦が半押しされたか否かを判定する。レリーズ釦が半押しされた場合（ＹＥＳ側）にはＳ６０３に移行する。一方、レリーズ釦が押圧されていない場合（ＮＯ側）にはＳ６０１に戻って、ＣＰＵ２２は上記動作を繰り返す。
ステップＳ６０３：ＣＰＵ２２は、スルー画像信号に基づいてコントラスト検出によるＡＦ演算を実行し、フォーカシングレンズ１１ｂを合焦位置に移動させる。

ステップＳ６０４：ＣＰＵ２２は、合焦後に撮像素子１３を駆動させてスルー画像信号を取得する。そして、画像処理部１６はスルー画像信号に基づいて、上述と同様に画素数変換を行いファインダ用画像を生成する。液晶モニタ２０には合焦後のファインダ用画像が表示される。また、合焦後のスルー画像の画像データはバッファメモリ１５に一時的に記録される。

ステップＳ６０５：ＣＰＵ２２はユーザーによってレリーズ釦が全押しされたか（レリーズされたか）否かを判定する。レリーズされた場合（ＹＥＳ側）にはＳ６０６に移行する。一方、レリーズされていない場合（ＮＯ側）にはＳ６０１に戻って、ＣＰＵ２２は上記動作を繰り返す。なお、この場合には、バッファメモリ１５上のスルー画像の画像データを上書き可能な状態に変更する等の手段で、ＣＰＵ２２はＳ６０４のスルー画像の画像データをバッファメモリ１５から消去する。

ステップＳ６０６：ＣＰＵ２２は撮像素子１３を駆動させて被写体像を撮影（静止画本撮影動作）する。そして、画像処理部１６はレリーズ時の画像信号に基づいて本撮影画像データを生成する。この本撮影画像データはバッファメモリ１５に一時的に記録される。また、ＣＰＵ２２は撮影情報（焦点検出エリアの位置、シーンアシスト機能の設定情報および顔認識情報など）をバッファメモリ１５等に一時的に記録する。なお、静止画本撮影動作による撮影画像データの画像の解像度（画素数）は、少なくともスルー画像、ファインダ用画像の解像度（画素数）よりも高く設定されている。

ステップＳ６０７：ＣＰＵ２２は、静止画本撮影の撮影直前に取得された１フレームのスルー画像（Ｓ６０４）のボケ度合いを周波数解析によって検出する。このＳ６０７では、このスルー画像信号の画面内全領域の空間周波数が圧縮伸長処理部１７の解析部で解析される。
具体的には、まず、ＣＰＵ２２はスルー画像を８×８画素程度の画素ブロックに分割する。次に、ＣＰＵ２２の指示によって、圧縮伸長処理部１７はスルー画像の各画素ブロックごとにＤＣＴ変換（離散コサイン変換）を施して、各空間周波数成分の量を示す係数（ＤＣＴ係数）を算出する。そして、ＣＰＵ２２は、算出されたＤＣＴ係数に基づいて各画素ブロックごとに画像のボケ度合いの情報を生成する。なお、圧縮伸長処理部１７でのＤＣＴ係数と画像のボケ度合いとの相関については、第１実施形態のステップＳ１０６と同様であるので重複説明は省略する。

ステップＳ６０８：ＣＰＵ２２は、スルー画像において、Ｓ６０７でのボケ度合いの値（例えば、所定の空間周波数成分以上の係数値の和、あるいは所定の空間周波数の係数値）が閾値未満である画素ブロックを抽出する。これにより、スルー画像は、ボケ度合いの値が異なる２以上の領域に分割される。このとき、ＣＰＵ２２は、複数の異なる閾値を適用することで、ボケ度合いの値に応じてスルー画像をさらに段階的に分割するようにしてもよい（図１９（ｂ）参照）。

ステップＳ６０９：ＣＰＵ２２は、Ｓ６０８で分割された領域から、主要被写体領域（第１領域）と、それ以外の領域（第２領域）とを決定する。ここで、ＣＰＵ２２は、最もボケ度合いが低い領域（高周波成分を多く含んで被写体のコントラストが高い領域）を第１領域に決定する。ＣＰＵ２２は、例えば、係数値が０ではない最も高い空間周波数成分を有する領域、所定の空間周波数の係数値が閾値以上の領域、あるいは、所定の空間周波数以上の係数値の和が閾値以上の領域、を第１領域に決定する。

また、第１領域を決定する補助的な判断基準として、ＣＰＵ２２は、第１実施形態のＳ１０３と同様に、焦点検出エリアの位置、構図補助フレームの位置、顔認識で検出された顔の位置などに基づいて第１領域を決定してもよい。
ステップＳ６１０：ＣＰＵ２２は、静止画本撮影の直前に撮影されたスルー画像の解像度（画素数）を撮影画像の解像度（画素数）に変換して、スルー画像の各画素ブロックの位置と本撮影画像の各画素との対応関係を求める。そして、ＣＰＵ２２は、スルー画像における各画素ブロックのボケ度合いの値（Ｓ６０７）を、上記の対応関係に基づいて本撮影画像データに適用する。また、ＣＰＵ２２はスルー画像の領域分割の情報（Ｓ６０８）と、第１領域および第２領域の位置情報（Ｓ６０９）とを上記の対応関係に基づいて本撮影画像データに適用する。

なお、上記のＳ６０７からＳ６１０までの処理は、Ｓ６０６の撮影画像データの生成処理と並行して同時に処理することも可能である。
ステップＳ６１１：ＣＰＵ２２は、「ボケ強調モード」において第１モードが選択されているか否かを判定する。第１モードが選択されている場合（ＹＥＳ側）にはＳ６１２に移行する。一方、第２モードが選択されている場合（ＮＯ側）にはＳ６１５に移行する。

ステップＳ６１２：画像処理部１６は、ＣＰＵ２２の指示により、本撮影画像データに対してボケ強調処理を施す。このボケ強調処理では、本撮影画像の第２領域（Ｓ６０９）に対応する領域（対応領域）に対してボケ強調処理を施す。このボケ強調処理は、点拡がり関数のフィルタ演算（畳み込み演算）で実行される。なお、Ｓ６１２でのボケ強調処理は第１実施形態のＳ１０７と共通するため重複説明は省略する。

ここで、Ｓ６１２では、ＣＰＵ２２が第２領域全体のボケ度合いの平均値を演算し、画像処理部１６は上記の平均値に応じたフィルタで第２領域全体に対応する対応領域に畳み込み演算をしてもよい。あるいは、Ｓ６０８で複数の閾値を適用して画像を段階的に分割した場合、ＣＰＵ２２は第２領域内で閾値の異なる領域ごとにボケ度合いの平均値を演算し、画像処理部１６が各分割領域ごとにそれぞれ異なるフィルタで畳み込み演算をしてもよい。このような処理を行った結果を、ファインダ用画像として液晶モニタ２０に表示した例を図１９（ｃ）に示す。後者の場合には、前者のように第２領域全体に同じフィルタでボケ強調処理をする場合と比べて、より実際の遠近感に近い自然なボケ具合の画像を得ることができる。

ステップＳ６１３：画像処理部１６は、ＣＰＵ２２の指示により、撮影画像のうちの第１領域の部分に対して公知のコントラスト強調処理（階調補正あるいは高域空間周波数成分の増幅等）を施す。なお、ユーザーの設定変更により、ＣＰＵ２２はＳ６１３のコントラスト強調処理を省略することもある。
ステップＳ６１４：ＣＰＵ２２は、上記のボケ強調処理後の撮影画像データを記録媒体
２４に記録して一連の処理を終了する。

ステップＳ６１５：この場合には、ＣＰＵ２２は、撮影画像データのボケ度合いの値（Ｓ６１０）と、本撮影画像データの第１領域に対応する領域および第２領域に対応する対応領域の位置情報（Ｓ６１０）と、本撮影画像データ（Ｓ６０６）とを対応付けして画像ファイルを生成する。そして、ＣＰＵ２２は、上記の画像ファイルを記録媒体２４に記録して一連の処理を終了する。Ｓ６１５での画像ファイルは、パーソナルコンピュータによってＳ６１２に示すボケ強調処理をユーザーが事後的に行う場合に使用される。この第２モードの場合には、撮影現場において毎回の撮影ごとにボケ強調処理を行う必要がなくなるので、１フレーム当たりの画像処理時間をより短縮することができる。

以下、第６実施形態の効果を説明する。
（１）第６実施形態では、前景または背景に相当する第２領域の対応領域に対して、検出した画像のボケ度合いに応じてボケ強調処理が施される（Ｓ６１２）。また、主要被写体の位置する第１領域に対しては、コントラスト強調処理が施される（Ｓ６１３）。したがって、第６実施形態では、電子カメラにおいてコントラストの優れたポートレート撮影調の画像を容易に得ることができる。また、画像処理後における第２領域の対応領域のボケ具合は元の撮影画像のボケ度合いに比例させることができるので、実際の遠近感に近い自然なボケ具合の画像を得ることができる。

（２）第６実施形態では、検出した画像のボケ度合いに応じてボケ強調処理を行うので、特許文献１の技術のように特別な測距手段などを必要としない。しかも、第６実施形態では画像のボケ度合いを圧縮伸長処理部で検出するため、周波数解析用の特別な回路やソフトウエアなども不要となる。そのため、第６実施形態では、ほぼ通常の電子カメラの構成で上記のようなポートレート撮影調の画像を得ることできる点で顕著な効果を有する。

（３）第６実施形態では、撮影画像よりも解像度（画素数）の低いスルー画像に基づいてボケ度合いの判別などを行うので、本撮影画像データに直接画像処理を施す場合と比べて演算量を少なくできる。また、第６実施形態では、撮影画像データの生成前に得られたスルー画像に基づいてボケ度合いの判別などを行うので、本撮影画像データの生成と並行して、もしくは本撮影画像データの生成前にボケ度合いの判別を行うことも可能である。以上から、第６実施形態ではボケ強調モードにおいて１フレーム当たりの画像処理時間を短縮できるので、レリーズから撮影再開までのインターバルが短縮される。そのため、ボケ強調モードでの速写性が向上し、シャッターチャンスを逃す可能性も低減する。

なお、上記説明においては、図１８のステップＳ６０７、Ｓ６０８、Ｓ６１０の処理をスルー画像について行う構成について説明したが、本撮影画像より画素数の少ないファインダ用画像について行うものであってもよい。
また、上記説明においては、スルー画像データの空間周波数成分を解析し、本撮影画像に付加するボケ量を変更する例を説明したが、スルー画像に付加するボケ量を変更する構成としてもかまわない。また、本撮影画像データあるいはファインダ用画像の空間周波数成分を解析し、本撮影画像あるいはファインダ用画像に付加するボケ量を変更する構成としてもかまわない。また、本撮影画像データあるいはファインダ用画像データの空間周波数成分を解析し、本撮影画像あるいはファインダ用画像に付加するボケ量を変更する構成としてもかまわない。この場合には、上記説明の「第２領域に対応する対応領域」は第２領域そのものになる。

（第７実施形態の説明）
図２０は、第７実施形態の電子カメラの「ボケ強調モード」での動作を説明する流れ図である。なお、第７実施形態の電子カメラの構成は、図１に示す第１実施形態の電子カメラと共通するので重複説明は省略する。
なお、図２０のＳ７０１、Ｓ７０２は図１８のＳ６０１、Ｓ６０２にそれぞれ対応し、図２０のＳ７１１〜Ｓ７１５は図１８のＳ６１１〜Ｓ６１５にそれぞれ対応するので重複説明を省略する。

ステップＳ７０３：ＣＰＵ２２は、スルー画像信号に基づいてコントラスト検出によるＡＦ演算を実行し、フォーカシングレンズ１１ｂを合焦位置に移動させる。また、ＣＰＵ２２はスルー画像信号に基づいて公知の露出演算を実行し、本画像撮影およびスルー画像撮影における撮影条件のパラメータ（露光時間、絞り値、撮像感度など）を決定する。
ステップＳ７０４：ＣＰＵ２２はユーザーによってレリーズ釦が全押しされたか（レリーズされたか）否かを判定する。レリーズされた場合（ＹＥＳ側）にはＳ７０５に移行する。一方、レリーズされていない場合（ＮＯ側）にはＳ７０１に戻って、ＣＰＵ２２は上記動作を繰り返す。

ステップＳ７０５：ＣＰＵ２２は、発光部２１を発光させることなくスルー画像の撮影を行う。そして、画像処理部１６は、合焦後のスルー画像信号に基づいて第１スルー画像のデータを生成する。なお、第１スルー画像のデータはバッファメモリ１５に一時的に記録される。
ステップＳ７０６：Ｓ７０５の撮影直後において、ＣＰＵ２２は発光部２１を発光させてＳ７０５と略同一の構図をスルー画像で再び撮影する。そして、画像処理部１６は、上記のスルー画像信号に基づいて第２スルー画像のデータを生成する。なお、第２スルー画像のデータもバッファメモリ１５に一時的に記録される。

ステップＳ７０７：ＣＰＵ２２は撮像素子１３を駆動させて、Ｓ７０５およびＳ７０６と略同一の構図で被写体像を撮影（静止画本撮影動作）する。そして、画像処理部１６はレリーズ時の画像信号に基づいて本撮影画像データを生成する。この本撮影画像データはバッファメモリ１５に一時的に記録される。また、ＣＰＵ２２は撮影情報（焦点検出エリアの位置、シーンアシスト機能の設定情報および顔認識情報など）をバッファメモリ１５等に一時的に記録する。なお、静止画本撮影動作による撮影画像データの画像の解像度（画素数）は、少なくとも第１スルー画像および第２スルー画像、ファインダ用画像の解像度（画素数）よりも高く設定されている。

ステップＳ７０８：ＣＰＵ２２は、第１スルー画像（Ｓ７０５）および第２スルー画像（Ｓ７０６）のデータに基づいて、本撮影画像の領域分割処理を実行する。
ここで、Ｓ７０７でのＣＰＵ２２は、（１）第１スルー画像および第２スルー画像の明るさの差分、または（２）第１スルー画像および第２スルー画像の明るさの比率に基づいて本撮影画像を領域分割する。なお、上記の領域分割処理の内容は、第３実施形態のＳ３０３の場合とほぼ共通するので重複説明は省略する。

ステップＳ７０９：ＣＰＵ２２は、Ｓ７０８で分割された領域から、主要被写体領域（第１領域）と、それ以外の領域（第２領域）とを決定する。例えば、ＣＰＵ２２は、第１実施形態のＳ１０３と同様に、焦点検出エリアの位置、構図補助フレームの位置、顔認識で検出された顔の位置などに基づいて第１領域を決定する。あるいは、ＣＰＵ２２は、第１スルー画像、第２スルー画像および本撮影画像のいずれかに空間周波数解析を行い、最もボケ度合いが低い領域を第１領域に決定してもよい。

ステップＳ７１０：ＣＰＵ２２は第２領域のボケ度合いの値を求める。このボケ度合いの値は、Ｓ７１２（Ｓ６１２に対応する）でのボケ強調処理において第２領域のボケの強調量を決定するために用いられる。
ここで、ＣＰＵ２２は、空間周波数解析で第２領域のボケ度合いの値を求めてもよい。あるいは、ＣＰＵ２２は、第１スルー画像および第２スルー画像の明るさの差分値または明るさの比率（Ｓ７０７）に基づいて、第２領域のボケ度合いの値を決定してもよい。具体的には、第３実施形態のＳ３０９と同様に、ＣＰＵ２２は、第１スルー画像と第２スルー画像とを対比し、第１領域および第２領域間における明るさの差分値または明るさの比率を求める。そして、ＣＰＵ２２は、明るさの差分値または明るさの比率の差に応じて上記のボケ度合いの値を決定する。なお、ＣＰＵ２２は、明るさの差分値または明るさの比率の差が大きいほど、第２領域のボケの強調量を大きく設定する。

以下、第７実施形態の効果を説明する。
この第７実施形態によれば、上記実施形態と同様にコントラストの優れたポートレート撮影調の画像を容易に得ることができる。また、第７実施形態では、発光撮影および非発光撮影による２つのスルー画像に基づいて第１領域と第２領域とを分割する。そのため、第３実施形態と同様に、被写界が暗い場合においても高い精度で画像の領域分割を実行できる。さらに、第７実施形態では２種類のスルー画像を対比して領域分割を行うので、本撮影画像データに直接画像処理を施す場合と比べて演算量を少なくできる。

（実施形態の補足事項）
（１）上記実施形態では、ボケ度合いの検出を圧縮伸長処理部によるＤＣＴ変換で行うことなく、例えば、高速フーリエ変換などの他の公知の周波数解析によって画像のボケ度合いを検出するようにしてもよい。
（２）第３実施形態では、発光撮影（第１画像データの生成）と、非発光撮影（第２画像データの生成）との順番を入れ替えてもよい。また、非発光撮影画像に対してボケを付加する構成としてもよい。

（３）本発明では、ボケ度合いの検出等に用いるスルー画像は撮影直前のものに限定されることなく、例えば、撮影直前のファインダ画像よりも数フレーム前のファインダ画像であってもよい。あるいは、ＡＦ動作時に生成されたファインダ画像をそのままボケ度合いの検出等に用いるようにしてもよい。
（４）本発明では、スルー画像にエッジ抽出処理を行って、抽出された輪郭線に基づいて画像の領域分割を実行してもよい。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

Claims (14)

1. 被写界を撮影して撮影画像データを生成する撮影部と、
   前記撮影画像データの画像を主要被写体が位置する第１領域と主要被写体を含まない第２領域とに区画する画像分割部と、
   前記撮影画像データの画像のうち、前記第２領域の画像のボケ度合いを検出するボケ検出部と、
   前記第２領域の画像に対して、検出された画像のボケ度合いの大きさに応じて画像処理後の画像のボケ度合いを大きくするボケ強調処理を施すボケ強調部と、
   前記第２領域における被写体の大きさに応じて、前記第２領域の画像のボケ度合いを調整するボケ度合い調整部と、
   を備えることを特徴とする撮影装置。
2. 前記撮影部のレンズの焦点距離情報を取得するレンズ情報取得部をさらに備え、
   前記ボケ度合い調整部は、前記焦点距離情報に応じて、前記第２領域での画像のボケ度合いをさらに調整することを特徴とする請求項１に記載の撮影装置。
3. 前記画像分割部は、撮影時に選択された焦点検出エリアの位置情報および撮影時に主要被写体の位置決めに使用された構図補助フレームの情報の少なくとも一方に基づいて、前記主要被写体の位置を特定することを特徴とする請求項１または請求項２に記載の撮影装置。
4. 前記画像分割部は、前記ボケ度合いに基づいて前記第２領域の画像をさらに複数領域に分割し、
   前記ボケ強調部は、前記第２領域内の各分割領域の画像に対して、前記ボケ強調処理をそれぞれ独立して施すことを特徴とする請求項１から請求項３のいずれか１項に記載の撮影装置。
5. 前記ボケ検出部は、前記画像の空間周波数解析を行う解析部をさらに有し、当該解析部による空間周波数解析によって前記画像の前記第２領域のボケ度合いを検出することを特徴とする請求項１から請求項４のいずれか１項に記載の撮影装置。
6. 前記解析部の空間周波数解析の結果に基づいて、前記画像のデータを圧縮する圧縮部と、当該圧縮部より出力される圧縮データを記録する記録部と、を有することを特徴とする請求項５に記載の撮影装置。
7. 前記撮影画像データの画像におけるエッジ部分を抽出するエッジ抽出部をさらに備え、
   前記ボケ検出部は、前記エッジ部分に対する空間周波数解析の結果に基づいて、前記画像の前記第２領域のボケ度合いを検出することを特徴とする請求項５に記載の撮影装置。
8. 被写界に向けて発光を行う発光部をさらに備え、
   前記撮影部は、発光を行って撮影した第１撮影画像データと非発光で撮影した第２撮影画像データとを生成し、
   前記画像分割部は、前記第１撮影画像データと前記第２撮影画像データとの明るさの差分および明るさの比率の少なくとも一方に基づいて、前記第１撮影画像データの画像または前記第２撮影画像データの画像を前記第１領域および前記第２領域に区画することを特徴とする請求項１から請求項７のいずれか１項に記載の撮影装置。
9. 前記第２領域の画像の明度を増加させる明度補正部をさらに備えたことを特徴とする請求項８に記載の撮影装置。
10. 前記第２領域の画像のノイズを低減させるノイズ低減部をさらに備えたことを特徴とする請求項８または請求項９に記載の撮影装置。
11. 前記第１領域の画像のコントラストを強調するコントラスト強調処理部をさらに備えたことを特徴とする請求項１から請求項１０のいずれか１項に記載の撮影装置。
12. 前記ボケ度合い調整部は、前記第１領域および前記第２領域における明るさの差分値または明るさの比率の差に応じて、前記第２領域の画像のボケ度合いを調整することを特徴とする請求項１から請求項１１のいずれか１項に記載の撮影装置。
13. 予め生成された撮影画像データを外部から読み込むデータ読込部と、
    前記撮影画像データの画像を主要被写体が位置する第１領域と主要被写体を含まない第２領域とに区画する画像分割部と、
    前記撮影画像データの画像のうち、前記第２領域の画像のボケ度合いを検出するボケ検出部と、
    前記第２領域の画像に対して、検出された画像のボケ度合いの大きさに応じて画像処理後の画像のボケ度合いを大きくするボケ強調処理を施すボケ強調部と、
    前記第２領域における被写体の大きさに応じて、前記第２領域の画像のボケ度合いを調整するボケ度合い調整部と、を備えたことを特徴とする画像処理装置。
14. データ読込部および制御部を備えた画像処理装置に関し、
    予め生成された撮影画像データを前記データ読込部に読み込ませる工程と、
    前記撮影画像データの画像を主要被写体が位置する第１領域と主要被写体を含まない第２領域とに区画する工程と、
    前記撮影画像データの画像のうち、前記第２領域の画像のボケ度合いを検出する工程と、
    前記第２領域の画像に対して、検出された画像のボケ度合いの大きさに応じて画像処理後の画像のボケ度合いを大きくするボケ強調処理を施す工程と、
    前記第２領域における被写体の大きさに応じて、前記第２領域の画像のボケ度合いを調整する工程と、
    を前記制御部に実行させるためのプログラム。

Images